Обучение манипуляциям по одному видеоролику без дообучения весов нейросети продемонстрировала базовая модель S1 от стартапа Skild AI

Источник: The Robot Report

Публичную презентацию флагманской базовой модели физического интеллекта S1, способной переносить моторные навыки на разнотипные манипуляторы через контекстное обучение без изменения весов нейросети, провел американский разработчик Skild AI. Ключевая концепция разработки заключается в использовании видеозаписи демонстрации человека в качестве непосредственного рабочего промпта. Вместо традиционного сбора сотен часов телеуправления и последующей тонкой доводки алгоритмов, роботизированный комплекс анализирует короткий видеоролик с выполнением задачи и воспроизводит целевое поведение на собственном физическом теле.

Архитектура S1 реализует парадигму In-Context Learning, ставшую стандартом в сфере больших языковых моделей, но впервые успешно масштабированную на непрерывное физическое взаимодействие с материальным миром. В серии контрольных испытаний на незнакомых операциях временной протяженностью от пяти до десяти минут обычные системы с языковым кондиционированием продемонстрировали показатель успешности около девяти процентов, тогда как модель S1 достигла отметки в шестьдесят шесть процентов. Исследователи подтвердили, что архитектура не просто заучивает пиксельные траектории, а семантически интерпретирует намерения оператора, корректируя движения при смещении предметов, изменении уровня освещения или отсутствии части исходных инструментов.

Главной технической победой стало преодоление проблемы накопления ошибок, из-за которой классические алгоритмы подражания терпели сбой при малейшем отклонении траектории. Архитектура S1 непрерывно сопоставляет текущее состояние рабочей сцены с финальной целевой точкой, выполняя динамическую самокоррекцию манипулятора без аварийной остановки программы.

Показательным примером адаптивности стал эксперимент с переворачиванием блина на сковороде: система успешно выполнила сложное динамическое движение кухонной лопаткой, хотя предварительный аудит миллиона часов обучающих данных подтвердил полное отсутствие подобных сцен в базовом датасете. В другом сценарии робот должен был долить воду в цветочное кашпо; обнаружив отсутствие привычной лейки, манипулятор автономно использовал стоявший рядом пластиковый стакан. При наливании сока в частично заполненный стакан робот не стал повторять исходный объем выливания, а аккуратно дозировал порцию до краев емкости.

Фундаментальной особенностью платформы является кросс-платформенная переносимость: единый программный мозг управляет как полноразмерными двуногими андроидами, так и промышленными манипуляторами и мобильными тележками. Нейросеть воспринимает промпт в формате видео с камеры смартфона, мгновенно транслируя кинематику человека в траектории сервоприводов конкретного робота с учетом его сочленений и габаритов. Исследователи зафиксировали выраженный закон масштабирования: по мере расширения объема предварительного массива данных способность модели мгновенно улавливать новые движения по одной видеозаписи демонстрирует устойчивый логарифмический рост.

Разработчики оценивают, что применение контекстного видеопромптинга сокращает трудозатраты на интеграцию новых технологических операций на два порядка. Стандартная процедура обучения новому рабочему процессу, ранее требовавшая от пятидесяти до ста часов ручной телеоперации оператором-человеком, в среде S1 выполняется за одиннадцать минут от момента съемки видео до автономного старта робота на стенде.

На текущем этапе Skild AI оценивается венчурными инвесторами в четырнадцать миллиардов долларов и развивает практические пилотные внедрения модели совместно с индустриальными партнерами уровня швейцарской корпорации ABB, а также датской Universal Robots. Технологический стек уже задействован на производственных линиях сборки сложной микроэлектроники для серверов Nvidia. По мнению отраслевых обозревателей, появление надежного контекстного обучения знаменует переход робототехники от жестко запрограммированных последовательностей к гибкому подражательному интеллекту цехового масштаба.