Успешность в шестьдесят шесть процентов против девяти у текстовых моделей при обучении роботов по одному видео показала нейросеть Skild S1

Источник: DataNorth AI

Флагманскую базовую модель пространственного интеллекта S1, способную осваивать ранее незнакомые десятиминутные цепочки манипуляций по единственной видеозаписи человека, официально презентовал разработчик робототехнического софта Skild AI из Питтсбурга. Архитектурная концепция реализует механизм контекстного обучения в реальном физическом мире, полностью исключая необходимость длительной ручной подстройки параметров нейросети или предварительного программирования движений в симуляционных средах. В ходе серии сравнительных тестов система продемонстрировала 66 процентов успешных выполнений новых задач против 9 процентов у традиционных подходов с текстовым заданием цели.

Ключевое инженерное отличие архитектуры S1 от распространенных нейросетевых семейств заключается в полном отказе от словесного формулирования целевых действий. По расчетам разработчиков, вербальный промпт неизбежно утрачивает тонкие пространственные нюансы, микротраектории и динамику распределения усилий, тогда как эгоцентрическое видео с нагрудной камеры передает непрерывный контекст движения. В натурных испытаниях разнородные роботизированные комплексы под контролем S1 без дополнительной калибровки успешно справились с пересадкой комнатного растения, выпеканием блинов, приготовлением фильтр-кофе и поэтапной сборкой сложного механического узла.

Технологический конвейер модели S1 преобразует входящий видеоряд в последовательность абстрактных пространственно-временных токенов. Встроенный механизм кросс-внимания сопоставляет положение человеческих кистей в демонстрационном ролике с текущей конфигурацией шарниров подключенного робота. За счет универсального слоя кинематической абстракции нейросеть способна транслировать увиденное действие в команды для антропоморфных пятипалых рук, двухпалых клешневых захватов или мобильных колесных манипуляторов.

Особое внимание авторы уделили алгоритмам коррекции ошибок на лету. Если в процессе манипуляции предмет выскальзывает из пальцев или смещается от вибрации, оптический контур моментально пересчитывает траекторию перехвата без сброса общего сценария выполнения задачи. Процесс генерации моторных команд оптимизирован для локального исполнения на бортовых микрокомпьютерах с частотой обновления до пятидесяти тактов в секунду, минимизируя задержки управления.

Для предотвращения повреждения хрупких объектов софт использует модуль предиктивной оценки жесткости материалов. Нейросеть рассчитывает безопасные зоны давления пальцев еще до физического соприкосновения с поверхностью, опираясь на визуальную деформацию предметов в обучающем видеоролике. Встроенный блок пространственной фильтрации устраняет помехи от мерцания цеховых светильников и оптических бликов на полированном металле.

Анализ обучающей кривой показал, что превосходство визуальных подсказок проявляется при накоплении массива предварительной подготовки, превышающем сто тысяч машинных часов. На этой стадии одна десятиминутная видеодемонстрация человека заменяет роботу порядка трехсот восьмидесяти дорогостоящих сеансов ручной телеоперации. Нейросеть функционирует как единый универсальный вычислительный центр, способный динамически адаптироваться к изменяющейся геометрии сцены и новым типам манипулируемых изделий на производственных сборочных постах.

Интеграция софта с промышленными протоколами передачи данных OPC UA и EtherCAT позволяет внедрять модель S1 на действующие автоматизированные ячейки без остановки конвейерных линий. Встроенные протоколы аппаратной изоляции гарантируют мгновенное отключение приводов при возникновении нештатных отклонений в позиционировании захватов.

Первоначальное развертывание модели S1 организовано в закрытом контуре ключевых индустриальных заказчиков, включая производителей промышленной автоматики ABB Robotics, Universal Robots и Mobile Industrial Robots. Руководство стартапа, получившего совокупное финансирование объемом один миллиард четыреста миллионов долларов при рыночной капитализации порядка четырнадцати миллиардов, подготавливает программу расширения доступа к программному интерфейсу для сторонних робототехнических лабораторий и производителей сервисных андроидов.