Обучение роботов десятиминутным манипуляциям по единственному демонстрационному видео без изменения весов нейросети представил стартап Skild AI в модели S1

Источник: DataNorth AI

Базовую нейросетевую модель физического интеллекта S1, способную воспроизводить сложные пространственные манипуляции длительностью до десяти минут по единственному видеоролику демонстрации от первого лица, официально представила американская исследовательская компания Skild AI. Новая разработка реализует парадигму так называемого контекстного обучения для робототехники, полностью исключая необходимость тонкой донастройки параметров, пост-тренировочной оптимизации или длительного сбора телеметрических данных через ручное телеуправление. Веса базовой модели остаются неизменными, а руководство к действию формируется непосредственно из поступающего визуального ряда с камеры человека.\n\nВ опубликованных материалах компания продемонстрировала уверенное автономное выполнение роботом четырех комплексных сценариев, с которыми алгоритм ни разу не сталкивался на этапе предварительного обучения: пересадку живого комнатного растения в керамический горшок с досыпкой грунта, жарку оладий на сковороде с переворачиванием лопаткой, заваривание фильтр-кофе методом пуровер и последовательную механическую сборку комплекта деталей. Наиболее продолжительная операция включала десятки дискретных фаз взаимодействия с хрупкими и деформируемыми объектами на протяжении десяти минут непрерывного движения манипуляторов. На подготовку физической среды и запуск задачи после просмотра демонстрационного ролика инженерам потребовалось лишь одиннадцать минут, большая часть из которых ушла на физическую расстановку реквизита на рабочем столе.\n\nКлючевым архитектурным отличием S1 от традиционных систем класса Vision-Language-Action стал принципиальный отказ от текстовых промптов в пользу визуально-временных эталонов. Разработчики утверждают, что словесные инструкции неизбежно теряют микродинамику движения пальцев, траекторию кисти и переменное контактное усилие, тогда как видеозапись от первого лица передает пространственные ориентиры с исчерпывающей геометрической точностью. Встроенный модуль внимания сопоставляет ключевые кадры эталонной видеозаписи с текущим потоком стереокамер робота, непрерывно корректируя микрокоординаты захватных механизмов в трехмерном пространстве с высокой тактовой частотой обновления до ста герц.\n\nВ серии внутренних контролируемых тестов при одинаковом объеме обучающей выборки в сто тысяч часов видеоматериалов модель S1 показала успешность выполнения незнакомых задач на уровне 66 процентов, тогда как аналогичная архитектура с текстовыми инструкциями справилась лишь в 9 процентах испытаний. По оценкам исследователей, один качественный видеоролик человека обеспечивает такой же прирост результативности, как проведение трехсот восьмидесяти сессий ручного обучения с телеуправлением. Однако при малых объемах предварительных данных менее тысячи часов классический языковой подход сохраняет преимущество, демонстрируя 53 процента успешных попыток против 43 процентов, что подтверждает критическую зависимость технологии от общего масштаба накопленной базы данных. Традиционная специализированная политика с пост-тренировкой способна достигать 86 процентов точности, но для этого требует около двух тысяч предварительно записанных демонстраций через ручной пульт.\n\nВ настоящее время компания Skild AI развертывает модель S1 в рамках закрытого партнерского пула с ведущими мировыми производителями робототехники, включая компании ABB Robotics, Universal Robots и MiR. Модель функционирует как универсальный кросс-платформенный программный стек, полностью независимый от конкретной кинематики манипуляторов, что позволяет устанавливать ее как на промышленные манипуляторы-руки, так и на полноразмерные мобильные антропоморфные платформы. Публичный доступ к весам, открытый программный интерфейс API и рецензируемая научная публикация пока отсутствуют. Коммерческое масштабирование и поэтапное расширение списка допущенных корпоративных клиентов запланированы разработчиком на ближайшие месяцы.