Генерацию невербальных жестов на частоте 120 кадров в секунду для 41 степени свободы андроидов представили Galbot и ученые Китая

Источник: Humanoids Daily

Комплексный программный фреймворк синхронизации живой речи и естественного языка тела человекоподобных роботов представили инженеры пекинской компании Galbot совместно с учеными Университета Цинхуа и Пекинского университета, анонсировав систему RoboGesture накануне международной конференции ECCV 2026. Разработка призвана устранить эффект зловещей долины при непосредственном общении человека с машиной, заменив механические циклические взмахи манипуляторов семантически выверенной и безопасной жестикуляцией в синхронном потоковом режиме.

Система оперирует непосредственно в кинематическом пространстве сорока одной степени свободы верхней половины тела андроида, охватывая семнадцать шарниров корпуса и рук, а также двадцать четыре активных привода двух пятипалых кистей BrainCo. Прямое обучение в целевом координатном пространстве исполнительных органов позволило отказаться от промежуточного пересчета человеческого скелета через обратную кинематику, устранив рывки сервоприводов и задержки вычислений.

Для преодоления дефицита обучающей выборки исследователи создали полусинтетический генератор данных. Расширив таксономию академических наборов SeG и EgoGesture, коллектив сформировал открытую библиотеку RoboGesture Dataset, содержащую более трехсот валидированных семантических категорий жестов, записанных с помощью оптического захвата движений. Синтез сценариев через большие языковые модели в связке с речевыми движками обеспечил генерацию около тысячи часов выверенных пар аудио и траекторий.

В основу генеративного контура легла диффузионная модель непрерывного действия с согласованием потоков, выдающая гладкую траекторию поз с частотой сто двадцать кадров за секунду. Обработка односекундного пакета движений занимает всего двести пятьдесят миллисекунд. Чтобы победить эффект «затмения модальности», при котором алгоритмы игнорируют новые звуки и механически продолжают траекторию по инерции, исследователи внедрили технику маскирования прошлого кинематического контекста с вероятностью пятнадцать процентов.

Акустический тракт использует кодек Mimi: поверхностные слои нейросети отслеживают ритмические акценты речи, а глубокие слои извлекают семантику высказывания через вспомогательный классификатор трехсот базовых жестов. Подготовительные движения кистей инициируются за четыреста миллисекунд до произнесения ключевого смыслового слова, в точности воспроизводя естественные поведенческие паттерны человека.

В ходе натурных замеров полный цикл ответа занял около двух секунд, причем львиная доля задержки пришлась на внешние модули: распознавание пауз речи занимает полсекунды, генерация реплики моделью Qwen требует четырнадцать сотых секунды, а синтез звука длится четыре десятых секунды, тогда как сам генератор жестов начинает трансляцию пакетов уже через четверть секунды.

На стандартизированных испытаниях BEAT фреймворк показал дистанцию Фреше для жестов на уровне 0,8452, значительно опередив конкурирующие архитектуры DiffSHEG и Semantic Gesticulator. Безопасность аппаратной части гарантирует потоковый квадратичный фильтр прогнозирующего управления MPC, рассчитывающий коллизии всего за пять миллисекунд на кадр. Внедрение фильтра сократило долю опасных столкновений механических рук с грудной клеткой робота с 4,16% до 0,13%. Полномасштабная апробация программного стека на андроиде Unitree G1 подтвердила стабильность решения: в ходе двухсот последовательных сеансов диалога система не зафиксировала ни одного падения или экстренного отключения питания. Программный стек планируется штатно интегрировать в линейку легких шагающих андроидов Galbot ET1 для коммерческих презентаций и гостиничного сервиса. Обученные веса нейросети и программные интерфейсы интеграции авторы планируют опубликовать для мирового академического сообщества сразу после официального доклада на симпозиуме, что ускорит создание дружелюбных сервисных роботов нового поколения.