GPT-6 Astra від OpenAI навчили керувати роботом Unitree G1 на кухні

Команда лабораторії Movement Lab зі Стенфордського університету та Caltech презентувала систему HomeBody, де мультимодальна модель GPT-6 Astra від OpenAI керує гуманоїдом Unitree G1 у незнайомому приміщенні без попереднього тренування.

Класична робототехніка роками спалювала мільярди на проміжний шар — спеціалізовані VLA-моделі для перекладу намірів у скорочення моторів. Новий підхід викидає цей шар на смітник, дозволяючи великій моделі жонглювати всього п'ятьма базовими навичками: переміщатися, брати предмет, класти, відкривати шухляди й діставати з них речі.

Андроїд самостійно досліджує кімнату та будує тривимірного цифрового двійника кухні в симуляторі Nvidia Isaac Sim на основі власних камер і SLAM-карти. Просторова пам'ять утримує координати чашок навіть поза полем зору, а дрібні промахи пальців виправляються локальним візуальним сервокеруванням без постійних платних запитів до серверів.

Локальні розрахунки та просторове бачення лежать на плечах ігрового ноутбука Razer Blade з RTX 4090, тоді як логіка живе на серверах OpenAI. Творці поки замовчують конкретний відсоток успішних спроб і таймінги виконання завдань, проте відверто вказують на затримки хмарного сигналу, перегрів моторів у пальцях та астрономічну вартість токенів на сканування меблів.

Повна передача фізичного залізного тіла хмарним агентам посеред житлових квартир виглядає сміливим експериментом якраз у момент, коли самі розробники моделей гарячково обмежують їхню автономність через непередбачувані заскоки в коді.

Джерело: Stanford TML