Метод Zero-WAM навчив роботів виконувати завдання за відео з людьми
Новий препринт показує, як машини переймають незнайомі дії з відео, досягаючи 47% успіху в симуляторі. До ідеалу далеко, але брак даних це обходить.
На платформі arXiv з'явився опис методу Zero-WAM, який дозволяє навчати Роботів новим діям без написання інструкцій чи збору окремих роботизованих демонстрацій — достатньо показати відео, де людина виконує потрібне завдання.
Модель аналізує розвиток сцени на екрані та використовує цей контекст для власних рухів. Автори зібрали набір із 74,2 тисячі пар людських і роботизованих демонстрацій для 8,6 тисячі завдань, після чого випробували систему на операціях, яких вона раніше не бачила.
У симуляторі RoboTwin 2.0 на семи нових завданнях середня успішність склала 47% — це на 29.5 відсоткового пункту вище за найсильнішу порівнювану модель. Під час фізичних експериментів робот зміг переносити ідею з людського відео на нові розташування предметів, довгі послідовності дій та операції з точним вставленням об'єктів.
Показник у 47% означає, що до надійного помічника ще далеко, а сама робота поки є лише препринтом. Проте підхід виглядає перспективно через мільярди годин готового відео в мережі про приготування їжі, ремонт і виробництво.
Джерело: habr
Джерело: habr
Коментарі
Допоможи покращити наступну версію: Додавай контекст або пропонуй виправлення. Після AI-перевірки коментарі можуть отримати бали для переписування. Перевірка й оновлення потребують часу; повна шкала не гарантує нової версії.