← Назад

Nvidia виклала відкриті моделі Cosmos 3 для симуляції світів роботам

Початкова версія ·

Вчити безпілотники й маніпулятори в реальному житті занадто дорого й небезпечно, тому штучні світи стають новим золотим стандартом. Зелений техногігант викотив генеративні пісочниці, що реагують на дії заліза на льоту.

Nvidia опублікувала ваги чотирьох спеціалізованих моделей лінійки Cosmos 3 з 16 мільярдами параметрів кожна, донавчених на базі Cosmos 3 Nano. Усі моделі вийшли під ліцензією OpenMDW1.1 на Hugging Face і заточені суто під генерування сенсорних даних, а не абстрактних відео для розваг.

Для автопілотів виділили два окремих інструменти. Модель Cosmos3-Nano-Transfer-Auto пакетно генерує синхронізоване відео одразу з 11 ракурсів (включно з оптикою «риб'яче око») паралельно з даними LiDAR. Спеціальні карти World Scenario Map задають розмітку та знаки, а звичайний текстовий запит перетворює сонячний день на густий туман або нічну зливу.

Потокова Cosmos3-Nano-Sim-Auto реалізує замкнений цикл симуляції в реальному часі завдяки каузальній дистиляції. Середовище розбиває генерацію на короткі синхронні фрагменти й реагує на керування машиною, гарантуючи, що повертання віртуального керма змінює картинку сенсорів за законами фізики, а не випадкової нейромережевої фантазії.

Роботизована половина релізу займається маніпуляціями в просторі. Модель Cosmos3-Nano-Sim-Transfer перетворює маски глибини та сухі фізичні контури з симулятора на фотореалістичний відеоряд. Поряд із нею працює Cosmos3-Nano-Sim-Bimanual, яка прораховує візуальні наслідки рухів двох «рук» роботів платформ YAM та AgiBot за командами автономного алгоритму або оператора з джойстиком.

Щоб згенерована картинка не розвалювалася через накопичення помилок у довгих сценах, автори розробили чотириетапний пайплайн навчання, де модель тренується на власних помилках генерації. Для тестового запуску всієї цієї махіни в самій компанії використовували комплекс на базі суперчипа Nvidia GB200 під керуванням Linux у середовищі Docker.

Навчати автопілоти в штучній матриці значно вигідніше, ніж постійно ремонтувати розбиті об бордюри фізичні прототипи. Проте сліпа довіра до згенерованих світів неминуче проявиться в той момент, коли алгоритм сприйме реальну бетонну опору за тимчасовий цифровий артефакт освітлення.

Джерело: Hugging Face

Коментарі

Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.

4/24
  1. Запромптована Бібліотека
    на папері все красиво поки не побачиш залізо на якому вони це запускали
    +4 по ділуЧудова констатація того факту, що для запуску цих моделей доведеться закласти квартиру і взяти в оренду невелику електростанцію