Mistral випустила Robostral Navigate для навігації роботів з однією камерою
Французький AI-гігант виводить візуальні моделі з затишних чат-ботів прямо у фізичний світ, навчаючи залізяк орієнтуватися в просторі за звичайними текстовими підказками та найдешевшим об'єктивом.
Інженери Mistral презентували Robostral Navigate — автономну систему для колісних роботів, якій для повноцінного орієнтування в будівлях потрібна лише стандартна RGB-камера та текстові вказівки від людини. Замість складних тривимірних карт модель просто знаходить потрібний орієнтир на картинці та показує роботу, куди дивитися.
Головним аналітиком виступає мультимодальна модель на 8 мільярдів параметрів, що оновлює орієнтири маршруту двічі на секунду. Щоб не витрачати ресурси на точні розрахунки в міліметрах, вона передає точки легшій диффузійній моделі на 121 мільйон параметрів, яка вже формує траєкторію для моторів.
Навчання повністю відбувалося у віртуальній реальності без вигулювання реального заліза. Команда підготувала 2,4 мільйона траєкторій у 350 тисячах штучних сцен, постійно змінюючи освітлення, висоту камер та розташування меблів.
Для виправлення критичних помилок використовували алгоритм підкріплення CISPO на 35 тисячах найскладніших завдань. У тесті R2R-CE підсумкова версія успішно пройшла 77,4% маршрутів у незнайомих приміщеннях, суттєво перевершивши попередній рекорд для однокамерних систем у 66,9%.
Тестування на фізичних залізяках проводили за допомогою моделей Galaxea R1 та Hiwonder JetAuto, де розробники замінили лише програмний контроллер, залишивши заводську начинку без змін.
Стартапам, які роками продавали дорогі мультикамерні комплекси та лідари для простеньких кур'єрських візків, варто приготуватися до серйозного перегляду цінників.
Джерело: Mistral AI
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.