Mistral выпустила схема для автономной навигации роботов с помощью одной RGB‑камеры

Инженеры Mistral представили Robostral Navigate — свою первую модель для автономной навигации роботов. Платформа получает изображение с одной RGB‑камеры и инструкцию на естественном языке, после чего проводит робота по помещению. Например, схема можно попросить вывести робота из холла, провести по коридору, завести в кладовую и остановиться перед нужной полкой.

В основе Robostral Navigate лежит визуально‑языковая схема с 8 млрд параметров. Система не рассчитывает сразу движения робота в метрах и градусах, а указывает точку на изображении, к которой надо двигаться, и направление, в которое робот должен просматривать после прибытия. Такое решение меньше зависит габаритов устройства, камер и оптики. Например, если следующая точка маршрута не попадает в кадр, то схема переключается на команды смещения и поворота, чтобы развернуть робота.

Восьмимиллиардная схема отвечает за понимание инструкций и выбор промежуточных целей, но не управляет двигателями напрямую. Она обновляет маршруты около двух раз в секунду. После этого другая диффузионная схема со 121 млн параметров превращает выбранную точку в более детальную траекторию, а контроллер робота переводит её в команды для приводов.

Robostral Navigate полностью обучили в симуляции. Mistral подготовила приблизительно 2,4 миллиона траекторий в 350 тысячах виртуальных сцен, среди которых были офисы, жилые и коммерческие здания, многоэтажные маршруты и открытые пространства. В дополнение к этого, во время генерации данных разработчики меняли размеры робота, высоту, наклон камеры, освещение, архитектуру сооружений и плотность объектов окружения.

После базового обучения схема дополнительно доработали с помощью алгоритма обучения с подкреплением CISPO. Для этого исследователи отобрали 35 тысяч сложных заданий, на которых исходная версия регулярно ошибалась. Модель проходила их в симуляторе, училась исследовать окружение и восстанавливаться после неудачных действий.

В тесте R2R‑CE итоговая версия модели успешно завершила 77,4% маршрутов в новых для себя окружениях. Прошлый лучший итог для систем с одной камерой составляет 66,9%, а среди решений с несколькими камерами или с датчиком глубины — 72,1%. В более сложном тесте RxR‑CE схема набрала 75,1% против 73,4% у лучшей однокамерной системы.

Robostral Navigate протестировали и на реальных колёсных роботах: Galaxea R1 и компактном Hiwonder JetAuto. Для каждой из платформ заменили только контроллер. Всё остальное оборудование осталось от производителя.