Роботы научились считывать сигналы мозга для предотвращения ошибок в реальном времени

Исследователи из Университета штата Оклахома пытаются решить проблему ошибок в работе робототехники, обучая машины реагировать на человеческие инстинкты в режиме реального времени. Команда разрабатывает нейроадаптивную систему управления, которая даёт возможность роботам улавливать сигналы из человеческого мозга и мгновенно корректировать свои действия. Итак, если оператор-человек чувствует, что что-то идёт не так, робот должен отреагировать до того, как ошибка возникнет в реальном мире.

Платформа использует интерфейсы «мозг-компьютер» для обнаружения так называемых потенциалов, связанных с ошибками, или ErrP. Эти сигналы запускаются почти мгновенно, когда человек распознаёт ошибку, даже до того, как он физически отреагирует на неё.

Используя носимую электроэнцефалографическую шапочку, система улавливает эти сигналы и передает их в роботизированную систему совместного управления. После обнаружения робот может замедлиться, остановиться или вернуть управление на протяжении миллисекунд. 

«В условиях высокой ответственности, таких как вывод из эксплуатации атомной электростанции или проведение глубоководных инспекций, мы пока не можем полностью передать управление роботу», — сказал руководитель проекта Хемант Манджунатха.

Хотя люди могут дистанционно управлять роботами, этот процедура требует больших умственных усилий и часто слишком медленный, чтобы предотвратить внезапные сбои. «Обычно робот узнает о сбое только тогда, когда на что-то натыкается. К тому времени, когда человек исправит ошибку, может быть уже слишком поздно. С помощью сигналов мозга робот получает раннее предупреждение», — пояснил Манджунатха. 

В основе системы лежит способность считывать сигналы ErrP, генерируемые в передней поясной коре головного мозга. Эти сигналы действуют как внутренняя сигнализация.

«Электронные импульсы (ErrP) — это специфические электрические паттерны, генерируемые вашим мозгом, а именно передней поясной корой, в тот момент, когда вы распознаёте ошибку. Удивительно то, что ваш мозг реагирует на ошибку быстрее, чем вы физически можете пошевелить рукой, чтобы ее исправить», — объяснил Манджунатха.

Чтобы сделать систему практичной, исследователи создали адаптивную схема декодирования, которая изучает общие паттерны мозговой активности, а затем подстраивается под индивидуальных пользователей. Это сокращает длительность времени настройки, обычно необходимое для интерфейсов «мозг-компьютер».

«Мозговые сигналы каждого человека уникальны, как отпечатки пальцев. Если система работает только для одного человека после нескольких часов настройки, она непрактична», — пояснили исследователи. 

Правила безопасности обеспечиваются с помощью временной логики сигналов, которая определяет строгие поведенческие ограничения для робота. Это гарантирует, что даже при реакции на сигналы человеческого мозга платформа работает в контролируемых пределах.

«Безопасность — краеугольный камень этого проекта. Мозговые сигналы подсказывают нам, когда что-то не так, но логика временных сигналов предоставляет свод правил», — сказал Манджунатха. 

Платформа тестируется с использованием опенсорсного GPU-симулятора для масштабного мультимодального обучения роботов Nvidia Isaac Lab и Isaac ROS, поддерживаемых графическими процессорами RTX PRO 6000 для обработки сигналов в реальном времени и моделирования. 

Разработчики системы отмечают, что, помимо промышленности, её можно будет внедрить в здравоохранении. В будущем интерфейс будет применяться в протезировании и экзоскелетах, которые адаптируются в зависимости от намерений пользователя.

«Представьте себе протез конечности, который чувствует, когда пользователь полагает, что он движется неправильно, и корректирует свои движения», — заключил Манджунатха.

Ранее инженеры робототехнического подразделения Xiaomi представили Xiaomi-Robotics-0 — Vision-Language-Action (VLA) модель, которая получает на вход изображение с текстовыми инструкциями и преобразует их в команды для роботов. Одновременно нейросеть нацелена на плавное управление без резких движений из-за задержки инференса. Особенность Xiaomi-Robotics-0 в том, что робот продолжает выполнять оставшуюся часть чанка, пока схема просчитывает второй.