В MIT научили робота видеть сквозь стены через Wi-Fi

Исследователи из MIT представили Wave-Former — систему, которая даёт возможность роботу восстанавливать 3D-форму предметов, скрытых за картоном, гипсокартоном, деревом или тканью. Для этого используются миллиметровые радиоволны (те же, что в Wi-Fi) и специально обученная генеративная схема. На тестах система реконструировала приблизительно 70 бытовых предметов — банки, коробки, столовые приборы, фрукты — с точностью на 20% выше предыдущих методов.

Главная задача беспроводного зрения — зеркальность отражений: миллиметровые волны отскакивают от поверхности в одном направлении, и сенсор видит только «верхушку» объекта. Раньше недостающие части пытались восстановить по законам физики, но итог оставался грубым. Команда Фаделя Адиба решила задачу иначе: радар строит частичную реконструкцию, а генеративная схема достраивает невидимые стороны. Обучать модель на реальных данных радара было бы слишком долго, поэтому исследователи адаптировали существующие датасеты компьютерного зрения, встроив в них физику миллиметровых отражений — и получили синтетическую обучающую выборку.

Вторая система, RISE, идет дальше — она реконструирует целые комнаты, включая мебель. Для этого ей нужен всего один неподвижный радар и люди, которые ходят по помещению. Когда миллиметровые волны отражаются от человека, часть из них летит дальше — отскакивает от стен и мебели и возвращается к сенсору. Эти вторичные сигналы обычно считают помехами и отбрасывают. Но в MIT заметили, что такие "призрачные отражения" несут информацию о планировке комнаты — и научили ИИ её извлекать. RISE оказалась вдвое точнее существующих методов.

Обе работы будут представлены на конференции CVPR. Среди практических применений — складские роботы, которые смогут проверять содержимое запечатанных коробок до отправки (и вовремя заметить, например, сломанную ручку кружки), а равным образом домашние роботы, которые будут понимать расположение людей в комнате без камер — а значит, без угрозы приватности. "Мы используем ИИ, чтобы наконец разблокировать беспроводное зрение", — сообщает Адиб.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.