Google DeepMind выпустила Genie 4 — новую схема для создания интерактивных виртуальных миров в реальном времени. Здесь можно перемещаться по сгенерированному окружению, взаимодействовать с ним и менять происходящее прямо во время симуляции.

Главное нововведение — нативная генерация звука. Теперь Genie создаёт не только изображение, но и звуковое сопровождение: шум ветра, звуки окружающей среды, музыку и даже диалоги персонажей. Причём реплики могут меняться в зависимости от действий пользователя и происходящих событий.

Миром можно управлять обычными текстовыми командами. В частности, попросить изменить погоду, добавить нового персонажа или переместить камеру. Схема перестраивает сцену на лету, без необходимости запускать генерацию заново.

За происходящим следят модели Gemini. Gemini 3.8 Flash работает как управляющий агент: анализирует генерируемые кадры, разбивает задачи на последовательные шаги и проверяет, что происходит в симуляции. Gemini Omni помогает привязать визуальную часть к реальному миру, а Gemini 4 Argon экспериментально используют для планирования более сложных сценариев.

В соответствии с заявлению разработчиков, Genie 4 равным образом лучше справляется с физикой: столкновениями, аэродинамикой и движениями людей. Персонажи также должны естественнее реагировать на изменения окружения.

Среди возможных применений — тренировочные среды для роботов и ИИ-агентов, быстрое прототипирование игровых механик и предварительная визуализация сцен для кино. В частности, режиссёр может менять освещение, ракурс и действия персонажей прямо во время просмотра сцены, а разработчик — исследовать игровой прототип до написания полноценного кода.

Правда, до полноценного игрового движка ещё далеко. Длительность симуляции пока ограничена около двумя минутами, а при продолжительной работе схема может терять детали окружения, менять внешний вид объектов и ошибаться в физике. Точность звука, пространственная согласованность и генерация читаемого текста тоже остаются проблемными местами.

Сейчас Genie 4 доступна ограниченному кругу тестировщиков. Позже Google планирует открыть доступ подписчикам AI Ultra через Project Genie и партнёрам через Gemini программный оболочку и Google AI Studio. Точных сроков и тарифов пока нет, но уже можно записаться в лист ожидания.