Thinking Machines создаёт слушающий и говорящий ИИ

ИИ-стартап Thinking Machines Lab, основанный бывшим техническим директором OpenAI Мирой Мурати, объявил о версия моделей взаимодействия. Они будут способны как слушать, так и говорить.

Все современные модели работают по одинаковому принципу: они выслушивают запрос, а потом отвечают. Thinking Machines пытается изменить это, создав схема, которая обрабатывает пользовательский ввод и одновременно генерирует ответ, так что это больше напоминает диалог.

Включение интерактивности в схема открывает множество возможностей, как обещает компания, включая:

• бесперебойного управления диалогом. Схема неявно отслеживает, думает ли говорящий, уступает ли он, корректирует ли свою речь или приглашает к ответу;

• вербальных и визуальных вставок. Модель вмешивается по мере необходимости в зависимости от контекста, а не только когда потребитель заканчивает говорить;

• одновременной речи. Потребитель и схема могут говорить одновременно (например, перевод в реальном времени);

• осведомлённости о времени. Схема напрямую ощущает прошедшее время;

• одновременного вызова инструментов, поиска и генерации пользовательского интерфейса. Во время разговора и прослушивания пользователя схема может одновременно искать информацию, просматривать веб-страницы или генерировать пользовательский интерфейс, вплетая результаты в разговор по мере необходимости.

Организация называет подход «полнодуплексным», и компания утверждает, что её модель TML-Interaction-Small отвечает за 0,40 секунды, что примерно соответствует скорости естественного человеческого разговора и значительно быстрее, чем скорость ответа сопоставимых моделей от OpenAI и Google.

Пока это предварительная версия для исследований, а не готовый продукт, и компания не собирается выпускать её в публичный доступ. «Ограниченная предварительная версия для исследований» появится в ближайшие некоторое количество месяцев, а более широкий выпуск запланирован на конец этого года.

Для измерения качества взаимодействия модели исследователи использовали FD-bench, один из немногих существующих бенчмарков, предназначенных для измерения интерактивности. В FD-bench версии 1.5 модели предоставляется предварительно записанный аудиоматериал, и она должна реагировать в определённые моменты времени. Этот тест производительности измеряет поведение модели в нескольких сценариях: прерывание со стороны пользователя, обратный канал связи с пользователем, разговор с другими и фоновая речь. Отмечается, что TML-Interaction-Small показала хорошие результаты во всех этих областях. Для количественной оценки ИИ они применили Audio MultiChallenge, распространённый проверка, отслеживающий способность следовать инструкциям.

Осенью 2025 года Thinking Machines Lab показал свой первый продукт — средство Tinker, который автоматизирует разработка пользовательских передовых моделей искусственного интеллекта. Он позволяет тонко настраивать ряд больших и малых моделей с открытыми весами, в том числе такие как Qwen-235B-A22B.