Хассабис: AGI, скорее всего, построят поверх нынешних языковых моделей

Глава Google DeepMind Демис Хассабис полагает, что будущий AGI, скорее всего, не заменит нынешние большие языковые модели, а будет построен поверх них. В интервью подкасту 20VC он сказал, что главный вопрос не в том, исчезнут ли базовые модели, а в том, окажутся ли они всей системой общего ИИ или только ее ключевым компонентом. 

Так Хассабис ответил на вопрос о "мире после LLM" и спор с позицией Яна ЛеКуна, который давно критикует языковые модели как недостаточный путь к человеческому уровню интеллекта. Глава DeepMind не согласился с тем, что нынешний класс моделей надо будет отбросить: по его словам, они уже показали слишком сильные результаты, а отдача от масштабирования все еще остается существенной. 

При этом Хассабис не говорит, что путь к AGI уже целиком понятен. Он оценил вероятность того, что для общего ИИ понадобятся дополнительные прорывы, как "50 на 50". Среди возможных недостающих элементов он отдельно упомянул модели мира (world models) — системы, которые помогают ИИ строить более устойчивое представление о среде, а не только предсказывать второй фрагмент текста.

Он назвал и другие доработки, которые понадобятся текущим моделям. Это непрерывное обучение после основного обучения, более умная хранилище вместо грубого длинного контекста, долгосрочное и иерархическое планирование, а также устойчивость к переформулировкам. Хассабис назвал современные системы "jagged intelligences" — неровным интеллектом: они могут впечатлять в одной задаче и проваливаться на похожей, если вопрос задан немного иначе.

В результате позиция главы DeepMind оказывается промежуточной между двумя крайностями. Он не считает, что простое масштабирование языковых моделей автоматически решит все проблемы AGI. Но и тезис "LLM — тупик" он тоже отвергает: будущая система, по его версии, с большой вероятностью будет не заменой нынешних моделей, а надстройкой над ними — с памятью, обучением, планированием и моделями мира.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.