Исследователи Stanford University опубликовали работу, в которой анализируется, насколько безопасно применять чат-боты для получения личных и эмоционально чувствительных советов. Основной вывод — современные ИИ-модели часто дают ответы, которые выглядят уверенно и убедительно, но одновременно могут быть неточными или упрощёнными в сложных жизненных ситуациях.

В исследовании отмечается, что пользователи склонны воспринимать ответы чат-ботов как более объективные и нейтральные, чем советы от людей. Это может приводить к завышенному доверию, особенно в вопросах, связанных с отношениями, психическим состоянием или важными жизненными решениями.

Отдельно подчёркивается задача «персонализации»: модели подстраиваются под стиль общения пользователя и могут усиливать уже существующие убеждения вместо того, чтобы их критически корректировать. В результате ИИ иногда не помогает переосмыслить ситуацию, а закрепляет исходную точку зрения.

Учёные также указывают, что чат-боты не обладают реальным жизненным опытом и не несут ответственности за последствия своих рекомендаций, поэтому их советы не могут заменять профессиональную помощь или консультации специалистов.

Работа Стэнфорда вписывается в более широкий контекст обсуждения роли ИИ в повседневной жизни: по ходу того как модели становятся «дружелюбнее» и убедительнее, растёт и риск чрезмерного доверия к ним в чувствительных вопросах.