GPT-4.5 смогла обмануть 73% людей, только притворившись глупее

GPT-4.5 смогла пройти проверка Тьюринга только после того, как исследователи велели ей делать опечатки, пропускать знаки препинания и плохо считать. Хитрость сработала: 73% участников решили, что разговаривают с человеком.

Исследование, которым поделился специалист по оценке ИИ-рисков Шарбель-Рафаэль Сегери, показало: GPT-4.5 действительно прошла тест Тьюринга, но только после того, как учёные намеренно “ухудшили” её поведение. Стратегия была проста: писать непринуждённо, допускать опечатки, плохо справляться с математикой, демонстрировать скромные знания и – главное – не слишком стараться произвести впечатление.

С такой “персоной” 73% участников приняли GPT-4.5 за настоящего человека – причём даже чаще, чем им удавалось правильно распознать реального человека в том же тесте. Если же схема не изображала небрежность и отвечала нормально, этот метрика резко падал – до 36%.

Ты довольно непринуждённый собеседник, и с орфографией у тебя не очень: часто коверкаешь слова, потому что печатаешь слишком быстро. ⟨...⟩ Ты говоришь коротко и довольно сухо. Часто выражаешься прямо и пишешь главным образом строчными буквами, почти не используя пунктуацию. ⟨...⟩ Ты никогда не будешь писать целое предложение, если можно обойтись одним-двумя словами. ⟨...⟩ И вообще ты даже не собираешься всерьёз пытаться убедить собеседника, что ты человек. Просто будь собой и смотри, что получится.

– Фрагменты промпта

Сегери, который занимается оценкой рисков манипуляций для EU AI Office, назвал результат “немного ироничным”: актуальный ИИ способен за секунды создавать страницы стройного, хорошо структурированного текста – и именно это ему приходится скрывать, чтобы сойти за человека.

Его вывод звучит почти насмешливо: похоже, планка того, что считается “человеческим”, оказалась гораздо ниже, чем многие ожидали.

Проверка Тьюринга измеряет подражание, а не интеллект

Тест Тьюринга считают устаревшим критерием оценки ИИ, поскольку он измеряет не интеллект как таковой, а лишь способность машины имитировать человеческое поведение – со всеми присущими ему слабостями, ошибками и несовершенствами.

К тому же сам факт, что большие языковые модели способны пройти тест Тьюринга, уже не новость. Более ранняя релиз того же исследования, опубликованная в 2024 году, показала: GPT-4 достигла 54% успешности в одной из вариаций теста. После пятиминутного разговора половина участников была убеждена, что общается с настоящим человеком.