Claude стал «меньше думать» и чаще ошибаться по данным анализа логов

Анализ 6 852 сессий Claude Code, проведённый AI-директором из AMD, показал заметные изменения в поведении модели Anthropic за период январь–март.

Основной вывод — снижение глубины рассуждений. Медианная длина reasoning-цепочек упала около с 2200 до 600 символов, что указывает на сокращение «бюджета мышления» модели.

Параллельно наблюдается резкий увеличение числа программный интерфейс-вызовов — почти в 80 раз с февраля по март. Это означает, что схема стала чаще компенсировать недостаток рассуждений повторными запросами и итерациями вместо одного глубокого ответа.

Равным образом изменилось поведение при решении задач. Claude стал чаще «сдаваться», запрашивать продолжение или уточнение, а число таких случаев зафиксировано на уровне 173 за короткий период, тогда как ранее они практически не встречались.

Отдельно отмечается снижение метрики reads-per-edit — с 6.6 до 2.0. Это означает, что модель стала реже изучать исходник или файлы перед внесением изменений, что напрямую влияет на качество работы в программировании.

Равным образом выросло число противоречий в ответах: схема чаще меняет позицию в ходе рассуждения, что снижает стабильность решений.

Занимательный фактор — зависимость от времени суток. Худшие результаты фиксируются в вечерние часы по PST, что может указывать на влияние загрузки инфраструктуры на качество работы модели.

В совокупности это создаёт картину не «сломавшейся» модели, а скорее перегруженной системы, где качество поведения зависит от ресурсов и условий инференса.

По данным автора, Anthropic частично подтвердила наличие подобных эффектов, что делает наблюдение одним из наиболее детальных публичных аудитов поведения LLM в реальных условиях.