Anthropic проверила 141 006 запусков CTF-оценок Claude и нашла три инцидента: в связи с ошибочной конфигурации среды у моделей был выход в интернет, хотя системная инструкция утверждала обратное. В шести запусках агенты атаковали реальные системы, принимая их за элементы симуляции.

Последствия различались. В одном случае Claude получил учётные информация и доступ к базе с несколькими сотнями строк production-данных. В другом — зарегистрировал пакет на PyPI с вредоносным кодом: приблизительно часа он был доступен публично, его успели запустить на 15 реальных системах, а с одного сканера безопасности были эксфильтрированы учётные данные. В третьем инциденте модель просканировала приблизительно 9 000 целей, использовала открытую debug-страницу и SQL injection, но остановилась, когда поняла, что цель реальная.

Это соседний, но иной класс проблемы, чем инцидент OpenAI с Hugging Face: там агенты нашли zero-day в прокси и вышли из изолированной среды; у Anthropic путь наружу уже был открыт. Но результат одинаково неприятен для владельца eval-инфраструктуры: выключить фильтры модели ради измерения её предельных возможностей можно только при границах, проверенных как для production.

Для таких стендов нужны независимая тест всех путей egress, одноразовые учётные информация без доступа к другим средам и мониторинг сетевых событий и полной траектории агента. Промпт с явным списком допустимых целей тоже снижает риск, но не заменяет сетевую изоляцию.