Автономная платформа ИИ-агентов атаковала Hugging Face: защититься помогла LLM

Hugging Face раскрыли подробности недавнего инцидента безопасности. По заявлению компании, это начальный случай, когда атака на ее инфраструктуру была целиком проведена автономной системой ИИ-агентов — от первоначального проникновения до последующего развития атаки.

По данным Hugging Face, злоумышленникам удалось получить несанкционированный доступ к ограниченному набору внутренних датасетов и нескольким учетным данным, используемым внутренними сервисами. При этом организация не обнаружила признаков компрометации публичных моделей, датасетов, Spaces, а также цепочки поставок ПО — опубликованные контейнерные образы и пакеты были проверены и признаны безопасными. Оценка возможного влияния на информация партнеров и клиентов продолжается.

Начальной точкой атаки стал пайплайн обработки датасетов. Вредоносный датасет использовал сразу два пути выполнения кода — загрузчик с удаленным выполнением кода и инъекцию шаблона в конфигурации датасета. Это позволило выполнить произвольный исходник на рабочем узле обработки данных, после чего атакующий получил доступ на уровне узла, извлек облачные и кластерные учетные данные и в течение выходных перемещался между несколькими внутренними кластерами.

По словам компании, атаку осуществлял автономный агентный фреймворк, выполнивший десятки тысяч автоматизированных действий в сети краткоживущих изолированных окружений с самоперемещающейся инфраструктурой командного управления, развернутой на публичных сервисах. Hugging Face отмечает, что этот сценарий соответствует давно обсуждаемой в отрасли концепции «агентного злоумышленника» (agentic attacker), когда ИИ самостоятельно планирует и выполняет сложную многоэтапную атаку. При этом организация подчеркивает, что не смогла определить, какая именно языковая схема использовалась злоумышленниками.

Обнаружить инцидент также помог искусственный интеллект. В Hugging Face рассказали, что используют систему анализа телеметрии безопасности, где LLM помогает отделять реальные угрозы от большого количества ложных срабатываний. После обнаружения подозрительной активности компания проанализировала журнал более чем из 17 тыс. событий с помощью ИИ-агентов, что позволило за несколько часов восстановить полную цепочку действий атакующих, определить затронутые учетные данные и отделить реальные последствия атаки от отвлекающих действий.

Во время расследования команда столкнулась с неожиданной проблемой. Первоначально специалисты попытались использовать современные коммерческие LLM через программный интерфейс для анализа журналов, тем не менее запросы, содержащие реальные эксплойты, команды и артефакты командно-контрольной инфраструктуры, были заблокированы встроенными защитными механизмами провайдеров. В результате Hugging Face выполнила криминалистический аналитика на собственной инфраструктуре с использованием модели GLM 5.2 с открытыми весами. В компании отметили, что такой решение позволил не только избежать ограничений, но и не передавать информация об атаке и учетные данные сторонним сервисам.

После инцидента Hugging Face закрыла уязвимые пути выполнения кода в обработке датасетов, перестроила скомпрометированные узлы, отозвала и перевыпустила затронутые учетные данные, усилила политики доступа к кластерам и улучшила систему обнаружения аномалий. Организация также привлекла внешних специалистов по цифровой криминалистике и уведомила правоохранительные органы.