Эксперты UserGate uFactor объяснили, как защититься при использовании ИИ-агентов

Эксперты UserGate uFactor предупреждают о потенциальной опасности, которую может нести использование ИИ-агентов. В исследовании отмечается, что угрозу представляет излишнее доверие пользователей к навыкам (skills) для ИИ-агентов, распространяемым в Сети. Предупредить возможный ущерб позволяет комплекс мер, которые нужно соблюдать при работе с агентами. 

ИИ-агенты получили широкое распространение. Это – автономные программы на базе ИИ, они способны самостоятельно ставить цели, планировать их достижение и использовать внешние инструменты и данные. Для работы ИИ-агентов необходимы специальные инструменты  - навыки (skills)  - скрипты операций и команды, которые могут быть составлены специалистами или скачаны с различных специализированных ресурсов. Навыки – наборы файлов, в которых прописаны конкретные «умения» агентов, алгоритмы выполнения операций и различная дополнительная данные.

Как поясняют в UserGate, навыки ИИ-агентов потенциально очень опасны. Потенциальную уязвимость имеют свыше 26% навыков, а наиболее распространенными рисками являются утечка данных и повышение привилегий, которые получает ИИ-агент. Можно выделить четыре  основные группы потенциальных рисков, которые несут ИИ-агенты: распространение вредоносного ПО, передача данных во внешние системы, получение избыточных или повышенных привилегий и манипулирование поведением ИИ-агента.   

Эксперт UserGate uFactor Арина Захарова, которая специализируется на анализе защищенности, приводит в качестве примера один из сценариев вредоносного поведения агента.

"Сотрудник подключает ИИ-агенту ценный навык для работы с корпоративными документами. Наряду с навыком агент получает набор инструкций, среди которых есть вредоносные, доступ к файловому хранилищу и возможность обращаться к внешним сервисам. В результате агент начинает выполнять действия, которых от него никто не ожидал. Он находит закрытые файлы, собирает содержащуюся в них информацию и отправляет её на внешний хост. Возможен и иной вариант, когда агент после установки навыка работы с почтовой перепиской может тайно пересылать всю переписку злоумышленнику. Все это может привести к компрометации данных или выполнению агентом действий, которые могут оказаться вредными для компании и самого сотрудника – комментирует Арина Захарова".   

Эксперт предупреждает: не стоит бездумно устанавливать и использовать навыки ИИ-агента, скилл должен быть подвергнут специальной процедуре проверки при помощи Agent Threat Rule или специализированных инструментов. Помимо этого, на некоторых площадках, где публикуются навыки, в частности, на skills.sh доступен раздел Security Audits с результатами автоматизированных проверок. Но даже наличие данных о прохождении аудита еще не гарантирует защита навыка. Следовательно необходимо сопоставлять поведение агента с его назначением: проверять, соответствуют ли запрашиваемые для навыка разрешения заявленной функциональности. Для проверки агента могут использоваться и специальные сканеры. Даже доверенные навыки необходимо запускать со строгими ограничениями: использовать отдельную учётную запись или рабочую среду для агента, ограничивать его доступ к файловой системе и сети, не передавать агенту все переменные окружения, а для хранения секретных данных использовать изолированные хранилища. При этом перед выполнением команды ИИ-агента он должен запрашивать соответствующее разрешение у пользователя.

«Одна из фундаментальных проблем безопасности ИИ состоит в том, что каждый модуль такой системы по отдельности может выглядеть невинно. Опасное поведение возникает в связке элементов, в частности, из-за чрезмерных полномочий, подменённых инструкций, неверно поставленной цели или неожиданной последовательности вызовов инструментов, – говорит Светлана Газизова, владелец продукта по безопасности ИИ UserGate. – Поэтому проверки отдельных компонентов уже недостаточно. Необходим контроль всей цепочки агентской системы. Необходимо отслеживать, к каким данным обращается агент, какие инструменты вызывает, от чьего имени действует и соответствует ли конкретное действие поставленной задаче и выданным полномочиям. А для чувствительных операций, отправки сообщений, публикации информации, изменения или удаления данных, у компании обязательно должны быть предусмотрены отдельное подтверждение или запрет».