В Anthropic предотвратили попытки создания биологического оружия

Anthropic предотвратила несколько попыток учёных применять её передовые модели искусственного интеллекта для проведения исследований, которые могли привести к созданию биологического оружия. Об этом сообщила New York Times со ссылкой на доклад американской компании.

При этом Anthropic признаётся, что не может определить, служили ли эти исследования законным или злонамеренным целям. В некоторых случаях добросовестные биологические исследования могут способствовать созданию опасных патогенов, а не только вакцин.

Ввиду этой неопределённости Antropic предпочла действовать на упреждение, поскольку последствия упущенной злонамеренной деятельности могут быть серьёзными.

«Вы не видите, как кто‑то в стиле комиксов сообщает: „Эй, я хочу создать биологическое оружие, чтобы всех убить“. Это невероятно сложная ситуация», — рассказал в интервью руководитель отдела анализа киберугроз Anthropic Джейкоб Кляйн.

Потенциальная способность передовых языковых моделей развивать известные и совершенно новые биологические патогены стала одной из самых серьёзных проблем, связанных с ИИ. Технология развивается настолько стремительно, что даже ведущие авторы ИИ сомневаются в возможности контролировать его полностью.

Старший научный сотрудник некоммерческого института Council on Strategic Risks Эндрю Вебер назвал выводы отчёта «ужасающими примерами того, как спонсируемые государством авторы биологического оружия используют быстро развивающиеся возможности» ведущих ИИ‑моделей.

В отчёте Anthropic описывает ряд случаев неправомерного использования её ИИ‑моделей за последние восемь месяцев. Некоторые примеры были похожи на предыдущие разоблачения от Anthropic и других лабораторий ИИ, в том числе предполагаемые случаи слежки со стороны субъектов, связанных с Ираном и Китаем. Разработчик Claude равным образом пишет о случаях использования чат‑бота российскими государственными СМИ для создания контента.

Новым задокументированным видом злоупотреблений стала разработка через Claude программного обеспечения для проектирования и создания обычного вооружения. Сообщается об огнестрельном и ракетном оружии, боевых беспилотниках и бомбах. Отчёт рассматривает три случая в Китае, два в России и один в Йемене.

В части про биологическое оружие Anthropic не раскрыла имена исследователей или учреждения, страны их принадлежности и упомянутые биологические агенты из‑за неопределённости относительно целей работы.

При этом организация подчеркнула, что эти учёные обошли систему контроля, предназначенную для предотвращения доступа к ИИ‑моделям пользователей из заблокированных регионов. Они пытались «завуалировать цель своих исследований, чтобы обойти меры безопасности», пояснили в Anthropic.

В одном из примеров учёный попросил Claude помочь в написании заявки на грант для проведения исследований вируса чикунгунья. Подобные работы, называемые исследованиями по усилению функций вирусов, могут быть законными и привести к разработке вакцины. Тем не менее они также могут создавать супербактериальные версии вирусов. Упомянутый учёный хотел внести в вирус мутации, которые сделали бы его более опасным при многократном заражении лабораторных животных.

Прошлогодний анализ Anthropic представил, что её более старые модели не были способны оказывать существенную помощь в проведении опасных биологических исследований. Нынешние модели компании лучше подходят для выполнения сложных научных исследований, что послужило поводом для ужесточения мер безопасности. В частности, Anthropic ограничила доступ к широкому спектру биологических исследований двойного назначения.