ИИ, нажми на тормоза

Anthropic хочет, чтобы компании, занимающиеся разработкой ИИ, рассмотрели возможность попридержать скорость развития

В новом предложении по политике Anthropic утверждает, что ведущим лабораториям разработки ИИ, возможно, потребуется координированная и проверяемая приостановка ускорения, если возможности ИИ начнут развиваться быстрее, чем общество сможет безопасно это управлять. Примечательно, что это заявление Anthropic сделано в свете недавней официальной подачи документов на IPO и его огромной рыночной оценки.

Anthropic urges AI labs to pause development, warns humans risk losing control

Ladybird прекратила приём публичных pull requests после «вайб-кодовой волны»

Ladybird теперь не будет принимать публичные pull requests, заявив, что ИИ разрушил старую модель доверия в открытом коде (OSS), в которой существенное изменение кода подразумевало значительные человеческие усилия и ответственность. Это очередной большой проект, который «придерживает скорость» приёма PR в связи с волны агентного ИИ.

Changing How We Develop Ladybird

Microsoft обновляет свою таксономию сбоев агентов в свете реальных атаках

Microsoft’s AI Red Team модернизировал свою таксономию сбоев агентов после года работы, добавив семь категорий: компрометация агентной цепочки поставки, перехват цели, эскалация доверия между агентами, визуальные атаки при использовании компьютера, загрязнение контекста сессии, злоупотребление MCP/плагинами и раскрытие возможностей.

Updating the taxonomy of failure modes in agentic AI systems: What a year of red teaming taught us

Исследователи предупреждают: агентные черви переходят от теории к PoC

Исследователи из Университета Торонто, Vector Institute, ServiceNow и Кембриджа создали proof-of-concept адаптивного ИИ-worm, который может reasoning через среды, искать уязвимости и секреты, а также генерировать exploit-программы во время распространения. Основной вывод: традиционные черви использовали один популярный путь; агентные черви адаптируют путь, пока они по нему идут.

Adaptive, Agentic AI Worms Loom as Next Enterprise Threat

Anthropic заявляет, что Claude теперь пишет более 80% продакшн-кода

Anthropic говорит, что сгенерированный ИИ исходник теперь составляет более 80% кода, интегрированного в её продакшн-системы, а инженеры выпускают гораздо больше кода, чем в 2024 году. Ещё одно подтверждение, что ведущие лаборатории используют всё больше ИИ для ускорения собственных циклов разработки ИИ на раннем этапе рекурсивного самосовершенствования (и систем, которые пишут сами себя?).

When AI builds itself

Подпишитесь на канал Agentic Enterprise — о жизни агентов в кровавом энтерпрайзе