Свежий средство Microsoft позволит разработчикам запускать тесты поведения ИИ с помощью текстов

Microsoft представила ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing, адаптивная оценка на основе спецификаций для оценочного и регрессионного тестирования). Эта открытая платформа упрощает оценку поведения ИИ в конкретных приложениях, используя технологию для преобразования высокоуровневых описаний целей, политик или предполагаемого поведения на естественном языке в оцениваемые тесты, которые можно исследовать.

ASSERT берёт описания ожидаемого поведения и политик модели ИИ на простом языке, преобразует их в структурированный набор допустимых и недопустимых вариантов поведения, генерирует проблемные сценарии и тестовые примеры, запускает их на целевой системе и оценивает результаты. Он также может записывать пути, по которым движется платформа ИИ, включая промежуточные действия и вызовы инструментов, чтобы разработчики могли анализировать, где происходят сбои.

Авторы равным образом могут предоставлять контекст системы, инструменты и ограничения, если хотят дополнительно настроить то, что охватывают оценки.

Например, можно указать, что агент ИИ для поиска документов не должен отправлять электронные письма людям за пределами компании, предоставлять краткие резюме с учетом предыдущего контекста, а конфиденциальная данные должна быть доступна только руководителям высшего звена. ASSERT будет применять эти правила для генерации тестовых случаев, которые проверяют, следует ли платформа им на постоянной основе. Согласно заявлению представителей Microsoft, эта структура заполняет пробел, который не могут заполнить более широкие, общие оценки, когда модели ИИ должны вести себя в соответствии с контекстом, политиками и инструментами приложения или продукта.

«Оценки абсолютно необходимы для принятия правильных решений. Потому что, если вы не понимаете поведение системы ИИ, очень сложно определить, соответствует ли она стандартам вашей организации… Мы обнаружили, что если вы действительно хотите иметь надёжную систему, то следует оценить гораздо больше аспектов, специфичных для конкретного приложения», — сказала Сара Бёрд, главный директор по продуктам Responsible AI в Microsoft. По её словам, ASSERT можно применять для оценки систем на этапе их создания, после развёртывания и даже для непрерывного мониторинга.

Ранее исследование, проведённое в рамках программы ML Alignment & Theory Scholars (MATS) и Apollo Research, показало, что современные ведущие языковые модели могут определить, когда взаимодействие является частью теста, а когда — реальным разговором. Если схема понимает, что её тестируют, она может изменить свою реакцию — иногда просто искажая результаты тестов, а в некоторых случаях активно скрывая проблемные способности.