MCP-спецификация сама стала генератором тестов для агента

Apple представила Agent Seer — конвейер, который создаёт проверочные сценарии только по описанию MCP-сервера. Ему не нужны рабочий сервер, реальные ответы инструментов, готовые примеры или ручная разметка.

Из названий функций, описаний и схем параметров платформа строит:

• пользовательские задачи и ожидаемые цепочки вызовов;

• правдоподобные ответы инструментов;

• многошаговые диалоги;

• эталон для проверки агента.

На семи MCP-серверах Agent Seer сгенерировал 337 сценариев. Главным источником ошибок оказалось не количество инструментов, а сложность их параметров. Чаще всего платформа правильно выбирала инструмент, но подставляла неверное значение аргумента — обычная проверка только имени функции этого не замечает.

Для тебя это ценный паттерн: после изменения MCP-схемы можно автоматически пересобирать дымовые и регрессионные тесты. Заодно появляется ещё одна причина создавать схемы параметров простыми и однозначными.

Ограничение существенное: сценарии и эталоны синтетические, а качество оценивала другая LLM. Такие тесты находят ошибки контракта, но не подтверждают корректность реальных данных и бизнес-логики.

Ссылки:

• публикация Apple

• полный текст исследования

• tg