Представлен публике публичный инициатива whatbroke для сравнения поведения ИИ-агента между двумя запусками

Состоялся версия открытого проекта whatbroke. Это средство командной строки для сравнения поведения ИИ‑агента между двумя запусками. Исходный исходник решения написан на языке TypeScript и обнародован на GitHub под лицензией MIT.

По информации OpenNET, при смене модели, правке промпта или обновлении фреймворка ИИ-агент может внешне отвечать как прежде, но незаметно перестать вызывать необходимый средство или изменить аргументы вызова. Текстовый diff такие поломки не видит.

Инициатива whatbroke записывает лог трассировки работы агента в формате JSONL и показывает информацию о том, какие вызовы инструментов исчезли, какие аргументы изменились, как сдвинулись стоимость и задержки, какие итоговые ответы поменялись.

Также в проекте есть прокси‑режим, не требующий изменения кода. Достаточно направить OPENAI_BASE_URL или ANTHROPIC_BASE_URL на локальный прокси. Поскольку агенты недетерминированы, каждый сценарий можно записать несколько раз — для каждого отличия выводится частота повторения, а шум, присутствовавший ещё в базовых запусках, автоматически понижается до информационного уровня.

В текущей версии whatbroke 0.3.0 добавлена команда import для конвертации готовых логов OpenTelemetry (GenAI semantic conventions), Langfuse и LangSmith, а также флаг ‑fail‑on для интеграции в CI (код возврата 1 при ломающих изменениях). Средство детерминирован и работает целиком локально, без программный интерфейс‑ключей, логи не покидают машину пользователя.