Разработчики обратились к специализированному инструменту Caveman, который заставляет ИИ генерировать максимально краткие ответы с имитацией стиля речи «пещерного человека». Таким образом компании реагируют на стремительный увеличение расходов на токены.

Автор инструмента Джулиус Брюсси в своё время обратил внимание на то, что значительная часть бюджета компаний расходуется на «болтовню» языковых моделей. Caveman удаляет из ответов чат-ботов слова-связки, приветствия и вводные конструкции, сохраняя программный исходник, команды, URL-адреса и технические детали. 

Тестирование с Claude и Codex позволило сократить количество генерируемых токенов на 65–75%. Одновременно пользователям доступны несколько уровней сжатия текста. Брюсси рассказал, что его разработкой уже пользуются сотрудники OpenAI, Nvidia, GitHub и DEPT.

В развитии проекта участвуют и создатели популярных ИИ-моделей, включая технический директор OpenAI Шейн Суини, который лично внёс изменения в репозиторий Caveman, добавив поддержку фирменного инструмента Codex. Утилита также доступна в виде полноценного автономного агента для работы через терминал, который расходует почти в два раза меньше токенов при выполнении аналогичных задач и полностью совместим с ИИ-системой OpenClaw.

Между тем аналитики Gartner прогнозируют, что растущее использование программных агентов и моделей ценообразования на основе потребления может привести к беспрецедентному росту расходов разработчиков на ИИ в течение следующих двух лет. Вскоре предприятия будут платить за использование токенов для разработчиков столько же, сколько выделяют на зарплаты.