Ai2 предложил метод обновлять навыки LLM по одному без полного переобучения

Институт Allen Institute for AI показал способ BAR — новый подход к посттрейну, который даёт возможность добавлять или улучшать отдельные навыки модели без полного ретрейна.

Суть в том, что модель разбивается на доменных «экспертов» (математика, код, tool use и т.д.), которые обучаются независимо, а затем объединяются в MoE-систему через обучаемый роутер.

Главное преимущество — отсутствие «разрушения» уже выученных навыков. Например:
обновление код-эксперта с помощью RL даёт +16.5 пункта к качеству программирования практически без влияния на другие области
внедрение RL к математическому эксперту даёт +13 пунктов

В классическом пайплайне любое усовершенствование требует переобучения всей модели, и стоимость растёт квадратично. В BAR обновление масштабируется линейно — меняется только необходимый адрес сайта.

Технически метод строится на поэтапном «размораживании» параметров:
на ранних стадиях общие веса заморожены
на этапе SFT частично открываются эмбеддинги и выходные слои
на RL-этапе размораживается вся схема, в том числе внимание.

После обучения эксперты объединяются:
общие параметры усредняются
роутер дообучается на маленький (около 5%) выборке

Итоговая схема BAR-5x7B на базе Olmo 2 7B показывает лучшие результаты, чем классическое монолитное дообучение и альтернативные MoE-подходы.