Google открыла веса вспомогательных моделей для всей линейки Gemma 4 — E2B, E4B, 26B MoE и 31B Dense. Они доступны на Hugging Face и Kaggle под Apache 2.0 и уже работают с transformers, MLX, vLLM, SGLang и Ollama.

Стандартная генерация токенов устроена неэффективно: чип большую часть времени тратит не на вычисления, а на перекачку весов модели из памяти. В связи с этого даже мощные GPU простаивают, пока генерируется один токен.

Speculative decoding решает это следующим образом: маленькая вспомогательная схема (drafter) набрасывает некоторое количество следующих токенов сразу, а основная проверяет их за один проход. Если согласна — принимает всю последовательность плюс добавляет свой токен. Один проход главный модели даёт некоторое количество токенов вместо одного.

По замерам на LiteRT-LM, MLX, Hugging Face Transformers и vLLM — прирост до 3x. Gemma 4 26B на NVIDIA RTX PRO 6000 с drafter'ом генерирует вдвое быстрее при том же качестве вывода — верификацию по-прежнему делает основная схема.

Русскоязычное сообщество про AI в разработке

Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!