Китайский техногигант Kuaishou официально показал следующую итерацию своей модели для генерации видео — Kling 4.0. В условиях гонки с другими ИИ-видеогенераторами азиатские авторы делают ставку на нативную генерация 30 секунд, 4K, липсинк и мультимодальный omni reference.

Публичный релиз модели намечен на следующий месяц, но архитектурные особенности и заявленные фичи уже вызывают интерес.

Архитектурные новшества и фичи Kling 4.0

_{Демо-видео THE BEAT, которое создали в Kling 4}

Kling исторически славился хорошей физикой движений, но четвертая релиз решает главную проблему диффузионных/трансформерных видеомоделей — временну́ю нестабильность и консистентность персонажей на длинных отрезках.

• Omni reference (мультимодальные референсы). Схема способна переваривать до 15 референсов одновременно. Это означает, что при создании видео из фотографий энкодеры точнее фиксируют геометрию лиц, элементы одежды и окружение, снижая уровень галлюцинаций при смене ракурсов.

• Нативная генерация 30 секунд. В отличие от апскейла времени (когда генерируются 5 секунд, а потом интерполируются/продляются), Kling 4.0 умеет нативно строить 30-секундный контекст.

• Multi-keyframe control. Поддержка до 10 ключевых кадров. Авторы могут точнее задавать траектории движения объектов и камеры.

• Аудиодвижок и липсинк. Схема научилась полноценной генерации видео со звуком. Заявлен качественный стереовыход и точная синхронизация губ с поддержкой нескольких языков и диалектов.

• Рендер. Апскейл до 4K и вывод в цветовом пространстве 10-bit HDR.

В соответствии с заявлению разработчиков:

«Kling 4.0 выводит разработка видео на свежий уровень визуального реализма, творческого контроля и повествовательной завершенности. Сцена готова. Решающее слово — за вами!»

Доступность

Полноценный выпуск намечен на октябрь. Тем не менее Kuaishou уже открыла доступ к более легкой модели — Kling 4.0 Flash — для подписчиков тарифа Ultra Yearly на своей глобальной платформе.