Сбер выпустил в открытый доступ Kandinsky Avatar 1.0 — семейство моделей для создания говорящих видеоаватаров на основе фотографии и аудиозаписи. Это первая полностью российская разработка в данном сегменте, доступная для коммерческого использования.
Код и веса моделей распространяются бесплатно под лицензией MIT на платформах GitHub, GitVerse и Hugging Face. Поддерживается интеграция через ComfyUI и Diffusers.
Технические возможности модели
Для генерации аватара модели достаточно трёх входных данных: изображения, аудиодорожки и текстового описания сцены. Kandinsky Avatar самостоятельно синхронизирует артикуляцию с речью, добавляет мимику, повороты головы и жесты. Эмоциональное состояние персонажа задаётся текстом.
Модель генерирует видео длиной до одной минуты с частотой 24 кадра в секунду. Поддерживается работа с любым языком — аватар воспроизводит речь на том языке, который содержится в переданной аудиозаписи. Синтез и клонирование голоса не предусмотрены: модель работает исключительно с материалами, загруженными пользователем.
Kandinsky Avatar способна оживлять не только реальных людей, но и анимационных персонажей, животных и другие нереалистичные образы.
Две версии: Pro и Lite
Модель построена на базе Kandinsky 5.0 Video и поставляется в двух вариантах. Флагманская версия Pro генерирует видео в HD-разрешении и, по результатам слепого тестирования, сопоставима по качеству с коммерческим решением HeyGen. Компактная версия Lite работает на потребительских видеокартах, выдаёт SD-видео и при этом по качеству конкурирует с открытыми моделями, превосходящими её по размеру в 7–10 раз.
Обе версии обучены на более чем 1 млн видеофрагментов — интервью, выступлений и подкастов — на 95 языках, включая русский, английский, казахский, испанский и французский.
Результаты сравнительного тестирования
Kandinsky Avatar 1.0 Pro проверили в слепом тесте против ведущих открытых и коммерческих моделей. Участники оценивали пары роликов по семи критериям, не зная, какая система их создала. Версию Сбера предпочли в 63% случаев при сравнении с Kling Avatar 2, в 60% — с LongCat-Avatar-1.5 и в 54% — с HeyGen IV.
Наибольшее преимущество модель продемонстрировала в точности синхронизации губ: по этому критерию её выбирали в 77% сравнений с LongCat-Avatar-1.5, в 76% — с Kling Avatar 2 и в 69% — с HeyGen IV. По естественности мимики и движений Kandinsky Avatar 1.0 Pro выбирали в пять раз чаще, чем Kling Avatar 2.
Практическое применение для маркетинга и контента
Технология открывает конкретные сценарии для цифрового маркетинга и создания контента:
- рекламные и обучающие ролики с виртуальным ведущим;
- видеоинструкции и персональные обращения к клиентам;
- локализация видео на другие языки с точной артикуляцией;
- образовательные платформы с виртуальным преподавателем;
- чат-боты и консультанты с видеоинтерфейсом;
- игры, анимация и персональные видеооткрытки.
Для команд, работающих с видеопроизводством, Kandinsky Avatar снижает порог входа в сегмент персонализированного видеоконтента: не требуется съёмочная группа или студия — достаточно фотографии и голосовой записи. Открытая лицензия позволяет дообучать модель под специфику конкретного бизнеса.
Источник:
Cossa — https://cossa.ru/news/351972/