Пользователи ГигаЧата получили доступ к созданию видео со звуком

В России пользователи ГигаЧата теперь могут создавать видео со звуком длительностью до пяти секунд. Это стало возможно благодаря новой модели Kandinsky 6.0. Она генерирует ролики с синхронным звуком. Чтобы получить готовый ролик с озвучкой, достаточно описать сцену текстом или загрузить первый кадр и добавить описание звукового ряда. Пока максимальная длительность ролика со звуком составляет пять секунд. Разработчики планируют увеличить этот срок. Пользователи получают видео в разрешении 1920 на 1080 точек и бесплатно. Модель стала точнее передавать физику реального мира. Движения людей, животных и техники в роликах выглядят естественнее и правдоподобнее.

Как сообщает корреспондент Информационного агентства МАНГАЗЕЯ, Kandinsky стал первой российской нейросетью, способной создавать видео с синхронным звуком. Kandinsky 6.0 - мультимодальная модель. Это значит, что она одновременно «видит» и «слышит» то, что генерирует. Поэтому модель синхронизирует диалоги, эффекты и фоновую музыку с картинкой. Губы героя движутся вместе с речью. Модель создаёт натуральный звук в широком диапазоне, включая разговор, цифровые эффекты, шаги, шум ветра или звук проезжающей машины. В одном ролике можно разыграть диалог и добавить музыку.

Антон Фролов - старший вице-президент, руководитель блока «Развитие генеративного ИИ» Сбербанка. Он сказал: «Мы хотим, чтобы генеративный ИИ стал таким же естественным инструментом креатора, как сегодня текстовый редактор или камера телефона». По его словам, любой человек получает возможность снимать более выразительные личные видео. Для профессионального контента это означает более быстрое и выгодное производство. Модель Kandinsky 6.0 отдают разработчикам бесплатно и без ограничений, поэтому строить на ней свои сервисы может каждый.

Эти возможности пригодятся для разных задач. Можно оживить семейную фотографию. Можно записать видеооткрытку с речью или музыкой для близкого человека. Можно снять ролик со звуками, например шелестом бумаги, потрескиванием дров или скрипом снега. Можно оживить старый мем или кадр из фильма. Генеративные модели всё чаще применяют в производстве рекламы, социальных сетей и личных видео. Это связано с тем, что создание материалов с помощью текстового описания требует меньше времени и ресурсов. Для небольших студий и отдельных авторов такие инструменты снижают порог входа в видеопроизводство.

Пока ролик со звуком длится пять секунд. Разработчики планируют увеличить этот срок. Разработчики могут бесплатно использовать модель. Они могут создавать на её основе собственные сервисы. Пользователи ГигаЧата могут создавать видео с речью, музыкой и звуками окружения бесплатно.