журнал стратегия

#журнал стратегия

Сам себе режиссер. «Сбер» представил нейросеть для генерации полноценного видео

Вслед за нейросетью, которая генерирует фотографии, «Сбер» представил систему Kandinsky Video, которая создает короткие ролики.

Гонка систем искусственного интеллекта продолжается и в России. Один из законодателей мод — "Сбер", который накануне в ходе международной конференции AI Journey презентовал первую в России генеративную модель для создания полноценных видеороликов по текстовому описанию. Модель генерирует видеоряд продолжительностью до 8 секунд с частотой 30 кадров в секунду.

Формат сгенерированного ролика представляет собой непрерывную сцену с движением как объекта, так и фона. Именно это отличает видеоролики, которые создаются с помощью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счет моделирования пролета камеры относительно статичной сцены. Нейросеть выдает видео с разрешением 512×512 пикселей и различным соотношением сторон. Модель обучена на датасете из более чем 300 тысяч пар «текст — видео». Генерация видео занимает до трех минут.

— Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а уже сегодня представляем модель совершенно другого уровня — первую в России модель по генерации полноценных видеороликов по тексту. Это важный вклад в развитие российских генеративных нейросетей. У пользователей появится еще больше возможностей для креатива и реализации своих творческих задумок любой направленности. Люди смогут создавать уникальные видеоролики абсолютно бесплатно. Наша модель, как и большинство других в линейке "Сбера", будет доступна в open source. Мы верим, что искусственный интеллект сможет открыть перед людьми новые супервозможности и создать инструменты, которыми они будут пользоваться для решения своих задач, — прокомментировал первый заместитель председателя правления "Сбербанка" Александр Ведяхин.

Мы в редакции протестировали нейросеть, в целом впечатление двоякое. Ролики получаются достаточно расплывчатыми и абстрактными, качество самого видео тоже оставляет желать лучшего, но, учитывая, что в России это первая генеративная модель для создания видео, то это уже прорыв. Чат-бот позволяет в одном ролике совмещать до трех сцен, но каждую сцену нужно описать отдельно. Также можно выбрать режим анимации, который будет использоваться. Режим — это движение камеры относительно генерации. Камера может погружаться вглубь изображения, обозревать объект на генерации с разных сторон, вращаться и т.д. Кроме того, можно выбрать горизонтальный, квадратный или вертикальный формат видео. В целом это смотрится достаточно эффектно.

Если задаешь сцену «по улице едет зеленый автомобиль», то нейросеть выдает зеленый автомобиль. Это плюс, но сам автомобиль достаточно абстрактный. В целом же нейросеть будет полезна СММ-специалистам, блогерам и всем любителям видеороликов. Более искушенным профессионалам придется все-таки снимать свое видео.

Кроме того, на конференции AI Journey "Сбер" презентовал новую версию нейросети Kandinsky. Теперь она умеет рисовать более реалистичные изображения и лучше понимает русскую культуру. Так, преподносят свою разработку представители компании.

— Технологии искусственного интеллекта могут наделить человека супервозможностями. Kandinsky — один из инструментов, предоставляющих такие возможности. Это удобная, функциональная и бесплатная нейросеть "Сбера" для творчества. Мы постоянно работаем над ее усовершенствованием. Новая версия модели еще лучше понимает запросы от пользователей, научилась разбираться в тонкостях русской культуры и народного творчества, — заявил Ведяхин.

Kandinsky 3.0 лучше предыдущих версий знает элементы отечественного культурного кода. Так, значительно улучшилось качество генерации российских и советских известных личностей и персонажей, архитектурных достопримечательностей, объектов культуры и элементов народного искусства России, например гжельской росписи, утверждает пресс-служба "Сбера".

Тестирование показало, что современных известных личностей Kandinsky 3.0 знает не так хорошо. В частности, тренер сборной России по футболу Валерий Карпин, по мнению нейросети, уже старик. Известную певицу Аню Семенович чат-бот тоже не смог сгенерировать. Глава партии «Единая Россия» Дмитрий Медведев отдаленно похож, но хотелось бы большей схожести, учитывая, что это очень известный политик.

Тест на элементы отечественного кода нейросеть в целом сдала на четыре. Культовый отечественный автомобиль «Жигули» получился весьма реалистично, Красная площадь тоже, исторические персоны Петр I и Владимир Ленин весьма узнаваемы. Однако, на запрос «Центр города Курска» ИИ выдал абсолютно левую картинку, а это древнейший русский город, который обязательно должен быть в базе Kandinsky.

Таким образом пока говорить о серьезном прорыве между старой и обновленной версией нейросети не приходится, напротив, с Сэмом Альтманом случился регресс: если 2 дня назад чат-бот выдавал фотографию, похожую на американского программиста, то сейчас по такому же запросу ИИ генерирует седого старика. Сервис нужно дорабатывать, тем более, что доступных аналогов хватает.

Артем Реутов

Фото: Kandinsky

анонсы
мероприятий
инновации

Ученые: клетки тела имеют сознание

Клеточное сознание является причиной существования жизни?

#,
инновации

В России уже в 2025 году могут начаться клинические испытания вакцины от рака

 

#, , ,