Нейросеть Kandinsky будет создавать видео для обучения роботов

«Сбер» представил семейство генеративных моделей Kandinsky WM 1.0, которые способны создавать короткие видео, соответствующие базовым законам физики и пригодные для обучения систем Physical AI. В основе лежит нейросеть Kandinsky 5.0 Video Lite, обученная на реальных видео с камер роботов, беспилотных автомобилей и записях промышленных процессов. Код и веса нейросетей опубликованы под лицензией MIT и доступны всем разработчикам мира бесплатно.

Особенная ценность разработки в том, что она позволяет синтезировать редкие, опасные или трудно воспроизводимые сценарии: ДТП, экстремальные погодные условия, отказы оборудования.

Видео моделей Kandinsky WM 1.0 длятся около 5 секунд и отражают отдельные действия: манипуляции с предметами (взял, положил, разрезал), дорожные ситуации (перестроение, проезд перекрёстка), этапы производственных процессов — базовые «кирпичики», из которых складывается обучение автономных систем.

Это первое поколение нейросетей на пути к полноценным моделям мира — системам, способным моделировать развитие сцены во времени и служить симуляторами для обучения и тестирования роботов.

Модели Kandinsky WM 1.0 пригодятся разработчикам беспилотного транспорта, от легковых автомобилей до грузовиков и роботакси, компаниям в сфере промышленной автоматизации: производителям манипуляторов, промышленных, сервисных и антропоморфных роботов, командам, внедряющим компьютерное зрение на производствах и складах.

Модели уже применяет Центр робототехники Сбера для обучения собственных роботов, а также институт AIRI в своем дорожном симуляторе.

Реклама. sberbank.ru
ПАО Сбербанк (генеральная лицензия Банка России №1481)
Фото  - нейросеть
Erid: 2VfnxxE4WmH