Вы не поверите своим глазам: эта нейросеть станцует за вас

Искусственный интеллект показал себя очень способным инструментом, если говорить о манипулировании видео с людьми. Так называемые «дипфейки» с заменой лиц стали самым ярким примером, однако новые приложения появляются каждый день. Самое последнее создает дипфейки для танцев — искусственный интеллект считывает танцевальные движения другого человека и накладывает его на целевое тело.

Научной стороной этого варианта занимались четыре исследования из Калифорнийского университета в Беркли. Как они описывают в работе, опубликованной в arXiv, их система состоит из нескольких дискретных шагов. Во-первых, записывается видео с целью и подпрограмма превращает ее движения в фигуру из палочек. (Для хорошего качества потребуется порядка 20 минут съемки на 120 fps). Затем находится источник с видео и фигура с палочками снимает с него движения. Затем происходит обмен и нейросеть синтезирует видео с целевым индивидом, основываясь на движения фигуры из палочек.

Выглядит это потрясающе. Смотрите сами:

Нейросеть, которая создает ваш танец

Звучит все, конечно, просто, но на самом деле все намного сложнее. К примеру, есть подпрограмма, которая сглаживает движение фигур, так что танцоры не сильно дергаются, и совершенно отдельная нейросеть, предназначенная для повторного отслеживания лица цели для обеспечения реализма.

У программы есть и свои ограничения. Сеть не может точно моделировать свободные ткани, поэтому целевому человеку нужно надевать облегающую одежду. Встречаются и аномалии. В любом случае, работа впечатляющая.

Вам уже не терпится станцевать балет? Расскажите в нашем чате в Телеграме.