Вы не поверите своим глазам: эта нейросеть станцует за вас

27 Августа 2018, Илья Хель 8

Искусственный интеллект показал себя очень способным инструментом, если говорить о манипулировании видео с людьми. Так называемые «дипфейки» с заменой лиц стали самым ярким примером, однако новые приложения появляются каждый день. Самое последнее создает дипфейки для танцев — искусственный интеллект считывает танцевальные движения другого человека и накладывает его на целевое тело.

Научной стороной этого варианта занимались четыре исследования из Калифорнийского университета в Беркли. Как они описывают в работе, опубликованной в arXiv, их система состоит из нескольких дискретных шагов. Во-первых, записывается видео с целью и подпрограмма превращает ее движения в фигуру из палочек. (Для хорошего качества потребуется порядка 20 минут съемки на 120 fps). Затем находится источник с видео и фигура с палочками снимает с него движения. Затем происходит обмен и нейросеть синтезирует видео с целевым индивидом, основываясь на движения фигуры из палочек.


Выглядит это потрясающе. Смотрите сами:

Нейросеть, которая создает ваш танец

Звучит все, конечно, просто, но на самом деле все намного сложнее. К примеру, есть подпрограмма, которая сглаживает движение фигур, так что танцоры не сильно дергаются, и совершенно отдельная нейросеть, предназначенная для повторного отслеживания лица цели для обеспечения реализма.

У программы есть и свои ограничения. Сеть не может точно моделировать свободные ткани, поэтому целевому человеку нужно надевать облегающую одежду. Встречаются и аномалии. В любом случае, работа впечатляющая.

Вам уже не терпится станцевать балет? Расскажите в нашем чате в Телеграме.

Вы не поверите своим глазам: эта нейросеть станцует за вас

8 комментариев Оставить свой

  1. [email protected]

    Видео недоступно

  2. init6

    Где можно скачать данную программу "Дипфейк"?

  3. robin_777

    Нет, не доступно

  4. Sc-in

    Вот оно чего! Так брейк-данс+рэп придуманы для нейросети. А то-то думал, что это за чудики кривляются.
    "В любом случае, работа впечатляющая." Скорее всего для программиста или поклонника брейка.
    В завершении, как тяжело копировать действительно танец, а не полу-гимнастику или акробатику.
    Могло б найти применение для копипастов китайской гимнастики.

    • Prox Vesor

      Sc-in, применение ещё более интересное - автоматизация, и даже полная замена ещё одной профессии - киноактёра, и ещё - каскадёра

      • Sc-in

        Prox, Т.е. вместо неожиданных эмоций от актера, суррогат ожидаемого. А ещё пародия на робота. Типа он двигается эффектнее человека.
        Замена каскадера? По факту в компьютерном кинематографе это есть. НЕ одного каскадера, а целой флотилии, армии фаланги. Насколько это интересно, особенно для любителей гейм-плея, которые они 100500 раз проходили.

  5. DL33

    Где-то была тут статья про реалистичных людей на UE4. Явно его тут не хватает.

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.