Нейросеть научили копировать движения людей из роликов на YouTube

11 Октября 2018, Владимир Кузнецов 7

На сегодняшний день основными методами создания реалистичной анимации виртуальных существ являются скелетная анимация и небезызвестный Motion Capture (mocap). Однако специалисты постоянно находятся в поиске новых не менее качественных, но более дешевых способов. И, вполне возможно, в этом могут помочь нейросети. Одну из них недавно обучили распознавать движения людей и переносить их на виртуальных персонажей. Подойдет для этого любое видео. Даже видео с YouTube.


За разработку отвечают ученые из Лаборатории исследований в области искусственного интеллекта Калифорнийского университета в Беркли (США) и Университета Британской Колумбии (Канада). Новый алгоритм получил название DeepMimic и был создан еще в начале 2018 года, но полноценная презентация состоялась лишь недавно в рамках конференции SIGGRAPH Asia 2018. Как утверждают авторы,

«Наш подход основан на глубоком анализе и оценке определенных поз и событий. Нейросети с глубоким машинным обучением могут проводить качественный анализ любых движений из общедоступных видеоисточников, таких как YouTube. Это имеет огромный потенциал для разработки инструментов для быстрого и простого создания анимации, лишь запросив видеозапись с желаемым поведением в интернете. Наш алгоритм способен изучить широкий спектр навыков, включая акробатику и боевые искусства.»

Сам алгоритм работает довольно просто: система «смотрит» видео, на котором выполняется определенное действие. Затем ролик разбивается покадрово и для каждого кадра создается трехмерная модель. После этого все модели «соединяются», а специальная подпрограмма следит за связками между ними и удаляет артефакты и сглаживает «рывки» анимации.

Оценить работу алгоритма вы можете на демонстрационном видео, доступном ниже. Но хочется добавить, что результат действительно получился впечатляющим, при условии того, что это, конечно, не заранее заготовленные видео, а рандомные ролики из интернета.

Обсудить новую технологию создания анимации и другие новости вы можете в нашем чате в Телеграм.

7 комментариев Оставить свой

  1. Реймонд Курдсвейлович

    Интересно на сколько это повлияет на прогресс робототехники с помощью такого навыка.

  2. Jeff

    Выглядит очень круто. Респект таким ученым.

  3. SERGZV

    Зелёная баба с зелёными сиськами!)))

  4. Vladimir8

    Одновременно круто и страшно. Страшно что таким образом можно легко заменить людей, скоро станем обычными статистами. Промоделировали тебя и твои движения разок и все - готова твоя матрица-аватар. Но вообще это зачет - можно игры клепать без лишних затрудений в виде motion-capture

    • Ystyr

      Vladimir8, Не заменить, а освободить от бессмысленной работы.
      Не забывайте, что всё это програмное обеспечение - работа людей.
      Всего лишь сотню лет назад 80%+ рынка труда были работы связанные с фермерством и агропромышленностью, это даже отложилось в языке: "работать" и "пахать", до сих пор, зачастую используются как синонимы.
      Всё нормально будет, все рабочие места будут либо инженерные, либо научно-исследовательские. И будет очень много рабочих мест. Безработных, кто не сможет приспособится, будет тоже много, по началу, потом устаканится. Эволюция, однако.

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.