FaceRig – точный захват мимики с помощью обычной веб-камеры

43 185 просмотров
Об авторе

FaceRig - захват мимики при помощи обычной веб-камеры

Захват мимики человека и её перенос на виртуального персонажа является очень серьёзной проблемой среди специалистов по спецэффектам и разработчиков видеоигр. Похоже, что выход приложения FaceRig значительно облегчит жизнь начинающим режиссёрам и разработчикам.

Способов перенесения мимики человека на 3D-персонажей кино и игр существует несколько. Первый и самый трудоёмкий способ – это снять человека на видео, а потом вручную практически покадрово перенести каждую его эмоцию и движение отдельных мышц на виртуального персонажа. В итоге может получиться как приемлемый результат, так и полная чепуха, очень далёкая от реалистичности. Этот способ применялся во множестве старых трёхмерных игр, и сейчас результаты этой методики смотрятся на экране, мягко говоря, нелепо.

Кадр из студии, где записывались сцены для игры Beyond: Two Souls

Второй способ, который сейчас активно применяют во многих кино и игровых студиях, заключается в приклеивании к лицу актёра специальных крошечных шариков-маркеров, окрашенных в яркий цвет. Во время исполнения той или иной сцены, актёра снимают под разными углами несколько камер. Движение шариков отслеживается в каждый момент времени и заносится в память компьютера. Позднее эти записи конвертируют в специальных приложениях и накладывают на 3D-лицо виртуального персонажа, который тут же начинает повторять мимику актёра, исполнившего его роль. Этой методикой пользуются, например, сотрудники французской студии Quantic Dreams, которые подарили нам игры Heavy Rain и Beyond: Two Souls. В последней игре датчиками пришлось обклеить голливудских актёров Элен Пейдж и Уиллема Дэфо, чтобы как можно точно изобразить их персонажей во время игрового процесса.

Существует разновидность второго способа захвата движений, которую использует режиссёр Джеймс Кэмерон. На актёра надевается шлем, к которому прикреплена камера, направленная на его лицо. Вместо шариков на лицо наносятся специальные цветные точки, а камера, благодаря небольшому расстоянию и высокой точности захвата движений, передаёт мимику куда более реалистично. Но этот способ одновременно является и самым дорогим в индустрии, и не каждый разработчик игр или начинающий режиссёр может себе такое позволить.

Кадр со съёмок "Аватара" и финальное изображение из фильма

Куда более доступным многим кажется набирающая обороты тенденция производить захват мимики актёров посредством доступных любому желающему средств. Некоторые уже приспособили под это дело сенсор Kinect, который является аксессуаром к игровой консоли Xbox 360. А некоторые пытаются добиться подобных результатов при помощи обычной веб-камеры, которая наверняка есть в каждом современном доме.
Именно эту цель перед собой поставили разработчики программного обеспечения из Румынии. В данный момент они уже тестируют рабочий билд приложения FaceRig, способного перенести эмоции и мимику человека на виртуального персонажа при помощи обычной веб-камеры. Пока приложение работает лишь с персонажами, которые были созданы самими разработчиками, но в самом ближайшем будущем они обещали ввести поддержку импортирования 3D-моделей из различных редакторов.

Подобная технология однозначно придётся по вкусу тысячам инди-разработчиков со всего мира, так как это наиболее дешёвый и весьма качественный способ захвата движений, с помощью которого можно оживить своих персонажей на экране. Создатели приложения видят применение своего детища не только в мире видеоигр. С помощью FaceRig пользователи, желающие остаться анонимными, смогут оживлять свои трёхмерные аватары в социальных сетях, сервисах вроде Skype и так далее.

В данный момент разработчики FaceRig собирают 120 000 долларов на заключительный этап разработки своего приложения. Вы тоже можете поучаствовать и поддержать их своим рублём. Всего за 5 долларов США вы получите ранний доступ к бета-версии приложения, которое станет полноценным после финального релиза.

FaceRig – точный захват мимики с помощью обычной веб-камеры

Приложение
Hi-News.ru

Новости высоких технологий в приложении для iOS и Android.

17 комментариев

  1. Oozetool

    Крайне забавно эта технология смотрелась бы в ммо)) когда твой персонаж хмурится, улыбается, качает головой или же шевелит губами во время разговора)) (отправлено из iOS приложения Hi-News.ru)

    • Сергей Грэй

      О возможности использовать данное приложение в ммо-проектах разработчики тоже упоминали )) (отправлено из iOS приложения Hi-News.ru)

      • Tooboo

        и такой ММО должна стать Everquest Next. Разработчики планируют передавать мимику и эмоции вашего персонажа с помощью веб-камеры

  2. cats.can.fly

    Классная штука, надеюсь не будет требовать мега комп.
    В видеочате самое то. Включаешь такой Skype, а там Аццкий Сотона, ну или милашка тануки. )))

  3. oliegh93

    Режиссер Джеймс Кэмерон?

    • Сергей Грэй

      Конечно Джеймс. Я задумался и неправильное имя написал. Бывает у меня такое (( спасибо за замечание! (отправлено из iOS приложения Hi-News.ru)

  4. H2

    В прошлом году эту технологию уже демонстрировали Японцы. -_-
    Так же используя "3D аватары".

    • Сергей Грэй

      Да. Они обещали внедрить ее в консоли Playstation vita , но дальше демонстрации дело так и не продвинулось. А тут уже рабочая прога. (отправлено из iOS приложения Hi-News.ru)

      • H2

        Если эта рабочая программа, тогда и та тоже. На данный момент не Miku Miku mimik ver 3.6 не данную программу(FaceRig) не купить или не найти в сети. А то что на нее средства собирают не гарантирует того, что она появиться раньше ее аналога.
        Насколько помню еще и Maicrosoft собирается в Скайп ввести подобную технологию(но вот где это слышал/прочитал уже не помню).

  5. pizzantr0p

    Так можно будет это прогу сейчас прямо после оплаты в скайпе использовать? На сайте пишут только про покупку лицензии (отправлено из Android приложения Hi-News.ru)

    • Uki.Nagato

      Можно сразу. Более того уже есть интеграция в гугл гасс : глас автоматом присваивает прикольные авы всем окружающим, к примеру всех жирных телок можно заменить на моделей, звёзд кино или порно звезд.

  6. evgeny

    Класс! (отправлено из iOS приложения Hi-News.ru)

  7. edit_basic

    Будет ли поддержка ондроед? (отправлено из Android приложения Hi-News.ru)

  8. Koko9054

    как начать играть

  9. Koko9054

    ?

  10. Koko9054

    помогите я очень хочу поиграть скажите как начать

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.