FaceRig – точный захват мимики с помощью обычной веб-камеры

Сергей Грэй

Захват мимики человека и её перенос на виртуального персонажа является очень серьёзной проблемой среди специалистов по спецэффектам и разработчиков видеоигр. Похоже, что выход приложения FaceRig значительно облегчит жизнь начинающим режиссёрам и разработчикам.

FaceRig - захват мимики при помощи обычной веб-камеры

Способов перенесения мимики человека на 3D-персонажей кино и игр существует несколько. Первый и самый трудоёмкий способ – это снять человека на видео, а потом вручную практически покадрово перенести каждую его эмоцию и движение отдельных мышц на виртуального персонажа. В итоге может получиться как приемлемый результат, так и полная чепуха, очень далёкая от реалистичности. Этот способ применялся во множестве старых трёхмерных игр, и сейчас результаты этой методики смотрятся на экране, мягко говоря, нелепо.

Кадр из студии, где записывались сцены для игры Beyond: Two Souls

Второй способ, который сейчас активно применяют во многих кино и игровых студиях, заключается в приклеивании к лицу актёра специальных крошечных шариков-маркеров, окрашенных в яркий цвет. Во время исполнения той или иной сцены, актёра снимают под разными углами несколько камер. Движение шариков отслеживается в каждый момент времени и заносится в память компьютера. Позднее эти записи конвертируют в специальных приложениях и накладывают на 3D-лицо виртуального персонажа, который тут же начинает повторять мимику актёра, исполнившего его роль. Этой методикой пользуются, например, сотрудники французской студии Quantic Dreams, которые подарили нам игры Heavy Rain и Beyond: Two Souls. В последней игре датчиками пришлось обклеить голливудских актёров Элен Пейдж и Уиллема Дэфо, чтобы как можно точно изобразить их персонажей во время игрового процесса.

Существует разновидность второго способа захвата движений, которую использует режиссёр Джеймс Кэмерон. На актёра надевается шлем, к которому прикреплена камера, направленная на его лицо. Вместо шариков на лицо наносятся специальные цветные точки, а камера, благодаря небольшому расстоянию и высокой точности захвата движений, передаёт мимику куда более реалистично. Но этот способ одновременно является и самым дорогим в индустрии, и не каждый разработчик игр или начинающий режиссёр может себе такое позволить.

Кадр со съёмок "Аватара" и финальное изображение из фильма

Куда более доступным многим кажется набирающая обороты тенденция производить захват мимики актёров посредством доступных любому желающему средств. Некоторые уже приспособили под это дело сенсор Kinect, который является аксессуаром к игровой консоли Xbox 360. А некоторые пытаются добиться подобных результатов при помощи обычной веб-камеры, которая наверняка есть в каждом современном доме.
Именно эту цель перед собой поставили разработчики программного обеспечения из Румынии. В данный момент они уже тестируют рабочий билд приложения FaceRig, способного перенести эмоции и мимику человека на виртуального персонажа при помощи обычной веб-камеры. Пока приложение работает лишь с персонажами, которые были созданы самими разработчиками, но в самом ближайшем будущем они обещали ввести поддержку импортирования 3D-моделей из различных редакторов.

FaceRig – точный захват мимики с помощью обычной веб-камеры. Фото.

Подобная технология однозначно придётся по вкусу тысячам инди-разработчиков со всего мира, так как это наиболее дешёвый и весьма качественный способ захвата движений, с помощью которого можно оживить своих персонажей на экране. Создатели приложения видят применение своего детища не только в мире видеоигр. С помощью FaceRig пользователи, желающие остаться анонимными, смогут оживлять свои трёхмерные аватары в социальных сетях, сервисах вроде Skype и так далее.

В данный момент разработчики FaceRig собирают 120 000 долларов на заключительный этап разработки своего приложения. Вы тоже можете поучаствовать и поддержать их своим рублём. Всего за 5 долларов США вы получите ранний доступ к бета-версии приложения, которое станет полноценным после финального релиза.