Прорыв в индустрии: NVIDIA научила ИИ обрабатывать игровую графику

Компания NVIDIA на протяжении долгого времени остается настоящим «двигателем прогресса» в разработке графических решений. Ее видеокарты остаются до сих пор одними из самых лучших решений на рынке. Но до бесконечности «наращивать гигабайты видеопамяти» не получится и индустрии необходимы свежие идеи. И именно это готова дать миру NVIDIA со своей новой технологией, благодаря которой за обработку 3D-графики может осуществлять не графический процессор, а продвинутая система искусственного интеллекта.

Как сообщает пресс-служба компании, NVIDIA создала ИИ-алгоритм, который создает виртуальные объекты на основе реальных видеороликов, но в отличие от большинства похожих решений он работает не с отдельными кадрами, а со всем видеопотоком сразу. По словам компании,

«ИИ позволит разработчикам и художникам создавать новые интерактивные трехмерные виртуальные миры для автомобильной, игровой индустрии и для проектов в виртуальной реальности, просто обучаясь на видео из реального мира. Это снизит стоимость и время разработки. Нейронные сети, а в частности генеративные модели, изменят способ создания графики.»

Для демонстрации технологии исследовательская группа разработала простую гоночную игру на движке Unreal Engine 4, которая позволяет игрокам перемещаться по интерактивной среде, генерируемой искусственным интеллектом. Нейросеть оперирует высокоуровневыми описаниями сцен, например картами сегментации, которые описывают характеристику объектов, а также то, где они находятся. На основании этого ИИ «понимает», содержит ли определенная часть изображения автомобиль или здание, а также их границы и свойства. Затем сеть наполняет сцену деталями, которые узнала из исходных данных и ряда реальных видеороликов.

Для обучения ИИ разработчики использовали графические процессоры NVIDIA Tesla V100 с алгоритмом глубокого обучения cuDNN, а также несколько тысяч видео городских пейзажей для обучения системы. Помимо генерации виртуальных миров, ИИ может также создавать и анимировать 3D-модели людей.

«Способность смоделировать и воссоздавать динамику нашего мира в виртуальном пространстве имеет важное значение. Помимо чисто научных изысканий, обучение ИИ процессу генерации непрерывного визуального ряда имеет широкий спектр применения в робототехнике, компьютерной графике и так далее.»