Нейронная сеть Disney определяет реакцию зрителей на фильмы

26 Июля 2017 в 20:30, Сергей Грэй 5 325 просмотров 14

Киноиндустрия олицетворяет собой не только искусство и бизнес, но также неразрывно связана с наукой и техническим прогрессом. Зритель, конечно, по большей части не желает вдаваться в технические детали создания любимых картин и сериалов, а вот специалистов киностудий подобные вопросы заботят постоянно. Высокие технологии, помимо всего прочего, позволяют понять, насколько сильно тот или иной фильм пришёлся по вкусу аудитории. Компания Disney, например, создала для этих целей специально нейронную сеть.


Disney хочет максимально точно определить реакцию зрителя на свои художественные и анимационные фильмы, поэтому привлекла к работе над созданием нейронной сети специалистов из Калифорнийского технологического института и своего подразделения Disney Research. Созданная в итоге система была представлена на Конференции распознавания поведенческих паттернов, которая состоялась на днях на Гавайях. Методику выявления эмоциональной реакции на основе выражений лиц зрителей продемонстрировали на примере посетителей кинотеатра. Система в реальном времени определяла эмоциональное состояние каждого отдельного зрителя и вносила результаты в базу данных.

Для обучения нейронной сети исследователям пришлось наблюдать за битком набитыми кинозалами, в которых демонстрировались сотни художественных и анимационных фильмов студий Disney. Каждый зритель попадает в объектив камеры высокого разрешения со встроенным режимом ночной съёмки (сегодня такие используют во многих кинотеатрах для того, чтобы вовремя выявить пиратов или какие-либо другие нарушения регламента заведения). Нейронная сеть изучила примерно 16 миллионов выражений лиц, чтобы научиться отличать одно из них от другого.

По итогам обучения, системе необходимо около 10 минут для того, чтобы разогреться и привыкнуть к новым зрителям и их мимике, после чего она достаточно точно оценивает и документирует реакцию зала на фильм. При этом система не только умеет определять текущее эмоциональное состояние зрителя, но также способна предугадывать его последующие эмоции, включая, например, смех или просто улыбку. Пока ещё Disney до конца не уверена, как именно можно использовать полученную технологию. Но не исключено, что в будущем ей найдётся достойное применение в киноиндустрии. Пока же ознакомиться с результатами исследований можно на официальном сайте Disney Research.

Нейронная сеть Disney определяет реакцию зрителей на фильмы

14 комментариев

  1. r2d2u2

    я без окон и дверей
    заперт в голове своей
    ем что скажут и дадут
    в общем, не хозяин тут.

  2. amd212

    фотка +

  3. baa

    Интегральный показатель эмоций человеческого стада. Незаменим в политике и продажах.

  4. ElkTheSenior

    "Пока ещё Disney до конца не уверена, как именно можно использовать полученную технологию."

    Быть может собирать статистику реакций на определённые моменты в фильме/мультфильме, в последующем делая те в соответствии с нужной автору реакцией. Эдакий инструмент по контролю за резонансом, на основе которого авторы будут более осведомлены о том, что от них ждёт "большой зритель", то есть, подавляющее большинство наблюдателей. Если это комедия, то автору важна будет соответствующая реакция большинства, учитывая момент в сцене, и так, в зависимости от жанра.

    Проблема в том, что у зрителей могут быть совершенно отличные результаты по эмоциям, скажем, если те знают, что их снимают на камеру. В общем, статистика уместна лишь в тех случаях, где она ведётся сокрыто от наблюдателя, иначе это не статистика а хаотичный набор данных.

  5. Fotnstar

    Снимайте нормальный контент и никакая нейронная сеть нафиг не нужна будет.)

  6. Zarb

    Не совсем в тему конечно, но я видел одну интересную идею реализации интерактивного кино.
    Воплощение было довольно убого показано, да и вообще это было в аниме. Но сама идея, как по мне, просто отличная. В общем там по сюжету некая команда ояшей нарисовали аниме и сделали систему, которая на основе криков и движений зрителей, выбирала варианты развития сюжета. То есть зрителей предупреждали, типа: "кричите громче, что бы главгерой смог победить злодея!" Если зрители орали не достаточно громко, то герой погибал и получалась концовка фильма без хеппиэнда.
    Если развить идею, то можно на основе этой системы от дисней влиять на зрителя, заставляя принимать какие то решения, учавствовать в развитии сюжета.
    Я знаю, что такие эксперименты в кинотеатрах уже были, но там строилось на выборе путем голосования. На каждой сюжетной вилке просмотр останавливался, на экране предлагалось несколько вариантов и зрителям давалось время проголосовать со специальных пультов. Но не пошло, потому что во первых система не очень интересная получается, во вторых сложно для восприятия в третьих сложно в плане снять и укомплектовать все эти куски.
    В общем я надеюсь, что будущее за интерактивными киносеансами.

    • Zarb

      Zarb, особенно, если сложить все эти новые разработки, то вырисовывается просто футуристическая картинка!
      Нейросетевые программы для оценки эмоций зрителя, программы для изменения эмоций на лицах в видео "на лету", технология подмены речи с подменой движений губ (недавно статья была). Нейронные сети, которые смогут "на лету" корректировать изображение на экране, меняя слова и эмоции персонажей. В идеале работа всех этих и многих других наработок сможет "налету", плавно и не заметно для зрителя, менять сюжет фильма.
      Конечно это не будит хорошо работать, если люди просто придут с попкорном и будут сидеть и молча пялиться в экран... Но можно же сделать отдельные залы, как аймакс. Предупреждать зрителя, что в поворотных моментах надо реагировать. Может в первых фильмах подсвечивать или подсказывать, что "вот сейчас будит поворотный момент, нужно одобрение или несогласие с решением героя". А потом уже это будит само собой происходить. Для киноиндустрии это золотая жила. Сейчас зрителям даже аймакс приелся. А тут особо упоротые будут ходить на один и тот же сеанс по 10 раз, что бы попытаться посмотреть разные концовки и ветки сюжета. А не упоротые минимум по два раза в надежде сделать альтернативный сюжет.

  7. vyshny

    не будет ни кинотеатров, ни фильмов, ни актеров.. останутся "игры" с полным погружением, созданные фантазией самого пользователя, возможно интерактивно. но, узко направленные на интерес самого индивида. все катится к этому...

  8. Sulik

    Станет проще выделять разного рода инакомыслящих, которые реагируют на представленную зрителям сцену не соответствующим большинству образом... И вносить их в реестр автоматически.
    (отправлено из приложения Hi-News.ru)

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.