Нейросеть NVIDIA может вернуть недостающие детали на фото

27 Апреля 2018 в 12:30, Владимир Кузнецов 7 845 просмотров 15

Для восстановления старых или испорченных фотографий зачастую тратится много времени и усилий, а каждый утраченный фрагмент восстанавливается вручную чуть ли не попиксельно. Но уже не первый год ведутся разработки автоматизированной системы, предназначенной для этих целей. И недавно команда инженеров NVIDIA представила нейросеть, способную как дорисовать утраченную деталь, так и убрать «лишнее» вроде водяных знаков. Более того, технология компании NVIDIA на данный момент не имеет аналогов в мире.


Алгоритм был разработан и представлен инженером Гуйлинь Лю. У нейросети NVIDIA сейчас есть конкурент в лице Adobe, которая работает над подобной технологией. Однако функционирует технология иначе. Создатели Photoshop используют ИИ, который в ходе обработки изображения «заимствует» контекстное отображение у соседних пикселей, а затем достраивает картину в соответствии с этим. Такой подход удобен не всегда, ведь отсутствующий фрагмент может содержать несколько цветов. Скажем, по краям он будет красным, а в центре – синим. Система видит лишь край объекта и на основании этого «заливает» все красным.

Алгоритм от NVIDIA работает по-другому. Он анализирует контекст не отдельной области, а всей картины в целом, определяя закономерности и взаимосвязь между объектами. Распознавая объект, нейросеть «предполагает», что могло находиться в отсутствующих местах, после чего «дорисовывает» все так, чтобы результат максимально вписался не только в цветовую гамму, но и в контекст оригинальной картины. На примере с синим и красным предметом алгоритм «посмотрит» на всю картину и, если увидит похожие фрагменты, постарается «дорисовать» недостающую область так, чтобы она была максимально похожа на оригинал.

Когда технология будет готова, ее использование позволит восстанавливать фотографии за пару минут. Но уже сейчас, как вы можете убедиться на видео, доступно ниже, ИИ неплохо справляется, «дорисовывая» глаза на портрете человека.

Нейросеть NVIDIA может вернуть недостающие детали на фото

15 комментариев

  1. Dopamine

    Да, неплохо глаза получились.) (отправлено из приложения Hi-News.ru)

  2. Spaceman

    Думаю это рекламный ход.Вдруг у нее бородавка или нет одного глаза?Да никто это не угадает по одной лишь фото

  3. KOKEP

    Очень круто!

  4. Desperad0s

    Что это за убожество:
    - один глаз зелёный, второй серый
    - глаза разного размера и формы (под левым глазом мешок больше, чем под правым)
    - один глаз накрашен, второй нет
    - правый висок как будто в пейнте вырезали
    - правая бровь несимметрична левой
    ИИ был пьян??

  5. array

    Ну прям уж нет аналогов. Это технология, на вскидку, основана на generative adversarial networks и auto encoders. Первая работа на тему GANs была написана в 2014 и уже в 2015 были опубликованы работы по постановлению патчей в изображениях.

  6. stan991

    Понятно дело что оно пока криво получается, но на то он и обучаемый ИИ чтобы делать в будущем лучше (отправлено из приложения Hi-News.ru)

  7. playtne

    народ а вы хоть видео смотрели ?

    • Sc-in

      playtne, Рендеринг. Наверное со словом обычный. Но глаза также различаются. Наверное ИИ от нвидии нравятся разные глаза.
      В видосе показано улучшение так сказать недостатков, а не восстановление утраченных деталей. Детали на фото как раз были другими. Поэтому, не понятно зачем его вообще в тему "восстановление утраченного" ввели.
      Тут именно улучшение. Это совсем другое.

      • Rodriguez

        Sc-in, Ну да... Тут мы, собственно, видим потенциал для облегчения работы фотографам, которые тратят уйму времени на устранение недостатков человеческого лица, используя при этом кучу различных инструментов. Теперь для этого необходимо вооружиться лишь ластиком))) Круто ведь!!! А глаза... Я думаю, их показали лишь для того, чтобы нормальные люди поняли насколько продвинута технология. И обращать тут внимание нужно, конечно же не на то, что ии глаза разного цвета рисует или размера, или ненакрашенные... А на то, что он вообще рисует именно глаза, а не колеса от грузовика или ладу калину...
        Поражают иногда всякие недоумки своими некомпетентными репликами. Лишь бы обосрать. (отправлено из приложения Hi-News.ru)

        • Sc-in

          Rodriguez, ***Круто ведь!!!
          было за десятилетия до 2010.
          Эти "успехи" не базе одной видеокарты, даже уровня Теслы, а нейросети. Примерно тоже может сделать плагин от фотошопа. Не говоря про профф.редакторы. Т.е. не восстановить утраченное, а улучшить, как это может быть выглядеть улучшенное. Речь не реалистичности, а фантазии.
          А представьте если надо восстановить карту местности, которую всякими БПФ не восстановить. А нарисует вместо путстыни - реку или пляж. С кактанием на лодочке. Ну может кому-то понравится.

          • array

            Sc-in, кстати такое тоже уже есть. главное преимущество нейронной сети в том, что она не копирует данные из обучающей выборке (как другие алгоритмы машинного обучения) и не применяет всегда один и тот же алгоритм (как в плагиах), а сама пытается найти путь генерировать реалистичные изображение путем проб и ошибок. можно провести аналогию с фантазией

            • Sc-in

              array, Единственное преимущество нейронной сети, в отличии от пользовательского подхода, бо'льшая база данных и конечно в многие порядки быстрая её обработка. К примеру этой темы, скорее всего используемая н.с. имела весьма посредственную базу. Или наоборот алгоритм улучшения или твикинга, а не реалистичности. Этот подход удобнее в прокшене рекламных компаний. Можно предположить проект ориентирован на этот рынок.

  8. Asmodeus55555

    Лёгким движением кисти Лиза Су превращается в Хуанга.

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.