NVIDIA научила нейросеть убирать лишний шум и надписи с фотографий

Группа специалистов из компании NVIDIA, Массачусетского технологитческого института, а также университета Аалто представили нейронную сеть, способную редактировать изображения и убирать с них лишний шум, а также различные надписи. О проделанной работе специалисты NVIDIA поделились в своем официальном блоге, но при этом исходный код алгоритма не стали выкладывать в открытый доступ.


Для создания нейросети специалисты использовали метод машинного обучения. На базе 50 различных испорченных фотографий, алгоритм научился убирать с изображений шумы, вызванные слабым освещением, цветовые шумы на старых снимках, а также избавляться от надписей, подписей и, возможно, даже копирайта, имеющегося на изображениях. Разработчики отмечают, что нейросети для эффективной работы не нужно видеть ту же самую, но чистую фотографию — достаточно лишь показать некачественные снимки.

Если показанный в апреле алгоритм NVIDIA демонстрировал возможность восстановления на чистых фотографиях с изображением лиц недостающих деталей, а также способность убирать с них лишние детали, то текущий алгоритм способен проводить всю работу на базе «поврежденных данных».

«Можно научить нейросеть восстанавливать части фотографии, чтобы алгоритм даже не видел ее исходное значение. При это не страдает производительность компьютера, как и не увеличивается время для обработки», — говорят разработчики.

Разработчики отмечают, что метод можно использовать не только при обработках художественных фотографий, но и для удаления шумов из снимков МРТ, других медицинских изображений, а также, при получении фотографий с всегда низким уровнем освещенности, например, при выполнении астрономических наблюдений.

15 комментариев Оставить свой

  1. Fotnstar

    Бог грузов на орбиту и автомобилей "Тесла" пообещал нано-трубу, свои батареи и своих инженеров, но власти Таиланда самостоятельно спасли детей. Думаю нужны "демократические" бомбы. Богов надо слушать и жить по их уставам.

  2. a-ft0r

    Получается, что в перспективе дорогая аппаратная поддержка будет и не нужна на смартфонах, достаточно 1-2 Мп, и программу NVIDIA. Только вряд ли понравится это производителям, им чем дороже и больше деталей тем выгодней.

  3. roma1141

    Все мимо! Никто из вас в цель не попал... Продолжаем попытки?

    • dimkacosmos

      roma1141, Нейросеть будет восстанавливать изображения с некачественных камер предполагаемых преступников?

      • reactos

        dimkacosmos, В будущем нейросеть будет восстанавливать изображения предполагаемых преступников, не только с некачественных камер, но и с некачественных рассказов очевидцев.

  4. malloc

    "Highly likely" (c)

  5. kamenevdn

    Поправьте что ли.. не 50 испорченных фотографий, а база из 50 тысяч изображений из набора ImageNet.

  6. SERGZV

    Ретропорно снова в моде?))

  7. deaddreams

    по сути это додумывание деталей, какую ценность это несет...?
    Допустим фото с места преступления и лицо человека размыто. Нейросеть додумает его черты лица, означает ли это что оно совпадет с оригиналом? Может оно там все в шрамах, или чел без глаза вообще? фоторобот будет ложным. Т.е. это изобретение несет сугубо художественную ценность, облегчая работу домохозяек по забиванию инстаграмма фотками еды. Теперь даже некачественные фотки еды станут качественными )

    • kamenevdn

      deaddreams, Вы статью читали? Там хоть где-то про размытые изображения говорилось? Речь про зашумление. Но размытые тоже скоро будут обрабатываться нейронками.
      Естественно у технологии будут ограничения при использовании. Более того, т.к. приведен пример с обработкой мед.снимков, то можно предположить, что точность там будет все-таки приемлемой.

  8. Konstantinas

    На всех примерах и видео, имеют дело с изначально, хорошими фото, которые были намеренно испорчены, а потом, типа, "р-р-раз" и все исправлено.
    Хотелось-бы увидеть действие СЕТИ, на реально, испорченных фото. При старой зернистой пленке, при скане тисненой бумаги или при массовых царапинах на бумаге. Эффект будет таким-же волшебным или не все так просто?

  9. array

    Тут как всегда не раскрыты детали алгоритма. Скорее всего речь опять идет о GAN сетях. Но интересно, фиксированный ли у них ввод. Если да (как у большинства сетей), то это значит, что эта сеть сможет обрабатывать фото только определенного разрешения и оно даже близко не HD. Если же нет, то скорее всего используется смесь GAN и RNN сетями и это уже очень интересно!

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.