Разработан алгоритм распознавания звука путем анализа колебаний на видео

6 Августа 2014, Артем Батогов 8

Исследователи научились распознавать звук по колебаниям на видео

Компании Adobe и Microsoft совместно с исследователями из и Массачусетского технологического института разработали уникальный алгоритм, который способен распознать звуковые колебания, отраженные от предмета, снятого на видео.

Как мы знаем, звуковая волна способна распространяться в пространстве от источника, при этом передавая энергию колебания другому телу. Основываясь на этом, исследователи смогли распознать звук, воспроизводимый в комнате, по видео, на котором был запечатлен объект, принимающий колебания звука.


Во время эксперимента система смогла воспроизвести музыку, которая звучала в помещении, и при этом камера была направлена на комнатное растение.

Стоит отметить, что для регистрации колебаний необходимо использовать камеру, которая умеет снимать видео с частотой до 6000 кадров в секунду, сообщает newsoffice.mit.edu. Для распознавания звука алгоритм раскладывает видео на кадры и применяет специальные фильтры, которые могут довольно точно восстановить звуковые колебания.

Отметим, что возможность удаленного прослушивания применялась и ранее, но для ее реализации использовались лазерные установки. Однако у лазерной технологии есть свои недостатки. Например, отраженный луч лазера должен быть направлен точно на приемник сигнала, чего не всегда удается добиться.

Специалисты отмечают, что с помощью новой системы можно выделить звук и с роликов, снятых с частотой 60 кадров в секунду. Несмотря на то, что качество результата останется желать лучшего, такая возможность также является преимуществом по сравнению с лазерными устройствами прослушивания.

Данная технология сможет найти свое применение как в научной сфере, так и использоваться спецслужбами для прослушивания конфиденциальных разговоров.

На видео ниже продемонстрирована технология в действии.

Разработан алгоритм распознавания звука путем анализа колебаний на видео

8 комментариев Оставить свой

  1. rolife

    Интересно конечно, но мне кажется не рентабельно. Даже на камере с 6k fps звук оставляет желать лучшего. Ну и если подумать, то даже при таких результатах, все испытания проводились в помещении без какого либо ветра, что автоматически делает данную технологию непригодной для использования в «полевых» условиях.

  2. marshl940

    Это очень круто!! Правда посторонние вибрации и ветер будут мешать, но это круто, хочу эти звуки себе на звонокъ1

  3. RuslanFailovich

    Вы когда нибудь слышали о таком изобретении как "Сонар" , вот теперь смотрите, стоят вышки и посылают сигнал, отраженный сигнал поступает на приемник, зная скорость волны прорисовываем трехмерный контур, далее установив на определенном растоянии вышки получаем трехмерную картину происходящего в офлайне, т.е. перемещение людей, авто, все что происходит на улице. Оператор просто сидит и контролирует происходящее, хотите проверить? Устройте потасовку или драку, в течении минуты -двух приезжает оперативная группа. Проверено в городе Набережные Челны. С момента начала драки до приезда группы прошла минута, время около двух часов ночи, пустынный двор, камер наружного наблюдения не было ! ))) Отстают американцы!)))

    • storm X

      RuslanFailovich, То были Челны... А я в насквозь коррумпированной Москве, где даже пицца быстрее приедет чем ОМОН

  4. vacok

    Сделать фильтр который будет распознавать только те звуки которые необходимы будет несложно

  5. sergei.krutoi

    Нечто подобное уже давно было предложено повторить начинающим радиолюбителям. Чтобы прослушивать звуки в квартире, предлагалось использовать обмотку катушки эл. звонка в качестве микрофона в обычном совдеповском стационарном городском телефоне. Кстати, данная статья косвенным образом намекает или подсказывает на идеальный и совершенный аналоговый(!!!) способ звукозаписи при помощи света!

  6. vassa

    Эффективная дальность используемых остронаправленных микрофонов обычно не превышает 15—20 м. Реально же, в условиях городского шума, можно рассчитывать на расстояние порядка 5—6 м. Первые лазерные микрофоны с дальностью действия до 1000 м были приняты на вооружение американскими спецслужбами еще в 60-е годы.
    Новая технология распознавания звуковых колебаний теперь может предоставить возможность подслушивания даже со спутников-шпионов. Получая с орбиты телеинформацию можно не только разглядеть звездочки на генеральских погонах, но и послушать о чем болтают эти солдафоны по изменяющемуся спектру световой волны и яркости погона, колеблющегося под действием звуковых волн.

  7. array

    ИИ в фильме Eagle Eye так же подслушивал в одной из сцен )

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.