Разработан алгоритм распознавания звука путем анализа колебаний на видео

Компании Adobe и Microsoft совместно с исследователями из и Массачусетского технологического института разработали уникальный алгоритм, который способен распознать звуковые колебания, отраженные от предмета, снятого на видео.

Как мы знаем, звуковая волна способна распространяться в пространстве от источника, при этом передавая энергию колебания другому телу. Основываясь на этом, исследователи смогли распознать звук, воспроизводимый в комнате, по видео, на котором был запечатлен объект, принимающий колебания звука.

Во время эксперимента система смогла воспроизвести музыку, которая звучала в помещении, и при этом камера была направлена на комнатное растение.

Стоит отметить, что для регистрации колебаний необходимо использовать камеру, которая умеет снимать видео с частотой до 6000 кадров в секунду, сообщает newsoffice.mit.edu. Для распознавания звука алгоритм раскладывает видео на кадры и применяет специальные фильтры, которые могут довольно точно восстановить звуковые колебания.

Отметим, что возможность удаленного прослушивания применялась и ранее, но для ее реализации использовались лазерные установки. Однако у лазерной технологии есть свои недостатки. Например, отраженный луч лазера должен быть направлен точно на приемник сигнала, чего не всегда удается добиться.

Специалисты отмечают, что с помощью новой системы можно выделить звук и с роликов, снятых с частотой 60 кадров в секунду. Несмотря на то, что качество результата останется желать лучшего, такая возможность также является преимуществом по сравнению с лазерными устройствами прослушивания.

Данная технология сможет найти свое применение как в научной сфере, так и использоваться спецслужбами для прослушивания конфиденциальных разговоров.

На видео ниже продемонстрирована технология в действии.