The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

08.08.2014 12:56  Представлена техника воссоздания речи по вибрации предметов на видеозаписи

Группа исследователей из Массачусетского технологического института в сотрудничестве с Microsoft и Adobe, разработала технику воссоздания речи на основе анализа вибрации предметов в видеозаписи. Для воссоздания речи достаточно записи с частотой 60 кадров в секунду и наличия в кадре легко вибрирующих предметов, таких как упаковка от чипсов, стакан воды и даже листья комнатных растений.

Техника воссоздания речи по вибрации предметов не нова и активно используется спецслужбами для организации подслушивания в помещениях по вибрации оконного стекла или предметов. Но до сих пор для воплощения данной техники требовались специализированные высокочувствительные устройства, такие как лазерные микрофоны. Новый метод позволяет обойтись обычной видеокамерой с разрешением порядка 700x400.

Суть метода в том, что для того чтобы уловить колебания предмета в несколько микрометров, которые невозможно заметить через перемещение пикселей (изменение в 5/1000 пикселя), используется анализ изменения цвета отдельных пикселей граничных областей предметов. Камера не улавливает малые вибрации на уровне перемещения пикселей, но отражает их через аберрации цветового спектра. Изначально эксперименты проводились с использованием высокоскоростных камер, способных снимать с частотой 2-6 тысяч кадров в секунду, но по мере усовершенствования техники разработчики смогли обеспечить разбор речи и при съёмке обычной DSLR-камерой, выдающей 60 кадров в секунду.

Для доведения частоты выборки до значений, пригодных для анализа звуковых колебаний использовалась особенность вывода данных с сенсора цифровых камер. Данные с сенсора выдаются не одновременно, а построчно, те каждая следующая строка сканируется с небольшим запаздыванием, что позволяет рассматривать разные пиксели по вертикали как несущие полные данные об экспозиции в разные моменты времени.

Из пока не решённых ограничений отмечается необходимость съемки вибрирующего предмета крупным планом. Максимальное расстояние до камеры, с которого удалось обеспечить воссоздание приемлемого для разбора качества звука, составило 4 метра. В качестве возможного пути для обхода данного ограничения упоминается использование мощных линз для увеличения. Процесс анализа является достаточно ресурсоёмкой операцией и требует до двух часов вычислений и 32Гб ОЗУ на современном персональном компьютере для обработки одного кадра.



  1. Главная ссылка к новости (http://www.theguardian.com/tec...)
  2. OpenNews: Опубликован код для организации передачи данных между ноутбуками в ультразвуковом диапазоне
  3. OpenNews: Техника определения RSA-ключей через анализ изменения шума от компьютера
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: voice, video, ocr
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, A.Stahl (ok), 13:27, 08/08/2014 [ответить] [показать ветку] [···]    [к модератору]
  • +29 +/
    Где можно заказать чугунные цветы вместо предательских живых?
     
     
  • 2.2, commiethebeastie (ok), 13:29, 08/08/2014 [^] [ответить]    [к модератору]
  • +5 +/
    Бычий пузырь вместо стекла не забудь натянуть.
     
     
  • 3.20, Аноним (-), 15:07, 08/08/2014 [^] [ответить]    [к модератору]
  • +/
    Он еще хуже вибрировать будет.
     
     
  • 4.36, Pahanivo (ok), 19:18, 08/08/2014 [^] [ответить]    [к модератору]
  • +/
    > Он еще хуже вибрировать будет.

    ХМ. Думаю данную технологию легко заглушить ультразвуком не сильно большой мощности ...

     
     
  • 5.42, Anonym0uz (?), 01:20, 09/08/2014 [^] [ответить]     [к модератору]
  • +/
    Всё ещё проще Под глушилки на оконные стёкла 8212 используют маленькие вибры... весь текст скрыт [показать]
     
     
  • 6.46, Pahanivo (ok), 12:23, 09/08/2014 [^] [ответить]     [к модератору]  
  • +/
    Я конечно не специалист по анализу гармонических колебаний, но если вчитаться то... весь текст скрыт [показать]
     
     
  • 7.49, Аноним (-), 15:53, 09/08/2014 [^] [ответить]     [к модератору]  
  • +2 +/
    Ну, если переводчики не переврали, то идея как-раз в том, что анализируется не в... весь текст скрыт [показать]
     
     
  • 8.57, Pahanivo (ok), 07:33, 11/08/2014 [^] [ответить]     [к модератору]  
  • +/
    Ну это пожалуй хоть какое-то логическое объяснение , но все равно progressive... весь текст скрыт [показать]
     
  • 7.53, Аноним (-), 23:20, 10/08/2014 [^] [ответить]     [к модератору]  
  • –1 +/
    А там не надо весь спектр Достаточно амплитуду колебаний под действием типичных... весь текст скрыт [показать]
     
     
  • 8.58, Pahanivo (ok), 07:50, 11/08/2014 [^] [ответить]     [к модератору]  
  • +/
    вот я и спрашиваю, как имея частоту съема дискретизации В ДВА И БОЛЕЕ РАЗ МЕНЬ... весь текст скрыт [показать]
     
  • 2.3, Аноним (-), 13:30, 08/08/2014 [^] [ответить]    [к модератору]  
  • +/
    Пользуй кактусы, Люк. У них листьев.
     
     
  • 3.4, A.Stahl (ok), 13:34, 08/08/2014 [^] [ответить]    [к модератору]  
  • +2 +/
    Трезвая мысль. Можно убить сразу двух зайцев если найти ещё и вкусные кактусы:)
     
     
  • 4.44, Led (ok), 02:53, 09/08/2014 [^] [ответить]    [к модератору]  
  • +/
    > Трезвая мысль. Можно убить сразу двух зайцев если найти ещё и вкусные кактусы:)

    FAIL: "убитые зайцы" в кадре будут вибрировать не хуже фикуса.

     
  • 4.47, Центаврианин (?), 14:09, 09/08/2014 [^] [ответить]     [к модератору]  
  • +/
    Трёх зайцев Кактусы можно использовать ещё и для поглащения радиации и электром... весь текст скрыт [показать]
     
  • 3.6, Аноним (-), 13:36, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    хм, думал его убили, оказывается его кактусы захватили
     
     
  • 4.8, ASIC (ok), 13:44, 08/08/2014 [^] [ответить]    [к модератору]  
  • +/
    Прочитав коментарий ну просто настоение поднимаеся давно я така не смеялся ребята, особенно коментарий про "чугунные цветы" ну просто плакал. вот такой вот мотиватор. Спасибо.
     
     
  • 5.12, A.Stahl (ok), 14:05, 08/08/2014 [^] [ответить]    [к модератору]  
  • +/
    Приходи к нам на ЛОР -- гипервентиляция лёгких тебе обеспечена:)
     
     
  • 6.21, Аноним (-), 15:20, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    Облизывать модераторов это так весело.
     
     
  • 7.27, A.Stahl (ok), 15:49, 08/08/2014 [^] [ответить]    [к модератору]  
  • +4 +/
    Вот не надо сарказма. В любой бочке с мёдом есть ложка дёгтя. Вон на хабре ещё и друг друга облизывать надо...
     
     
  • 8.52, жестькаконаесть (?), 23:04, 10/08/2014 [^] [ответить]    [к модератору]  
  • +/
    > Вон на хабре ещё и друг друга облизывать надо...

    Ахтунг! Хабрасеки!

     
  • 8.54, Аноним (-), 23:23, 10/08/2014 [^] [ответить]     [к модератору]  
  • +/
    Может лор и бочка, но уж точно не с медом Ресурс на домене 3-го уровня - понятн... весь текст скрыт [показать]
     
  • 3.22, Аноним (-), 15:21, 08/08/2014 [^] [ответить]    [к модератору]  
  • +/
    Параноики плакали, кололись, но продолжали есть невибрирующие кактусы.
     
  • 2.11, Andrey Mitrofanov (?), 13:56, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    > Где можно заказать чугунные цветы вместо предательских живых?

    Благодарные наследники в оградке вокруг холмика установят.

     
  • 2.19, YetAnotherOnanym (ok), 15:06, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    > Где можно заказать чугунные цветы вместо предательских живых?

    В Донецке из рельсов выращивают чюгуниевые деревья. Попробуй там заказать.

     
     
  • 3.28, A.Stahl (ok), 15:53, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    На брезентовом поле?
     
     
  • 4.34, YetAnotherOnanym (ok), 17:18, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    Ну, можно по нему огуречную плеть пустить. На чорном чюгунии - серебристо-белый люминь.
     
     
  • 5.38, Аноним (-), 21:14, 08/08/2014 [^] [ответить]    [к модератору]  
  • –1 +/
    У нас тут место для передачи шифтовок ополчения чтоль?
     
     
  • 6.40, anonymous (??), 23:34, 08/08/2014 [^] [ответить]    [к модератору]  
  • +3 +/
    > У нас тут место для передачи шифтовок ополчения чтоль?

    Цоя надо было слушать =)

     
  • 6.48, YetAnotherOnanym (ok), 15:38, 09/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    Шифровка - это когда Бертрам Вустер шлёт Дэлии Трэверс телеграмму о невозможности возвращения серебряной коровы.
     
  • 2.32, Аноним (-), 17:02, 08/08/2014 [^] [ответить]    [к модератору]  
  • –1 +/
    это не поможет. С помощью лазерного луча можно снимать звух со стекол. А видео заюзать для этого никогда не получится нормально, слишком низкая точность
     
  • 1.5, AndrewR (?), 13:34, 08/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Там в  первой  строчке ещё  и  Микрософт с  Адобе ..."Researchers at MIT, Microsoft, and Adobe have developed an algorithm  ... "
     
     
  • 2.7, Аноним (-), 13:43, 08/08/2014 [^] [ответить]    [к модератору]  
  • +/
    > Microsoft

    Как же без них-то ...

     
     
  • 3.29, Аноним (-), 16:06, 08/08/2014 [^] [ответить]    [к модератору]  
  • +/
    > Как же без них-то ...

    Ну так все правильно: проприерасы и лохи-подстилки из универов, которых проприерасы окучивают.

     
  • 2.23, cmp (ok), 15:29, 08/08/2014 [^] [ответить]    [к модератору]  
  • +2 +/
    > Массачусетского технологического института Microsoft

    3 раза перечитал, думал мс мит купил, поставьте запятую пожалуйста, глаза режет.

     
     
  • 3.30, Аноним (-), 16:07, 08/08/2014 [^] [ответить]     [к модератору]  
  • +/
    MS не купил, но пасется, рассматривая всяких MIT и Berkeley в качестве бесплатно... весь текст скрыт [показать]
     
  • 1.9, Аноним (9), 13:45, 08/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Мне сразу вспомнился фильм "На крючке". Там тоже искусственный интеллект распознавал речь по вибрации.
     
     
  • 2.10, Аноним (9), 13:48, 08/08/2014 [^] [ответить]    [к модератору]  
  • +/
    На 1:23 http://kinogo.net/1082-na-kryuchke-2008.html
     
     
  • 3.13, Нанобот (ok), 14:24, 08/08/2014 [^] [ответить]    [к модератору]  
  • +2 +/
    не исключено, что они решили заняться этим исследованием как раз после просмотра фильма
     
  • 1.16, Rfhnbyrfrfhnbyrf (?), 14:43, 08/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Можно ли скачать алгоритм?
     
     
  • 2.17, Аноним (-), 15:01, 08/08/2014 [^] [ответить]    [к модератору]  
  • +/
    После добровольного пожертвования голым и голодным разработчикам.
     
  • 1.18, Аноним (-), 15:02, 08/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    1 кадр / 2 часа = 60 кадров(1 сек)/120 часов ?
    1 минута - 300 дней. мда...
     
     
  • 2.25, анонимный (?), 15:38, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    300дней поделить на 2000 нод кластера - окажется что за 3/20 дня все будет готово...
     
  • 1.26, Аноним (-), 15:48, 08/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • –3 +/
    Наши подбную технологию умудрились ещё в 30-е в посольство СШП внедрить...
     
     
  • 2.31, Аноним (-), 16:09, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    > Наши подбную технологию умудрились ещё в 30-е в посольство СШП внедрить...

    Там скорее всего было все проще, если вы про подслушивание по вибрации стекол.

     
  • 2.35, Demo (??), 17:46, 08/08/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    > Наши подбную технологию умудрились ещё в 30-е в посольство  CШП

    "…В Дeнь нeзавиcимocти, 4 июля 1945 гoда, aмepиканcкий пoсол в Рoссии Авeрeлл Гaрриман пoлучил в пoдaрок от сoвeтcких пиoнeров деревянное панно с изображением орла. Панно повесили в рабочем кабинете посла. ... из дома напротив на окно кабинета направлялся невидимый луч, а мембрана, колебавшаяся в такт речи, отражала его назад, и он записывался на специальное устройство."

    Изобретатель с русской фамилией Лев Термен. :)

     
     
  • 3.45, fiziologus (?), 05:15, 09/08/2014 [^] [ответить]    [к модератору]  
  • +/
    Вообще то лазером там не пахло (не было их ещё). Работало всё на том же принципе, что и терменвокс. Америкосы потом ещё долго гадали как это thingh их слушала.
     
     
  • 4.55, Аноним (-), 23:25, 10/08/2014 [^] [ответить]    [к модератору]  
  • +/
    > Вообще то лазером там не пахло

    А где он про лазеры что-то сказал?

     
  • 1.37, Фома Неберущий. (?), 20:54, 08/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    > но по мере усовершенствования техники разработчики смогли обеспечить разбор речи и
    > при съёмке обычной DSLR-камерой, выдающей 60 кадров в секунду.

    Какой-то пиндеж (от авторов или в переводе).  При частоте дискретизации в 60 герц ничего кроме бубнения вытащить невозможно. Ну и угадать пол и интонации еще может быть ...

     
     
  • 2.39, Ordu (ok), 22:17, 08/08/2014 [^] [ответить]    [к модератору]  
  • +2 +/
    Ну, во-первых, 60 кадров/сек -- это не частота дискретизации, поскольку разные пиксели в разные моменты времени засвечиваются. Во-вторых, на самом деле при 60 fps: "it may still be good enough to identify the gender of a speaker in a room; the number of speakers; and even, given accurate enough information about the acoustic properties of speakers’ voices, their identities." Впрочем исследование не сводилось к 60 fps, 60 fps, видимо, это тот минимум, на котором хоть какую-то информацию удаётся извлечь.
     
  • 1.41, Фома Неберущий. (?), 00:17, 09/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    >Ну, во-первых, 60 кадров/сек -- это не частота дискретизации, поскольку разные пиксели в разные моменты времени засвечиваются.

    Со светочувствительной матрицы они считываются тоже в разное время или как?
    >Впрочем исследование не сводилось к 60 fps, 60 fps, видимо, это тот минимум, на котором хоть какую-то информацию удаётся извлечь.

    Ну про "хоть какую-то" инфу я и не спорю.

     
     
  • 2.43, Ordu (ok), 01:31, 09/08/2014 [^] [ответить]     [к модератору]  
  • +2 +/
    Эмм Если более подробно этот вопрос рассматривать, то следует признать, что м... весь текст скрыт [показать]
     
  • 1.50, arisu (ok), 20:31, 09/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    опять в открытые двери с грохотом вламываются…
     
  • 1.51, StainlessRat (??), 15:09, 10/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    1800 год. Группа исследователей разработала технику воссоздания написания письма по скрипу пера о бумагу :)

    Шутка конечно, но новость интересная :)
    Про лампочку с микрофоном читал давно, но это качественно новый уровень :)

     
     
  • 2.56, Anonizmus (?), 02:49, 11/08/2014 [^] [ответить]    [к модератору]  
  • –1 +/
    >Про лампочку с микрофоном читал давно, но это качественно новый уровень :)

    Только когда ширпотребовские вебкамеры смогут выдавать 60 fps даже при хреновом освещении. Интересно кстати когда? В десять лет уложатся, или таки в пятилетку?.. Как раз и технологию доработают. [b]"Как страшно жить" (c)[/b]

     
     
  • 3.59, Ordu (ok), 13:35, 11/08/2014 [^] [ответить]    [к модератору]  
  • +/
    > Только когда ширпотребовские вебкамеры смогут выдавать 60 fps даже при хреновом освещении.

    Или когда технологии распознавания речи шагнут дальше, и опередят по своим возможностям способности человеческого уха. Не факт, конечно, что они справятся с 25 fps, но... Но если глянуть с той точки зрения, что на 25 fps возможно читать по губам, то есть ненулевая вероятность, что в вибрациях кактуса заснятых на 25 fps тоже достаточно информации.

     
  • 1.60, онаним (?), 21:42, 19/08/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    >Про лампочку с микрофоном читал давно,

    Что-то не могу поиском ничего найти. Можно в двух словах, или ссылку?

     
     
  • 2.61, Александр (??), 13:48, 28/10/2014 [^] [ответить]    [к модератору]  
  • +/
    Блин как же я люблю этот сериал http://serial-online.biz/serial_watch/361-smotret-online-hodyachie-mertvecy-5 про ходячих мертвецов. Смотрю каждую серию с великим удовольствием. Мое мнение, что это один из лучших сериалов за последние пять лет. Не знаю как Вам, но мне очень нравится и игра актеров и постановка. Жду Ваших комментов.


     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor