Дослідження Массачусетського технологічного інституту може зробити революцію в будівельній інженерії завдяки камері, яка “бачить” звук

Минулого літа команда дослідників з Массачусетського технологічного інституту, Microsoft і Adobe відкрила спосіб відтворення звуку шляхом аналізу мікроскопічних вібрацій в записаних відеоматеріалах. За останні кілька місяців кандидат наук з Массачусетського технологічного інституту Ейб Девіс і його команда вивели цей відеоалгоритм на інший рівень: передбачення того, як будуть рухатися об’єкти, повідомляє Mashable.

Стаття оновлена Крісом Палерміно 20.03.15: Технологія MIT має нові наслідки

У своєму виступі на TED Talk в понеділок у Ванкувері Девіс продемонстрував, як працює новий алгоритм, на беззвучному відео з кущем, який м’яко рухається під вітерцем. Перетворивши файл за допомогою нового програмного забезпечення у фото-відео файл, він клацнув і навів курсор на “нерухоме” зображення куща. Його миша створила реалістичний, віртуальний “вітер”, показуючи, як рухається кущ, коли на нього дме вітер.

Хоча ця технологія ще перебуває в стадії бета-версії, вона має безліч застосувань в таких галузях, як інженерія, транспорт і ігри. Одним із прикладів, який був запропонований, є використання алгоритму для визначення точних точок напруження в конструкції моста. Уявіть, якщо це може допомогти передбачити потенційні проблеми з рейками в поїздах, структурні проблеми в будівлях або наслідки того останнього удару, який ви нанесли в Tekken?

Оригінальна стаття від 8/5/14 від Дрю Пріндла

Немає звуку? Немає проблем. Команда дослідників з Массачусетського технологічного інституту, Microsoft і Adobe розробила алгоритм, який дозволяє їм реконструювати аудіосигнал навіть тоді, коли доступна тільки візуальна інформація. Використовуючи лише високошвидкісну камеру і спеціальний алгоритм обробки, команда змогла витягти аудіосигнали в кімнаті з відстані 15 футів через звуконепроникне скло.

Візуальний мікрофон: Пасивне відновлення звуку з відео

Яким чином? Ну, якщо розібратися, звукові хвилі – це просто крихітні збурення в повітрі. Тому, коли звукові хвилі вдаряються об щось делікатне – скажімо, об шматок фольги, пакет чіпсів або листя кімнатної рослини – вони змушують об’єкт злегка вібрувати. Це схоже на те, як вібрує дзеркало заднього виду, коли ваш приятель вмикає сабвуфер на своїй автомагнітолі, тільки в набагато більш дрібному масштабі. Хвилі, які виникають, коли ви просто розмовляєте, набагато слабші і, як правило, викликають більш дрібні вібрації. Неозброєним оком ці збурення практично непомітні – але за допомогою високошвидкісної фотографії команда змогла зафіксувати рухи розміром в десяті частки мікрометра, а потім використати цю інформацію, щоб вгадати і відновити аудіосигнал. Перегляньте відео, щоб побачити це в дії:

Наче це було недостатньо неймовірно, команда також продемонструвала варіацію алгоритму, який дозволяє їм витягувати звук зі звичайних відеоматеріалів зі швидкістю 60 кадрів на секунду. Взагалі кажучи, сенсори більшості цифрових камер призначені для сканування зображень горизонтально, по одному рядку за раз. Зазвичай це не є проблемою, але при зйомці об’єктів, що швидко рухаються, це іноді призводить до дивних візуальних артефактів. Команда змогла використати цю технологічну особливість, щоб витягнути інформацію про високочастотні вібрації об’єктів і знову ж таки використати цю інформацію для реконструкції придатного для використання (хоча і нечіткого) аудіосигналу. Він не такий чіткий, як аудіосигнал, знятий високошвидкісною камерою, але навіть при цьому сам факт, що така реконструкція можлива, вражає уяву.

Дослідники представлять свою роботу на конференції з комп’ютерної графіки Siggraph цього місяця. Дізнайтеся більше тут.

Рекомендації редакції

• Майбутній процесор Intel для ноутбуків може знищити навіть найкращі десктопні чіпи
• Звуки старої техніки збережені в рамках величезного аудіопроекту
• Ноутбук Framework офіційно сертифікований за стандартом Thunderbolt 4
• Можливо, ми тільки що бачили Meta Quest Pro, і він виглядає дуже витончено
• Наступна велика річ у науці вже у вашій кишені

Source: digitaltrends.com