Майбутнє доповненої реальності – за навушниками, а не окулярами

Роміт Рой Чоудхурі дуже любить слухати. Але не в цьому сенсі. Рой Чаудхурі, професор електротехніки і комп’ютерних наук в Університеті Іллінойсу в Урбана-Шампейн, твердо вірить в потенціал зміни парадигми того, що він називає навушниками (ні, не окулярами) для комп’ютерів.

• Навушники, що читають думки?
• Розвантаження для вух
• Закон Дормеля
• Обіцянка пристроїв, які можна носити

Це означає підключення до величезних можливостей апаратного і програмного забезпечення, яке працює за допомогою цих двох чудернацьких отворів для прослуховування з боків вашої голови. А для допомоги в розробці всього, від додатків для забезпечення конфіденційності і безпеки до інструментів медичної діагностики, орієнтованих на майбутнє доповненої реальності, він збирає команду експертів, які допомагають йому.

“Я можу використовувати практично будь-кого з комп’ютерних наук і електротехніки”, – сказав він в інтерв’ю Digital Trends. “Спектр проблем на моєму радарі величезний”.

• Як iPhone 14 Plus став одним з найбільших технологічних провалів 2022 року
• Як налаштувати новий телефон Samsung Galaxy як професіонал
• Фотографічні стилі – найбільш недооцінена функція камери iPhone 14, яку ви не використовуєте

Навушники – це вже величезний ринок. AirPods від Apple, лінійка бездротових навушників, продана в кількості 60 мільйонів одиниць тільки в 2019 році. У минулому році ця цифра, за оцінками, зросла до 85 мільйонів. Сьогодні багато компаній роблять розумні навушники, які пропонують активне шумозаглушення, розумних помічників зі штучним інтелектом і багато іншого.

За кілька десятиліть до AirPods, ще в 1980-х роках, з’явився Walkman, можливо, перша сучасна технологія, що носиться, яка дозволила користувачам брати музику з собою, куди б вони не пішли. Walkman давав користувачам можливість контролювати не лише те, що вони слухали (скажімо, гурт The Smiths), але й те, що вони не слухали (скажімо, своїх батьків), за допомогою пластикових навушників, які затикали їм вуха. Він дозволяв людям створювати і контролювати саундтрек до свого життя, даючи нам усім наші власні індивідуальні бульбашки сенсу. В той час як бумбокс дозволяв – або, в деяких випадках, змушував – інших слухати нашу музику, плеєр зробив прослуховування фундаментально особистим, ізольованим досвідом.

Але Рой Чоудхурі і його команда хочуть піти далі. Вони прагнуть перетворити сучасні навушники на абсолютно нову обчислювальну платформу, яка в деяких випадках може замінити необхідність тягнутись до смартфону чи комп’ютера. Якщо плеєр Walkman видавав кожному власну особисту звукову бульбашку, якою можна було насолоджуватися, йдучи вулицею, то в наш час більш розумних технологій і персоналізації, ті ж самі бульбашки можна було б використовувати новими, захоплюючими і – іноді – трохи дивними способами.

Навушники, що читають думки?

“Більша частина ринку натільних комп’ютерів зосереджена на пристроях, які носять на нижній частині тіла, в основному в кишенях або на зап’ястях, можливо, у взутті”, – сказав Рой Чоудхурі (Roy Choudhury). “Це означає, що ви відчуваєте нижню частину тіла, наприклад, що ви робите руками, зап’ястями, ногами. Але є багато інформації, яка генерується у верхній частині тіла, головним чином у голові – наприклад, слухання, говоріння, їжа, емоції на обличчі, потенційні підказки для медичної інформації – яка може бути безцінною. Святим Граалем, останньою межею цього, може бути навіть зондування сигналів мозку з близької відстані від голови”.

Ідея можливості не лише пасивно слухати навушник, а й розмовляти з ним, лежить в основі таких розумних помічників, як Siri. Але мова, яка використовується в сучасних ШІ-помічниках, навмисно неглибока. У порівнянні з картинкою (вартістю в тисячу слів), Siri найкраще справляється зі швидкими інформаційними потоками, такими як прогноз погоди або встановлення таймера на кухні. Але це приблизно межа. Ідея слухових обчислень полягає в тому, щоб знайти способи розвантажити деякі інші речі, для яких нам зараз доводиться витріщатися на екрани, і перекласти їх на (і в) наші вуха.

“На все, що ви робите на візуальному екрані, ви вкладаєте всю свою когнітивну увагу”, – сказав він. “Щоб читати – навіть якщо це дурний анекдот, який ви читаєте на екрані – ви не можете зосередитися на чомусь іншому. Читання забирає всю вашу когнітивну увагу. Я переконаний, що є багато таких речей, які не заслуговують на вашу повну когнітивну увагу. Ми можемо витягнути їх з візуальної сфери і перенести в невикористану і немонополізовану аудіальну сферу, де людський мозок, природно, дуже добре еволюціонував для мультиплексування такої аудіоінформації… Чому б не взяти ці прості речі і не перенести їх з вашого когнітивного, візуального когнітивного каналу в акустичну смугу пропускання?”.

Нещодавній експеримент, проведений командою, включав дослідження того, як ми можемо більш осмислено споживати текст у звуковій формі. Якщо ви читаєте статтю, ви можете побачити ключове слово, яке вас зацікавило, і почати читати з цього моменту. Однак, коли ви, наприклад, слухаєте подкаст, це не так просто зробити.

“Одна з речей, яку ми намагаємося зробити в нашій лабораторії, це [запитати], чи можу я прискорити прослуховування статті?”, – сказав Рой Чоудхурі.

Розвантаження для вух

Під час демонстрації концепції, яку проводить група, слухачеві одночасно зачитують декілька абзаців зі статті. Хитрість полягає у використанні обробки сигналу для того, щоб кожен абзац звучав так, ніби він надходить з іншого напрямку – це трохи схоже на те, якби ви сиділи в ресторані і вели чотири розмови, що відбуваються за сусідніми столиками, але долучалися до однієї, тому що за нею згадували знайому вам людину. Щоб покращити цю роботу, команда вбудувала інерційний блок вимірювання (IMU) в навушники, щоб користувач міг підняти певний голос (одну частину тексту), злегка повернувши голову в цьому напрямку.

“Я називаю цей проект “читанням в акустичній області”, коли я дивлюся на напрямок голосу третього абзацу, і цей голос стає голоснішим, а інші голоси як би приглушуються”, – сказав він.

Справа не лише у мовленні. Команда також виявила, що і мікрофон, і IMU в навушниках можна використовувати для вловлювання неймовірно тонких вібрацій на обличчі, таких крихітних, як цокотіння зубів або м’язів обличчя, коли людина хмуриться або посміхається. Ні, ви, напевно, не будете кидати свій смартфон, щоб передавати повідомлення азбукою Морзе зубами. Але ідея про те, що ці щохвилинні мімічні рухи, такі як зсув зубів з правого боку, можуть бути використані для виконання команд – або навіть для підтвердження особи при двофакторній автентифікації – безумовно, цікава.

“Всі знайомі з Siri, але уявіть, скільки потенційних застосувань можна було б відкрити для Siri, якби вона мала просторовий вимір, як чревовещатель, здатний перекидати свій голос”.

Це могло б додатково бути корисним для збору поздовжніх даних для таких речей, як медична діагностика. Наприклад, тривожні розлади можуть бути діагностовані за певними закономірностями, виявленими в русі зубів. Рой Чаудхурі також зазначив, що є дослідники, які працюють над такими проблемами, як вимірювання кровотоку через вуха для вимірювання частоти серцевих скорочень, рівня глюкози, м’язової активності тощо.

Хочете ще одне можливе застосування? Як щодо звукової доповненої реальності? Доповнена реальність наразі найбільш відома тим, що накладає комп’ютерні об’єкти на реальний світ. Але немає жодних причин, чому доповнення має відбуватися виключно у візуальному спектрі. Команда Роя Чоудхурі в захваті від перспективи використання технології обробки сигналів для накладання певних звуків на ландшафт, так що навігація в аеропорту, музеї або будь-якому іншому громадському просторі могла б включати в себе ходьбу на голос, який говорить “йди за мною”, який, здається, виходить з того напрямку, куди вам потрібно йти.

Усі знайомі з Siri, але уявіть собі, скільки потенційних застосувань можна було б відкрити для Siri, якби вона мала просторовий вимір, як чревовещатель, який здатен перекидати свій голос. Таке просторове доповнення могло б також допомогти поліпшити проведення великих віртуальних зустрічей, коли голос кожної людини буде прив’язаний до певного місця, що полегшить визначення того, хто говорить, і дасть змогу відразу визначити, хто саме говорить.

Звичайно, не все це стане реальністю. Це інженерна версія копірайтера, який малює ідеї для реклами. Багато з них можуть не потрапити в друк, але один-два приклади можуть бути дуже корисними.

Закон Дормеля

Це ще одна причина, чому Рой Чаудхурі так захоплений потенціалом подальшого розвитку слухових обчислень – і його шансами на успіх в реальному світі. Реакція суспільства диктує набагато більше про те, які технології приживуться, ніж хотілося б технологам. Нові технології, за визначенням, є новими. А нове може прирівнюватися до дивного. Якщо скористатися моїм власним формулюванням (назвемо його законом Дормеля, для нащадків), то корисність будь-якої нової технології повинна вдвічі компенсувати притаманну їй дурнуватість використання.

“Це проблема, тому що дуже мало технологій з’являються повністю сформованими”.

Персональний комп’ютер, який люди використовували вдома, міг дозволити собі мало користуватися протягом перших кількох років свого існування на ринку, тому що соціальна цінність його використання була дуже низькою. Ноутбук, який використовується в громадських місцях, мав дещо вищі ставки. Переносні пристрої, які особливо помітні через те, що їх носять на тілі, є більш помітно дивними, ніж більшість технологій. Технологічний пристрій, який буде прикріплений до голови, схожий на кібернетичний імплантат на боргівському безпілотнику, має бути блискучим і негайно корисним, якщо користувач збирається вважати його вартим того, щоб бути поміченим у суспільстві, де його носитимуть.

Це є проблемою, оскільки дуже мало технологій з’являються повністю сформованими. У більшості випадків перші кілька поколінь продукту будуються на помилкових обіцянках, перш ніж десь на третій ітерації з’являється більш переконлива пропозиція. Якщо дуже помітний продукт не приносить результатів з першого дня, його шанси на успіх у довгостроковій перспективі можуть бути зведені нанівець, навіть якщо він зрештою перетвориться на хороший продукт. Для старших шанувальників технологій, розглянемо портативний пристрій Apple Newton і його ранній досвід розпізнавання рукописного тексту. Для молодих шанувальників закон Дормеля може пояснити провал Google Glass, який супроводжувався величезною суспільною стигматизацією і засудженням і працював… майже нормально.

Навушники, як зазначив Рой Чоудхурі, – це інше. Які б баталії не точилися довкола них, вони вже більш-менш виграні. “Суспільство вже прийняло людей, які носять навушники”, – сказав він. “…У певному сенсі, це лише алгоритми, сенсори та апаратне забезпечення, яке зараз має бути модернізоване. Це лише технологічне вузьке місце, а не соціальне, психологічне вузьке місце”.

Обіцянка пристроїв, які можна носити

Той факт, що навушники були прийняті, знижує ставки і означає, що більше не потрібно очікувати негайного бінарного результату. Навіть якщо найвищі цілі, описані Роєм Чоудхурі, не будуть досягнуті протягом тривалого часу, поступове вдосконалення додасть корисності перевіреному форм-фактору.

“Високо висячі плоди – це такі речі, як “за жестами моїх зубів я можу виявити напади” або “за жестами мого обличчя я можу зрозуміти настрій людини, так що це стане чимось на зразок Fitbit для настрою”, – сказав він. “Але навіть якщо це не вдасться, це не завадить продуктовому конвеєру. Однак, якщо вони будуть успішними, це просто перетворить продукт на щось фантастичне”.

Потенціал слухових комп’ютерів, на думку Роя Чаудхурі, майже безмежний. “Я думаю, що дорога вперед виходить далеко за межі мови, – сказав він. “Я б сказав, що мова – це внутрішнє коло, яке лежить в основі [цієї технології]. За межами цієї взаємодії – це акустика в цілому. А за межами акустики – всілякі інші датчики і можливості. Якщо ви думаєте про те, як ми збираємося почати будувати цю платформу, то найпростіші плоди – це взаємодія на основі мови: “Постав таймер”, “Гей, Сірі, яка сьогодні погода?”. Але це може вийти далеко, далеко за рамки цього”.

Серед інших дослідників, які працюють над натільними комп’ютерами разом з Роєм Чоудхурі, – Чжіцзянь Ян, Ю-Лін Вей, Джей Пракаш і Зіюе Лі.

Рекомендації редакції

• Підступне оновлення iOS змусило мене знову зрадіти iPhone 14 Pro
• Щойно придбали новий iPhone? Ось 12 порад і підказок для його освоєння
• Apple може скасувати iPhone SE 4 в наступному році – і я радий
• Ця прихована функція iOS 16 перетворила мій iPhone в ідеальний гаджет для пошуку музики
• З Pixel 8 Google потрібно вирішити проблему з камерою, яка докучає

• HBO Max
• Спеціальні функції
• Що буде далі: Як технології допомагають суспільству знову відкритися після коронавируса

Source: digitaltrends.com