Дивовижна нова гарнітура перетворює думки на мову для людей з вадами слуху

“У двох словах, – сказав Скотт Веллінгтон, – ми сподіваємося створити технологію, яка зможе сприймати вашу уявну мову – тобто, ви думаєте про слово або речення, не рухаючись і не розмовляючи взагалі – і переводити сигнали вашого мозку в синтезовану мову цього ж слова або речення”.

• Перспективні розробки
• Майбутнє світле, але керуйте очікуваннями

Це досить складна місія, але Веллінгтон, доктор філософії, дослідник Центру підзвітного, прозорого і відповідального штучного інтелекту Університету Бата, можливо, якраз впорається з цією роботою.

Протягом останніх кількох років, завдяки своїй попередній роботі в Единбурзькому університеті і стартапу під назвою SpeakUnique, Веллінгтон працював над амбітним, але потенційно переломним проектом: Створення персоналізованих синтетичних голосів для тих, хто має порушення мовлення або повністю втратив здатність говорити внаслідок нейродегенеративних захворювань, таких як хвороба мотонейронів (ХМН).

“Мета полягає в тому, щоб створити нову техніку, яка дозволить більш вільно спілкуватися, підтримуючи або, що ще краще, повністю замінюючи необхідність друкувати те, що ви хочете повідомити, використовуючи сигнал мозку, щоб зробити “друк” замість цього”.

Синтетичні голоси для людей з потенційно виснажливими станами, такими як розсіяний склероз, існують вже багато років. Відомо, що покійний фізик-теоретик Стівен Гокінг спілкувався за допомогою синтезованого комп’ютерного голосу, створеного для нього інженером Массачусетського технологічного інституту Деннісом Клаттом ще у 1984 році. Голосом, за замовчуванням чоловічим на ім’я “Ідеальний Пол”, можна було керувати за допомогою ручного клікера, який дозволяв йому вибирати слова з комп’ютера. Пізніше, коли Гокінг втратив можливість користуватися руками, він перейшов на систему, яка визначала рух його обличчя.

Робота Веллінгтона була б кроком вперед від цього. З одного боку, там, де існують записи або відповідні звукові фрагменти, він міг би зібрати воєдино синтетичний персоналізований голос, який звучав би так само, як людина, для якої він використовується. Крім того, цим голосом можна було б керувати повністю за допомогою думок користувача – і все це за допомогою скромної, комерційно доступної геймерської гарнітури.

Перспективні розробки

“У цій галузі вже були деякі багатообіцяючі розробки дослідників з усього світу, але всі вони використовували процес під назвою електрокортикографія, який вимагає краніотомії”, – сказав Веллінгтон.

Краніотомія, як він зазначає, є інвазивною операцією на головному мозку. Метою його роботи в Університеті Бата є досягнення ефекту “уявного розпізнавання мови”, але без необхідності для когось розрізати голову і встановлювати на ній датчики.

“Для людей, які втратили природне мовлення, однією з найбільших причин розчарування є неможливість донести свої думки до друзів та рідних з тією ж швидкістю та природністю, як це було раніше, – сказав він. “Наприклад, для людей на пізніх стадіях ДЦП технології відстеження руху очей можуть дозволити людям із серйозними порушеннями моторного контролю використовувати системи перетворення тексту в мовлення для спілкування зі швидкістю близько 10 слів на хвилину, і це за умови, що вони вільно володіють технологією. Ми з вами можемо вимовити 10 слів за кілька секунд. Ви можете зрозуміти, чому це одна з найбільших причин розчарування для людей з руховими порушеннями, які втратили мову”.

В установці Університету Бата ігрова гарнітура оснащена системою ЕЕГ (електроенцефалографії) для виявлення мозкових хвиль користувачів. Потім вони обробляються комп’ютером, який використовує нейронні мережі і глибоке навчання для ідентифікації мови користувача.

“Ми змогли перекласти ці уявні звуки з багатообіцяючим ступенем точності”.

“Мета полягає в тому, щоб створити нову техніку, яка дозволить більш вільно спілкуватися, підтримуючи або, що ще краще, повністю замінюючи необхідність друкувати те, що ви хочете повідомити, використовуючи сигнал мозку для “набору” замість цього”, – сказав Веллінгтон. “Завдяки останнім досягненням в галузі інженерії, машинного навчання і штучного інтелекту, я вважаю, що ми перебуваємо на тому етапі, щоб почати втілювати це в життя”.

Для тренування системи добровольці носили пристрій ЕЕГ, в той час як для них відтворювався запис їхньої власної мови. При цьому вони повинні були уявити, як вимовляють звук, а також озвучити його. Хоча було б точно описати систему як читання думок, вона все одно вимагала б від користувача мовчки вербалізувати слова, які він хотів сказати. (Плюсом цього є те, що немає ризику випадкового читання найпотаємніших думок користувача).

Майбутнє світле, але керуйте очікуваннями

Веллінгтон чітко дав зрозуміти, що він хоче “керувати очікуваннями”. Прийняти галасливий сигнал мозкових хвиль і спробувати вловити найважливіший сигнал, що міститься в ньому, дуже складно. Він порівняв це з телефонною розмовою з людиною, яка перебуває на вулиці під час сильного вітру – або навіть урагану. “Якщо вони кричать одне і те ж слово знову і знову, так, можливо, ви його почуєте”, – сказав він. “Але природне, повне речення? Мабуть, ні”.

Сподіваємось, це зміниться в міру того, як проект розвиватиметься і вони стануть краще витягувати інформацію з мозкового сигналу. Нові методи машинного навчання повинні розширити можливості ігрових гарнітур для кращого сприйняття природної мови. Одна з проблем, яка в кінцевому підсумку виявиться вартою уваги, полягає в тому, що дослідники хочуть переконатися, що будь-яке обладнання, яке вони використовують, є доступним, практичним і мобільним.

“[Поки що] нам вдалося досягти певних успіхів у декодуванні уявних звуків мови з сигналу мозку, – сказав Веллінгтон. Тобто, уявіть собі, що ви вимовляєте англійську мову фонетично, як це роблять діти в школі: “Ааа”, “бух”, “кух”, “дух”, “ех”, “гух” і так далі. Ми змогли перекласти ці уявні звуки з багатообіцяючим ступенем точності. Звичайно, це далеко не природна мова, але вже дозволяє створити інтерфейс “мозок-комп’ютер”, який може досить надійно перекладати невеликий “закритий” словниковий запас окремих слів. Наприклад, якщо ви захочете, щоб пристрій говорив з ваших думок слова “вгору”, “вниз”, “вліво”, “вправо”, “старт”, “стоп”, “назад”, “вперед”, [це буде можливо]”.

Веллінгтон зазначив, що він у захваті від таких розробок, як апаратне забезпечення Neuralink Ілона Маска, “мозковий чіп”, який можна імплантувати під череп, що може виявитися надзвичайно трансформаційним для роботи, подібної до цієї. “Як ви можете собі уявити, мене не полишало бажання дізнатися, чого ми могли б досягти, якби такий пристрій був імплантований над областями мозку, що обробляють мову і мовлення”, – сказав він. “Безумовно, на це дослідження чекає захоплююче майбутнє!”.

Робота була представлена на віртуальній конференції Interspeech наприкінці жовтня 2020 року.

Рекомендації редакції

• Нова гарнітура Razer Kraken V3 може викликати головний біль (в хорошому сенсі)
• Як Nintendo може використовувати штучний інтелект, щоб перенести 4K-ігри на Switch Pro
• Нова дика ігрова гарнітура сканує ваші мозкові хвилі, щоб знайти ваші слабкі місця
• Animal Crossing: Нові горизонти – ще більший хіт, ніж ви думали
• Facebook використовує Minecraft для навчання ШІ-помічників, по одному блоку за раз

• HBO Max
• Спеціальні можливості
• Що буде далі: Як технології допомагають суспільству відкритися після коронавірусу

Source: digitaltrends.com