Система розпізнавання жестів може перекладати мову жестів у текст – і назад

Інструменти голосового диктування, можливо, і не є новиною з точки зору технологій, але не всі можуть повною мірою скористатися їхніми перевагами. Для глухих людей, які використовують жестову мову як основний засіб спілкування, доступні варіанти набагато більш обмежені. Це ще більше розчаровує, якщо врахувати проблеми, з якими може зіткнутися людина, яка намагається спілкуватися з людьми, які не володіють мовою жестів.

Однак, стартап з Далласу має намір виправити цю ситуацію. Команда під назвою KinTrans розробила інтелектуальну технологію, здатну перекладати мову жестів у голос і текст, а також автоматично перетворювати голос на текст або мову жестів.

Результати дозволяють людям з вадами слуху та зору спілкуватися разом на своїх мовах ефективно, без зусиль та миттєво.

• Тепер ви можете придбати EVGA RTX 3090 Ti за ціною нижче MSRP
• Тепер ви можете використовувати музику покемонів у своїх відео на YouTube
• Apple приєдналася до Google, дозволивши альтернативні платіжні системи для магазинів додатків в Південній Кореї

“Що робить цю технологію захоплюючою, так це можливість відкривати розмови між підписантами і спікерами на ринку, на робочому місці, в школах, закладах охорони здоров’я та громадських центрах”, – сказала Кетрін Бентлі, співзасновник і директор з розвитку бізнесу в KinTrans, в інтерв’ю Digital Trends. “Традиційно спілкування в таких умовах було складним; для цього потрібні друзі або члени сім’ї, які перекладають жестами, або професійні перекладачі на місці або за його межами за допомогою відеозв’язку, і навіть за допомогою ручки та паперу. Жодна з цих залежностей не може бути масштабована – до того ж їм бракує приватності та незалежності для того, хто підписує”.

Технологія KinTrans базується на 3D-камері, яка відстежує рух рук і тіла сурдоперекладача, коли він вимовляє слова. За запитом вона може перекласти підписані слова на письмову англійську мову (або, наразі, арабську, хоча в майбутньому з’являться й інші мови). Крім того, голос може бути перекладений на жестові слова, що передаються анімованим аватаром на екрані. За словами творців, система вже здатна розпізнавати тисячі слів за допомогою жестів з точністю близько 98 відсотків.

Наразі, за словами представників Bentley, розгорнута бета-версія системи, яка використовується в різних сферах обслуговування і торгових точках. Вона доступна як на американській мові жестів, так і на мові жестів Арабського союзу.

“У міру зростання KinTrans будуть розроблятися інші способи використання і додатки, щоб він став стандартною комунікаційною платформою для людей з вадами слуху, яка приймає мільйони розмов в різних громадських і приватних установах, онлайн і офлайн”, – сказала вона.

Рекомендації редакції

• Цей моторошний додаток для Mac може записувати кожну мить вашого життя в інтернеті
• Нова функція профілю домашнього улюбленця в Ring

Source: digitaltrends.com