Приложение Fingerspelling.xyz помогает людям выучить алфавит языка жестов

Творческая студия Hello Monday создала приложение, которое обучает и корректирует положение рук в режиме реального времени, чтобы облегчить людям изучение алфавита языка жестов.

Hello Monday совместно с Американским обществом глухих детей разработала приложение Fingerspelling.xyz, которое работает в веб-браузере.

Fingerspelling.xyz – это приложение, которое работает в веб-браузерах.

В отличие от популярного приложения для изучения языков Duolingo, Fingerspelling.xyz может оценивать попытки пользователя выучить слова в режиме реального времени.

Приложение использует веб-камеру человека для отслеживания движений его рук, когда он пытается набрать буквы алфавита американского языка жестов (ASL), а алгоритм, обученный на изображениях правильных положений рук, анализирует их точность.

Приложение дает инструкции по алфавиту языка жестов, адаптированные для пользователя.

Игра “Пальцевая орфография” – это отличный способ познакомить пользователя с основами ASL в веселой и игровой форме”, – сказал партнер-основатель Hello Monday Андерс Джессен.

По словам Джессена, технология, используемая в приложении, предлагает более увлекательный опыт обучения, чем традиционные методы изучения алфавита языка жестов – чтение или просмотр видео.

Приложение ориентировано на родителей глухих детей, которые вряд ли знают язык жестов.

“Игра использует передовую технологию распознавания рук, совмещенную с машинным обучением, чтобы дать вам обратную связь в реальном времени через веб-камеру за каждый знак и слово, которое вы произносите правильно”, – сказал Джессен.

“Забавно думать о том, что эта высококвалифицированная модель машинного обучения, на подготовку которой исследователи потратили бесчисленное количество часов, теперь делает обратное – обучает нас и делает нас лучше в написании пальцев”.

Для начала пользователям показывают слово, которое они будут учить произносить буква за буквой.

В ASL пальцевое написание используется для правильных существительных или когда человек не знает знака для слова.

На фиолетово-желтом интерфейсе Fingerspelling.xyz пользователю предлагается ряд слов, а также 3D-модель руки, показывающая положение, необходимое для написания каждой буквы.

Похожая история

Лирон Джино разрабатывает устройства Vibeat для глухих людей, чтобы они могли слушать музыку

Затем приложение анализирует попытки пользователя, дает обратную связь, пока он не добьется правильного выравнивания, а затем позволяет ему продвигаться по уровням.

Hello Monday обещает, что данные веб-камеры нигде не хранятся и не передаются.

Fingerspelling.xyz использует веб-камеру компьютера для отслеживания жестов пользователя.

Студия ориентирует приложение в первую очередь на родителей глухих детей, чтобы они могли стимулировать развитие своего ребенка, знакомя его с языком жестов на ранней стадии.

Она ссылается на статистику, согласно которой в США глухими или слабослышащими рождаются два-три ребенка из каждой тысячи, и 90 процентов из них рождаются у слышащих родителей.

3D-модель руки показывает правильную форму, которую пользователи пытаются повторить.

Однако 72 процента семей не занимаются жестами со своими глухими детьми, и Hello Monday и Американское общество глухих детей надеются изменить эту ситуацию.

“Мы надеемся, что это может стать полезным для всех, кто хочет научиться певучести – и следующим шагом после этого будет прохождение курса по певучести/ASL”, – сказал Джессен.

Алгоритм анализирует форму руки пользователя и направляет его на исправление ошибки

Hello Monday – это творческая студия, специализирующаяся на цифровых продуктах и впечатлениях. Среди последних работ студии – разработка виртуальной выставки Summer Show для архитектурной школы Бартлетт в 2020 году.

В 2011 году глухая пара спроектировала свой дом в Токио таким образом, чтобы они могли подавать друг другу и своим детям знаки через стены. Он покрыт почти сотней маленьких окон.