Приложение Fingerspelling.xyz помогает выучить алфавит языка жестов

Творческая студия Hello Monday создала приложение, которое учит и корректирует положение рук в режиме реального времени, чтобы облегчить людям изучение алфавита языка жестов.

Hello Monday совместно с Американским обществом глухих детей разработала приложение Fingerspelling.xyz, которое работает в веб-браузере.

В отличие от популярного приложения для изучения языка Duolingo, Fingerspelling.xyz может оценивать попытки пользователя выучить слова в режиме реального времени.

Приложение использует веб-камеру человека для отслеживания движений его рук, когда он пытается выучить алфавит американского языка жестов (ASL), а алгоритм, обученный на изображениях правильных положений рук, анализирует их точность.

Игра “Пальцевая орфография” – это отличный способ познакомить людей с основами ASL в веселой и игровой форме”, – сказал партнер-учредитель Hello Monday Андерс Джессен.

По словам Джессена, технология, используемая в приложении, предлагает более увлекательный опыт обучения, чем традиционные методы изучения алфавита языка жестов – через чтение или просмотр видео.

“Игра использует передовую технологию распознавания рук, совмещенную с машинным обучением, чтобы дать вам обратную связь в реальном времени через веб-камеру за каждый знак и слово, которые вы произносите правильно”, – сказал Джессен.

“Забавно думать о том, как эта высококвалифицированная модель машинного обучения, на подготовку которой исследователи потратили бесчисленное количество часов, теперь делает обратное – она обучает нас и делает нас лучше в написании пальцев”.

В языке ASL пальцевое написание используется для обозначения существительных, или когда человек не знает знака для слова.

Приложение Fingerspelling.xyz, выполненное в фиолетовом и желто-масляном цвете, предлагает пользователю ряд слов, а также 3D-модель руки, показывающую положение, необходимое для написания каждой буквы.

Студия ориентирует приложение в первую очередь на родителей глухих детей, чтобы они могли стимулировать развитие своего ребенка, познакомив его с языком жестов на ранней стадии.

Она ссылается на статистику, согласно которой в США из каждой тысячи детей двое-трое рождаются глухими или слабослышащими, и 90 процентов из них рождаются у слышащих родителей.

Однако 72 процента семей не занимаются жестами со своими глухими детьми, и Hello Monday и Американское общество глухих детей надеются изменить эту ситуацию.

“Мы надеемся, что это может стать полезным для всех, кто хочет научиться певучести – и следующим шагом после этого будет прохождение курса по певучести/ASL”, – говорит Джессен.

Hello Monday – это творческая студия, специализирующаяся на цифровых продуктах и впечатлениях. Среди последних работ студии – разработка виртуальной выставки Summer Show для архитектурной школы Бартлетт в 2020 году.

В 2011 году глухая пара спроектировала свой дом в Токио таким образом, чтобы они могли подавать друг другу и своим детям знаки через стены. В доме почти сто маленьких окон.