Новые технологии в общении с глухонемыми

Новые технологии не всегда используются в той области, для которой они были разработаны.
Так сенсор Kinect, созданный для управления персонажами компьютерных игр, используется в нескольких совершенно неигровых областях. С помощью него отслеживают движение, он используется как 3d-сканер. И он безусловно поможет перевести язык жестов глухого человека.

Первый удачный эксперимент автоматического распознавания языка жестов компьютерной программой с помощью сенсора Kinect произвел в 2012 году испаноговорящий программист Даниэл Мартинес Капилла.

С тех пор наука сделал довольно большой шаг вперед. Теперь переводчики не только разбирают язык жестов, но и правильно выстраивают переведенные предложения.

Исследовательская группа Китайской Академии Наук использовала Microsoft Kinect в разработанной ею системе перевода с языка жестов глухонемых людей. Работа проходила в сотрудничестве с азиатским подразделением компании Microsoft.

- Мы надеемся, что в скором времени сможем получить инструмент, который расширит границы ежедневного общения между глухими, слабослышащими и обычными людьми, - сказал Губин Ву, сотрудник Microsoft Research Asia в своем блоге.

Исследователи отмечают - главной трудностью перевода является то, что язык жестов не является калькой с разговорного языка. У него своя собственная структура фраз и грамматика. Для неслышащих с детства людей обычная речь, переведенная пословно, похожа на совершенно чужой язык. 

Но несмотря на всё это исследователи получили рабочую версию программы, распознающую жесты и переводящую их в правильные предложения.

В другой точке земли той же проблемой занимается иная, на этот раз шотландская фирма Technabling. Хотя разработка переводчика этой компании также начиналась с использования Kinect - сегодня программное обеспечение, написанное для проекта, позволяет использовать любую цифровую web-камеру. Еще одним важным отличием от прошлого проекта является то, что  данный переводчик двухнаправлен - он переводит речь в язык жестов, отображаемых на экране, и язык жестов в английскую речь, помогая обоим участникам диалога. Программное обеспечение, написанное компанией, помогает двум людям общаться между собой через интернет, при этом глухому с рождения человеку достаточно говорить жестами и он может даже не уметь читать текст.

Оба проекта почти завершены, и уже до конца года ожидается появление первых автоматизированных программ-переводчиков на основе Microsoft Kinect в розничной продаже.