Выпускник из Новосибирска обучил компьютер языку жестов

09 сентября 2019 г., 19:33

Выпускник Новосибирского государственного технического университета обучил систему переводить жесты на звуковой русский язык, а также смог управлять компьютером без помощи мыши.

Алексей Приходько – единственный глухой программист в мире, работает над созданием автоматического переводчика жестов на звуковой язык, сообщает ИА REGNUM. Первый прототип системы был завершен в начале августа.

По словам создателя, программа работает по принципу человеческого мозга: при помощи камеры распознается картинка и фиксируются жесты, далее изображение переводится в модели, обрабатывается, сопоставляется с данными нейронной сети, а уже после выводит на экран перевод.

– Я пошёл сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер, – отметил Алексей Приходько.

На данный момент прототип осуществляет перевод на уровне азбуки глухих. Автор планирует усовершенствовать систему, обучив ее другим компонентам грамматики РЖЯ.

Фото: pixabay.com