Выпускник Новосибирского государственного технического университета обучил систему переводить жесты на звуковой русский язык, а также смог управлять компьютером без помощи мыши.
Алексей Приходько – единственный глухой программист в мире, работает над созданием автоматического переводчика жестов на звуковой язык, сообщает ИА REGNUM. Первый прототип системы был завершен в начале августа.
По словам создателя, программа работает по принципу человеческого мозга: при помощи камеры распознается картинка и фиксируются жесты, далее изображение переводится в модели, обрабатывается, сопоставляется с данными нейронной сети, а уже после выводит на экран перевод.
– Я пошёл сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер, – отметил Алексей Приходько.
На данный момент прототип осуществляет перевод на уровне азбуки глухих. Автор планирует усовершенствовать систему, обучив ее другим компонентам грамматики РЖЯ.