Система позволит упростить общение людей с ограничениями по слуху. В функционале также предусмотрено автоматическое озвучивание языка жестов и управление компьютером, без использования мыши.
Как сообщает пресс-служба НГТУ, основная функция программы — это перевод. Она работает по аналогии с мозгом человека – распознает картинку и фиксирует жесты, изображение переводится в модели и обрабатывается системой, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод. Помимо этого, система способна управлять компьютером. С помощью жестов можно настроить громкость и яркость экрана, управлять курсором без использования мыши.
«Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда на человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат — моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — пояснил создатель программы Алексей Приходько. Его слова приводит пресс-служба НГТУ.
По словам заведующей лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольги Вариновой, разработка станет необходима не только для глухих, но и для обучения будущих переводчиков РЖЯ.
«Сегодня есть острая нужда в таком переводчике. Словари с русского языка на русский жестовый есть, но с РЖЯ на русский — нет. Некоторые задания студенты выполняют с огромным трудом, если среди их знакомых нет глухих, которые бы могли проконсультировать и помочь. Поэтому мы так рассчитываем на разработку Алексея», — прокомментировала Ольга Варинова.
Создатель проекта – Алексей Приходько, выпускник Новосибирского государственного университета (НГТУ) НЭТИ. Он не слышит с рождения, поэтому и русский жестовый язык (РЖЯ) для него родной. Имея математические способности, недуг не помешал ему получить высшее образование, а также стать одним из успешных аспирантов университета и пройти стажировку в Германии. Среди остальных успехов юноши – выступление в роли спикера на IT-конференции в Мюнхене, победа на хакатоне федерального проекта «Россия — страна возможностей», получение гранта фонда Владимира Потанина.
WPBuild.Ru