Грант РФФИ 19-57-45006 Гибридное глубокое обучение для распознавания индо-русского языка жестов

Аннотация проекта

Разработка методов распознавания жестовых языков глухих в любой стране мира является важной социальной задачей, способствующей поддержке коммуникаций между глухими и слышащими. Данная задача не может считаться решенной, так как качество распознавания даже одноручных и двуручных жестов глухих составляет менее 80%. Если рассматривать распознавание собственно жестовой речи, то успехи здесь еще скромнее. В настоящее время господствующим подходом к задаче распознавания жестов является применение сетей глубокого обучения, в частности сверточных нейронных сетей и алгоритма LSTM (long short term memory). Но они позволяют работать только с отдельными жестами, игнорируя движения-эпентеза и немануальных компонент жеста, что отрицательно сказывается на распознавании жестовой речи. Поэтому задача разработки методов распознавания жестовых языков глухих, одновременно учитывающей все компоненты жестов (ручные, немануальные и эпетезу) на основе аппарата нейронных сетей является актуальной задачей, имеющей важное практическое значение для обеспечения полноценной жизни глухих. На начальном этапе предполагается разработка методов распознавания для индо-русских жестовых языков глухих, а затем и обобщение на другие мировые жестовые языки.
Для достижения поставленной цели проекта предлагается разработать оригинальную модель биологически-подобной нейросети выделения и анализа движения, которая, в свою очередь, включает оригинальную модель формального нейрона выделения движения в пределах рецептивного поля, результат работы которого отображен в 4-х мерном пространстве (x,y,alpha,v).
В результате выполнения проекта будут получены следующие результаты:
1. Модель биологически-подобной нейросети выделения и анализа движения, основанной на оригинальной модели формального нейрона и ориентированной на распознавание жестовых языков глухих;
2. Архитектура нейронной сети, на базе указанной модели, для распознавания отдельных ручных жестов глухих, движений-эпентеза и немануальных компонентов жеста (на основе русского и индийского жестовых языков), отличающейся высокой точностью распознавания и быстродействием;
3. Программное обеспечение в виде обученной нейронной сети для распознавания русского и индийского жестовых языков, способной войти составной частью в систему компьютерного сурдоперевода.
4. Подборка корпусов жестовых языков для обучения нейронной сети (русский, индийский, прочие жестовые языки);
5. Выявленные сходства и особенности различных жестовых языков с точки зрения распознавания движений-эпентеза и немануальных компонент жеста;
6. Рекомендации по предпочтительности возможных архитектур и настроек нейронной сети по критериям точности распознавания и быстродействия.

Цели и задачи проекта

Цель проекта состоит в разработке эффективных методов распознавания жестовых языков глухих на основе комплексного учета всех компонентов жестов (ручного, немануального, движений-эпетезы) и аппарата нейронных сетей.
Для достижения указанной цели необходимо решить следующие задачи:
1. Разработка архитектуры нейронной сети для распознавания отдельных ручных жестов глухих, движений-эпентеза и немануальных компонент жеста (на основе русского и индийского жестовых языков);
2. Подбор корпусов жестовых языков для обучения нейронной сети (русский, индийский, прочие жестовые языки);
3. Тестирование и обучение нейронной сети по распознаванию жестовой речи глухих (на основе русского и индийского жестовых языков);
4. Выявление сходства и особенностей различных жестовых языков с точки зрения распознавания движений-эпентеза и немануальных компонент жеста;
5. Выработка рекомендаций предпочтительности возможных архитектур и настроек нейронной сети по критериям точности распознавания и быстродействия.

Планируемые результаты

В результате выполнения проекта будут получены следующие результаты:
1. Модель биологически-подобной нейросети выделения и анализа движения, основанной на оригинальной модели формального нейрона и ориентированной на распознавание жестовых языков глухих;
2. Архитектура нейронной сети, на базе указанной модели, для распознавания отдельных ручных жестов глухих, движений-эпентеза и немануальных компонентов жеста (на основе русского и индийского жестовых языков), отличающейся высокой точностью распознавания и быстродействием;
3. Программное обеспечение в виде обученной нейронной сети для распознавания русского и индийского жестовых языков, способной войти составной частью в систему компьютерного сурдоперевода.
4. Подборка корпусов жестовых языков для обучения нейронной сети (русский, индийский, прочие жестовые языки);
5. Выявленные сходства и особенности различных жестовых языков с точки зрения распознавания движений-эпентеза и немануальных компонент жеста;
6. Рекомендации по предпочтительности возможных архитектур и настроек нейронной сети по критериям точности распознавания и быстродействия;
7. Публикации по теме проекта - не менее 2 журнальных статей (SCOPUS), 2 журнальных статей (из списка ВАК), 4 докладов на международных конференциях.