ИНФОРМАЦИОННО-КОММУНИКАЦИОННАЯ ТЕХНОЛОГИЯ ДЛЯ МОДЕЛИРОВАНИЯ ЖЕСТОВОЙ РЕЧИ



Крак Ю.В., Кондратюк С.С., Тернов А.С. Запропоновані формалізми опису структурних елементів жестової мови для вирішення певних задач: моделювання, автоматичного синтезу множини жестів на основі жестових елементів.

УДК 004.928

Formalisms fordescribe of the sign language structural elements for some problems solving: modeling, automatic synthesis set of gestures based on sign language elements are proposed.

Введение

В современном информационном обществе актуальной является проблема полноценной интеграции людей с физическими недостатками.Это, в частности, приводит к необходимости изучения жестового языка всеми, в том числе и слышащими людьми, для эффективной коммуникации с глухими людьми, которые используют жестовый язык. Данный язык фундаментально отличается от вербальных языков правилами, принципами построения предложений, реализацией передачи информации и др. Для решения проблемы быстрого и эффективного изучения жестового языка необходимо создание технологий для компьютеризации процесса обучения в силу доступности и современности такого подхода [1].

Информационные процессы в системах жестовой коммуникации

В докладе рассматриваются необходимые информационные процессы для создания технологии исследования жестовой речи. Для интерактивного обучения жестовому языку необходимо создать несколько подсистем, отвечающих за синтез жестовых единиц, моделирование жестовой информации на базе 3D графики, синтез голоса (необходим для повышения эффективности изучения жестов слышащими людьми). Наиболее важной является подсистема, отвечающая за реалистичную анимацию жестов, с одновременной анимацией артикуляции, различных эмоциональных проявлений и звуковым сопровождением. Основными архитектурными требованиями для такой системы выделено следующее: 1) вычисления в режиме реального времени;2) поддержка современных подходов и технологий в трехмерной графике для реалистического отображения модели человека-демонстратора жестовой информации;3) кроссплатформенность; 4)модульная структура; 5) организация базы жестов; 6) выделение структурных элементов для создания произвольных жестов языка.

Предложенная информационная технология (рис.1) состоит из таких модулей: генератор мимики и артикуляции; генератор анимации движений и жестов; модуль синхронизации звука и мимики; графический движок (Graphic Engine); звуковая подсистема.

Рис.1. Схема архитектуры системы

Каждый модуль независим и может быть заменен другой реализацией без изменения остальных компонент системы.

Модель синтеза жестовой речи

В контексте направления синтеза ЗD анимации разработано объектно-элементную модель синтеза анимации речевого процесса для воспроизведения жестового языка с использованием морфем эмоций и визем украинского языка (рис. 2).Модель синтеза интегрирует модели воспроизводства артикуляционной составляющей речевого процесса для задач моделирования мимики и модель воспроизводства эмоциональной составляющей речевого процесса для задач моделирования эмоционального состояния. На основе усовершенствованной модели синтеза эмоциональных и артикуляционных образов, с использованием относительного морфинга для синхронной анимации жестовых единиц и проговаривания губами,удалось интегрировать достижения области visual-speech animation к техническому решению задачи воспроизведения жестового языка. В результате чего была создана программная реализация алгоритмов синтеза визуальной составляющей речевого процесса с эмоциями на пространственно управляемой модели виртуального человека для построения средств интеллектуального интерфейса человека с компьютерным средой.

Рис .2. Схема информационных потоков

Реализована соответствующая программная функциональность, которая, используя трехмерное API OpenGL, воспроизводит по указанным атрибутам модель человека и, с использованием алгоритмов скининга и морфинга, воспроизводит анимацию.

Реализация ИКТ для моделирования жестовой речи

Для реализации украинского жестового языка был создан программный комплекс (рис.3), который воспроизводит методику преподавания жестового языка в специальных общеобразовательных школах для глухих детей. За основу была взята рекомендованная министерством образования Украины программа обучения для начальных классов.

Функционально программа состоит из трех информационных блоков («Темы», «Слова» и «Предложения») и блока воспроизведения жеста виртуальной моделью. Основным блоком является блок «Темы», в котором сконцентрированы основные методические сведения, что рассматриваются на уроке: какие знания нужно в это йтеме сформировать у учащихся; какие навыки нужно усвоить; какие особенности морфологии жестового языка и виды синтаксических конструкций содержит материал. В блоках «Слова» и «Предложения» содержаться все жесты и все примеры предложений (которые используют рассмотрены жесты ).

Рис. 3. Программный комплекс «Украинский жестовый язык»

Блок воспроизведения жеста виртуальной моделью в этой реализации несет особую функцию. Именно с его помощью стало возможным демонстрировать в учебном процессе динамику жеста. Принимая во внимание, что жесты оцифровываются носителями жестового языка, они,по сути, становятся стандартами воспроизведения жеста. Реализована в блоке возможность покадрового показа жеста служит средством, с помощью которого станет возможными зучение жеста без особенностей показа конкретным преподавателем. Это станет основой того, что изученные детьми жесты будут одинаковыми для разных школ,регионов. Фактически, жестовый язык (в основном своем множестве) станет стандартным в Украине.

Реализация предложенной технологии для украинского жестового языка показала ее перспективность и эффективность. Дальнейшие исследования будут сосредоточены на усовершенствовании данного подхода, масштабировании на другие жестовые языки,создании полной базы конструктивных элементов жестов.

Список литературы

  1. Кривонос Ю.Г., Крак Ю.В., Бармак А.В., Шкильнюк Д.В. Конструирование и идентификация элементов жестовой коммуникации //Кибернетика и системный анализ. – 2013. – №2. – С.3-8.
Jun 3, 2016