Інформаційна технологія обробки та аналізу характеристик мовленнєвої інформації - Автореферат

Наукові дослідження з обробки, аналізу та розпізнаванню мовленнєвих сигналів проводяться науковцями Інституту кібернетики НАН України, Вінницького національного технічного університету, МННЦ Інформаційних технологій та систем, Харківського національного університету радіоелектроніки, Національного технічного університету України «Київський політехнічний інститут», Дніпропетровського національного університету, Національного університету «Львівська політехніка» та Донецького інституту проблем штучного інтелекту. Виникає завдання створення нової інформаційної технології обробки та аналізу характеристик мовленнєвої інформації, яка б дозволяла проводити більш швидкісне та ефективне розпізнавання мовленнєвих сигналів (мовленнєвих команд). розробка методу і моделей побудови аналітичного наближення спектрально-часового зображення мовленнєвого сигналу в класі знакозмінних функцій, що дозволить підвищити точність опису мовленнєвого сигналу та ефективність розпізнавання на його основі; Удосконалено метод побудови аналітичного наближення спектрально-часового зображення мовленнєвого сигналу, який базується на поліпшеній моделі спектрів мовленнєвих сигналів, ураховує знакозмінність залишків спектра в методі послідовного вилучення складових, а також враховує дійсну та уявну частину спектрально-часового зображення мовленнєвого сигналу, що дозволяє підвищити точність опису мовленнєвого сигналу й ефективність розпізнавання. Стосовно публікацій, написаних у співавторстві, особистий внесок здобувача полягає в такому: розроблено обчислювальну схему алгоритму на основі принципу максимуму Понтрягіна та проведено аналіз методів розпізнавання мовлення [21]; розроблено обчислювальну схему побудови аналітичного опису спектра мовленнєвого сигналу в класі функції, що описує другу похідну від функції Гауса [12]; сформульовано граматику для модуля голосового керування веб-проектом [13]; розроблено алгоритм, обчислювальну процедуру та проведено експериментальні дослідження розпізнавання мовленнєвого сигналу на основі методу локальних екстремумів [2, 9, 16]; сформульовано обчислювальні процедури для побудови наближення спектрів мовленнєвих сигналів у класі знакозмінних функцій та проведено експериментальні дослідження щодо ефективності побудованого наближення та порівняння з наближенням у класі дзвоноподібних функцій [1, 3, 8, 14, 20]; розроблено обчислювальні процедури для модуля голосового керування інтернет-магазином [15]; розроблено алгоритм та обчислювальну схему методу прийняття рішення на основі нейронних мереж [5, 17]; спроектовано, розроблено і реалізовано програмне забезпечення обробки й розпізнавання мовленнєвих сигналів [4]; сформульовано обчислювальну процедуру визначення тональності звуків [7]; розроблено алгоритм та обчислювальну схему методу на основі принципу максимуму Понтрягіна [18, 19]; проведено аналіз розроблених методів розпізнавання мовлення [21].Виконано огляд публікацій існуючих методів розпізнавання мовленнєвих сигналів, методів наближення сигналів та моделей аналітичного опису мовленнєвого сигналу. Проведений аналіз показує, що існуючі системи розпізнавання не містять адекватної моделі мовленнєвого сигналу, яка б дозволяла аналітично описувати сигнал, та не існує систем розпізнавання, які б давали змогу використовувати сукупність методів для розпізнавання мовленнєвих сигналів та порівнювати ефективність методів між собою. Становить інтерес розробка інформаційної технології, яка б містила адекватну модель аналітичного наближення спектрально-часового зображення мовленнєвого сигналу, а також би методи розпізнавання мовленнєвих сигналів, які б дозволили підвищити швидкість та ефективність розпізнавання; також проводила розпізнавання мовленнєвих сигналів на основі ранжирування критеріїв прийняття рішення і дозволяла б аналізувати якість побудови наближення спектрально-часового зображення мовленнєвого сигналу, порівнювати ефективність та швидкодію методів розпізнавання між собою та вбудовуватись як модуль голосового керування в інформаційні системи. На підставі отриманих вимог до функцій, для побудови наближення спектрально-часового зображення мовленнєвого сигналу в класі знакозмінних функцій обрано такі функції: друга похідна від функції модифікованого локона Аньєзі, друга похідна від функції Гауса, функція ядра sin(x)/x та комплексна функція. Запропоновані моделі дозволяють отримувати параметри моделей мовотворчого тракту і будувати аналітичний опис спектрально-часового зображення мовленнєвого сигналу та враховують знакозмінність залишків спектра в методі послідовного вилучення складових, що дозволяє підвищити точність наближення спектрально-часового зображення мовленнєвого сигналу та ефективність розпізнавання на основі побудованого опису.

ОСНОВНИЙ ЗМІСТ

У результаті виконаних досліджень розвязано актуальне завдання створення інформаційної технології обробки та аналізу характеристик мовленнєвої інформації, на основі якої досягнуто мети підвищення швидкості та надійності розпізнавання мовленнєвих сигналів (мовленнєвих команд).

Після дослідження вибраного обєкта отримано основні наукові й практичні результати дисертаційної роботи: 1. Вперше запропоновано нові методи розпізнавання мовленнєвих сигналів на основі принципу максимуму Понтрягіна та на основі локальних екстремумів, які дозволяють зменшити складність обчислень і підвищити швидкість розпізнавання.

2. Вперше запропоновано метод зіставлення реалізацій сигналу змінної довжини, який, на відміну від існуючих, встановлює відповідність входів нейронної мережі та елементів предявленої реалізації, що дає змогу підвищити ефективність розпізнавання.

3. Удосконалено метод побудови аналітичного наближення спектрально-часового зображення мовленнєвого сигналу, який базується на вдосконаленій моделі спектрів мовленнєвих сигналів, враховує знакозмінність залишків спектра в методі послідовного вилучення складових, враховує дійсну та уявну частину спектрально-часового зображення мовленнєвого сигналу, що дозволяє підвищити точність опису мовленнєвого сигналу та ефективність розпізнавання.

4. Удосконалено багатокритеріальну ієрархічну модель що, на відміну від існуючих, створює ієрархію дій як за параметрами подання мовленнєвого сигналу, так і за запропонованими методами, і тим самим дозволяє підвищити швидкість та ефективність розпізнавання.

5. Створено інформаційну технологію обробки та аналізу характеристик мовленнєвої інформації, яка дозволяє будувати аналітичний опис спектра мовленнєвого сигналу і проводити розпізнавання на основі ранжирування критеріїв прийняття рішення. Розроблена інформаційна технологія може бути використана як модуль голосового керування для автоматизованого робочого місця фахівця економічного профілю, а також для порівняльного аналізу ефективності методів побудови аналітичного опису спектрів мовленнєвих сигналів і методів розпізнавання.

6. Розроблено програмне забезпечення «SPEECHSANALYSIS» для аналізу та розпізнавання мовленнєвих сигналів на основі ранжирування критеріїв прийняття рішення, в якому реалізовано запропоновані методи й моделі.

7. Результати дисертаційної роботи впроваджені в ТОВ «УКРРАДИОТЕЛ», використовуються в навчальному процесі Дніпропетровського національного університету. Запропонована інформаційна технологія використовується ТОВ «УКРРАДИОТЕЛ» як модуль голосового керування в системі «Розрахунок санітарних зон та зон обмеження забудови» та дочірнім підприємством «Укрнафтогазкомплект» НАК «Нафтогаз України» як модуль голосового керування в системі «Ведення та облік персоналу».

СПИСОК ОПУБЛІКОВАНИХ ЗА ТЕМОЮ ДИСЕРТАЦІЇ ПРАЦЬ

1. Зирнеева Г.В. Сравнение свойств колебательных функций в задаче анализа спектров речевых сигналов / Зирнеева Г.В., Карпов О.М. //Актуальні проблеми автоматизації та інформаційних технологій. - Д.: ДНУ, 2004. - Т. 8. - С. 57-62.

2. Зирнеева Г.В. Метод вариаций в задаче распознавания речи / Зирнеева Г.В., Карпов О.М. //Актуальні проблеми автоматизації та інформаційних технологій. - Д.: ДНУ, 2005. - Т. 9. - С. 57-62.

3. G. Zirneeva Representation of the spectral-time description in the class of bell-shaped and bell-shaped-oscillatory functions of speech recognition / G. Zirneeva, O. Karpov // Актуальні проблеми автоматизації та інформаційних технологій. - Д.: ДНУ, 2007. - Т. 11. - С. 74-90.

4. Зірнєєва Г.В. Інформаційна технологія побудови системи розпізнавання мовних сигналів та модуля голосового керування / Зірнєєва Г.В., Карпов О.М. // Вісник Академії митної служби України. - Д.: Академія митної служби України, 2008. - № 1 (37). - С.61-68

5. Зірнєєва Г.В. Прийняття рішення при розпізнаванні мови на основі нейронних мереж / Зірнєєва Г.В., Карпов О.М. //Математичне моделювання. - Дніпродзержинськ. : ДДТУ, 2007. - № 2 (17). - С. 106-109.

6. Зірнєєва Г.В. Порівняльний аналіз алгоритмів прийняття рішень в задачі розпізнавання мовлення / Зірнєєва Г.В. // Компютерні науки та інформаційні технології. - Львів, 2007. - № 604. - С. 60-64.

7. Зирнеева Г.В. Алгоритм формирования параметров и оценки функционального состояния говорящего по его речи / Карпов О.М., Чугай А.А., Зирнеева Г.В., Асадулин В.А. //Актуальні проблеми автоматизації та інформаційних технологій. - Д.: ДНУ, 2006. - Т. 10. - С. 62-71.

8. Зирнеева Г.В. Описание спектрально временного представления речевых сигналов в классе производных функций Гаусса второго порядка, / Зирнеева Г.В., Карпов О.М. // Питання прикладної математики та математичного моделювання. - Д.: ДНУ, 2004. - Т. 11. - С. 88-97.

9. Зирнеева Г.В. Модели согласования длин речевых реализаций в угловых координатах при распознавании речи / Зирнеева Г.В., Карпов О.Н., Басюк А.К. // Питання прикладної математики і математичного моделювання. - Д.: ДНУ, 2005. - С. 95-103.

10. Зирнеева Г.В. Анализ спектров речевых сигналов в классе комплексных функций / Зирнеева Г.В. // Проблеми прикладної математики та компютерних наук: тематична наук. конференція за підсумками наук.-дослідн. роботи ДНУ за 2004-2005 рр. - Дніпропетровськ, 2006. - С. 27-28.

11. Зирнеева Г.В. Архитектура модуля голосового управления web-проектами / Зирнеева Г.В. // Проблеми математичного моделювання: міжнар. наук.-метод. конф., 23-25 трав. 2007 р.: тези доп. - Дніпродзержинськ, 2007. -С. 174-175.

12. Зирнеева Г.В. Речевые технологии в системе компьютерных технологий / Зирнеева Г.В. Басюк А.К. // Единое информационное пространство: III междунар. конф., 8-9 декабря 2005 г.: тезисы докл. - Днепропетровск, 2005. - С. 14-15.

13. Зирнеева Г.В. Использование грамматик в построении системы речевого управления веб-приложением / Зирнеева Г.В., Карпов О.Н. //Математичне та програмне забезпечення інтелектуальних систем MPZIS-2006, 15-17 лист. 2006 р.: тези доп. - Дніпропетровск, 2006. -С. 170-171.

14. Зирнеева Г.В. Экспериментальные исследования и обработка спектров речевых сигналов в классах колебательных и колоколообразных функцій / Зирнеева Г.В., Карпов О.М. // Математичне та програмне забезпечення інтелектуальних систем MPZIS 2004, 17-19 лист. 2004 р.: тези доп. - Дніпропетровськ. -2004. - С. 47-48

15. Зирнеева Г.В. Использование Интернет технологий в построении системы распознавания речи / Зирнеева Г.В., Карпов О.Н. //Интернет - Образование - Наука 2006: 5- междунар. практ. конф.: тези доп. - Винница, 2006. - С. 57-58.

16. Зирнеева Г.В. Построение деревьев решений методом локальных экстремумов в задаче распознавания речи / Зирнеева Г.В., Карпов О.Н. // Проблеми математичного моделювання: міжнар. наук.-метод. конф., 24-26 трав. 2006 р.: тези доп. - Дніпродзержинськ, 2006. - С. 161-162.

17. Зирнеева Г.В. Принятие решения при распознавании слов речи на основе нейронных сетей / Зирнеева Г.В., Карпов О.Н., Палагута И.В. // Проблеми математичного моделювання: міжнар. наук.-метод. конф., 23-25 трав. 2007 р.: тези доп. - Дніпродзержинськ, 2007. - С. 180-181.

18. Зірнєєва Г.В. Задача розпізнавання мовлення принципами максимуму Понтрягіна та правдоподібності / Зірнєєва Г.В., Карпов О.М. // Сучасні проблеми прикладної математики та інформатики: всеукр. наук. конф., 2-4 жовт. 2007: тези доп. - Львів, 2007. - С.66-67.

19. Зірнєєва Г.В. Застосування принципу максимуму Понтрягіна в задачі прийняття рішення на основі нейронних мереж / Зірнєєва Г.В., Карпов О.М. //Математичне та програмне забезпечення інтелектуальних систем MPZIS-2007, 14-16 листопада 2007 р.: тези доп. - Дніпропетровск, 2007. - С. 63.

20. Зирнеева Г.В. Экспериментальные данные анализа свойств речевых сигналов в классе колебательных и колоколообразных функцій / Зирнеева Г.В., Карпов О.Н. // Питання оптимізації обчислень (ПОО-XXXII): міжнар. конф., 19-23 вересня 2005 р.: тези доп. - Київ, 2005. - С. 92-93.

21. G. Zirneeva Comparison methods of making decision for speech recognition system / G. Zirneeva, O. Karpov // Computer Science and Information Technologies: intern. conf., septemb. 27th-29th 2007. : thes. pap. - Lviv, 2007. - P. 82-83.