Аналіз існуючих методів і алгоритмів, спрямованих на прискорення і підвищення якості структурного та параметричного синтезу прогнозуючих штучних нейронних мереж зі зворотним поширенням помилки. Розробка механізмів, що дозволяють істотно прискорити процес.
Аннотация к работе
В області розробки автоматизованих систем обробки інформації та управління, які забезпечують підтримку прийняття рішень, існує задача прогнозування процесу, що управляється або аналізується. Рішення цієї задачі передбачає побудову інформаційних моделей обєктів автоматизації і моніторингу, проведення їх аналітичного й імітаційного моделювання. прискорення синтез штучний нейронний мережа Використання їх у системах обробки інформації для підтримки прийняття рішень дозволило істотно підвищити надійність і вірогідність таких інформаційних систем. Аналіз відомих підходів до синтезу прогнозуючих нейромережевих (НМ) моделей дозволив виділити їх основні недоліки: відсутність єдиної технології побудови прогнозуючих ШНМ, наслідком чого є розгляд етапів синтезу в якості окремих незвязаних задач, що часто призводить до непогодженості очікуваних та отриманих результатів, а також збільшує витрати часу розроблювача на "творчий пошук"; Це, в свою чергу, дозволить формалізувати процес синтезу на якісно новому рівні, зробить його більш придатним до автоматизації і дозволить скоротити витрати часу на синтез.Розглянуто основні етапи синтезу прогнозуючих НМ моделей: 1) формування НВ; 2) структурний синтез; 3) параметричний синтез. За допомогою метода "Ковзних вікон", що базується на теоремі Такенса, для ряду (1) формується НВ: , де - кількість НН, - вектор вхідних значень, - ідентифікатор-го класу, що визначає належність даного обєкту до одного з класів. У другому розділі представлена методологічна база, що дозволяє формалізувати синтез ШНМ моделей та знизити витрати часу на побудову і актуалізацію моделей. Основою для прийняття рішення про зміну кількості нейронів у прихованому шарі служать результати аналізу рівнів активацій нейронів та їхніх помилок. Якщо протягом епохи навчання значення помилки деякого нейрона прихованого шару носить виражений коливальний характер, то в прихованому шарі ШНМ недостатньо нейронів, а даний нейрон підлягає розщепленню.Аналіз існуючого підходу до синтезу прогнозуючих НМ моделей виявив ряд істотних недоліків, повязаних з відсутністю конструктивних кількісних критеріїв оцінки якості побудованої НВ, значною евристичністю або трудомісткістю підходів, розроблених для прискорення етапів структурного та параметричного синтезу, відсутністю формальної єдиної технології синтезу прогнозуючих НМ моделей. Розглянуто ПД, в якості механізму, що дозволяє управляти якістю рішення задачі прогнозування на всіх етапах синтезу прогнозуючих ШНМ шляхом цілеспрямованого підвищення точності за рахунок збільшення витрат часу і, навпаки, скорочення часу синтезу за рахунок обґрунтованого зниження точності. Даний критерій дозволив формалізувати процедуру побудови НВ, врахувати умови конкретної задачі, дати кількісну оцінку якості НВ і зробив евристичність процесу побудови НВ виявленою та вираженою показниками ступенів важливості кожної з характеристик. Використання даного методу дозволяє автоматизувати процес побудови НВ, знизити ймовірність одержання неякісної вибірки, скоротити витрати часу на синтез НМ моделей в цілому та підвищити вірогідність прогнозу.
План
ОСНОВНИЙ ЗМІСТ РОБОТИ
Вывод
1. Аналіз існуючого підходу до синтезу прогнозуючих НМ моделей виявив ряд істотних недоліків, повязаних з відсутністю конструктивних кількісних критеріїв оцінки якості побудованої НВ, значною евристичністю або трудомісткістю підходів, розроблених для прискорення етапів структурного та параметричного синтезу, відсутністю формальної єдиної технології синтезу прогнозуючих НМ моделей.
2. Розглянуто ПД, в якості механізму, що дозволяє управляти якістю рішення задачі прогнозування на всіх етапах синтезу прогнозуючих ШНМ шляхом цілеспрямованого підвищення точності за рахунок збільшення витрат часу і, навпаки, скорочення часу синтезу за рахунок обґрунтованого зниження точності.
3. Запропоновано ряд характеристик НВ, на основі яких розроблений комплексний критерій оцінки якості побудованої НВ. Даний критерій дозволив формалізувати процедуру побудови НВ, врахувати умови конкретної задачі, дати кількісну оцінку якості НВ і зробив евристичність процесу побудови НВ виявленою та вираженою показниками ступенів важливості кожної з характеристик.
4. На основі розробленого комплексного критерію оцінки якості НВ запропоновано метод автоматизованої побудови якісної НВ. Використання даного методу дозволяє автоматизувати процес побудови НВ, знизити ймовірність одержання неякісної вибірки, скоротити витрати часу на синтез НМ моделей в цілому та підвищити вірогідність прогнозу.
5. Запропоновано формалізацію процесу структурного синтезу НМ моделей для рішення задач прогнозування. Дано рекомендації з вибору початкової кількості нейронів у прихованому шарі мережі та запропоновані правила для коректування цієї кількості, засновані на принципах конструктивних алгоритмів та алгоритмів скорочення.
6. Подальший розвиток у рамках навчання ШНМ одержав метод навчання зі зворотним поширенням помилки. На основі розглянутих у роботі типів помилок, що виникають при навчанні ШНМ, запропонований критерій розпізнання НН і ряд правил обчислення ВК нейронної мережі, які дозволяють: визначити момент зупинки процесу параметричного синтезу ШНМ, задаючи значення границь і , виходячи із ПД;
скоротити обчислювальні витрати алгоритму навчання в середньому на 50 %;
збільшити швидкість збіжності методу в 2 - 3 рази;
донавчити навчену НМ модель, використовуючи тільки нові дані з НВ, і вносити мінімально-достатні зміни в навчену мережу.
7. Розроблено інформаційну технологію прискорення синтезу прогнозуючих НМ моделей, яка обєднала окремі етапи синтезу в єдиний формалізований процес. Скорочення витрат часу фактично на порядок досягається: за рахунок формалізації послідовності дій, які необхідно виконати для одержання ШНМ, здатної прогнозувати;
за рахунок формалізації раніше неформалізованого етапу побудови НВ, що дозволяє в автоматизованому режимі сформувати якісну НВ, яка відповідає умовам поставленої задачі;
за рахунок формалізації етапів структурного та параметричного синтезу, що дозволило автоматизувати процес структурного синтезу і знизити трудомісткість навчання.
8. На основі розробленої інформаційної технології створена програмна прогнозуюча система "FORECAST". Система була використана для розвязання задачі прогнозування залишків на банківських рахунках (вірогідність прогнозу склала 94 %) і прогнозування курсів валют на міжнародному ринку електронної торгівлі валютами "FOREX" (вірогідність прогнозу 97 %).
9. Отримані в роботі наукові розробки й програмні засоби впроваджені в навчальний процес кафедри системного програмного забезпечення Одеського національного політехнічного університету.
Список литературы
1. Крисилов В.А. Применение нейронных сетей в задачах интеллектуального анализа информации / Крисилов В.А., Олешко Д.Н., Трутнев А.В. // Тр. Одес. политехн. ун-та. - Одесса: 1999. - Вып. 2 (8). - С. 134 - 140.
3. Крисилов В.А. Двухэтапное обучение нейронных сетей в задачах прогнозирования временных рядов / Крисилов В.А., Олешко Д.Н. // Искусств. интеллект. - 2002. - № 4. - С. 742 - 746.
4. Krissilov V.A. Acceleration of neural-network model training by application of sufficiency principle / Krissilov V.A., Oleshko D. N. // Тр. Одес. политехн. ун-та. - Одесса: 2002. - Спецвыпуск. - С. 89 - 90.
5. Decision Making rules for situations with dependent features / Krissilov V.A., Krissilov A.D., Blyukher B., Oleshko D.N // Вестник Херсонского ГТУ. - Херсон: 2003. - Вып. 3(19). - С. 190 - 193.
7. Экономико-экологическое прогнозирование: методология, методы, приложения / Степанов В.М., Крисилов А.Д., Крисилов В.А., Олешко Д.М. др. - Одеса, ИПРЭЭИ НАН Украины, 2004. - 238 с.
8. Krissilov V.A. Application of the sufficiency principle in acceleration of neural networks training / Krissilov V.A., Krissilov A.D., Oleshko D.N. // Information Theories & applications. - 2003. - Vol.10. - № 2. - P. 179 - 183.
9. Крисилов В.А. Система прогнозирования поведения сложных процессов "FORECAST" / Крисилов В.А., Олешко Д.Н. // Тр. второй МНПК СИЭТ - 2001. - Одесса. - 2001. - С.90 - 91.
10. Крисилов В.А. Повышение качества и скорости обучения нейронных сетей в задаче прогнозирования поведения временных рядов / Крисилов В.А., Олешко Д.Н. // Міжнар. конф. з індуктивного моделювання. - Львів, 2002. - Т. 2. - С. 76 - 80.
12. Олешко Д.Н. Информационная технология синтеза прогнозирующих нейросетевых моделей // Зб. пр. міжнар. семінару з індуктивного моделювання. - Київ: Міжнар. наук.-навч. центр інформ. технологій та систем НАН та МОН України, 2005. - С. 242-249.