Еволюційні методи відбору інформативних ознак та побудови нейромережевих моделей для розпізнавання образів - Автореферат

Широке застосування для вирішення завдань неруйнівної діагностики й автоматичної класифікації образів знайшли штучні нейронні мережі (НМ), що дозволяють ефективно апроксимувати багатовимірні нелінійні залежності та мають такі властивості, як здатність до навчання, адаптивність, узагальнення, масований паралелізм і надійність обчислень. Проте вирішення оптимізаційних завдань при побудові нейромоделей повязане, як правило, з проблемою вибору початкової точки пошуку, неможливістю розрахунку значень похідних цільової функції (ЦФ) внаслідок недиференційованості функцій активації (ФА) окремих нейронів, значними витратами часу, обумовленими великою розмірністю навчальної вибірки та багатоекстремальністю ЦФ, що ускладнює або робить іноді неможливим застосування градієнтних методів локального пошуку. Тому для побудови нейромоделей доцільно використовувати методи еволюційного пошуку (ЕП), які є стохастичними методами, заснованими на аналогії з природними еволюційними процесами, не висувають додаткових вимог до виду ЦФ, на кожній ітерації працюють із множиною рішень, що дозволяє в багатьох випадках більш детально у порівнянні з градієнтними методами багатовимірної нелінійної безумовної оптимізації аналізувати простір пошуку. Робота виконувалася відповідно до координаційних планів Міністерства освіти і науки України та Запорізького національного технічного університету (ЗНТУ) відповідно до державної науково-технічної програми “Нові вітчизняні інтелектуальні компютерні засоби”, в рамках держбюджетної науково-дослідної роботи кафедри програмних засобів ЗНТУ “Науково-методичні основи та математичне забезпечення для автоматизації й моделювання процесів керування та підтримки прийняття рішень на основі процедур розпізнавання й еволюційної оптимізації в нейромережному та нечіткологічному базисах” (№ держ. реєстрації 0106U008621), а також двох госпдоговірних науково-дослідних робіт ТОВ “МПА Групп” “Розробка математичного та інформаційного забезпечення інтелектуальної системи візуального контролю транспортних засобів” (№ держ. реєстрації 0106U012013) і “Розроблення методів і програмних засобів на підставі навчання, розпізнавання, оптимізації та адаптації для прийняття рішень в автоматизованих системах управління транспортними засобами” (№ держ. реєстрації 0107U006781), де автор дисертаційної роботи брав участь як виконавець, розробив і дослідив нові методи синтезу нейромережевих моделей на основі еволюційного підходу, а також вирішив практичні задачі технічної та біомедичної діагностики, автоматичної класифікації образів. Наукова новизна одержаних результатів полягає в тому, що: - вперше запропоновано еволюційний метод відбору ознак з групуванням, в якому для пошуку інформативної комбінації ознак на етапі ініціалізації виконується групування ознак за ступенем їх близькості, а також використовується апріорна інформація про значущість ознак в основному циклі еволюційного пошуку, що дозволяє наблизити початкову точку пошуку до оптимальної та прискорити пошук;У другому розділі розроблено еволюційний метод відбору ознак з групуванням, який використовує апріорну інформацію про значущість ознак в еволюційних операторах, що дозволяє збільшити ймовірність одержання оптимальної системи інформативних ознак і прискорити ЕП. Як ЦФ для оцінювання хромосом запропоновано використовувати вираз (1), що мінімізує кількість відібраних ознак і критерій оцінювання інформативності набору ознак: де Ij - критерій оцінювання спільного впливу набору ознак, що відповідає оцінюваній хромосомі Hj; hij - значення i-го гену j-ої хромосоми. Апріорна інформація про значущість ознак в операторі рівномірного схрещування враховується при генерації маски схрещування, в якій встановлюються одиничні значення для тих ознак, оцінки інформативності яких є вищими за поріг, і нульові значення для ознак, оцінки інформативності яких рівні або нижчі від порогу. В операторі мутації апріорну інформацію про рівень інформативності ознак пропонується використовувати за допомогою посилення ймовірності мутації ознак, що мають низькі оцінки індивідуальної інформативності й ослаблення ймовірності мутації ознак з високими оцінками індивідуальної інформативності, що дозволяє закріплювати ознаки, які найбільш сильно впливають на цільовий параметр, і сконцентрувати пошук на переборі сполучень ознак з меншою інформативністю. Після цього підвищується розмаїтість популяції шляхом погіршення значень ЦФ хромосом в залежності від близькості до центра їхньої групи (7): де fn(Hj) - нове значення ЦФ j-ої хромосоми; f(Hj) - значення ЦФ до зміни j-ої хромосоми; d(Hj; Hc, j) - відстань Хемінга від j-ої хромосоми до центра її групи; d(Hj; Hmax, j) - максимальна відстань Хемінга в групі j-ої хромосоми.

ОСНОВНИЙ ЗМІСТ РОБОТИ

1. Субботин С. А. Методы управления параметрами эволюционного поиска / С. А. Субботин, А. А. Олейник // Радиоэлектроника и информатика. - 2007. - № 4. - С. 88-92.

2. Субботін С. О. Структурний синтез нейромоделей на основі полімодального еволюційного пошуку / С. О. Субботін, А. О. Олійник // Радіоелектроніка. Інформатика. Управління. - 2008. - № 1. - С. 111-117.

3. Субботин С. А. Сравнительный анализ методов эволюционного поиска / С. А. Субботин, А. А. Олейник // Штучний інтелект. - 2008. - № 2. - С. 44-49.

4. Субботин С. А. Выделение набора информативных признаков на основе эволюционного поиска с кластеризацией / С. А. Субботин, А. А. Олейник // Штучний інтелект. - 2008. - № 4. - С. 704-711.

5. Олейник А. А. Определение влияния режимов высокоскоростного фрезерования на параметры нежестких деталей на основе эволюционного подхода / А. А. Олейник, Д. В. Павленко, С. А. Субботин // Вісник двигунобудування. - 2008. - № 1. - С. 84-90.

6. Олейник А. А. Параметрический синтез нейросетевых диагностических моделей на основе эволюционной оптимизации / А. А. Олейник, С. А. Субботин // Автоматизированные системы управления и приборы автоматики. - Харьков: ХНУРЭ. - 2007. - № 141. - С. 73-81.

7. Олейник А. А. Эволюционный метод структурно-параметрического синтеза нейронных сетей / А. А. Олейник, С. А. Субботин // Адаптивні системи автоматичного управління. - Дніпропетровськ: Системні технології. - 2008. - № 12 (32). - С. 96-103.

8. Субботин С. А. Оптимизация нейросетевых моделей на основе многокритериального метода эволюционного поиска / С. А. Субботин, А. А. Олейник // Вестник НТУ “ХПИ”. - Харьков: НТУ “ХПИ”. - 2008. - № 24. - С. 165-173. - (Тематический выпуск “Информатика и моделирование”).

9. Subbotin S. Entropy Based Evolutionary Search for Feature Selection / S. Subbotin, A. Oleynik // The experience of designing and application of CAD systems in Microelectronics : IX International Conference CADSM-2007 : proceedings of the conference. - Lviv, 2007. - P. 442-443.

10. Субботин С. А. Критерии сравнения эволюционных методов синтеза нейромоделей / С. А. Субботин, А. А. Олейник // Научная сессия МИФИ-2007. IX Всероссийская научно-техническая конференция “Нейроинформатика-2007” : сборник научных трудов. - М., 2007. - Ч. 2. - С. 177-184.

11. Олейник А. А. Выбор системы информативных признаков для классификации транспортных средств на основе эволюционного поиска / Олейник А. А. // Компютерне моделювання та інтелектуальні системи : збірник наукових праць / за ред. Д. М. Пізи, С. О. Субботіна. - Запоріжжя: ЗНТУ, 2007. - С. 134-146.

12. Subbotin S. А. Evolutionary Method with Clustering for Feature Selection / S. А. Subbotin, А. A. Olejnik // Inductive Modelling : 2nd International Conference ICIM’2008 : proceedings of the conference. - Kyiv, 2008. - P. 213-216.

13. Олейник А. А. Эволюционный метод обучения нейромоделей / А. А. Олейник // Интеллектуальный анализ информации : восьмая международная конференция ИАИ-2008, 14-17 мая 2008 р. : сборник трудов. - К., 2008. - С. 351-361.

14. Олейник А. А. Метод полимодального эволюционного поиска для структурного синтеза нейромоделей / А. А. Олейник, С. А. Субботин // Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту : міжнародна наукова конференція ISDMCI’2008, 19-23 травня 2008 р. : матеріали конференції. - Херсон : ХНТУ, 2008. - Т. 3 (Ч. 2). - С. 37-40.

15. Субботин С. А. Эволюционный метод построения нейромоделей для распознавания образов / С. А. Субботин, А. А. Олейник // Моделирование неравновесных систем : XI Всероссийский семинар, 26-28 сентября 2008 г. : материалы семинара. - Красноярск, 2008. - C. 186-189.

16. Олейник А. А. Автоматизированная система построения нейромоделей на основе эволюционного подхода / А. А. Олейник // Радіоелектроніка і молодь в ХХІ ст. : 12-ий міжнародний молодіжний форум, 1-3 квітня 2008 р. : матеріали форуму. - Харків: ХНУРЕ, 2008. - Ч. 2. - С. 162.

17. Субботин С. А. Синтез нейромоделей зависимости режимов высокоскоростного фрезерования деталей авиадвигателей от уровня вибрации / С. А. Субботин, А. А. Олейник // Научная сессия МИФИ-2008. X Всероссийская научно-техническая конференция “Нейроинформатика-2008”, 22-25 января 2008 г. : сборник научных трудов. - М., 2008. - Ч. 2. - С. 160-170.