Неповнозв’язні асоціативні нейронні мережі - Автореферат

Модель нейронної асоціативної памяті (НАП) являє собою приклад обробки інформації за допомогою розподіленої динамічної системи, складеної з багатьох простих, повязаних між собою, елементів - нейронів. За останні роки в Інституті проблем математичних машин і систем НАН України за участю автора здійснено низку досліджень асоціативних нейронних мереж, що дозволили значно поліпшити характеристики НАП та запропонувати нові напрямки вирішення проблем її ємності та звязності. Дана робота покликана надати теоретичний і експериментальний аналіз моделям неповнозвязної НАП (ННАП), зясувати вплив архітектури мережі на її асоціативні якості, запропонувати алгоритми побудови як архітектури, так і знаходження значень міжнейронних звязків, які б збільшували ємність памяті неповнозвязної моделі. Основні дослідження за темою дисертації проводилися у відділі нейротехнологій Інституту математичних машин і систем НАН України в межах виконання низки науково-дослідних робіт: - “Дослідження й удосконалення засобів інтерфейсу нейрокомпютерів із застосуванням структурних методів кодування даних”, завдання № 040101 за програмою прикладних та фундаментальних досліджень ІПММС НАН України; Для досягнення мети дослідження в роботі поставлено і вирішено такі задачі: - побудова методів аналізу якості моделей ННАП;Це є особливо важливим у випадку апаратної реалізації НАП, оскільки неповнозвязна архітектура дає можливість суттєво зменшити кількість звязків у порівнянні з повнозвязною моделлю, а також виключити звязки, які є складними для реалізації (наприклад, у випадку з НВІС-реалізацією такими звязками є звязки між просторово віддаленими нейронами). Для програмної реалізації використання мережі з неповнозвязною архітектурою дозволяє розширити масштаб моделювання асоціативних нейронних мереж, який обмежений обсягами доступної фізичної памяті. Мережа складається з n нейронів, причому вихід нейрону j може впливати на вихід нейрону i лише за умови , де - підмножина індексів, що не повторюються. Типовими прикладами неповнозвязних архітектур є клітинна мережа (також відома як мережа з регулярною архітектурою, або мережа з локальною звязністю, що визначається радіусом звязків r: - одномірній випадок), мережа з архітектурою “тісного світу”, а також мережа з випадковим розміщенням звязків (рис. Вагова матриця мережі ННАП під час ітеративного процесу навчання за дельта-правилом збігається до суми матриць , де - ортогональна складова початкової ініціалізації алгоритму по відношенню до набору вхідних даних, а - вагова матриця мережі з псевдоінверсним алгоритмом навчання без симетризації на тому ж самому наборі даних.Ці методи охоплюють як етап побудови архітектури мережі, так і етап знаходження ваги міжнейронних звязків, дозволяючи збільшити ємність памяті моделей ННАП при обмеженнях на густину звязків або на густину і загальну протяжність звязків. У практичному плані використання одержаних в роботі результатів дозволяє підвищити ефективність роботи неповнозвязних асоціативних нейромереж; дозволяє моделювання і апаратну побудову мереж з більшою кількістю нейронів; може бути використаним для моделювання асоціативної поведінки неповнозвязних структур нейронів мозку. Для моделі ННАП з фіксованою архітектурою запропонована модифікація псевдоінверсного алгоритму навчання, яка полягає у відмові від процедури симетризації, тим самим дозволяючи поліпшити асоціативні якості мережі (збільшити обсяг памяті в 2-3 рази) і будувати мережі з несиметричними архітектурами. Розроблено методику побудови мережі з адаптивною архітектурою, що дозволило збільшити ємність памяті ННАП в 2-4 рази у порівнянні з мережею з фіксованою архітектурою.

Основний зміст роботи