Синтез алгоритмов обучения нейронных сетей с нелинейными синаптическими входами для задач анализа и обработки информации - Автореферат

НАЦИОНАЛЬНАЯ АКАДЕМИЯ НАУК КЫРГЫЗСКОЙ РЕСПУБЛИКИ ИНСТИТУТ АВТОМАТИКИ И ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ Автореферат диссертации на соискание ученой степени кандидата технических наук синтез алгоритмов обучения нейронных сетей с нелинейными синаптическими входами для задач анализа и обработки информации Работа выполнена в УНПК «Международный университет Кыргызстана» Защита состоится «__» _______ 2013 г. в ____ на заседании Диссертационного совета Д.05.11.030 при Институте автоматики и информационных технологий Национальной академии наук Кыргызской Республики по адресу: 720071, г.В настоящее время большое количество работ современных авторов посвящены вопросам конфигурирования, обучения и применения искусственных нейронных сетей в задачах производства, медицины, робототехники, электроники, телекоммуникаций, автомобильной и космической промышленности, банковского дела, финансового дела, страхования, безопасности, транспортировки и т.д. К настоящему времени предложено и изучено большое количество моделей нейроподобных элементов и нейронных сетей. Таким образом, проведенные в работе исследования, направленные на разработку новых математических моделей искусственного нейрона и исследование алгоритмов обучения нейронных сетей для прикладных задач медицинской диагностики являются весьма актуальными. Настоящая диссертационная работа выполнена в соответствии с планом научно-исследовательской работы Международного университета Кыргызстана «Использование технологий нейронных сетей для создания интеллектуальных систем в образовании и медицине» (2008-2012 гг.), а также в рамках научно-исследовательских проектов Министерства образования и науки Кыргызской Республики «Разработка методов и алгоритмов оперативного прогнозирования природных катастроф с использованием технологий нейронных сетей» (2009 г.) и «Разработка интеллектуальных методов принятия решений на базе нейросетевых технологий в прикладных задачах» (2012 г.) Научная новизна работы состоит в следующем: - предложены новые математические модели искусственного нейрона с нелинейными синаптическими входами, имеющие лучшие перспективы обучения;Формальная модель нейрона МАККАЛЛОКА-Питса, представленная на рис.1, лежит в основе искусственных нейронных сетей и описывается следующими зависимостями: где - входные сигналы нейрона, - синаптические веса нейрона, - порог нейрона, обеспечивающий смещение сигнала, - индуцированное локальное поле нейрона, - функция активации нейрона (сигмоидальная функция), - выходной сигнал нейрона, - количество входных сигналов нейрона, t - номер итерации, который соответствует t-му примеру из обучающего множества. Индуцированное локальное поле нейрона j с нелинейными синаптическими входами определяется следующим выражением: где - общее смещение сигнала на выходе нейрона j, - сигмоидальная функция, определяемая следующим выражением: где - настраиваемый коэффициент сигмоидальной функции активации на входе нейрона j, - входные сигналы нейрона j, - сигнал смещения для входных сигналов нейрона j. Следовательно, с учетом выражений (6)-(8) получим: Тогда с учетом (13), выражение (12) примет следующий вид: Согласно (10), локальный градиент скрытого нейрона j можно переопределить следующим образом: Коррекция применяемая к параметру пропорциональна частной производной и определяется как: где локальный градиент , указывающий на требуемое изменение настраиваемого параметра, определяется выражением (10) для нейрона выходного слоя, и выражением (16) для нейрона скрытого слоя. Коррекция применяемая к параметру пропорциональна частной производной и определяется как: где локальный градиент , указывающий на требуемое изменение настраиваемого параметра, определяется следующим выражением: а для нейрона скрытого слоя, локальный градиент определяется выражением: Таким образом, при обучении многослойной нейронной сети, на базе нейронов с нелинейными синаптическими входами, алгоритмом обратного распространения различают два прохода, выполняемых в процессе вычислений, это прямой проход и обратный проход. При этом локальные градиенты выходного слоя определяются выражением (10) для параметров и выражением (20) для параметра , а локальные градиенты скрытого слоя выражением (16) для параметров и выражением (21) для параметра , Затем происходит коррекция настраиваемых параметров согласно выражениям (9), (17), (18), (19).В результате проведенных научных исследований были получены следующие основные результаты: 1. Проведен анализ математических моделей искусственного нейрона и основных принципов построения нейросетевых архитектур. Выявлены факторы, влияющие на скорость обучения нейронных сетей.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ