Исследование целевой функции в задачах обучения искусственных нейронных сетей. Сущность итерационного процесса корректировки весовых коэффициентов. Особенность зависимости ошибки учебы от количества эпох для гибридного метода и адаптивного алгоритма.
Аннотация к работе
Сравнительный анализ алгоритмов обучения искусственной нейронной сетиМетоды обучения искусственных нейронных сетей (ИНС) разделяют на четыре категории: нулевого порядка, первого порядка, второго порядка и нелокальные модификации одноточечных методов. Поскольку целевая функция в задачах обучения многоэкстремальная, для нахождения глобального экстремума используют генетические алгоритмы, методы облака, рестартов, поколений, модифицированный метод многогранника. В основе многих алгоритмов обучения ИНС типа многослойный персептрон лежит итерационный процесс корректировки весовых коэффициентов , для которого необходимо выбрать направление движения и шаг [1]: , где вектор - направление движения; - размер шага; - порядковый номер текущей итерации. Благодаря известному методу обратного распространения ошибки можно произвести декомпозицию сложной задачи обучения. Построены комитеты размером 10 полносвязных двухслойных нейронных сетей с применением каждого алгоритма.