Изучение сути искусственных нейронных сетей. Векторные пространства. Матрицы и линейные преобразования векторов. Биологический нейрон и его кибернетическая модель. Теорема об обучении персептрона. Линейная разделимость и персептронная представляемость.
Аннотация к работе
2. Основы из высшей математики 2.1 Векторные пространства 2.2 Матрицы и линейные преобразования векторов 3. Биологический нейрон и его кибернетическая модель 3.1 Биологический нейрон 3.2 Нейронные сети 3.3 Структура простой рефлекторной нейронной сети 3.4 Биологическая изменчивость и обучение нейронных сетей 3.5 Формальный нейрон 3.6 Обучение нейрона детектированию границы «черное - белое» 3.7 Классификация нейронных сетей 4. Принцип WTA в модели Липмана-Хемминга 6. Карта самоорганизации Кохонена 7. Когнитрон и неокогнитрон Фукушимы 8.1 Когнитрон - самоорганизующаяся многослойная нейросеть 8.2 Неокогнитрон 8.3 Неокогнитрон и инвариантное распознавание образов 9. Общее понятие сетей АРТ 9.1 Дилемма стабильности-пластичности восприятия 9.2 Принцип адаптивного резонанса 9.3 Обучение сети АРТ 9.4 Теоремы АРТ 10. Сжатие данных и ассоциативная память 11. Введение Искусственные нейронные сети (ИНС) - математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Широкий интерес к нейронным сетям был инициирован после появления работы Хопфилда (Hopfield J.J., 1982), который показал, что задача с изинговскими нейронами может быть сведена к обобщениям ряда моделей, разработанных к тому моменту в физике неупорядоченных систем. Работа сети Хопфилда (наиболее подробно обсуждаемая в физической литературе) состоит в релаксации начального спинового портрета матрицы двоичных кодов к одному из стационарных состояний, определяемых правилом обучения (правилом Хебба). В последующие годы предложенный Хинтоном алгоритм обратного распространения ошибок претерпел бесчисленное множество вариаций и модификаций. В начале 90-х под таким заголовком в старейшей уважаемой газете Нью-Йорк Таймс появилась статья, рассказывающая о современных достижениях и направлениях в области интеллектуальных компьютерных систем. Среди магистральных путей развития данной отрасли эксперты издания выделили: · Компьютеры с высокой степенью параллелизма обработки информации, которые могут разделить ту или иную задачу на части и обрабатывать их одновременно, тем самым значительно сокращая общее время вычислений; · Компьютеры, в которых вместо электронных сигналов для передачи информации используется оптика. Примеры векторов: а) булев вектор с 25 компонентами, нумеруемыми по строкам, б) действительный вектор из пространства R4. Множество векторов с действительными компонентами является частным случаем более общего понятия, называемого линейным векторным пространством V, если для его элементов определены операции векторного сложения и умножения на скаляр., удовлетворяющие перечисленным ниже соотношениям (здесь x, y, z - вектора из V, а a, b - скаляры из R): 1. x y = y x, результат принадлежит V (свойство коммутативности) 2. a . Важным развитием теории формального нейрона является переход к аналоговым (непрерывным) сигналам, а также к различным типам нелинейных переходных функций. Опишем наиболее широко используемые типы переходных функций Y=f(net). Наибольшая чувствительность наблюдается вблизи порога, где малые изменения сигнала net приводят к ощутимым изменениям выхода. Напротив, к вариациям сигнала в областях значительно выше или ниже порогового уровня сигмоидальная функция не чувствительна, так как ее производная при больших и малых аргументах стремится к нулю. 3.6 Обучение нейрона детектированию границы «черное-белое» Способность формального нейрона к обучению проявляется в возможности изменения значений вектора весов W, соответствующей пластичности синапсов биологических нейронов. Формальный нейрон с двумя входами, занятый обработкой образа в виде одномерной цепочки черных и белых клеток. Пусть имеется набор пар векторов (xa, ya), a = 1..p, называемый обучающей выборкой. Начальные значения весов всех нейронов полагаются случайными. Принцип WTA в модели Липмана-Хемминга WTA - winner take all (Победитель забирает все). Память здесь не является распределенной, так как при выходе из строя одного нейрона полностью теряется информация обо всем соответствующем ему образе памяти. 6. При этом, благодаря обобщению, появляется возможность восстановления пары (XY) по одной известной компоненте (X или Y).