Понятие искусственных нейронных сетей. Модель и архитектура технического нейрона. Обучение нейронных сетей. Основные функциональные возможности программ моделирования нейронных сетей. Однослойный и многослойный персептроны. Принцип работы сети Кохонена.
Аннотация к работе
Появляется все больше различных технологий для обработки, хранения и распространения информации, и главную роль в этом процессе играют компьютерные технологии. Широкое внедрение сети Интернет во все аспекты информационных технологий оказало влияние и на организацию процесса обучения. Им на смену приходит обучение с помощью Интернет, предлагающее интерактивное взаимодействие студентов и преподавателя. Современные технологии Интернет позволяют доставить информацию не только в виде текста (с иллюстрациями и таблицами), но позволяют передавать исполняемые модули, а также мультимедиа-информацию (аудио-и видеофрагменты). Надо построить адекватную модель взаимодействия преподавателя с учеником, что позволит значительно повысить корректность контроля знаний при дистанционном обучении и приблизить ее к очной форме обучения.Интеллектуальные системы на основе искусственных нейронных сетей (ИНС) позволяют с успехом решать проблемы распознавания образов, выполнения прогнозов, оптимизации, ассоциативной памяти и управления. Известны и иные, более традиционные подходы к решению этих проблем, однако они не обладают необходимой гибкостью за пределами ограниченных условий. Длительный период эволюции придал мозгу человека много качеств, которые отсутствуют как в машинах с архитектурой фон Неймана, так и в современных параллельных компьютерах. К ним относятся: • массовый параллелизм, • распределенное представление информации и вычисления, • способность к обучению и способность к обобщению, • адаптивность, • свойство контекстуальной обработки информации, • толерантность к ошибкам, • низкое энергопотребление.Представим некоторые проблемы, решаемые в контексте ИНС и представляющие интерес для ученых и инженеров. Задача состоит в указании принадлежности входного образа (например, речевого сигнала или рукописного символа), представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала электрокардиограммы, классификация клеток крови. При решении задачи кластеризации, которая известна также как классификация образов "без учителя", отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер.Исследования в области ИНС пережили три периода активизации. Считается, что теория нейронных сетей, как научное направление, впервые была обозначена в классической работе МАККАЛЛОКА и Питтса 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети.Этот математический нейрон вычисляет взвешенную сумму n входных сигналов xj, j = 1, 2... n, и формирует на выходе сигнал величины 1, если эта сумма превышает определенный порог u, и 0 - в противном случае. Здесь наблюдается определенная аналогия с биологическим нейроном: передачу сигнала и взаимосвязи имитируют аксоны и дендриты, веса связей соответствуют синапсам, а пороговая функция отражает активность сомы. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, - вес синапса. Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Эта функция называется "функция активации" или "передаточная функция" нейрона.Нейронной сетью будем называть структуру, состоящую из связанных между собой нейронов. Можно выделить три основных типа нейронных сетей: полносвязные сети (рис. В слабосвязных сетях нейроны располагаются в узлах прямоугольной решетки. В полносвязной сети каждый нейрон связан со всеми остальными (на входы каждого нейрона подаются выходные сигналы остальных нейронов). В многослойных сетях нейроны объединяются в слои.Для конструирования процесса обучения, прежде всего, необходимо иметь модель внешней среды, в которой функционирует нейронная сеть - знать доступную для сети информацию. Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения. Теория обучения рассматривает три фундаментальных свойства, связанных с обучением по примерам: емкость, сложность образцов и вычислительная сложность. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом.Стандартная L-слойная сеть прямого распространения состоит из слоя входных узлов (будем придерживаться утверждения, что он не включается в сеть в качестве самостоятельного слоя), (L-1) скрытых слоев и выходного слоя, соединенных последовательно в прямом направлении и не содержащих связей между элементами внутри слоя и обратных связей между слоями.Наиболее популярный класс многослойных сетей прямого распространения образуют многослойные пе
План
Содержание
Введение
Глава 1. Введение в искусственные нейронные сети
1.1 Проблемы, решаемые в контексте ИНС
1.2 Краткий исторический обзор
1.3 Модель технического нейрона
1.4 Архитектура нейронной сети
1.5 Обучение нейронных сетей
1.6 Многослойные сети прямого распространения
1.6.1 Многослойный персептрон
1.6.2 RBF-сети
1.6.3 Нерешенные проблемы
1.7 Самоорганизующиеся карты Кохонена
1.8 Модели теории адаптивного резонанса
1.9 Сеть Хопфилда
1.9.1 Ассоциативная память
1.9.2 Минимизация энергии
Глава 2. Основные функциональные возможности программ моделирования нейронных сетей
2.1 Формирование (создание) нейронной сети.
2.2 Обучение нейронной сети
2.3 Имитация функционирования (тестирование) обученной нейронной сети
Глава 3. Персептроны
3.1 Однослойный персептрон
3.2 Многослойный персептрон
3.2.1 Архитектура сети
3.2.2 Алгоритм обратного распространения
3.2.3 Модификации алгоритма обратного распространения и RPROP-алгоритма
3.3 Применение многослойных персептронов
3.3.1 Решение конкретных задач
3.3.2 Естественные координаты
3.3.3 Репликативные нейронные сети
3.3.4 Практическое использование репликативных нейронных сетей
Глава 4. Сети Кохонена
4.1 Основной принцип работы сети Кохонена
4.2 Сходимость алгоритма самообучения
Глава 5. Сети радиальных базисных функций
5.1 Архитектура сетей
5.2 Интерполяция при помощи центральных функций
5.3 Интерполяция с помощью центральных функций и полиномов
5.4 Аппроксимация с помощью центральных функций
5.5 Вариационное исчисление для решения проблемы аппроксимации с помощью RBF-сетей
5.6 Расширение на случай многих функций
5.7 Расширение линейной частью
5.8 Сети гипер-базисных функций (Hyper-Basisfunktionen-Netze = HBF-Netze)
5.9 Итеративное дополнительное обучение RBF- и HBF-сетей
5.10 Выбор центров и радиусов в RBF-сетях
5.10.1 Итеративный алгоритм кластеризации
5.10.2 Выбор параметра s
5.10.3 Расчет выходной весовой матрицы C
Глава 6. Нейронные сети и генетические алгоритмы
6.1 Эволюция как способ оптимизации.
6.2 Генетические алгоритмы
6.3 Нейрогенетические способы
Глава 7. Система моделирования нейронных сетей Trajan 2.0
7.1 Создание сети и обучающей последовательности
7.1.1 Создание сети
7.1.2 Количество и размерность слоев в сети
7.1.3 Создание обучающей последовательности
7.1.4 Редактирование набора образцов
7.2 Обучение сети
7.2.1 Типы сетей
7.2.2 Создание обучающей и проверочной последовательностей образов
7.2.3 Создание сокращенной обучающей последовательности
Глава 8. Экспериментальное исследование эффективности применения нейронных сетей
Глава 9. Методика представления, архивирования и обработки обучающей последовательности для алгоритмов обучения нейросетей
Глава 10. Возможности использования среды WWW для дистанционного обучения
Глава 11. Создание программ для среды WWW
Глава 12. Технико-экономический анализ и обоснование разработки адаптивного обучающего и контролирующего курсов по нейросетям
12.1 Обоснование выбора темы и области применения разработки
12.2 Оценка ожидаемой экономической целесообразности разработки, изготовления и использования проектируемой системы
12.2.1 Расчет затрат на разрабоку и изготовление предлагаемого курса
12.2.2 Расчет экономического эффекта от создания и использования обучающего курса
12.3 Выводы
Глава 13. Обучение контролирующей системы
Глава 14. Дистанционный обучающий и контролирующий курс
Заключение
Литература
Приложение 1. Лабораторная работа «Кластеризация образов с помощью системы моделирования нейросетей Trajan 2.1»
1. Цель работы
2. Знания и умения, формируемые данной лабораторной работой
3. Постановка задачи
4. Принципиальные особенности сетей Кохонена.
5. Создание сети Кохонена
6. Обучение сети Кохонена
7. Работа с сетью Кохонена.
8. Задание
9. Контрольные вопросы
Приложение 2. Вопросы контролирующего курса.
Приложение 3. Обучающие последовательности для контролирующей системы
Приложение 4. Листинг контролирующей программы.
Введение
Сегодня информация является важной частью повседневной жизни. Появляется все больше различных технологий для обработки, хранения и распространения информации, и главную роль в этом процессе играют компьютерные технологии. Одной из неотъемлемых частей существования человечества является образование: передача накопленных знаний и навыков, то есть передача информации.
В последнее время активно развиваются такие методы обучения как заочное, дистанционное и самостоятельное обучение. Широкое внедрение сети Интернет во все аспекты информационных технологий оказало влияние и на организацию процесса обучения. Сейчас очень популярны компьютерные курсы, представляющие собой электронные учебники и предполагающие самостоятельное изучение. Им на смену приходит обучение с помощью Интернет, предлагающее интерактивное взаимодействие студентов и преподавателя.
Таким образом, появляется необходимость в разработке систем дистанционного обучения и автоматического контроля знаний.
В процессе образования очень важным является взаимодействие преподавателя и ученика (студента). Часто тонкие нюансы передаваемых знаний можно объяснить и уловить только при непосредственном общении. Также преподавателю необходимо понимать насколько хорошо студент понимает, усваивает материал. Такое общение зачастую основано на постановке вопросов и получении ответов. Важным является не только адекватное, понятное объяснение материала, но и контроль знаний студентов, выставление оценки, которая несет также и воспитательный характер. И если в области создания дистанционных учебных курсов уже есть разработки, то на этапе контроля знаний таких разработок пока очень мало. Традиционные методики дистанционного контроля знаний основаны на обыкновенном подсчете правильных ответов, а это не всегда верно отражает знания студента. Следовательно, при автоматизации обучения необходимо разработать систему, наиболее адекватно отражающую характеристики преподавателя в проставлении оценок.
Современные технологии Интернет позволяют доставить информацию не только в виде текста (с иллюстрациями и таблицами), но позволяют передавать исполняемые модули, а также мультимедиа-информацию (аудио- и видеофрагменты). Все это позволяет разрабатывать обучающие системы, мало уступающие традиционному обучению с использованием лекций и семинаров.
Для проведения эфективного заочного обучения с помощью Интернет необходимо получить формализованную модель преподавателя. Надо построить адекватную модель взаимодействия преподавателя с учеником, что позволит значительно повысить корректность контроля знаний при дистанционном обучении и приблизить ее к очной форме обучения. Вполне приемлемым подходом к этой проблеме является анализ вопросов и выставленных оценок, т.е. фактически - решение задачи аппроксимации функции взаимодействия. Для решения подобных задач уже весьма давно применяются нейронные сети.
Данный дипломный проект является частью кафедрального проекта по автоматизации обучения и посвящен созданию адаптивного обучающего и контролирующего курсов по нейронным сетям. В качестве инструмента построения обучающей системы в проекте используются нейронные сети. Готовый учебный комплекс предназначен для проведения дистанционного обучения студентов с использованием сети Интернет.
Глава 1 посвящена введению в нейронные сети. В главе 2 проведен обзор возможностей программ моделирования нейронных сетей. Главы 3-5 содержат детальное описание определенных видов нейросетей: персептроны, сети Кохонена, сети радиальных базисных функций. В главе 6 рассматривается генетический алгоритм и его применение для оптимизации нейросетей. Глава 7 содержит описание возможностей системы моделирования нейронных сетей Trajan 2.0 и рекомендации по ее применению. Результаты экспериментального исселдования возможности применения нейросетей для контроля знаний приведены в главе 8, а глава 9 содержит методику обучающей последовательности. В главах 10-11 приведены возможности использования среды WWW в дистанционном обучении, создания программ для нее и примеры программ: демонстрация работы сети Кохонена и программа дистанционного контроля знаний, использующая нейросеть. В главе 12 проведен технико-экономический анализ и обоснование разработки адаптивного обучающего и контролирующего курсов по нейронным сетям. В главе 13 представлена методика обучения контролирующей системы на основе нейросети и в главе 14 приведено описание работы созданного комплекса дистанционного обучения.