Распознавание образов с помощью неординарного алгоритма и программной реализации, осуществляющей функционирование новой разделенной структуры искусственной нейронной сети - Дипломная работа

Целью диссертации является разработка нового детерминированного алгоритма обучения ИНС Кохонена с использованием непрерывного клеточного автомата, позволяющего устранить большинство перечисленных недостатков, и его практическая реализация в электронных таблицах. Для достижения этой цели в работе поставлены и решены следующие задачи: - сбор и ввод нормализованных выборок данных, состоящих из двухмерных и четырех мерных векторов; построение графиков и диаграмм, определяющих степень сравнительной удаленности между различными объектами;Имеющиеся в арсенале алгоритмы классификации в основном используют неадаптивные алгоритмы распознавания образцов, которые работают для небольшого количества обучаемых образцов.ЦП интегрирует миллионы полупроводниковых транзисторов и подобен мозгу, в котором содержится около 100 миллиардов нейронов, каждый из которых имеет в среднем 10000 связей. По аналогии с схемотехникой больших интегральных схем (БИС) ЭВМ, где происходит прием, передача и переработка цифровой информации, биологическая сеть нейронов отвечает за все явления, которые мы называем мыслями, эмоциями, памятью, сенсомоторными и автономными функциями. Мозг, в котором, в отличие от ЦП, ежедневно погибает большое количество нейронов, чрезвычайно надежен и продолжает функционировать. Обработка огромных объемов информации мозгом осуществляется очень быстро, за доли секунды, несмотря на то, что сам нейрон является медленнодействующим элементом со временем реакции нескольких миллисекунд. В отличие от биологического нейрона, электрические полупроводники ЦП являются более быстродействующими и безошибочными, однако количество связей между нейронами мозга во много раз превышает связи между полупроводниками ЦП, что обеспечивает параллелизм и много поточность обработки информации.Каждый нейрон обладает многими качествами, общими с другими элементами тела, но его уникальной способностью является прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга. Нейрон состоит из трех частей: тела клетки, дендритов и аксона, каждая часть со своими, но взаимосвязанными функциями. Дендриты идут от тела нервной клетки (сома) к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие - воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам.Согласно предложенной модели мозг представляет собой множество нейронов, имеющих одинаковую структуру. Каждый нейрон реализует некоторую функцию, называемую пороговой, над входными значениями. Если значение функции превышает определенную величину - порог (что характеризует суммарную значимость полученной нейроном информации), нейрон возбуждается и формирует выходной сигнал для передачи его другим нейронам. Существует подобие между мозгом и цифровым компьютером: оба оперируют электронными сигналами, оба состоят из большого количества простых элементов, оба выполняют функции, являющиеся, грубо говоря, вычислительными, тем не менее, существуют и фундаментальные отличия. Хотя каждый нейрон требует наличия миллисекундного интервала между передаваемыми сигналами, высокая скорость вычислений мозга обеспечивается огромным числом параллельных вычислительных блоков, причем количество их намного превышает доступное современным ЭВМ.Именно этот факт в течение стольких лет побуждает и направляет работы ученых всего мира по созданию и исследованию искусственных нейронных сетей (ИНС). К первым попыткам раскрыть секрет высокой эффективности мозга можно отнести работу Рамон-и-Кахаля (1911), в которой была высказана идея о нейроне как структурной единице мозга. Она способна организовать свои нейроны таким образом, чтобы реализовать восприятие образа, его распознание или управление движением, во много раз быстрее, чем эти задачи будут решены самыми современными компьютерами. Она сходна с мозгом в двух аспектах: знание приобретается сетью в процессе обучения, для сохранения знания используются силы межнейронных соединений, называемые также синаптическими весами. Однако для ИНС существует еще и возможность модификации собственной топологии, основывающаяся на том факте, что в живом мозге нейроны могут появляться, умирать и менять свои связи с другими нейронами.В этой работе Мак-Каллок и Питтс ввели понятие "порогового логического нейрона" и описали логическую модель ИНС. В более поздних изданиях в нее были добавлены разделы, посвященные обучению, самоорганизации и нейрокибернетике. Хебб следовал сделанному ранее предположению Рамон-и-Кахаля и ввел "постулат обучения", который гласит, что эффективность (усиление) переменного синапса между двумя нейронами увеличивается в процессе повторяющейся активации одного нейрона другим через этот синапс. Одна из главных идей этой книги состоит в том, что адаптивное поведение живых систем не является

Содержание

1. Теоретическая часть

1.1 Цель работы

1.2 Научная новизна

1.3 Мозг и биологический нейрон

1.4 Биологический нейрон и нейронные сети

1.5 Аналогия между компьютером и человеческим мозгом

1.6 Искусственные нейронные сети

1.7 Этапы развития искусственных нейронных сетей

1.8 Архитектура искусственных нейронных сетей

2. Проблема классификации данных

2.1 Рецепторная структура восприятия информации

2.2 Понятие класса

2.3 Проблема кластеризации данных

2.4 Геометрический и структурный подходы

2.5 Гипотеза компактности

2.6 Обучение, самообучение и адаптация

2.7 Подготовка данных для обучения

2.7.1 Максимизация энтропии как цель предобработки

2.7.2 Нормировка данных

2.8 Алгоритмические построения

2.9 Обучение искусственных нейронных сетей

2.9.1 Обучение с учителем

2.9.2 Обучение без учителя

2.9.3 Процесс обучения нейронных сетей

2.9.4 Алгоритм секущих плоскостей

2.10 Обучение сети Кохонена

2.11 Клеточный автомат в нейронных сетях

2.11.1 Устройство клеточного автомата

2.11.2 Клеточная нейронная сеть

3. Классификация данных

3.1 Постановка задачи и сложности, связанные с ее реализацией

3.1.1 Выбор топологии сети

3.2 Алгоритм кластеризации данных

3.3 Блок схема нейронной сети

3.4 Создание табличной модели нейронной сети Кохонена

3.4.1 Рабочий лист "Выборки"

3.4.2 Рабочий лист "Обучение"

3.5 Обучение сети

3.6 Создание табличной модели обученной сети

3.7 Тестирование сети

3.8 Создание, обучение и тестирование сети Кохонена в Matlab

3.8.1 Обоснование выбора среды для создания сети

3.8.2 Архитектура сети

3.8.3 Создание сети

3.8.4 Обучение сети

3.8.5 Тестирование сети

3.9 Сравнение результатов кластеризации в Matlab и Excel

Заключение

Список литературы

1. Теоретическая часть

1.1 Цель работы

На основе проведенных исследований предложен принципиально новый метод распознавания образов с помощью неординарного алгоритма и программной реализации, осуществляющей функционирование новой разделенной структуры искусственной нейронной сети (ИНС), использующей нейро-матричную реализацию для классификации обрабатываемых данных. Основные результаты диссертационной работы следующие: На основе анализа и обработки специальной литературы и ресурсов Интернет были проработаны, выявлены и применены принципы и знания из теории нейробиологии, нейроинформатики, кибернетики, искусственного интеллекта, искусственных нейронных сетей и нейросетвой самоорганизации, персептронов, кластеризации и категоризации объектов, анализа сцен, машинного распознавания образов, теории множеств, дискретной математики. Для исследования проблемы была введена большая база данных (БД) из эталонных образов, состоящая из разновидностей пяти выборок данных для обучения нейронной сети.

искусственный нейронный сеть клеточный

1. Антонов А.С. Введение в параллельные вычисления. Методическое пособие / А.С. Антонов. - М.: Изд-во МГУ, 2002. - 70 с.

2. Букатов А.А., Дацюк В.Н., Жегуло А.И. Программирование многопроцессорных вычислительных систем / А.А. Букатов, В.Н. Дацюк, А.И. Жегуло. - Ростов-на-Дону: Изд-во ООО "ЦВВР", 2003. - 208 с.

3. Буцев А.В., Первозванский А.А. Локальная аппроксимация на искусственных нейросетях / А.В. Буцев // Автоматика и Телемеханика 1995. №9. С. 127-136

4. Вальковский В.А., Котов В.Е., Марчук А.Г., Миренков Н.Н. Элементы параллельного программирования / В.А. Вальковский, В.Е. Котов, А.Г. Марчук, Н.Н. Миренков. - М.: Радио и связь, 1983. - 240 с.

5. Вапник В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник. - М.: Наука, 1980, 520 с.

6. Васильев Д. Знакомьтесь, Erlang / Д. Васильев // Системный администратор. - 2009. - №8

7. Воеводин В.В. Математические модели и методы в параллельных процессах / В.В. Воеводин. - М.: Наука, 1986, 296 с.

8. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления / В.В. Воеводин, Вл.В. Воеводин. - СПБ.ГУ, 1997. - 308 с.

9. Воронцов, К. В., Лекции по искусственным нейронным сетям // К.В. Воронцов. - Воронеж, 2007. - 29 с.

10. Галушкин А.И. Нейронные сети. Основы теории / А.И. Галушкин. - М.: Горячая линия - Телеком, 2012. - 496 с.

11. Галушкин А.И. Нейронные сети: история развития: учеб. Пособие для вузов / А.И. Галушкин, Я.З. Цыпкин. - М.: ИПРЖ, 2001. - 839 с.

12. Герасименко М.С. Вычисление искусственных нейронных сетей на вычислительных кластерах или ЛВС / М.С. Герасименко / Вестник Воронежского государственного университета, Серия: Системный анализ и информационные технологии, №1, 2010. - С. 120-125

13. Головко В.А. Нейронные сети: обучение, организация и применение / В.А. Головко. - М.: ИПРЖР, 2001, 256 с.

14. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей / А. Н. Горбань // Сибирский журнал вычислительной математики - 1998. - Т. 1, №1. - С. 12-24

15. Горбань А.Н. Обучение нейронных сетей / А.Н. Горбань. - М.: Параграф, 1990. - 160 с.

16. Городняя Л.В. Основы функционального программирования. Курс лекций / Л.В. Городняя. - М.: Интернет-университет информационных технологий, 2004. 280 с.

17. Демиденко Е.З. Оптимизация и регрессия / Е.З. Демиденко. - М.: Наука, 1989. - 293с.

18. Дорогов А.Ю. Быстрые нейронные сети / А.Ю. Дорогов. - СПБ.: СПУ, 2002. - 80 с.

19. Ионов С.Д. Распределенная потоковая нейронная сеть / С.Д. Ионов // Современные проблемы математики: тез. 42-й Всеросс. молодежн. шк.-конф., 30 янв. - 6 февр. 2011 г. Екатеринбург: ИММ УРО РАН, 2011. С. 288-290

20. Калинин А.В. Математическое и программное обеспечение массивнопараллельных вычислений в распределенных системах на базе аппарата нейронных сетей: Дис. канд. техн. наук. - Воронеж, 2003. - 157 с.

21. Калинин А.В., Подвальный, С.Л. Технология нейросетевых распределенных вычислений / А.В. Калинин, С.Л. Подвальный. - Воронеж: ВГУ, 2004. - 121 с.

22. Каллан Р. Основные концепции нейронных сетей / Р. Каллан. - М.: Вильямс, 2001. - 288 с.

23. Классификация параллельных вычислительных систем. [Электронный ресурс]. - Режим доступа: http://ru.wikipedia.org/wiki/Классификация параллельных вычислительных систем.

24. Королюк В.С. Справочник по теории вероятностей и математической статистике / В.С. Королюк, Н.И. Портенко, А.В. Скротоход, А.Ф. Турбин. - М.: Наука, Главная редакция физико-математической литературы, 1985. - 640 с.

25. Красовский Г.И., Филаретов Г.Ф. Планирование эксперимента / Г.И. Красовский, Г.Ф. Филаретов. - Минск: изд-во БГУ, 1982. - 302 с.

26. Крил П. Функциональное программирование - друг параллелизма / П. Крил // Открытые системы. - 2010. - №8

27. Круглов В.В. Нечеткая логика и искусственные нейронные сети // В.В. Круглов, М.И. Дли, Р.Ю. Голунов: Учеб. пособие. - М.: Физматлит, 2001. - 224 с.

28. Нейронные сети. STATISTICA Neural Networks: Методология и технологии современного анализа данных / Под редакцией В.П. Боровикова. - 2-е изд., перераб. и доп. - М.: Горячая линия - Телеком, 2008. - 288 с.

29. Оссовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. - М.: Финансы и статистика, 2002. - 344 с.

30. Официальный сайт Emergent Neural Network Simulation System

[Электронный ресурс]. - Режим доступа: http: //grey.colorado. edu/emergent/index.php.

31. Официальный сайт FANN [Электронный ресурс]. - Режим доступа: http://leenissen.dk/fann/wp.

32. Официальный сайт IBM [Электронный ресурс]. - Режим доступа: http://ibm.com.

33. Официальный сайт Mathworks [Электронный ресурс]. - Режим доступа: http: //www.mathworks .com.

34. Официальный сайт Neurosolutions [Электронный ресурс]. - Режим доступа: http: //www.neurosolutions .com.

35. Официальный сайт Oracle VIRTUALBOX [Электронный ресурс]. - Режим доступа: http://www.virtualbox.org.

36. Официальный сайт PCSIM [Электронный ресурс]. - Режим доступа: http: //www.lsm.tugraz.at/pcsim.

37. Официальный сайт STATISTICA Automated Neural Networks - автоматизированные нейронные сети [Электронный ресурс]. - Режим доступа: http://www.statsoft.ru/products/STATISTICA_Neural_Networks

38. Официальный сайт VMWARE [Электронный ресурс]. - Режим доступа: http:// www.vmware.com.

39. Официальный сайт Wolfram Mathematica [Электронный ресурс]. - Режим доступа: http://www.wolfram.com.

40. Поляк Б.Т. Введение в оптимизацию / Б.Т. Поляк. М.: Наука, 1983. - 384 с.

41. Розенблатт Ф. Принципы нейродинамики: Перцептрон и теория механизмов мозга / Ф. Розенблатт. - М. Мир, 1965. - 480 с.

42. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская и др. - М. Горячая линия - Телеком, 2004. - 452 с.

2011. Сидняев Н.И. Введение в теорию планирования эксперимента: учеб. пособие / Н.И. Сидняев, Н.Т. Вилисова. - М.: изд-во МГТУ им. Н.Э. Баумана, - 463 с.

43. Тархов Д.А. Нейронные сети. Модели и алгоритмы. Кн. 18 / Д.А. Тархов. - М.: Радиотехника, 2005. - 256 с.: ил.

44. Хайкин С. Нейронные сети: полный курс, 2-e издание.: Пер. с ант. -М. Издательский дом "Вильямс", 2006. - 1104 с.: ил. - Парал. тит. ант.

45. Чезарини Ф., Томпсон, С. Программирование в Erlang / Ф. Чезарини, С. Томпсон. - М.: ДМК Пресс, 2012. - 488 с.

46. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities / J.J. Hopfield, Proceedings of National Academy of Sciences, vol. 79 no. 8, 1982. - pp. 2554-2558

47. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators, Neural Netw., vol. 2, no. 5, pp. 359-366, 1989

48. IBM BLADECENTER HS22 Technical Introduction [Электронный ресурс]. - Режим доступа: http: //www.redbooks .ibm.com/redpapers/pdfs/redp453 8. pdf.

49. Leshno M., Lin V.Y., Pinkus A., Schocken S. Multilayer feedforward networks with a nonpolynomial activation function can approximate any function, Neural Netw., vol. 6, no. 6, pp. 861-867, 1993

50. Levenberg K A method for the solution of certain problems in least squares, Quart. Appl. Math., vol. 2, pp. 164-168, 1944

Размещено на .ru