Комплексный эволюционный подход для проектирования коллективов нейросетевых технологий моделирования и прогнозирования - Статья

бесплатно 0
4.5 226
Комплексный подход для проектирования коллективов нейросетевых технологий, включающий в себя методы формирования структуры нейронных сетей и их обучения. Суть метода автоматического определения способа, параметров формирования общего решения в коллективе.


Аннотация к работе
В этой связи одним из возможных подходов повышения эффективности систем, основанных на нейронных сетях, видится использование автоматически генерируемых коллективов нейронных сетей. Коллектив нейронных сетей (НС) представляет собой некоторое множество отдельных НС, используемых совместно для решения одной задачи. Второй этап включает в себя отбор тех НС, которые будут использованы при формировании общего решения коллектива, и определение способа и параметров для эффективного расчета общего коллективного решения на основе решений отдельных НС. Для выполнения первого этапа формирования коллектива НС предлагается эволюционный метод, который основан на вычислении и использовании в эволюционном процессе оценок вероятностей В качестве множества термов, из которых строятся решения, используются решения, полученные нейронными сетями из предварительного пула.

Введение
Все актуальнее становится вопрос о совместном использовании в рамках одной системы нескольких ИИТ, что, порой, позволяет получить качественные улучшения характеристик системы в целом. В этой связи одним из возможных подходов повышения эффективности систем, основанных на нейронных сетях, видится использование автоматически генерируемых коллективов нейронных сетей.

1. Методы проектирования коллективов нейросетевых технологий

Коллектив нейронных сетей (НС) представляет собой некоторое множество отдельных НС, используемых совместно для решения одной задачи. Впервые идея об объединении отдельных НС в коллектив была предложена в [Hansen et al., 1990].

В общем случае проектирование коллектива НС включает в себя два этапа: первый этап заключается в формировании структуры и обучении отдельных НС. Второй этап включает в себя отбор тех НС, которые будут использованы при формировании общего решения коллектива, и определение способа и параметров для эффективного расчета общего коллективного решения на основе решений отдельных НС.

1.1 Вероятностный эволюционный метод автоматического проектирования нейронных сетей

Для выполнения первого этапа формирования коллектива НС предлагается эволюционный метод, который основан на вычислении и использовании в эволюционном процессе оценок вероятностей

IMG_02b26589-450e-4279-992c-9e23ed456623

IMG_bf7b9e1d-c6a4-4211-b93e-86eae008c899 , где

IMG_9ae82d6d-74d8-461f-b706-33aed3b067c9

IMG_6fbb5122-01ae-4a53-888d-2b3e896f2ad2 - номер скрытого слоя НС,

IMG_1e2d2f24-65ee-49fb-831f-0474f1aa8c8f

IMG_7ef74471-9693-4b4d-ba8e-08b36008a1b0 - максимальное число скрытых слоев,

IMG_1c0f25ce-8d02-4fa8-aa34-19cb09c884f2

IMG_fb4f5753-6e21-419c-8cd9-c6498e20464c - номер нейрона на скрытом слое сети,

IMG_a597729d-eaeb-43bb-99cc-83290dc2495d

IMG_e29f3d5c-5669-4d4a-9493-07d9ba45685a - максимальное число нейронов на скрытом слое,

IMG_90048509-b058-4b5d-9d88-b3bad1454ede

IMG_25d683b3-937a-488e-af4c-ce2d5c853cca , где

IMG_33f698b2-80a7-4d83-bb97-a7c14afc1748

IMG_c90a7db2-e6fd-44bb-8057-84920d760760 - мощность множества активационных функций, которые могут быть использованы при формировании структуры НС. Если индекс

IMG_9087ce57-da10-426d-88cf-17365570dc9e

IMG_a85bf71d-4599-4f63-8b32-25420580a491 лежит в интервале

IMG_fb43a9de-9e4a-4ba5-ad8c-7ce2c999a755 , то он соответствует номеру активационной функции в нейроне, если

IMG_d36a0053-94d6-4b65-addb-b1651778c95a

IMG_a888337f-2207-42ea-b2c3-2cbd1fcb540d , то

IMG_3f79d797-91e3-4f1e-80df-639fcb520ba4 является оценкой вероятности того, что в сети отсутствует

IMG_29735eb8-c034-4263-bc10-e10f804a7086 j-й нейрон на i-ом

IMG_cb8121a6-0bdc-4304-8ab4-2079b14aad93 слое. Использование вероятностных оценок структуры НС позволяет производить обработку информации о ее структуре, без использования генетических операторов и кодирования структуры в бинарные строки. Это освобождает от необходимой процедуры настройки большинства параметров, характерных для генетического алгоритма (ГА).

1.2 Формирование общего решения в коллективах НС

Для повышения эффективности выполнения этого этапа был разработан подход, основанный на методе генетического программирования [Koza, 1992]. В качестве множества термов, из которых строятся решения, используются решения, полученные нейронными сетями из предварительного пула. Общее коллективное решение представляет собой некоторую функцию, входными параметрами которой являются частные решения нейронных сетей, включенных в коллектив:

IMG_6170c0df-03a9-4c09-95cc-1d6c5bf0cf18 (1.1)

Здесь

IMG_b9f382de-197c-44d2-b020-4df1a0d1c693

IMG_d28293bf-6504-40d0-8009-d09080975881 - общее решение,

IMG_a3a97b81-f036-4319-b210-c6ffe8290568

IMG_d4dc5b97-2c62-4d7d-95e0-d849f3b9eb32 - индивидуальное решение i-ой сети,

IMG_77060be4-5262-4817-bea2-943044260657

IMG_3b47788a-d09c-4aa9-8181-dc1d7550e84f - число сетей в коллективе.

2. Экспериментальное исследование методов проектирования коллективов нейронных сетей

Предлагаемый метод был исследован в сравнении с методом GASEN, [Zhou et al., 2002]. В исследования также были включены два других метода, использующих ГА для формирования коллектива и распространенный подход взвешенного усреднения [Perrone et al., 1993] для формирования общего решения (GA-based1 и GA-based2).

Для НС максимальное число скрытых слоев было установлено равное трем, максимальное число нейронов на каждом слое равно пяти.

Примеры задач моделирования, использовавшихся в сравнительных исследованиях, приведены в [Бухтояров, 2010]. Для проведения исследований также был использован набор данных тестов по прогнозированию прочностных характеристик бетона из репозитория UCI Machine Learning Repository [Yeh, 2007]. В качестве главного критерия эффективности использовались оценка математического ожидания абсолютной ошибки моделирования (прогнозирования), рассчитанная по данным, полученным в ходе 50 независимых запусков алгоритмов.

Табл. 1.

ЗадачаОдна сеть Метод проектирования коллективов

Генерация ГА-методомГенерация вероятностным методомGASENGA-based1GA-based2Предлагаемый подход

11,8571,8801,4441,3351,3020,855

24,4284,3553,4793,4863,4823,037

32,5822,5371,6791,6511,6391,389

47,1677,1466,1926,1476,1005,036

52,7622,8521,9171,8331,7471,368

66,5126,4734,9164,7454,5284,568

76,8346,7546,0956,0836,1525,218

84,4264,4803,8213,8243,8182,845

94,1964,2043,1683,3053,1242,272

104,3254,3043,1633,1573,1212,979

11 - -4,1194,1134,0123,521



Для исследования значимости различий в эффективности используемых подходов были использованы методы ANOVA.

При исследовании результатов сравнения предлагаемого вероятностного метода проектирования НС и «традиционного» метода, использующего ГА, статистически значимых различий в эффективности выявлено не было. В виду того, что предлагаемый метод обладает меньшим числом настраиваемых параметров, видится оправданным использовать его для проектирования НС.

Было показано, что использование коллективного подхода позволяет значимо повысить эффективность НС-подхода на всех использованных тестовых задачах, а на 9 из 11 использованных тестовых задачах предлагаемый комплексный эволюционный подход превосходит по эффективности другие исследуемые подходы. На оставшихся 2 задачах результаты всех коллективных подходов статистически не различимы.

В качестве тестовых задач прогнозирования были использованы выборки данных, сгенерированные из набора данных Synthetic Control Chart Time Series, взятого из Machine Learning Repository [Frank et al., 2007]. В набор данных включены примеры различных классов временных рядов (ВР): обычный ВР без тренда и цикличности (задача 1), цикличный ВР (2), ВР с возрастающим трендом (3), ВР с убывающим трендом (4).

Табл. 2.

Caaa?aОценка математическое ожидание ошибки моделирования, %

GASENGA-based1GA-based2Предлагаемый подходЭкспоненциальное сглаживание

111,311,511,5819,9

29,79,89,76,929,5

310,810,911,18,419,4

49,69,810,17,318,6

На всех задачах разработанный подход позволяет сократить ошибку прогнозирования относительно ошибок других методов по крайней мере на 20%. В дальнейшем подход был успешно апробирован для решения задач задачи моделирования процесса рудно-термической плавки и задачи прогнозирования вибрационных характеристик гидротурбины, прогнозирования содержания углекислого газа на выходе газовой печи и прогнозирования характеристик процесса деградации солнечных батарей космического аппарата.

Список литературы
[Бухтояров, 2010] Бухтояров В. В. Вероятностный метод формирования структуры нейронных сетей // Теория и практика системного анализа: Тр. I Всерос. науч. конф. мол. уч. - Т. I. - Рыбинск: РГАТА, 2010.

[Frank et al., 2007] Frank A., Asuncion A. UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.

[Hansen et al., 1990] Hansen L.K., Salamon P., Neural network ensembles, IEEE Trans. Pattern Analysis and Machine Intelligence 12 (10). 1990.

[Koza, 1992] Koza J.R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems. - Cambridge, MA: MIT Press, 1992.

[Perrone et al., 1993] Perrone M.P., Cooper L.N., When networks disagree: ensemble method for neural networks, in: R.J. Mammone (Ed.), Artificial Neural Networks for Speech and Vision, Chapman & Hall, New York, 1993.

[Yeh, 2007] Cheng Y.I. Modeling slump flow of concrete using second-order regressions and artificial neural networks // Cement and Concrete Composites, 2007, Vol.29, No. 6.

[Zhou et al., 2002] Zhou Z.H., Wu J., Tang W. Ensembling neural networks: Many could be better than all, Artif. Intell., 2002, vol.137, no.1-2.

Размещено на .ru
Заказать написание новой работы



Дисциплины научных работ



Хотите, перезвоним вам?