Комплексный подход для проектирования коллективов нейросетевых технологий, включающий в себя методы формирования структуры нейронных сетей и их обучения. Суть метода автоматического определения способа, параметров формирования общего решения в коллективе.
Аннотация к работе
В этой связи одним из возможных подходов повышения эффективности систем, основанных на нейронных сетях, видится использование автоматически генерируемых коллективов нейронных сетей. Коллектив нейронных сетей (НС) представляет собой некоторое множество отдельных НС, используемых совместно для решения одной задачи. Второй этап включает в себя отбор тех НС, которые будут использованы при формировании общего решения коллектива, и определение способа и параметров для эффективного расчета общего коллективного решения на основе решений отдельных НС. Для выполнения первого этапа формирования коллектива НС предлагается эволюционный метод, который основан на вычислении и использовании в эволюционном процессе оценок вероятностей В качестве множества термов, из которых строятся решения, используются решения, полученные нейронными сетями из предварительного пула.
Введение
Все актуальнее становится вопрос о совместном использовании в рамках одной системы нескольких ИИТ, что, порой, позволяет получить качественные улучшения характеристик системы в целом. В этой связи одним из возможных подходов повышения эффективности систем, основанных на нейронных сетях, видится использование автоматически генерируемых коллективов нейронных сетей.
1. Методы проектирования коллективов нейросетевых технологий
Коллектив нейронных сетей (НС) представляет собой некоторое множество отдельных НС, используемых совместно для решения одной задачи. Впервые идея об объединении отдельных НС в коллектив была предложена в [Hansen et al., 1990].
В общем случае проектирование коллектива НС включает в себя два этапа: первый этап заключается в формировании структуры и обучении отдельных НС. Второй этап включает в себя отбор тех НС, которые будут использованы при формировании общего решения коллектива, и определение способа и параметров для эффективного расчета общего коллективного решения на основе решений отдельных НС.
1.1 Вероятностный эволюционный метод автоматического проектирования нейронных сетей
Для выполнения первого этапа формирования коллектива НС предлагается эволюционный метод, который основан на вычислении и использовании в эволюционном процессе оценок вероятностей
IMG_02b26589-450e-4279-992c-9e23ed456623
IMG_bf7b9e1d-c6a4-4211-b93e-86eae008c899 , где
IMG_9ae82d6d-74d8-461f-b706-33aed3b067c9
IMG_6fbb5122-01ae-4a53-888d-2b3e896f2ad2 - номер скрытого слоя НС,
IMG_1e2d2f24-65ee-49fb-831f-0474f1aa8c8f
IMG_7ef74471-9693-4b4d-ba8e-08b36008a1b0 - максимальное число скрытых слоев,
IMG_1c0f25ce-8d02-4fa8-aa34-19cb09c884f2
IMG_fb4f5753-6e21-419c-8cd9-c6498e20464c - номер нейрона на скрытом слое сети,
IMG_a597729d-eaeb-43bb-99cc-83290dc2495d
IMG_e29f3d5c-5669-4d4a-9493-07d9ba45685a - максимальное число нейронов на скрытом слое,
IMG_90048509-b058-4b5d-9d88-b3bad1454ede
IMG_25d683b3-937a-488e-af4c-ce2d5c853cca , где
IMG_33f698b2-80a7-4d83-bb97-a7c14afc1748
IMG_c90a7db2-e6fd-44bb-8057-84920d760760 - мощность множества активационных функций, которые могут быть использованы при формировании структуры НС. Если индекс
IMG_9087ce57-da10-426d-88cf-17365570dc9e
IMG_a85bf71d-4599-4f63-8b32-25420580a491 лежит в интервале
IMG_fb43a9de-9e4a-4ba5-ad8c-7ce2c999a755 , то он соответствует номеру активационной функции в нейроне, если
IMG_d36a0053-94d6-4b65-addb-b1651778c95a
IMG_a888337f-2207-42ea-b2c3-2cbd1fcb540d , то
IMG_3f79d797-91e3-4f1e-80df-639fcb520ba4 является оценкой вероятности того, что в сети отсутствует
IMG_29735eb8-c034-4263-bc10-e10f804a7086 j-й нейрон на i-ом
IMG_cb8121a6-0bdc-4304-8ab4-2079b14aad93 слое. Использование вероятностных оценок структуры НС позволяет производить обработку информации о ее структуре, без использования генетических операторов и кодирования структуры в бинарные строки. Это освобождает от необходимой процедуры настройки большинства параметров, характерных для генетического алгоритма (ГА).
1.2 Формирование общего решения в коллективах НС
Для повышения эффективности выполнения этого этапа был разработан подход, основанный на методе генетического программирования [Koza, 1992]. В качестве множества термов, из которых строятся решения, используются решения, полученные нейронными сетями из предварительного пула. Общее коллективное решение представляет собой некоторую функцию, входными параметрами которой являются частные решения нейронных сетей, включенных в коллектив:
IMG_6170c0df-03a9-4c09-95cc-1d6c5bf0cf18 (1.1)
Здесь
IMG_b9f382de-197c-44d2-b020-4df1a0d1c693
IMG_d28293bf-6504-40d0-8009-d09080975881 - общее решение,
IMG_a3a97b81-f036-4319-b210-c6ffe8290568
IMG_d4dc5b97-2c62-4d7d-95e0-d849f3b9eb32 - индивидуальное решение i-ой сети,
IMG_77060be4-5262-4817-bea2-943044260657
IMG_3b47788a-d09c-4aa9-8181-dc1d7550e84f - число сетей в коллективе.
2. Экспериментальное исследование методов проектирования коллективов нейронных сетей
Предлагаемый метод был исследован в сравнении с методом GASEN, [Zhou et al., 2002]. В исследования также были включены два других метода, использующих ГА для формирования коллектива и распространенный подход взвешенного усреднения [Perrone et al., 1993] для формирования общего решения (GA-based1 и GA-based2).
Для НС максимальное число скрытых слоев было установлено равное трем, максимальное число нейронов на каждом слое равно пяти.
Примеры задач моделирования, использовавшихся в сравнительных исследованиях, приведены в [Бухтояров, 2010]. Для проведения исследований также был использован набор данных тестов по прогнозированию прочностных характеристик бетона из репозитория UCI Machine Learning Repository [Yeh, 2007]. В качестве главного критерия эффективности использовались оценка математического ожидания абсолютной ошибки моделирования (прогнозирования), рассчитанная по данным, полученным в ходе 50 независимых запусков алгоритмов.
Табл. 1.
ЗадачаОдна сеть Метод проектирования коллективов
Генерация ГА-методомГенерация вероятностным методомGASENGA-based1GA-based2Предлагаемый подход
11,8571,8801,4441,3351,3020,855
24,4284,3553,4793,4863,4823,037
32,5822,5371,6791,6511,6391,389
47,1677,1466,1926,1476,1005,036
52,7622,8521,9171,8331,7471,368
66,5126,4734,9164,7454,5284,568
76,8346,7546,0956,0836,1525,218
84,4264,4803,8213,8243,8182,845
94,1964,2043,1683,3053,1242,272
104,3254,3043,1633,1573,1212,979
11 - -4,1194,1134,0123,521
Для исследования значимости различий в эффективности используемых подходов были использованы методы ANOVA.
При исследовании результатов сравнения предлагаемого вероятностного метода проектирования НС и «традиционного» метода, использующего ГА, статистически значимых различий в эффективности выявлено не было. В виду того, что предлагаемый метод обладает меньшим числом настраиваемых параметров, видится оправданным использовать его для проектирования НС.
Было показано, что использование коллективного подхода позволяет значимо повысить эффективность НС-подхода на всех использованных тестовых задачах, а на 9 из 11 использованных тестовых задачах предлагаемый комплексный эволюционный подход превосходит по эффективности другие исследуемые подходы. На оставшихся 2 задачах результаты всех коллективных подходов статистически не различимы.
В качестве тестовых задач прогнозирования были использованы выборки данных, сгенерированные из набора данных Synthetic Control Chart Time Series, взятого из Machine Learning Repository [Frank et al., 2007]. В набор данных включены примеры различных классов временных рядов (ВР): обычный ВР без тренда и цикличности (задача 1), цикличный ВР (2), ВР с возрастающим трендом (3), ВР с убывающим трендом (4).
На всех задачах разработанный подход позволяет сократить ошибку прогнозирования относительно ошибок других методов по крайней мере на 20%. В дальнейшем подход был успешно апробирован для решения задач задачи моделирования процесса рудно-термической плавки и задачи прогнозирования вибрационных характеристик гидротурбины, прогнозирования содержания углекислого газа на выходе газовой печи и прогнозирования характеристик процесса деградации солнечных батарей космического аппарата.
Список литературы
[Бухтояров, 2010] Бухтояров В. В. Вероятностный метод формирования структуры нейронных сетей // Теория и практика системного анализа: Тр. I Всерос. науч. конф. мол. уч. - Т. I. - Рыбинск: РГАТА, 2010.
[Frank et al., 2007] Frank A., Asuncion A. UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.
[Koza, 1992] Koza J.R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems. - Cambridge, MA: MIT Press, 1992.
[Perrone et al., 1993] Perrone M.P., Cooper L.N., When networks disagree: ensemble method for neural networks, in: R.J. Mammone (Ed.), Artificial Neural Networks for Speech and Vision, Chapman & Hall, New York, 1993.
[Yeh, 2007] Cheng Y.I. Modeling slump flow of concrete using second-order regressions and artificial neural networks // Cement and Concrete Composites, 2007, Vol.29, No. 6.
[Zhou et al., 2002] Zhou Z.H., Wu J., Tang W. Ensembling neural networks: Many could be better than all, Artif. Intell., 2002, vol.137, no.1-2.