Основные методы формализации определенного типа знаний из предметной области на основе инвариантных моделей и интеграции этих знаний в процесс конструирования метамодели. Задача восстановления неизвестной зависимости. Аппроксимация инвариантной модели.
Аннотация к работе
Эти особенности связаны как со спецификой предметных областей, так и с необходимостью взаимосвязанного решения нескольких задач анализа данных, когда выходные данные одной частной задачи являются входными данными для другой задачи, и целевые функции для частных задач нельзя определить независимо. В настоящей работе предлагаются методы формализации определенного типа знаний из предметной области и интеграции этих знаний в процесс конструирования метамодели. Пусть DN = {(Xi, Yi = FM(Xi)), i = 1, 2, … , N} - результаты N экспериментов с моделью M для множества входных данных XN = {Xi, i = 1, 2, … , N}, по которым строится аппроксимация Y = FSM(X) = FSM(X|DN) для исходной зависимости Y = FM(X). Если для всех X IX (не только для X IXN) имеет место приближенное равенство FSM(X) » FM(X), то модель SM, определяемая построенной зависимостью FSM(X), может рассматриваться как заменитель (Surrogate) для исходной модели M и является суррогатной моделью (метамоделью). В модели M = Mstress расчета с помощью метода конечных элементов характеристики прочности стрингера самолета Y = FM(X) как функции от геометрической формы стрингера, свойств материала и прилагаемых сил, среди входных данных (р-мерного вектора X = (x1, x2, x3, … , xp)) присутствуют ширина и длина прямоугольной поверхности стрингера (скажем, компоненты x1 и длина x2вектора x).Учет знаний и моделей предметной области позволяет строить более точные метамодели. Знания и модели предметной области могут быть представлены в виде специального многообразия, обладающего специфическими свойствами.
Введение
Методы построения метамоделей обычно основаны на решении классической задачи анализа данных - задачи восстановления неизвестной зависимости на основе имеющихся наблюдений (построение аппроксимации неизвестной функции, построение регрессионной зависимости). Применяемые при построении метамодели процедуры анализа данных имеют ряд особенностей, которые отличают их от классических постановок задач анализа данных. Эти особенности связаны как со спецификой предметных областей, так и с необходимостью взаимосвязанного решения нескольких задач анализа данных, когда выходные данные одной частной задачи являются входными данными для другой задачи, и целевые функции для частных задач нельзя определить независимо. При этом очевидно, что учет знаний из предметной области в процессе построение метамодели позволяет получить метамодель лучшего качества.
В настоящей работе предлагаются методы формализации определенного типа знаний из предметной области и интеграции этих знаний в процесс конструирования метамодели. В частности, предложено два новых подхода для построения метамодели, которые учитывают инвариантность рассматриваемой задачи. В первом подходе принимается инвариантность задачи относительно некоторой конечной группы преобразований. Во втором подходе принимается во внимание, что выход аппроксимируемой зависимости имеет аддитивную структуру относительно заданных групп компонент входного вектора.
Применение предложенных подходов к реальным задачам позволило существенно сократить ошибку построения метамоделей в ситуации, когда моделируемая система обладает свойствами симметрии/инвариантности.
1. Задача восстановления неизвестной зависимости инвариантный модель зависимость знание
1.1 Постановка задачи аппроксимации
Задача аппроксимации как элемент построения по данным метамодели сформулирована в докладе [Kuleshovetal, 2009]. Пусть M - некоторая исходная модель (метод), позволяющая для заданных входных данных X IXIRP строить функцию отклика - вычислять значение характеристики Y = FM(X) I Rq.
Пусть DN = {(Xi, Yi = FM(Xi)), i = 1, 2, … , N} - результаты N экспериментов с моделью M для множества входных данных XN = {Xi, i = 1, 2, … , N}, по которым строится аппроксимация Y = FSM(X) = FSM(X|DN) для исходной зависимости Y = FM(X). Если для всех X IX (не только для X IXN) имеет место приближенное равенство FSM(X) » FM(X), то модель SM, определяемая построенной зависимостью FSM(X), может рассматриваться как заменитель (Surrogate) для исходной модели M и является суррогатной моделью (метамоделью).
Качество построенной аппроксимации определяется средней ошибкой аппроксимации e(FSM|DN) = (N-1?Si||Yi-FSM(Xi)||2)1/2 на обучающем множестве DN, но при этом построенная зависимость должна обладать «обобщающей способностью», то есть обеспечивать требуемую точность и для других точек X IX \ XN.
1.2 Примеры знаний из предметной области
Во многих прикладных проблемах наряду с данными DN может также иметься дополнительная априорная информация о неизвестной функции FM(X), выражающаяся определенными знаниями и/или моделями предметной области.
Зачастую эти знания и модели предметной области можно описать некоторым подмножеством (многообразием) Xknowledge I Хво входном пространстве признаков, таким, что исходная задача построения метамодели FSM(X) для X IXМОЖЕТ быть сведена к задаче построения метамодели FSM(X) для X IXKNOWLEDGE. Обычно подмножество Xknowledge имеет значительно меньшую внутреннюю размерность и/или какие-то другие специальные свойства, использование которых позволяет значительно увеличить эффективность метамодели.
Пример 1 [Burnaevetal., 2009]. В модели M = Mstress расчета с помощью метода конечных элементов характеристики прочности стрингера самолета Y = FM(X) как функции от геометрической формы стрингера, свойств материала и прилагаемых сил, среди входных данных (р-мерного вектора X = (x1, x2, x3, … , xp)) присутствуют ширина и длина прямоугольной поверхности стрингера (скажем, компоненты x1 и длина x2вектора x). Тогда функция FM(X) обладает свойством симметрии, а именно, FM(x1, x2, x3, … , xp) ? FM(x2, x1, x3, … , xp).
Пример 2. Пусть имеется m > 1 источников излучения I1, I2, … , Im, и j-й источник характеризуется векторным р-мерным параметром xj, j = 1, 2, … , m. Пусть в заданной точке измерения j-й источник создает поле, характеризуемое величиной yj = f(xj), j = 1, 2, … , m, и измеряется результирующее поле Y = F(X), зависящее от (p?m)-мерного вектора X = (x1, x2, …, xm). Если результирующее поле Y равно сумме полей от каждого источника, то функция F(X) имеет вид
1.3 Формализованное описание знаний из предметной области
В общем виде, априорная информация из Примера 1 об аппроксимируемой функции F(x) может быть сформулирована следующим образом. Известна группа G = {g} преобразований множества входных векторов XIRP в себя, состоящая из конечного числа |G| элементов. Пусть аппроксимируемая функция FM(X) инвариантна относительно группы преобразований G: F(X) ? F(GX), X IX, GIG. (1.2)
В Примере 1 группа G преобразований Rp в себя состоит из двух элементов {g, e}, где GX = (x2, x1, x3, … , xp) IRP, а e = g2 - тождественное преобразование. Очевидно, группа G изоморфна группе перестановок S2 перестановок двух элементов.
Будем называть исходную модель, для которой верно соотношение (1.1) или соотношение (1.2), моделью с аддитивной структурой, или, соответственно, инвариантной (относительно группы преобразований G) моделью.
Другие примеры формализации и использования знаний и моделей предметной области см. в [Chernovaetal., 2009].
2. Аппроксимация инвариантной модели
Рассмотрим сформулированную выше задачу построения по выборке DN аппроксимации для исходной модели Y = F(X), удовлетворяющей свойству инвариантности (1.2) относительно группы преобразований G.
Очевидно, что для рассматриваемой задачи для построения аппроксиматора можно использовать расширенную выборку DN,G, DN,G = {DN(g), GIG}, состоящую из N?|G| элементов, где выборка DN(g) состоит из элементов
DN(g) = {(Xi, Yi = F(GXI)), i = 1, 2, …, N}.
Пусть FS(x) произвольный исходный аппроксиматор со средней ошибкой e(FS|DN,G)) = ((N?|G|)-1?SISGIG||Yi - FS(GXI)||2)1/2, вычисленной по расширенной выборке DN,G. Имеет место соотношение: e2(FS|DN,G) = e2(ESG|DN) D2(ES, G, DN), (2.1) где FSG(X) = |G|-1?SGIGFS(GX) есть «симметризованный» аппроксиматор, AD2(ES, G, DN) = N-1?SIVG(Xi), здесь
Величины FSG(X) и VG(X) могут рассматриваться как математическое ожидание EG(FS(GX)) и, соответственно, дисперсия VARG(FS(GX)) случайной величины FS(GX), в которой элемент g выбирается в группе G случайным равновероятным образом. Соответственно, ошибку e(FS|DN,G) также можно представить в виде математического ожидания случайной ошибки e(FS|DN(g)) = EG(e(FS|DN(g)).
Из соотношения (2.1) следует, что исходный аппроксиматор FS(X) строго мажорируется его инвариантной версией FSG(X), если только аппроксиматор FS(X) не инвариантен относительно группы G (по крайней мере, на множестве XN, в этом случае FS(X) и FSG(X) совпадают).
Многие используемые на практике процедуры построения нелинейных аппроксиматоров (Multidimensionalnon-parametricregression, Kernelrid geregression, Support Vector Regression, Artificial Neural Networks, Radial Basic Functions, etc.) строят аппроксимационные зависимости в виде линейных комбинаций Sjaj?h(X, bj) функций из выбранного «словаря» [Bernsteinetal., 2008]. Если аппроксиматор FS(X) имел указанный вид, то инвариантный аппроксиматор также равен линейной комбинации Sjaj?HG(X, bj) из словаря, состоящего из симметризованных функций HG(x, b) = EG(h(x, b)).
3. Аппроксимация модели с аддитивной структурой
Пусть вектор X = (x1:x2: … :xm) IRPM представлен в виде на m записанных последовательно подвекторов {x1, x2, … , xm} одинаковой размерности p. Из свойства аддитивности (1.1) следует, что для x IRP f(x) = F(x:x: ... :x)/m, и, следовательно, F(X) = F(x1:x2: ... :xm) = (?{i=1,...,m}F(xi:xi: ... :xi))/m.
Очевидно, что модели с аддитивной структурой являются инвариантными относительно группы Gm преобразований Rpm в себя, изоморфной группе перестановок Sm порядка m: если g = (i1, i2, … , im) - перестановка чисел (1, 2, … , m), то GX = (xi1:xi2: ... :xim).
Пусть FS(X) произвольный исходный аппроксиматор, и FSL(X) = FSL(x1:x2: ... :xm) = (?{i=1,...,m}FS(xi:xi: ... :xi))/m. его «аддитивированная» версия. Очевидно, что аппроксиматор FSL(X) инвариантен относительно группы Gm.
Если аппроксиматор FS(X) имел вид Sj(aj? h(X, bj)) ? Sj(aj? h((x1:x2: … :xm), bj)), то аппроксиматор FSL(X) имеет вид Sj(aj?S{i=1,...,m}HL(xi, bj)), где HL(x, b) = h((x:x: … :x), b))/m.
4. Результаты вычислительных экспериментов
Для анализа эффективности предложенных процедур были проведены вычислительные эксперименты.
В Примере 1 была получена обучающая выборка Dtrain, состоящая из Ntrain = 50000 результатов экспериментов с моделью Mstress, по которой были построены АППРОКСИМАТОРFS(X), предложенный в [Bernsteinetal., 2008], и его инвариантная версия FSG(X). По новой тестовой выборке Dtest, состоящей из Ntest = 100000 результатов других независимых экспериментов, вычислены средние ошибки e(ES|Dtest) и e(ESG|Dtest) АППРОКСИМАТОРОВFS(X) и FSG(X), которые приведены в Таблице 1.
Рассмотрим для Примера 2 несколько обучающих выборок Dtrain,k, k = 1, 2, 3, 4, состоящих из одинакового количества Ntrain = 10 000 результатов измерений результирующего поля, полученного от m = 2 источников излучения. В k -й серии измерений множества Xtrain,1 и Xtrain,2 p = 7-мерных значений характеристик x1 и x2 источников I1 и I2 выбирались случайно в множествах XKIRP, k = 1, 2, 3, 4, различающихся разбросом мест положения источников и частотных характеристик излучения. По выборке экспериментов с моделью Mstress, по которой построены АППРОКСИМАТОРЫFS,k(X), предложенные в [Bernstein et al., 2008], и их инвариантные FSG,k(X) и АДДИТИВИРОВАННЫЕFSL,k(X) версии, k = 1, 2, 3, 4.
Табл. 1. Ошибки e(ES|Dtest) и e(ESG|Dtest) для FS(X) и FSG(X) e(ES|Dtest) e(ESG|Dtest)
4.411E-03 3.575E-03
По новым тестовым выборкам Dtest,k, состоящим из Ntest = 50 000 других независимых экспериментов, в которых характеристики источников также выбирались случайно в множествах XKIRP, вычислены средние ошибки e(ES,k|Dtest,k), e(ESG,k|Dtest,k) и e(ESL,k|Dtest,k) АППРОКСИМАТОРОВFS,k(X), FSG,k(X) и ESG,k, k = 1, 2, 3, 4, нормированные (по отношению к размахам тестовых выборок) значения которых приведены в Таблице 2.
Приведенные результаты убедительно демонстрируют эффективность использования в суррогатных моделях знаний предметной области.
Табл. 2. Значения ошибок e(ES,k|Dtest,k), e(ESG,k|Dtest,k) и e(ESL,k|Dtest,k) для АППРОКСИМАТОРОВFS,k(X), FSG,k(X) и ESG,k, k = 1, 2, 3, 4 k e(ES,k|Dtest,k) e(ESG,k|Dtest,k) e(ESL,k|Dtest,k)
1 0.0263 0.0099 0.0037
2 0.0421 0.0171 0.0052
3 0.0446 0.0209 0.0075
4 0.0510 0.0294 0.0098
Вывод
Учет знаний и моделей предметной области позволяет строить более точные метамодели. Знания и модели предметной области могут быть представлены в виде специального многообразия, обладающего специфическими свойствами.
В работе разобраны методы формализации знаний предметной области, описывающих свойства симметрии/инвариантности моделируемой системы. Предложены способы учета этих формализованных знаний при построении метамодели.
Использование свойств симметрии/инвариантности системы, порождающей данные, в статистических процедурах уже было описано, например, в [Eaton, 1989]. Однако, методы учета свойств симметрии/инвариантности системы в задаче построения метамодели, по всей видимости, описаны в литературе впервые.
Список литературы
1. Bernstein et al., 2008 Bernstein A., Burnaev E. ANDKULESHOV A. On a methodology for constructing approximations of multidimensional dependences // Proc. 4th International Conference “Parallel Computations and Control”, Moscow. 2008.
2. Burnaev et al., 2009 Burnaev E. and Grihon S. Construction of the Metamodeles in Support of Stiffened Panel Optimization // Proc. VIINTERNATIONALCONFERENCE“Mathematical Methods in Reliability. Theory.Methods. Applications” (MMR-2009), Moscow. 2009.
3. Chernova et al., 2009 Chernova S., Ivanova E. Reduction of complex geometrical object dimension in the presence of particular parametric models // Artificial Intelligence and Decision Making. 2009. № 3.
4. Eaton, 1989 Eaton M. Group Invariance Applications in Statistics.Inst. of Math.Stat., 1989.
5. Kuleshov et al., 2009 Kuleshov A. and BERNSTEINA. Cognitive technologies in adaptive models of complex plants // Proc. 13th IFAC Symposium on Information Control Problems in Manufacturing (INCOM’09), Moscow. 2009.