Предсказательное метамоделирования и интеллектуальный анализ данных - Статья

В настоящей работе рассматриваются различные аспекты построения и применения метамоделей в CAD-системах, описываются основные задачи анализа данных, решение которых необходимо для построения метамодели, проводится обзор последних результатов и предлагаются новые подходы к решению задач предсказательного метамоделирования.При проектировании объектов решаются две основные задачи: анализ конкретного варианта построения объекта, то есть, вычисление различных характеристик (Y) объекта по входным данным (X), в общем случае состоящим из цифрового описания объекта, параметров управления объектом и параметров внешней среды (например, среды функционирования), оптимизация структуры объекта, то есть построение цифрового описания объекта с требуемыми (наилучшими) характеристиками при заданных условиях функционирования и при наличии различных ограничений. Традиционно в моделировании используются математические модели, основанные на «физике процессов» и описывающие физические процессы и явления, происходящие при функционировании объекта, сложными дифференциальными уравнениями в частных производных с граничными условиями, для которых зачастую неизвестны ни теоремы о существовании и единственности решения, ни характер зависимости решения от параметров и граничных условий. Это существенно сокращает возможности использования моделей, основанных на «физике процессов», особенно на стадии предварительного (концептуального) проектирования, на которой рассматривается очень большое количество вариантов решений и высока цена неправильно выбранного решения. Построение таких моделей основано на идеях машинного обучения (machine learning) [Vapnik, 1998], [Vapnik, 2000], [Mitchel, 1997], где модели «обучаются» по множеству прототипов входных и выходных данных (результатов натурных и/или вычислительных экспериментов, проведенных с различными объектами рассматриваемого класса). Поэтому, такие адаптивные модели иногда называют также метамоделями (модели над моделями) или суррогатными моделями (Surrogate Models).В большинстве публикаций процесс построения суррогатной модели с помощью методов метамоделирования по существу сводится к решению задачи восстановления неизвестной зависимости. Однако детальный анализ задач предсказательного метамоделирования показал, что правильная постановка задачи предсказательного метамоделирования должна состоять в решении нескольких взаимосвязанных задач анализа данных, когда выходные данные одной частной задачи являются входными данными для другой частной задачи, и целевые функции для частных задач нельзя определить независимо для каждой из частных задач [Bernstein et al., 2008a], [Bernstein et al., 2009a], [Kuleshov et al., 2008b].

предсказательный метамоделирование данные метамодель

В процессе проектирования сравниваются различные технические решения, касающиеся структуры и параметров создаваемого объекта, механизмов его функционирования и других его элементов. Компьютерные системы для поддержки принятия инженерных решений (Knowledge Based Engineering, Computer Aided Engineering) создаются для сокращения времени проектирования и числа дорогостоящих (в материальном и временном смыслах) натурных экспериментов и являются, по существу, системами предсказательного моделирования. При проектировании объектов решаются две основные задачи: анализ конкретного варианта построения объекта, то есть, вычисление различных характеристик (Y) объекта по входным данным (X), в общем случае состоящим из цифрового описания объекта, параметров управления объектом и параметров внешней среды (например, среды функционирования), оптимизация структуры объекта, то есть построение цифрового описания объекта с требуемыми (наилучшими) характеристиками при заданных условиях функционирования и при наличии различных ограничений.

Значительный прогресс в области математического моделирования и возможностей вычислительной техники позволяет исследовать большое количество вариантов построения объекта (конфигурации, параметров и др.), предсказывать ожидаемые характеристики и находить наилучшие (рациональные) решения без проведения натурных экспериментов. Поэтому математическое моделирование (вычислительные эксперименты для исследования и оптимизации математических моделей создаваемого объекта и окружающей его среды) стало одним из самых распространенных методов анализа и оптимизации структуры технических объектов.

Традиционно в моделировании используются математические модели, основанные на «физике процессов» и описывающие физические процессы и явления, происходящие при функционировании объекта, сложными дифференциальными уравнениями в частных производных с граничными условиями, для которых зачастую неизвестны ни теоремы о существовании и единственности решения, ни характер зависимости решения от параметров и граничных условий. Численные методы решения таких уравнений имеют значительную вычислительную трудоемкость, как самих расчетов, так и подготовки исходных данных и расчетных сеток. Это существенно сокращает возможности использования моделей, основанных на «физике процессов», особенно на стадии предварительного (концептуального) проектирования, на которой рассматривается очень большое количество вариантов решений и высока цена неправильно выбранного решения.

В последние годы стало бурно развиваться новое направление математического моделирования - метамоделирование, в рамках которого рассматриваются математические модели, основанные на данных [Wang et al., 2007], [Forrester et al., 2008], [Kuleshov et al., 2009c]. Построение таких моделей основано на идеях машинного обучения (machine learning) [Vapnik, 1998], [Vapnik, 2000], [Mitchel, 1997], где модели «обучаются» по множеству прототипов входных и выходных данных (результатов натурных и/или вычислительных экспериментов, проведенных с различными объектами рассматриваемого класса).

Построенные модели фактически имитируют (заменяют) как источники получения данных, основанные на некоторой исходной модели, так и сами модели, созданные на основе изучения физики процессов. Поэтому, такие адаптивные модели иногда называют также метамоделями (модели над моделями) или суррогатными моделями (Surrogate Models).

Как правило, суррогатные модели имеют существенно более высокую вычислительную эффективность по сравнению с исходными моделями. Например, метамодели для расчета аэродинамических характеристик, построенные по результатам экспериментов с помощью исходной CFD-моделью, основанной на численном решении дифференциальных уравнений аэродинамики, увеличила скорость вычислений более чем в 350 000 раз при относительной погрешности не более 1% [Bernstein et al., 2007]. Другим примером является метамодель для исходной модели расчета прочности конструктивных элементов самолета, основанной на численном методе решения уравнений с помощью метода конечных элементов, увеличившая скорость вычислений в тысячи раз [Burnaev et al., 2009a] с сохранением требуемой точности.

Стандартные широко применяемые методы построения метамоделей основаны, как правило, на решении задачи аппроксимации (восстановления) по данным неизвестной функции (построения аппроксимирующей функции, построении функции регрессии). Однако, как показал опыт авторов, при построении метамоделей для многих реальных приложений необходимо решать ряд взаимосвязанных задач интеллектуального анализа данных, в которых выходные данные одной частной задачи являются входными данными для другой задачи, и целевые функции для частных задач нельзя определить независимо [Kuleshov et al., 2008b], [Bernstein et al., 2008a], [Bernstein et al., 2009a]. Формальные постановки решаемых задач имеют ряд особенностей, отличающих их от классических постановок. Например, носители обрабатываемых многомерных данных лежат на нелинейных многообразиях меньшей размерности (многообразиях данных), что не учитывается в стандартных математических методах анализа данных.

Кроме того, при построении метамоделей возможно использовать не только данные, но и знания и модели предметной области. Когнитивная технология интеллектуального анализа данных позволяет формализовывать знания и модели предметной области в виде многообразий знаний, являющихся подмногообразиями многообразия данных [Kuleshov, 2008a], [Bernstein et al., 2009b]. Например, из содержательной задачи следует, что исходная модель является инвариантной относительно известной группы преобразований входных переменных, что позволяет строить существенно более точные суррогатные модели [Bernstein et al., 2010d].

В докладе даны примеры важных прикладных задач, в которых метамоделирование является, по существу, единственным способом решения проблемы предсказательного моделирования. Будут описаны основные требования к метамоделям и сформулированы постановки основных задач анализа данных, которые необходимо решать в процессе создания метамоделей. Более подробно будут рассмотрены взаимосвязанные задачи аппроксимации и снижения размерности, для которых будут предложены методы и алгоритмы для их решения, качество которых будет проиллюстрировано результатами вычислительных экспериментов с реальными и искусственными данными.

1. Аппроксимация в метамоделировании

Пусть M - некоторая исходная модель (метод), позволяющая для заданных входных данных XIXIRP строить функцию отклика - вычислять значение характеристики y=FM(x)IRQ. Пусть DN = {(xi, yi = FM(xi)), i = 1, 2, …, N} - результаты N экспериментов с моделью M для множества входных данных XN = {xi, i = 1, 2, …, N}, по которым строится аппроксимация y = FSM(x) = FSM(x|DN) для исходной зависимости y = FM(x). Если для всех x I X (не только для x I XN) имеет место приближенное равенство FSM(x)»FM(x), то модель SM, определяемая построенной зависимостью FSM(x), может рассматриваться как заменитель (Surrogate) для исходной модели M и является суррогатной моделью (метамоделью).

Процедуры нахождения зависимости FSM(x|DN) обычно основаны на решении задачи минимизации средней ошибки аппроксимации EN(FSM) = (Si||yi - FSM(xi)||2)1/2 на обучающем множестве DN, но при этом построенная зависимость должна обладать «обобщающей способностью», то есть обеспечивать требуемую точность и для других точек XIX \ XN. Обычно функция FM(x) ищется в параметрическом классе функций, представленных в виде линейных комбинаций Sjaj?h(x, bj) функций из выбранного «словаря», и задача минимизации ошибки EN(FSM) есть задача минимизации по множеству параметров {(aj, bj)}. Если функции h(x, bj) имеют вид hj(x), то мы имеем обычную линейную регрессионную модель. Имеется ряд процедур построения нелинейных аппроксимационных зависимостей FSM(x) для конкретных словарей: Multidimensional non-parametric regression, Kernel ridge regression (kriging), Support Vector Regression, Artificial Neural Networks, Radial Basic Functions, etc. Новые эффективные аппроксимационные процедуры предложены в работе [Bernstein et al., 2008e], а также в ряде докладов на конференции CDAM 2010 [Burnaev et al., 2010b], [Burnaev et al., 2010c], [Burnaev et al., 2010d].

2. Снижение размерности в метамоделировании

Существенной особенностью прикладных задач зачастую является высокая размерность входных данных. Например, детальные описания геометрических объектов (кривых, поверхностей) или их компонентов в общем случае задаются набором 2D- или 3D-координат точек поверхности объекта, лежащих в выбранных узлах геометрического объекта. Другие точки объекта восстанавливаются, как правило, с использованием сплайнов (такого рода детальные описания кривых и поверхностей используются в CAD-системах, компьютерной графике и других приложениях). Такие цифровые описания объекта (например, 3D-поверхности самолета в задаче расчета аэродинамических характеристик [Bernstein et al., 2007]) состоят из десятков тысяч чисел, каждое из которых, рассматриваемое изолированно, не несет смысловой нагрузки. Высокая размерность цифрового описания объектов существенно затрудняет или вообще делает невозможной аппроксимацию функции, зависящей от векторов высокой размерности.

Для анализа и оптимизации крыла пассажирского самолета необходимо построение такой суррогатной модели, вход которой состоит из 3D геометрического описания поверхности крыла и характеристик набегающего потока. Выходы такой суррогатной модели состоят из различных аэродинамических характеристик, таких, как коэффициент сопротивления, коэффициент подъемной силы и т.п. Зависимость между входами и выходами значительно нелинейная. Описание геометрии крыла в большинстве даже наиболее "кратких" инженерных моделей состоит из не менее 500 чисел. Размер обучающей выборки, используемой для построения суррогатной модели, в наилучшем случае составляет несколько тысяч. Стандартные методы восстановления неизвестной зависимости не срабатывают в описанной ситуации изза значительной размерности входного вектора и малого объема обучающей выборки. В то же время эти 500-мерные входные вектора лежат в пространстве существенно меньшей размерности, равной нескольким десяткам. Включение внутренних процедур снижения размерности в процедуру построения суррогатной модели позволило существенно повысить точность построенной суррогатной модели.

В приложениях «осмысленные» (meaningful) (с точки зрения рассматриваемой предметной области) значения входного вектора XIX удовлетворяют, как правило, различным ограничениям и между его компонентами существуют многочисленные взаимосвязи. Поэтому множество X таких значений обычно лежит, по крайней мере, приближенно, в окрестности некоторого многообразия (в общем случае, нелинейного) GMIRP размерности m<<p. Следовательно, задачу аппроксимации необходимо решать лишь в окрестности многообразия Gm. Нахождение такого «аппроксимирующего» многообразия Gm очень важно и по другой причине. Для проведения вычислительных экспериментов с целью получения обучающего множества данных S, необходимо генерировать входные данные (X, Y), и при этом цифровые описания X должны генерироваться в окрестности многообразия Gm (в частности, необходимо «оставаться» вблизи многообразия Gm при генерации новых значений параметра x в процессе оптимизации).

Обычно аппроксимирующее многообразие Gm неизвестно, и необходимо решать задачу его построения по множеству данных XN, которую можно сформулировать как следующую классическую задачу снижения размерности: найти процедуру S = {m, Cm, Rm}, определяемую заданной размерностью m, преобразованием сжатия Cm: XIX®l=Cm(x)IRM и преобразованием восстановления Rm: l I Rm ® x = x(l) = Rm(l)IRP, минимизирующую ошибку восстановления dm(S) = (Si||xi - Rm(Cm(xi))||2)1/2. В качестве значения m, являющегося оценкой внутренней размерности множества X, выбирается минимальная размерность, при которой ошибка dm(S) не превышает заданной точности восстановления.

Обычно преобразования Cm и Rm ищутся в параметрическом классе функций, и задача минимизации ошибки dm(S) есть задача минимизации по множеству параметров функций. Если рассматриваются классы линейных преобразований, то решение дается методом главных компонент. Имеется ряд нелинейных процедур снижения размерности, определяемых конкретными классами преобразований: Replicative Artificial Neural Networks, Radial Basis Functions, etc. Новые эффективные процедуры снижения размерности based on construction of nonlinear framed orthogonal design manifolds предложены в работе [Bernstein et al., 2008b].

В метамоделировании при решении задачи снижения размерности возможно учитывать различные знания и модели предметной области, что приводит к новым неклассическим задачам снижения размерности, решения которых обеспечивают существенно более высокое качество процедур. Такие знания могут состоять в наличии прикладных параметрических моделей, описывающих объекты [Chernova et al., 2009], или в знании дополнительных характеристик экспериментов, в которых были получены данные [Bernstein et al., 2008c].

Если удалось снизить размерность множества X, то задача аппроксимации функции FM(x) может быть (приближенно) заменена задачей аппроксимации функции y = FM(l) ? FM(Rm(l)) I Rq, зависящей от параметра l меньшей размерности m<p, based on data set DN,m ={(li = Cm(xi), yi = FM(xi)), i = 1, 2, …, N}. Построенная в результате суррогатная модель FSM(x|DN, S) будет иметь вид FSM(Cm(x)|DN,m). Однако для того, чтобы такая суррогатная модель имела достаточную точность, необходимо, чтобы процедура снижения размерности S обеспечивала не только близость в пространстве аргументов x (малую ошибку восстановления dm(S)), но и функциональную близость FM(x) » FM(Rm(Cm(x))) [Bernstein et al., 2008d]. В докладе [Bernstein et al., 2010e] рассмотрено другое применение процедуры снижения размерности в задачах аппроксимации, в котором требуется только функциональная близость FM(x) » FM(Cm(x)).

Процедура снижения размерности S определяет в Rp m-мерное параметрическое многообразие Gm = {Rm(l), l I Rm}, аппроксимирующее множество данных X. При фиксированной процедуре восстановления Rm(l), оптимальная процедура сжатия Cm(x) является процедурой проектирования на многообразие Gm: Cm(x) = arg minl||x - Rm(l)||. С другой стороны, при фиксированной процедуре сжатия Cm, задача построения наилучшей процедуры восстановления Rm, минимизирующей ошибку dm(S), может быть рассмотрена как следующая задача аппроксимации: по множеству {(xi, li = Cm(xi)), i = 1, 2, …, N} построить функцию x = Rm(l), минимизирующую ошибку (Si||xi - Rm(li))||2)1/2 [Bernstein et al., 2009c].

1. В настоящее время метамоделирование является одним из наиболее популярных методов анализа и оптимизации сложных технических объектов в инженерных приложениях. По этой причине усиленно развиваются теоретические основы метамоделирования, в результате чего публикуется большое количество статей и монографий, в основном на английском языке.

2. В большинстве публикаций процесс построения суррогатной модели с помощью методов метамоделирования по существу сводится к решению задачи восстановления неизвестной зависимости. Однако детальный анализ задач предсказательного метамоделирования показал, что правильная постановка задачи предсказательного метамоделирования должна состоять в решении нескольких взаимосвязанных задач анализа данных, когда выходные данные одной частной задачи являются входными данными для другой частной задачи, и целевые функции для частных задач нельзя определить независимо для каждой из частных задач [Bernstein et al., 2008a], [Bernstein et al., 2009a], [Kuleshov et al., 2008b].

3. Предыдущий вывод может быть проиллюстрирован задачей построения суррогатной модели в ситуации, когда входные параметры модели принадлежат неизвестному многообразию меньшей размерности. В случае, когда размерность входного пространства признаков X велика, стандартные методы построения суррогатных моделей на основе методов восстановления неизвестной многомерной зависимости не срабатывают. В то же время встраивание процедуры снижения размерности в процесс построения суррогатной модели позволяет строить эффективные суррогатные модели.

1. Bernstein A., Kuleshov A., Sviridenko Yu. and Vyshinsky V. Fast Aerodynamic Model for Design Technology // Proceedings of West-East High Speed Flow Field Conference. Nov. 19-22, Moscow, Russia. 2007. http://wehsff.imamod.ru/pages/s7.htm.

2. Bernstein A. and Kuleshov A. Mathematical Methods in Engineering Cognitive Technologies // Survey in Applied and Industrial Mathematics, Ser. “Probability and Statistics”. 2008. № 15(3), 451 - 452.

3. Bernstein A. and Kuleshov A. Construction of orthogonal nonlinear manifolds in the problem of dimension reduction // Proceedings of VII-th International School-Seminar “Multivariate statistical analysis and Econometrics. 21-30 September, 2008, Tsahkadzor (Republic of Armenia)”. Central Economics and Mathematics Institute of RAS, Moscow, 2008. 25-27.

4. Bernstein A. and Kuleshov A. Dimension reduction problem with explanatory variables (predicates) // Information Processes. Electronic Scientific Journal http://www.jip.ru/Contents.htm, 2008. № 8(1), 47-57.

5. Bernstein A. and Kuleshov A. Cognitive technologies in the problem of dimension reduction of geometrical object descriptions // Information technologies and computer systems, 2008. № 2, 6-19.

6. Bernstein A., Burnaev E. and Kuleshov A. On a methodology for constructing approximations of multidimensional dependences. In Plenary and Selected Papers of the Fourth International Conference “Parallel Computations and Control Problems”, October 27-29, 2008, Moscow, Russia. 56-62.

7. Bernstein A., Burnaev E. and Kuleshov A. Intellectual Data Analysis in Metamodeling. Proceedings of XVII All-Russian Seminar “Neuroinformatics and its applications to Data Analysis (Krasnoyarsk, October 2 - 4, 2009), 2009. 23 - 28.

8. Bernstein A. and Kuleshov A. Cognitive Technologies for Data and Knowledge Application. // Survey in Applied and Industrial Mathematics, Ser. “Probability and Statistics”. 2009. № 16(5).

9. Bernstein A. Approximation of dependencies as a Dimension reduction problem // Survey in Applied and Industrial Mathematics, Ser. “Probability and Statistics”. 2009. № 16(5).

10. Bernstein A. and Burnaev E. Invariant approximation and its application for integration of data-domain knownledge into metamodels // Proceedings of 9th International Conference Computer Data Analysis and Modeling: Complex Stochastic Data and Systems, September 7-11, Minsk, Belarus, 2010.

11. Bernstein A., Burnaev E., Belyaev M. and Prihodko P. Dimension reduction as a part of function approximation problem // Proceedings of 9th International Conference Computer Data Analysis and Modeling: Complex Stochastic Data and Systems, September 7-11, Minsk, Belarus, 2010.

12. Burnaev, E., Grihon, S. Construction of the Metamodeles in Support of Stiffened Panel Optimization. Extended abstracts of VI International Conference “Mathematical Methods in Reliability. Theory. Methods. Applications” (MMR-2009), Moscow 22-29 June, 2009, p. 124 - 128.

13. Burnaev E., Belyaev M. and Prihodko P. Approximation of multidimensional dependency based on an expansion in the parametric functions from the dictionary// Proceedings of 9th International Conference Computer Data Analysis and Modeling: Complex Stochastic Data and Systems, September 7-11, Minsk, Belarus, 2010.

14. Burnaev E., Belyaev M. and Lokot A. Model selection in function approximation problem based on statistical learning theor // Proceedings of 9th International Conference Computer Data Analysis and Modeling: Complex Stochastic Data and Systems, September 7-11, Minsk, Belarus, 2010.

15. Burnaev E. and Prihodko P. Clustering in dimension reduction for function approximation problem // Proceedings of 9th International Conference Computer Data Analysis and Modeling: Complex Stochastic Data and Systems, September 7-11, Minsk, Belarus, 2010.

16. Chernova S. and Ivanova E. Reduction of complex geometrical object dimension in the presence of particular parametric models. // Artificial Intelligence and Decision Making, 2009. № 3, 53 - 58.

17. Forrester A.I.J., Sobester A. and Keane A.J. Engineering Design via Surrogate Modelling. A Practical Guide. Wiley, New-York, 2008.

18. Kuleshov A. Cognitive technologies in adaptive models of complex objects // Information technologies and computer systems, 2008. № 1.

19. Kuleshov A. The problems of multivariate statistical analysis in computer design systems. // Proceedings of VII-th International School-Seminar “Multivariate statistical analysis and Econometrics. 21-30 September, 2008, Tsahkadzor (Republic of Armenia)”, Central Economics and Mathematics Institute of RAS, Moscow, 2008. 60 - 61.

20. Kuleshov A. and Bernstein A. Cognitive technologies in adaptive models of complex plants. // Keynote papers of 13th IFAC Symposium on Information Control Problems in Manufacturing (INCOM’09), June 3 - 5, Moscow. 2009. 70 - 81.

21. Mitchel, T. Machine Learning. MCGROW Hill, New-York, 1997.

22. Vapnik, V.N. Statistical Learning Theory. Wiley, New-York, 1998.

23. Vapnik, V.N. The Nature of Statistical Learning Theory. Springer, New-York, 2000.

24. Wang G. and Gary Shan S. Review of Metamodeling Techniques in Support of Engineering Design Optimization // J. Mech. Des.. 2007. № 129(3), 370-381.

Размещено на .ru