Применение метода максимизации полинома для нахождения параметров полигауссовых моделей при их моментно-кумулянтном описании. Синтез аналитических выражений и статистическое моделирование полиномиального оценивания на примере бигауссовского распределения.
Аннотация к работе
Математика и кибернетика - прикладные аспектыПроведено статистичне моделювання на прикладі апроксимації емпіричного розподілу бігаусовою моделлю Для решения задачи оценивания параметров полигауссовских распределений использован метод максимизации полинома и моментно-кумулянтное описание случайных величин.Анализируя применение метода моментов в [4], видно, что он уступает в точности со сравниваемыми там методами. Метод максимального правдоподобия, использованный в [5] имеет необходимость использования при вычислениях плотностей распределения вероятностей, что ведет к усложнению итерационных процедур и не имеет возможности использования частичного описания случайных величин. В качестве компромиссной альтернативы к выше упомянутым методам в данной работе предлагается использовать метод максимизации полинома (метод Кунченка). При оценке параметров методом максимизации полинома в качестве априорной информации используется последовательность функций ? (?), i =1,2s , которая в данном случае будет зависеть от векторного параметра ? при степени полинома s . В ходе проведенных исследований был установлен тот факт, что для оценки параметров самой простой бигауссовской модели методом максимизации полинома необходимо использовать степень полинома s = 4 . Такой выбор обусловлено тем, что для учета негаусо-вости в уравнение вида (8) должны входить статистики 4-го порядка включительно, характеризирующие асимметрию и эксцесс выборочного распределения.Совокупность полученных теоретических и экспериментальных результатов позволяет делать вывод о потенциально высокой эффективности метода максимиза-цииполиномаприменительнокоцениваниюпараметров бигауссовских моделей.
Введение
Одним из направлений статистической обработки случайных последовательностей и сигналов с дискретным временем является оценивание их различных вероятностных характеристик, важность которых выделяют в зависимости от поставленной задачи. Самой важной и информативной характеристикой всегда был закон распределения вероятностей, и как первое приближение его считали гауссовским. В реальных условиях работы систем статистической обработки сигналов распределение экспериментальных данных может существенно отличаться от нормального закона, что приводит к значительным ошибкам и неустойчивости результатов. В последнее время широкое распространение в различных областях получили рандомизиро-ванные смеси распределений, среди которых особое место занимают именно смеси гауссовских распределений (полигауссовские распределения) [1 - 3].
В связи с этим возникает актуальная задача по-лучения параметров смеси, если у исследователя имеются только выборочные значения из генеральной совокупности некоторой полигауссовской случайной последовательности.
2. Анализ литературных данных и постановка проблемы
На данный момент адаптировано довольно много методов для оценки параметров полигауссовских мо-
УДК 681.3.06:519.651
ОЦЕНИВАНИЕ ПАРАМЕТРОВ ПОЛИГАУССОВЫХ МОДЕЛЕЙ МЕТОДОМ МАКСИМИЗАЦИИ ПОЛИНОМА
А . В . Ч е п и н о г а Ассистент*
Е-mail: toxachep@ukr.net С . В . З а б о л о т н и й
Кандидат технических наук, доцент* Е-mail: zabolotni@ukr.net
Е . В . Б у р д у к о в а Инженер*
Е-mail: hackee1@rambler.ru *Кафедра радиотехники Черкасский государственный технологический университет бул. Шевченко, 460, г. Черкассы, Украина, 18006
делей - метод моментов, метод максимального правдоподобия и его модификации, метод эмпирической характеристической функции и т. д. Каждый из этих методов обладает своими достоинствами и недостатками. Метод моментов в виду своей простоты реализации, имеет фактически самую большую дисперсию оценки. Анализируя применение метода моментов в [4], видно, что он уступает в точности со сравниваемыми там методами. Но авторами выделяется его перевес в использовании частичного описания в виде моментов. Метод максимального правдоподобия, использованный в [5] имеет необходимость использования при вычислениях плотностей распределения вероятностей, что ведет к усложнению итерационных процедур и не имеет возможности использования частичного описания случайных величин. Альтернатива, как объединение двух методов, разработана в [6], но для этого приходится фактически два раза оценивать параметры полигауссовских моделей. Рассмотренный в [7] метод на основе эмпирической характеристической функции предполагает поиск этой функции, что не всегда является возможным. В качестве компромиссной альтернативы к выше упомянутым методам в данной работе предлагается использовать метод максимизации полинома (метод Кунченка). Он обладает большей точностью сравнительно с методом моментов и при этом использует в качестве характеристик статистики высших порядков (моменты и/или кумулянты). Это обстоятельство обеспечивает перевес в скорости реализации вычислительных процедур, что свойственно методу моментов и, в то же время, сам метод максими-
Восточно-Европейский журнал передовых технологий ISSN 1729-3774 2/4 ( 68 ) 2014 i i зации полинома дает уменьшенную дисперсию оценок [8].
3. Цель и задачи исследования
Целью данной работы является анализ особенностей применения метода максимизации полинома для нахождения точечных оценок параметров полигауссовых моделей при их моментно-кумулянтном описании, а также синтез аналитических выражений и статистическое моделирование полиномиального оценивания на примере бигауссовского распределения. При этом задача точечного оценивания параметров рассматривается как часть аппроксимационной задачи замены (подгонки) эмпирической плотности распределения на теоретическую модель. В качестве критерия точности аппроксимации используется критерий согласия хи-квадрат.
4. Теоретические основы метода максимизации полинома
Пусть имеется выборка объема n из независимых выборочных значений X =(X1,...,Xn). Необходимо по выборке оценить неизвестное значение векторного параметра ? =(?1,...,?r) . При оценке параметров методом максимизации полинома в качестве априорной информации используется последовательность функций ? (?), i =1,2s , которая в данном случае будет зависеть от векторного параметра ? при степени полинома s . Эти функции являются начальными моментами ?i(?) при использовании степенных преобразований. При оценке векторного параметра эти функции в общем случае будут зависеть или от всех составляющих векторного параметра, или только от части. Выбор же степени полинома происходит из условия s? r , то есть степень полинома должна быть больше или равна количеству оцениваемых параметров [9]. Для нахождения оценки векторного па-раметранеобходимодлякаждойсоставляющей ? , i =1,q вектора ? построить обобщенный стохастический полином степени s вида i r
?sn(r)(?,?)= ?ki(r)(?)??i(?v )?k0(r)(?) , (1) i=1 v=1 s n ?r
? где ki(r)(?)= hi(r)(?)d?r , (2) ar s ?r
?
? k0(r)(?)= n hi(r)(?)?i(?)d?r . (3) i=1 ar
Функции hi(r)(?) параметра ? находятся для каждой составляющей r из решения системы уравнений линейных алгебраических уравнений: ?hj(r)(?)F,j(?)= ? ?i(?) , i =1,s , r =1,q . (4) j=1 r s i
??
Индексом r в скобках обозначений в ? (?,?) , а также возле коэффициентов hi(r)(?) обозначен номер составляющей оцениваемого векторного параметра. sn(r)
Если в качестве базисных функций используются степенные преобразования ?i(?)= ?i , то стохастический полином (1) описывается с помощью начальных моментов ? (?), i =1,2s порядка i . В этом случае объем тела ?s(?) стохастического полинома определяется через центрируемые корелянты размерностью (i,j), то есть функции F,j(?) , которые равны: F,j(?)= ?i j(?)??i(?)?j(?) . (5) i
Используя центрируемые корелянты, запи-сываютматрицудлянахожденияобъематела ?s(?)= F (?) стохастического полинома: s
?F,1(?) F,2(?)..... 1,s(?) ?
F
F F
F
1 1
? ?
? ?
F (?)= , (6)
? 2,1(?) 2,2(?)..... 2,s(?) ? s ?............................................? s s s
? ?
?F,1(?) F,2(?).....F,s(?) ? который по определению должен быть больше нуля.
?
? ?
В качестве оценки ? =(?1,...,?r) берут те значения составляющих векторного параметра ? , для которых каждый из стохастических полиномов ? (?,?) , r =1,q вида (1) достигает совместно максимального значения. Нахождение оценки может быть сведено к sn(r) нахождению решения системы уравнений, получаемых путем частного дифференцирования полинома (1) по соответствующим параметрам, т.е.
? ?sn(r)(?,?) = 0 ,r =1,q . (7) r ?=?
??
?
Эта система в развернутом виде будет иметь вид: ?hi(r)(?)???i(?v )??i(?)? = 0 ,r =1,q (8) i=1 v=1 ?=? s n
? ?
? для оценивания вектоtrial параметра [8].
5. Полиномиальное оценивание параметров бигауссовской модели
В ходе проведенных исследований был установлен тот факт, что для оценки параметров самой простой бигауссовской модели методом максимизации полинома необходимо использовать степень полинома s = 4 . Такой выбор обусловлено тем, что для учета негаусо-вости в уравнение вида (8) должны входить статистики 4-го порядка включительно, характеризирующие асимметрию и эксцесс выборочного распределения.
В качестве примера рассмотрим метод максимизации полинома для оценивания параметров бигауссовской модели асимметричных случайных величин. В общем случае бигауссовская модель имеет пять оцениваемых параметров ? =(m1,m2,?1,?2,?) , где m ,m - математические ожидания первой и второй компоненты, ?1,?1 - их дисперсии, ? - пропорциональный вклад компонентов.
1 2
В данной работе рассматривается для оценки упрощенная модель бигауссовская модель с вектором искомых параметров ? =(0,m2,1,?2,0.5). И хотя с научной
44
Математика и кибернетика - прикладные аспекты m s n i
? ?
2 2
точки зрения представляет большой интерес определение вкладов гауссовских компонент, данный эксперимент тоже имеет практическое применение [6].
Для построения метода максимизации полинома для оценивания параметров бигауссовской модели необходимо найти ее начальные моменты.
Начальные моменты полигауссовой случайной величины определяются из соотношения: r
? ?i(?)= ?j?ij(mj;?j), i =1,2s , (9) j=1 где ?ij - i -й начальный момент j -ой гауссовой компоненты, который зависит лишь от двух параметров mj и ?j .
Для бигауссовской модели с учетом (9) и обозначением ?2 = d будем иметь следующую последовательность моментов: тельного объема тела полигауссового распределения ? (?)= F (?) >0 .
Анализ показал, что условие ?4(?)>0 выполняется для всех возможных значений m и при положительных значениях d (которое по определению, не может быть отрицательным).
4 4
Используя выражение (4), находим коэффициенты hi(r)(?) , r =1,q из решения системы линейных уравнений с помощью частичных определителей.
Данные коэффициенты будут оптимальными (при соответствующей степени полинома) в смысле минимума дисперсии найденных оценок параметров бигауссовской модели для асимметричных случайных величин методом максимизации полинома.
Исходя из (8), (10) и найденных коэффициентов hi(r)(?) , система уравнений для оценки параметров бигауссовской модели методом максимизации полинома будет иметь вид:
Известно, что метод моментов предусматривает использование части приведенных выражений в качестве системы нелинейных уравнений, которую необходимо решать для нахождения параметров бигауссовской модели. Отличием метода максимизации полинома от метода моментов будет то, что для формирования системы уравнений нужно найти центрируемые корелянты, оптимальные коэффициенты и уже потом формировать систему уравнений максимизации полинома для общей оценки векторного параметра ? бигауссовской модели случайной величины.
Соответственно, для нахождения оптимальных коэффициентов h (?) нужно найти производные от s начальных моментов ?i(?) по всех искомых пара- i метрах.
Имея начальные моменты, согласно (5), легко найти центрируемые корелянты F,j(?) бигауссовской модели. i
Как известно из [8, 9], существуют объемы тел и области определения для кумулятных коэффициентов различных типов случайных величин. Они определяют соотношение значений ?n , которые не могут быть произвольными. В соответствии с этим, при оценке полигауссовых моделей методом максимизации полинома возникает еще одно ограничение в виде положи-
6. Решение аппроксимационной задачи (модельный эксперимент)
В работе предлагается использование метода максимизации полинома применительно к задаче о нахождении некоторой теоретической кривой плотности распределения вероятности, которая в достаточной степени (исходя из выбранного критерия) описывала бы распределение выборочных значений из генеральной совокупности неизвестного закона.
Для решения задачи формируется выборка объема n = 300 из независимых выборочных значений X =(X1,...,Xn) ассимметрично распределенных случайных величин (экспериментальных данных), которая получена путем генерации на основе бигауссовского закона распределения (рис. 1) с параметрами
? =(0;?0.8;1;0.3;0.5) в программе Mathematica.
Рис. 1. Вид закона распределения с заданными параметрами
45
Восточно-Европейский журнал передовых технологий ISSN 1729-3774 2/4 ( 68 ) 2014
Методом Монте-Карло проводиться 1000 независимых испытаний, в которых, используя разработанные алгоритмы и вероятностные модели, осуществляется процедурааппроксимации(находятсяоценкинеизвест-ногозначениявекторногопараметра ? =(0,m2,1,?2,0.5)) и оценивается на основе критерия согласия Пирсона [11] качество аппроксимации в каждом эксперименте, чтобы определить его среднее значение.
Для аппроксимации было применено три метода в качестве сравнения - метод моментов (ММ), метод максимального правдоподобия (ММП) и метод максимизации полинома (ММПЛ) для бигауссовской модели. Поскольку все три метода используют системы нелиней-ныхуравнений,тодляихчисленногорешенияиспользо-вался метод Ньоютона-Канторовича (Рафсона) [12].
Также при проведении эксперимента были определены коэффициенты уменьшения дисперсии оценки ММПЛ относительно к ММ и ММП (табл. 1). Ниже приведены результаты экспериментов, проведенных в соответствии с данной схемой в табличном виде.
Таблица 1
Вывод
Совокупность полученных теоретических и экспериментальных результатов позволяет делать вывод о потенциально высокой эффективности метода максимиза-цииполиномаприменительнокоцениваниюпараметров бигауссовских моделей. Получаемые алгоритмы поли-номиальногооцениванияможнотрактоватькаккомпро-миссный вариант нахождения оценок, обеспечивающий приемлемую точность при снижении сложности их реализации. В дальнейших исследованиях планируется использовать ММПЛ для оценивания параметров полигауссовых распределений высших порядков, а также использовать данный подход для построения алгоритмов генерирования случайных последовательностей.
Список литературы
1. Литвак,М.Я.Полигауссовскиемоделинегауссовскойслу-чайно-шероховатой поверхности [Текст] / М. Я. Литвак, В. И. Малюгин // Журнал технической физики. - 2012. - Т. 82, № 4. - С. 99-107.
Коэффициент уменьшения дисперсии оценки 2. Чикрин,Д.Е.Построениеэффективныхсистемрегулировки
Отношение методов оценивания
Коэффициент уменьшения дисперсии оценки параметров мощности в каналах связи с негауссовым комплексом помех
[Текст]/Д.Е.Чикрин,В.И.Малюгин//Радиотехническиеи
m d (?2) ММПЛ/ММП 1,09 2,25
ММ/ ММП 0,034 0,08
телекоммуникационныесистемы.-2011.-№4.-С.78-80. 3. Melnykov, V. Finite mixture models and model-based clustering [Text] / V. Melnykov, R. Maitra // Statistics Surveys. -
2010. - № 4. - P. 80-116.
Результаты оценивания эффективности качества аппроксимации на основе критерия согласования Пирсона (критерия хи-квадрат) при проверке сложной гипотезы представлены в табличном виде (табл. 2).
Таблица 2
Сравнение результатов аппроксимации с помощью ММПЛ, ММ, ММП
Метод Коли- Количество Уровень Значе- Граница оцени- чество интервалов значи- ние принятия вания оцени- группи- мости ? стати- решения ваемых рования стики ?2k,? пара- данных ?2 метров
ММПЛ 9,9
ММ 2 10 0.05 22,3 14,06
ММП 8,44
4. Delay and Doppler Estimation of Gaussian Mixtures Using Moment [Text] : 17th inter. conf. // Systems, Signals and Image Processing. Proceedings Chair Fabiana R. Leta. — Rio de Janeiro: IWSSIP, 2010. - 532 p.
5. Ибатуллин, Э. А. Оценивание параметров полигауссового распределения плотностей вероятности сигналов методом максимального правдоподобия [Текст] / Э. А. Ибатуллин // Электронный научно-технический журнал “Информационные технологии и телерадиокоммуника-ции”. - 2005. - № 5 (1). - С. 25-32
6. Королев, В. Ю. Разделение смесей вероятностных распределений при помощи сеточных методов моментов и макси-мальногоправдоподобия[Текст]/В.Ю.Королев,А.Л.Назаров // Автомат. и телемех. - 2010. - № 3. - С. 98-116.
7. Xu,D.Continuousempiricalcharacteristicfunctionestimation of mixtures of normal parameters [Text] / D. Xu, J. Knight //
Кроме того, при проведении 1000 экспериментов по оцениванию параметров бигаусовской модели 321 раз ММ оценки не были получены ввиду не сходимости итерационного процесса к значениям, которые отвечают ограничениям d(?2)>0, а при применении ММП и ММПЛ таких результатов экспериментов не было.
Анализ полученных результатов подтверждает теоретические предпосылки о позиционировании ММПЛ, как альтернативного метода между ММ и ММП, с приближением результатов в сторону ММПЛ. Данные табл. 2 также показывают, что за введенным качественным критерием точности (значением статистики ?2) оценки, полученные этими методами в отличии от оценок, получаемых методом моментов, обеспечивают адекватную степень аппроксимации на заданном уровне значимости.
Econometric Reviews. - 2011. - Vol. 30, Issue 1. - P. 25-50. 8. Kunchenko, Y. P. Polynomial parameter estimation of close to
Gaussian random variables [Text] / Y. P. Kunchenko. - Aachen: Shaker, 2002. - 396 p.
9. Кунченко, Ю. П. Стохастические полиномы [Текст] / Ю. П. Кунченко. - К.: Наукова думка, 2006. - 275 с.
10. Kelley,C.T.,SOLVINGNONLINEAREQUATIONSWITHNEWTON’SMET-hod,no1INFUNDAMENTALSOFALGORITHMS[Text]/C.T.Kelley.- Philadelphia: SIAM, 2003. - 104 p.
11. Greenwood, P. E. A guide to chi-squared testing [Text] / P.E.Greenwood,M.S.Nikulin.-NEWYORK:Wiley,1996.-280p.
12. Чепинога, А. В. Аналіз ефективності застосування чисельних методів для пошуку параметрів полігаусових моделей [Текст] / А. В. Чепинога // Вісник Інженерної академії