Исследование точности прогнозирования случайного процесса с использованием метода наименьших квадратов. Анализ расхождения между трендом и прогнозом, последующая оценка близости распределения расхождений наблюдений и распределения сгенерированного шума.
Для этого мы определяем расхождения между трендом и прогнозом и оцениваем степень расхождения изза шума по критерию Пирсона График показан на рисунке 6: Рисунок 6. Рисунок 7 (На рисунке показаны тренд и аппроксимирующая его свойства прямая, построенная по методу наименьших квадратов). (На рисунке представлены гистограмма распределения значений ? по интервалам, а так же график функции распределения ?). Из рисунков видно, что закон ? больше всего похож на логнормальный, поэтому для сравнения оценки расхождения распределения сгенерируем выборку объемом в 25 (а так же выборки объемом 100, 500 и 1500) по логнормальному закону с математическим ожиданием 0 и дисперсией 1 и вычислим параметры.
Введение
В качестве тренда процесса был выбран линейный тренд вида
Y=at b, (23) где а=1, b=2. Тренд процесса показан на рисунке 3.
Рисунок 3. График тренда
График прямой с учетом сгенерированного шума по логнормальному закону выглядит так:.
Рисунок 4. График прямой с учетом шума.
Наша задача в курсовом проекте заключается в определении насколько сильно шум влияет на прогнозирование. Для этого мы определяем расхождения между трендом и прогнозом и оцениваем степень расхождения изза шума по критерию Пирсона
1. Построение прямой аппроксимирующей свойства тренда с помощью МНК
Наша ошибка сгенерирована по логнормальному закону с математическим ожиданием равным 0 и дисперсией равной 1. Гистограмма распределения шума представлена на рисунке 5.
Рисунок 5. (Гистограмма распределения значений шума по интервалам).
С помощью формул (21) и (22) вычислим коэффициенты линейного уравнения тренда с учетом шума с помощью метода МНК:
По найденным коэффициентам строим график прямой, которая аппроксимирует основные свойства линейного тренда. График показан на рисунке 6:
Рисунок 6. (Прямая, построенная по методу наименьших квадратов).
2. Прогнозирование дальнейшего продвижения тренда
Наша задача состоит в том, чтобы спрогнозировать дальнейшее поведение уравнения тренда и определить расхождения с спрогнозированными значениями.
Для этого увеличиваем участок наблюдения за линейным трендом без шума до ? =2t=50
График расхождения исходного тренда и аппроксимированного тренда по МНК виден на рисунке 7. (Y? - исходный тренд; Z? - аппроксимированный тренд по МНК)
Рисунок 7 (На рисунке показаны тренд и аппроксимирующая его свойства прямая, построенная по методу наименьших квадратов).
Расхождения вычислены на удаленно отрезке(?=50): ?= Z? - Y? =0.864
Проведем серию из 25 экспериментов по вычислению расхождений ? по модулю: N 1 2 3 4 5 6 7 8 9 10 11 12 13
Рассчитаем среднее значение ? и среднеквадратичное отклонение по формулам (6) и (8): ?ср=1.851; ?=1.484
График на рисунке 8 отображает расхождения между исходной функцией и прямыми, полученными в результате аппроксимации по МНК. Синим цветом показаны полученные прямые, красным - исходная функция.
Рисунок 8. (На рисунке показаны тренд и несколько прямых, построенных по методу наименьших квадратов и аппроксимирующих свойства тренда).
3. Анализ результатов эксперимента
Полученные значения расхождений ? представим в виде гистограммы и эмпирической функции по интервалам на рисунке 9:
Рисунок 9. (На рисунке представлены гистограмма распределения значений ? по интервалам, а так же график функции распределения ?).
Из рисунков видно, что закон ? больше всего похож на логнормальный, поэтому для сравнения оценки расхождения распределения сгенерируем выборку объемом в 25 (а так же выборки объемом 100, 500 и 1500) по логнормальному закону с математическим ожиданием 0 и дисперсией 1 и вычислим параметры.
Оценки математического ожидания, дисперсии и СКО рассчитаем по формулам:
(24)
M[XL]=1.284; D[XL]=0.848; ?[XL]=0.921
На рисунке 10 показана гистограмма и эмпирическая функция по сгенерированной выборке: Рисунок 10. (На рисунке показанная функций распределения, а так же гистограмма распределения значений по интервалам для случайной величины, распределенной по логнормальному закону распределения с выборкой 25).
4. Проверка близости по критерию ?2 Пирсона закона распределения расхождений наблюдений и сгенерированного шума
Проверим насколько расходятся значения при прогнозе и по тренду. Для этого определяются интервалы разбиения расхождений прогноза и вычисление вероятностей попасть в интервал по логнормальному закону с математическим ожиданием равным 0 и дисперсией 1 по формуле (9).
Далее посчитаем сумму квадратов расхождения между частотами и вероятностью попасть в интервал логнормального закона: (25)
На основе суммы квадратов расхождения ?расх можно посчитать расчетное значение критерия согласия Пирсона: (26)
На полигоне частот (рисунок 11) показаны значения частоты распределения чисел по интервалам и вероятностей попадания в эти интервалы.
Теоретическое значение критического значения критерия Пирсона при уровне значимости ?=0.1 и числом степеней свободы r=m-1 рассчитаем по формуле (11).
Рисунок 11.
(На рисунке показано расхождения между частотой попадания случайной величины в интервал и функцией распределения для попадания в этот интервал для выборок 25, 100, 500 и 1500. Случайная величина распределена по логнормальному закону распределения).
Ставится гипотеза: H0 - расхождение между прогнозом и трендом распределено по логнормальному закону
Количество экспериментов Критическое значение ?? Эмпирическое значение ?? Решение
25 21.064 26.135 Гипотеза H0 отвергается
100 21.064 65.549 Гипотеза H0 отвергается
500 21.064 102.753 Гипотеза H0 отвергается
1500 21.064 241.778 Гипотеза H0 отвергается
Так как в результате опытов выяснилось, что расхождение с ожидаемыми результатами велико, то в таком случае проверим правильность работы нашей модели, сгенерировав шум по нормальному закону распределения и проанализируем результаты.
Рисунок 12.
(На рисунке показано расхождения между частотой попадания случайной величины в интервал и функцией распределения для попадания в этот интервал для выборок 25, 100, 500, 1500 и 10000. Случайная величина распределена по нормальному закону распределения, для проверки взято теоретическое распределение с параметрами mx=0 и Dx=1).
Поставим гипотезу: H0 - расхождение между прогнозом и трендом распределено по нормальному закону распределения (с параметрами mx=0 и Dx=1).
Количество экспериментов Критическое значение ?? Эмпирическое значение ?? Решение
25 21.064 14.865 Гипотеза H0 принимается
100 21.064 10.266 Гипотеза H0 принимается
500 21.064 9.161 Гипотеза H0 принимается
1500 21.064 32.575 Гипотеза H0 отвергается
10000 21.064 114.286 Гипотеза H0 отвергается
Отвержение гипотезы H0 о распределении случайной величины по нормальному закону при выборках 1500 и 10000 с параметрами mx=0 и Dx=1 свидетельствует об изменении параметров закона распределения (т.к. нормальный закон устойчив к линейным преобразованиям и сам закон не меняется), что является следствием линейных преобразований. Используем для проверки гипотезы о законе распределения с помощью критерия Пирсона теоретический закон распределения с дисперсией, равной оценке дисперсии отклонения прогноза от тренда, вычисленной по методу моментов.
Рисунок 13.
(На рисунке показано расхождения между частотой попадания случайной величины в интервал и функцией распределения для попадания в этот интервал для выборок 25, 100, 500, 1500 и 10000. Случайная величина распределена по нормальному закону распределения, для проверки взято теоретическое распределение с параметрами mx=0 и Dx= D? (D? =1.343; 1.149; 1,235; 1.158; 1.141)).
Поставим новую гипотезу: H0 - расхождение между прогнозом и трендом распределено по нормальному закону распределения (с параметрами mx=0 и Dx=D?).
Количество ЭКСПЕРИМЕНТОВКРИТИЧЕСКОЕ значение ??Эмпирическое значение ??Решение
25 21.064 12.251 Гипотеза H0 принимается
100 21.064 11.616 Гипотеза H0 принимается
500 21.064 11.503 Гипотеза H0 принимается
1500 21.064 14.31 Гипотеза H0 принимается
10000 21.064 11.275 Гипотеза H0 принимается
Отклонение тренда от прогноза при шуме, распределенном по нормальному закону распределении, так же подчиняется нормальному закону распределения, что было подтверждено экспериментально.
Вывод
а) на основании проведенных экспериментов и анализа полученных данных можно сделать вывод, подтверждающий, что логнормальное распределение является неустойчивым к линейным преобразованиям, причем с ростом числа наблюдений расхождение будет существенно возрастать;
б) при аппроксимации линейного тренда, к которому был добавлен шум, распределенный по логнормальному закону распределение все прямые, построенные по методу наименьших квадратов, всегда проходили выше прямой тренда. Это является следствием влияния ошибки наблюдений, которая была положительной величиной и говорит о том, что эффективность метода наименьших квадратов при аппроксимации тренда с положительной ошибкой наблюдений ниже, чем при аппроксимации тренда с ошибкой наблюдения, имеющее разные знаки;
в) при аппроксимации линейного тренда, к которому был добавлен шум, распределенный по нормальному закону, распределение отклонения прогноза от тренда так же подчинено нормальному закону распределения, в силу устойчивости последнего к линейным преобразованиям, но, изза преобразований меняется его дисперсия (в нашем случае увеличивается в среднем на 12%), что было экспериментально подтверждено с использованием критерия Пирсона.
Список литературы
1. В.В. Бомас, В.С. Булыгин «Элементы теории Марковских процессов и ее технические приложения».
2. Феллер «Введение в теорию вероятностей и ее приложения»
3. Е.С. Вентцель «Теория вероятностей».
Вы можете ЗАГРУЗИТЬ и ПОВЫСИТЬ уникальность своей работы
