М-оценки параметров регрессионной модели, асимптотическая относительная эффективность. Демонстрация работы на смоделированных данных. Код для вычисления асимптотических относительных эффективностей. Визуализация функций плотностей распределения Гаусса.
Сравнительный анализ М-оценок в регрессионных моделяхРегрессионное моделирование применяется во многих сферах жизни, набирая в последнее время популярность благодаря развитию компьютерных технологий и распространению методов анализа данных. Для решения этой проблемы были разработаны робастные методы построения, в число которых входят М-оценки, R-оценки, отвечающие оценкам типа максимального правдоподобия (от англ. Например, в случае МНК-оценки параметров линейной регрессионной модели и отклонении от предположения о нормальном распределении ошибок модели, данный метод оценки параметров модели может оказаться неточным. Таким образом, для построения наиболее устойчивых к выбросам и точных моделей необходимо проанализировать поведение М-оценок параметров регрессионной модели и заключить, при каких условиях данный метод может быть наилучшим в сравнении с широко распространенными применяемыми методами наименьших квадратов и модулей. Основная цель написания данной работы заключается в формулировке рекомендаций относительно применения методов оценивания параметров регрессионной модели при разнообразных распределениях остатков модели.Метод позволяет не только восстановить зависимость между изучаемыми объектами, но и предсказать значения зависимой переменной исходя из известных данных, соответствующих этой зависимой переменной. вектор независимых и одинаково распределенных ошибок, матрица полного столбцового ранга, Краеугольным камнем классической статистики является метод наименьших квадратов оценки параметров регрессионной модели (1) b, отчасти благодаря его возможности быть в явном виде вычисленным по имеющимся данным, а также благодаря легкому понимаю метода. Доказано, что МНК-оценки совпадают с оценками, полученные по методу максимального правдоподобия в случае ошибок модели, распределенными по закону Гаусса [18, стр. В то время как МНК-оценки совпадают с оценками максимального правдоподобия в случае распределения ошибок по закону Гаусса, метод наименьших модулей (МНМ) обеспечивает максимум функции правдоподобия, если ошибки подчиняются закону Лапласа [1]. Данный метод не может быть записан в явном виде и поиск минимума суммы абсолютных значений отклонений производится симплекс-методом, который, согласно [3], заключается в следующем: пусть необходимо минимизировать функцию от n переменных .М-оценки основаны на идее максимизации функции правдоподобия, но в отличии от МНК-и МНК-оценок могут быть лучше применены в случае, если ошибки модели имеют "тяжелые хвосты". Пусть - функция распределения ошибок регрессионной модели (1), тогда оценка параметра b регрессионной модели (1) по методу максимального правдоподобия имеет вид: Прологарифмировав (2), получим: В случае, если - функция плотности распределения Гаусса, то, как было указано в предыдущей главе, (3) сводится к задаче минимизации функции В случае, если то оценка соответствует оценке, полученной методом наименьших квадратов: соответствует оценки по методу наименьших модулей, при этом оценка параметра масштаба (в пер. в англ. Пусть , и, приравнивая полученные частные производные к 0, получим систему k 1 уравнений: Введем весовую функция при этом, В таком случае, уравнения (5) могут быть записаны в следующем виде: Обозначим за W диагональную матрицу вида: Применяя к (6), получим: Аналитическое представление (7) очень похоже на представление МНК-оценки, однако (7) учитывает веса каждого наблюдения и не может быть вычислена непосредственно по данным, так как W зависит от остатков, которые зависят от оценки. В частности, если первое приближение недостаточно точно, то метод может сходиться не к глобальному минимуму функции, а к локальному, как показано на Рисунке 1.1 в случае М-оценки Тьюки, функция p, которая имеет глобальный и локальные минимумы.Согласно [23], при и конечной дисперсии , а также при сходимости оценки параметра масштаба к по вероятности, М-оценки имеют k-мерное нормальное распределение: ~ N , где ковариационная матрица, а Таким образом, асимптотическая относительная эффективность М-оценок по отношению к МНК имеет вид: Ковариационная матрица МНМ-оценки при , согласно [3], имеет вид В таком случае, асимптотическая относительная эффективность М-оценок по отношению к МНМ можно представить в аналитической форме (11): Используя (10) и (11), а также значения параметра c, подобранные таким образом, что при применении функций для нахождения М-оценок к стандартному нормальному распределению, имеют асимптотическую эффективность 95%, представленные в Таблице 1.2, определим асимптотическую эффективность оценок при применении к другим распределениям. В частности, определим какую асимптотическую эффективность при применении к распределению Стьюдента с различными степенями свободы, а также при применении к распределению Коши, Тьюки, Лапласа, треугольному и "двугорбому" на основе комбинаций Гауссовских, логистическому, имеют изучаемые М-оценки. В Таблице 1.3 и Таблице 1.
План
Содержание
Введение
Глава 1. Оценки параметров регрессионных моделей
1.1 Регрессионный анализ. Наиболее популярные оценки параметров модели
