В начало

Полезные ссылки на Интернет-ресурсы

Тема 4. Модель множественной регрессии

Линейная модель множественной регрессии имеет вид:

Y_i = α₀ + α₁x_i1 + α₂x_i2 + ... + α _mx_im + ε_i (4.1)

Коэффициент регрессии α_j показывает, на какую величину в среднем изменится результативный признак Y, если переменную x_j увеличить на единицу измерения, т.е. α_j является нормативным коэффициентом. Обычно предполагается, что случайная величина ε_i имеет нормальный закон распределения с математическим ожиданием равным нулю и с дисперсией σ².

Анализ уравнения (4.1) и методика определения параметров становятся более наглядными, а расчетные процедуры существенно упрощаются, если воспользоваться матричной формой записи уравнения (4.2):

Y = X α + ε (4.2)

где Y — вектор зависимой переменной размерности n×1, представляющий собой n наблюдений значений y_j,

X — матрица n наблюдений независимых переменных Х₁, Х₂, Х₃, ..., Х_m, размерность матрицы X равна n×(m+1);

α — подлежащий оцениванию вектор неизвестных параметров размерности (m+1) ×1;

ε — вектор случайных отклонений (возмущений) размерности n×1.

Таким образом,

Уравнение (4.1) содержит значения неизвестных параметров α₀, α₁, α₂, ..., α_m. Эти величины оцениваются на основе выборочных наблюдений, поэтому полученные расчетные показатели не являются истинными, а представляют собой лишь их статистические оценки. Модель линейной регрессии, в которой вместо истинных значений параметров подставлены их оценки (а именно такие регрессии и применяются на практике), имеет вид:

, (4.3)

где a — вектор оценок параметров;

е — вектор «оцененных» отклонений регрессии, остатки регрессии е = Y - X a;

— оценка значений Y, равная Ха.

Оценка параметров модели множественной регрессии с помощью метода наименьших квадратов

Формулу для вычисления параметров регрессионного уравнения приведем без вывода:

а = (Х^ТХ)^-1X^TY. (4.4)

Одним из условий регрессионной модели является предположение о линейной независимости объясняющих переменных, т.е., решение задачи возможно лишь тогда, когда столбцы и строки матрицы исходных данных линейно независимы. Для экономических показателей это условие выполняется не всегда. Линейная или близкая к ней связь между факторами называется мультиколлинеарностью и приводит к линейной зависимости нормальных уравнений, что делает вычисление параметров либо невозможным, либо затрудняет содержательную интерпретацию параметров модели. Мультиколлинеарность может возникать в силу разных причин. Например, несколько независимых переменных могут иметь общий временной тренд, относительно которого они совершают малые колебания. В частности, так может случиться, когда значения одной независимой переменной являются датированными значениями другой. Считают явление мультиколлинеарности в и сходных данных установленным, если коэффициент парной корреляции между двумя переменными больше 0,8. Чтобы избавиться от мультиколлинеарности, в модель включают лишь один из линейно связанных между собой факторов, причем тот, который в большей степени связан с зависимой переменной.

В качестве критерия мультиколлинеарности может быть принято соблюдение следующих неравенств:

r_yxi > r_xixk, r_yxk > r_xixk, r_xixk < 0,8.

Если приведенные неравенства (или хотя бы одно из них) не выполняются, то в модель включают тот фактор, который наиболее тесно связан с Y.

Оценка качества модели регрессии

Качество модели регрессии оценивается по следующим направлениям:

1. проверка качества всего уравнения регрессии;
2. проверка значимости всего уравнения регрессии;
3. проверка статистической значимости коэффициентов уравнения регрессии;
4. проверка выполнения предпосылок МНК.

Проверка качества всего уравнения регрессии

Для оценки качества модели множественной регрессии вычисляют коэффициент множественной корреляции (индекс корреляции) R и коэффициент детерминации R² (см. формулы 3.9 и 3.13).

В многофакторной регрессии добавление дополнительных объясняющих переменных увеличивает коэффициент детерминации. Следовательно, коэффициент детерминации должен быть скорректирован с учетом числа независимых переменных. Скорректированный R², или , рассчитывается так:

(4.5)

где n — число наблюдений;

k — число независимых переменных.

Проверка значимости модели регрессии

Для проверки значимости модели регрессии используется F-критерий Фишера, вычисляемый по формуле

(4.6)

Если расчетное значение с ν₁ = k и ν₂ = (n-k-1) степенями свободы, где k — количество факторов, включенных в модель, больше табличного при заданном уровне значимости, то модель считается значимой.

Анализ статистической значимости параметров модели

Значимость отдельных коэффициентов регрессии проверяется по t-статистике путем проверки гипотезы о равенстве нулю j-го параметра уравнения (кроме свободного члена):

t_aj = a_j/S_aj, (4.7)

где S_aj — стандартное (среднеквадратическое) отклонение коэффициента уравнения регрессии a_j.

Величина S_aj представляет собой квадратный корень из произведения несмещенной оценки дисперсии и j-го диагонального элемента матрицы, обратной матрице системы нормальных уравнений.

(4.8)

где b_jj — диагональный элемент матрицы (Х^ТХ)^-1.

Если расчетное значение t-критерия с (n-k-1) степенями свободы превосходит его табличное значение при заданном уровне значимости, коэффициент регрессии считается значимым. В противном случае фактор, соответствующий этому коэффициенту, следует исключить из модели (при этом ее качество не ухудшится).

Проверка выполнения предпосылок МНК

Проверка выполнения предпосылок МНК выполняется на основе анализа остаточной компоненты.

Анализ остатков позволяет получить представление, насколько хорошо подобрана сама модель и насколько правильно выбран метод оценки коэффициентов. Согласно общим предположениям регрессионного анализа остатки должны вести себя как независимые (в действительности почти независимые) одинаково распределенные случайные величины. В классических методах регрессионного анализа предполагается также нормальный закон распределения остатков.

Исследование остатков полезно начинать с изучения их графика. Он может показать наличие какой-то зависимости, не учтенной в модели. Скажем, при подборе простой линейной зависимости между Y и X график остатков может показать необходимость перехода к нелинейной модели (квадратичной, полиномиальной, экспоненциальной) или включения в модель периодических компонент.

График остатков хорошо показывает и резко отклоняющиеся от модели наблюдения – выбросы. Подобным аномальным наблюдениям надо уделять особо пристальное внимание, так как их присутствие может грубо искажать значения оценок. Устранение эффектов выбросов может проводиться либо с помощью удаления этих точек из анализируемых данных (эта процедура называется цензурировнием), либо с помощью применения методов оценивания параметров, устойчивых к подобным грубым отклонениям.

Независимость остатков проверяется с помощью критерия Дарбина-Уотсона.

Корреляционная зависимость между текущими уровнями некоторой переменной и уровнями этой же переменной, сдвинутыми на несколько шагов, называется автокорреляцией.

Автокорреляция случайной составляющей нарушает одну из предпосылок нормальной линейной модели регрессии.

Наличие (отсутствие) автокорреляции в отклонениях проверяют с помощью критерия Дарбина-Уотсона. Численное значение коэффициента равно

(4.9)

где .

Значение dw статистики близко к величине 2(1 - r(1)), где r(1) — выборочная автокорреляционная функция остатков первого порядка. Таким образом, значение статистики Дарбина-Уотсона распределено в интервале 0—4. Соответственно идеальное значение статистики — 2 (автокорреляция отсутствует). Меньшие значения критерия соответствуют положительной автокорреляции остатков, большие значения — отрицательной. Статистика учитывает только автокорреляцию первого порядка. Оценки, получаемые по критерию, являются не точечными, а интервальными. Верхние (d₂) и нижние (d₁) критические значения, позволяющие принять или отвергнуть гипотезу об отсутствии автокорреляции, зависят от количества уровней динамического ряда и числа независимых переменных модели. Значения этих границ для уровня значимости α = 0,05 даны в специальных таблицах (см. Приложение 2). При сравнении расчетного значения dw статистики с табличным могут возникнуть такие ситуации: d₂ < dw < 2 — ряд остатков не коррелирован; dw < d₁ — остатки содержат автокорреляцию; d₁ < dw < d₂ — область неопределённости, когда нет оснований ни принять, ни отвергнуть гипотезу о существовании автокорреляции. Если d превышает 2, то это свидетельствует о наличии отрицательной корреляции. Перед сравнением с табличными значениями dw критерий следует преобразовать по формуле dw' = 4 - dw.

Установив наличие автокорреляции остатков, переходят к улучшению модели. Если же ситуация оказалась неопределенной (d₁ < dw < d₂), то применяют другие критерии. В частности, можно воспользоваться первым коэффициентом автокорреляции

(4.10)

Для принятия решения о наличии или отсутствии автокорреляции в исследуемом ряду фактическое значение коэффициента автокорреляции r(1) сопоставляется с табличным (критическим) значением для 5%-ного уровня значимости (вероятности допустить ошибку при принятии нулевой гипотезы о независимости уровней ряда). Если фактическое значение коэффициента автокорреляции меньше табличного, то гипотеза об отсутствии автокорреляции в ряду может быть принята, а если фактическое значение больше табличного — делают вывод о наличии автокорреляции в ряду динамики.

Обнаружение гетероскедастичности. Для обнаружения гетероскедастичности обычно используют три теста, в которых делаются различные предположения о зависимости между дисперсией случайного члена и объясняющей переменной: тест ранговой корреляции Спирмена, тест Голдфельда—Квандта и тест Глейзера.

При малом объеме выборки для оценки гетероскедастичности может использоваться метод Голдфельда—Квандта.

Данный тест используется для проверки такого типа гетероскедастичности, когда дисперсия остатков возрастает пропорционально квадрату фактора. При этом делается предположение, что случайная составляющая распределена нормально.

Чтобы оценить нарушение гомоскедастичности по тесту Голдфельда—Квандта, необходимо выполнить следующие шаги.

1. Упорядочение n наблюдений по мере возрастания переменной x.

2. Разделение совокупности на две группы (соответственно с малыми и большими значениями фактора x) и определение по каждой из групп уравнений регрессии.

3. Определение остаточной суммы квадратов для первой регрессии и второй регрессии .

4. Вычисление отношений (или ). В числителе должна быть большая сумма квадратов.

Полученное отношение имеет F распределение со степенями свободы k₁ =n₁ - m и k₂ = n – n₁ - m (m — число оцениваемых параметров в уравнении регрессии).

Если , то гетероскедастичность имеет место.

Чем больше величина F превышает табличное значение F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Оценка влияния отдельных факторов на зависимую переменную на основе модели (коэффициенты эластичности, β-коэффициенты)

Важную роль при оценке влияния факторов играют коэффициенты регрессионной модели. Однако непосредственно с их помощью нельзя сопоставить факторы по степени их влияния на зависимую переменную из-за различия единиц измерения и разной степени колеблемости. Для устранения таких различий при интерпретации применяются средние частные коэффициенты эластичности Э(j) и бета-коэффициенты β(j), которые рассчитываются соответственно по формулам:

(4.11)

(4.12)

где — среднеквадратическое отклонение фактора j.

.

Коэффициент эластичности показывает, на сколько процентов изменяется зависимая переменная при изменении фактора. j на один процент. Однако он не учитывает степень колеблемости факторов.

Бета-коэффициент показывает, на какую часть величины среднего квадратического отклонения S_y изменится зависимая переменная Y с изменением соответствующей независимой переменной X_j на величину своего среднеквадратического отклонения при фиксированном на постоянном уровне значении остальных независимых переменных.

Указанные коэффициенты позволяют упорядочить факторы по степени влияния факторов на зависимую переменную.

Долю влияния фактора в суммарном влиянии всех факторов можно оценить по величине дельта-коэффициентов Δ(j):

где — коэффициент парной корреляции между фактором j (j = 1, ..., m) и зависимой переменной.

Использование многофакторных моделей для анализа и прогнозирования развития экономических систем

Одна из важнейших целей моделирования заключается в прогнозировании поведения исследуемого объекта. Обычно термин «прогнозирование» используется в тех ситуациях, когда требуется предсказать состояние системы в будущем. Для регрессионных моделей он имеет, однако, более широкое значение. Как уже отмечалось, данные могут не иметь временной структуры, но и в этих случаях вполне может возникнуть задача оценки значения зависимой переменной для некоторого набора независимых, объясняющих переменных, которых нет в исходных наблюдениях. Именно в этом смысле — как построение оценки зависимой переменной — и следует понимать прогнозирование в эконометрике.

При использовании построенной модели для прогнозирования делается предположение о сохранении в период прогнозирования существовавших ранее взаимосвязей переменных.

Построение точечных и интервальных прогнозов на основе регрессионной модели. Какие факторы влияют на ширину доверительного интервала?

Для того чтобы определить область возможных значений результативного показателя, при рассчитанных значениях факторов следует учитывать два возможных источника ошибок: рассеивание наблюдений относительно линии регрессии и ошибки, обусловленные математическим аппаратом построения самой линии регрессии. Ошибки первого рода измеряются с помощью характеристик точности, в частности величиной S_y. Ошибки второго рода обусловлены фиксацией численного значения коэффициентов регрессии, в то время как они в действительности являются случайными, нормально распределенными.

Для линейной модели регрессии доверительный интервал рассчитывается следующим образом. Оценивается величина отклонения от линии регрессии (обозначим ее U):

(4.13)

где

Пример 4.1.

Задача состоит в построении модели для предсказания объема реализации одного из продуктов фирмы.

Объем реализации - это зависимая переменная Y (млн. руб.) В качестве независимых, объясняющих переменных выбраны: время – Х₁, расходы на рекламу Х₂ (тыс. руб.), цена товара Х₃ (руб.), средняя цена товара у конкурентов X₄ (руб.), индекс потребительских расходов Х₅ (%).

Требуется:

1. Осуществить выбор факторных признаков для построения двухфакторной регрессионной модели.

2. Рассчитать параметры модели.

3. Для оценки качества всего уравнения регрессии определить:

• линейный коэффициент множественной корреляции,

• коэффициент детерминации.

4. Осуществить оценку значимости уравнения регрессии.

5. Оценить с помощью t-критерия Стьюдента статистическую значимость коэффициентов уравнения множественной регрессии.

6. Оценить влияние факторов на зависимую переменную по модели.

7. Построить точечный и интервальный прогноз результирующего показателя на два шага вперед α = 0,1.

1. Построение системы показателей (факторов). Анализ матрицы коэффициентов парной корреляции. Выбор факторных признаков для построения двухфакторной регрессионной модели.

Статистические данные по всем переменным приведены в таблице 4.1. В этом примере n = 16, m = 5.

Таблица 4.1

Использование инструмента Корреляция (Анализ данных в EXCEL).

Для проведения корреляционного анализа выполните следующие действия:

1. Данные для корреляционного анализа должны располагаться в смежных диапазонах ячеек.

2. Выберите команду Сервис => Анализ данных.

3. В диалоговом окне Анализ данных выберите инструмент Корреляция, а затем щелкните на кнопке ОК.

4. В диалоговом окне Корреляция в поле Входной интервал необходимо ввести диапазон ячеек, содержащих исходные данные. Если выделены и заголовки столбцов, то установите флажок Метки в первой строке.

5. Выберите параметры вывода. В данном примере Новый рабочий лист.

6. ОК.

Таблица 4.2

Результат корреляционного анализа

Анализ матрицы коэффициентов парной корреляции показывает, что зависимая переменная, т.е. объем реализации имеет тесную связь с индексом потребительских расходов (rух₅ = 0,816), с расходами на рекламу (rух₂ = 0,646) и со временем (rух₁ = 0,678). Однако факторы Х₂ и Х₅ тесно связаны между собой (rx₁x₅ = 0,96), что свидетельствует о наличии мультиколлинеарности. Из этих двух переменных оставим в модели Х₅ — индекс потребительских расходов. В этом примере n = 16, m = 5, после исключения незначимых факторов n = 16, k = 2.

2. Выбор вида модели и оценка ее параметров

Оценка параметров регрессии осуществляется по методу наименьших квадратов по формуле A = (Х’Х)^-1X’Y, используя данные¹, приведенные в таблице 4.3.

Таблица 4.3

Уравнение регрессии зависимости объема реализации от затрат на рекламу и индекса потребительских расходов можно записать в следующем виде:

у = -1471,314 + 9,568x₁, + 15,754x₂

Расчетные значения Y определяются путем последовательной подстановки в эту модель значений факторов, взятых для каждого наблюдения.

Применение инструмента Регрессия (Анализ данных в EXCEL).

Для проведения регрессионного анализа выполните следующие действия:

1. Выберите команду Сервис => Анализ данных.

2. В диалоговом окне Анализ данных выберите инструмент Регрессия, а затем щелкните на кнопке ОК.

3. В диалоговом окне Регрессия в поле Входной интервал Y введите адрес одного диапазона ячеек, который представляет зависимую переменную. В поле Входной интервал X введите адреса одного или нескольких диапазонов, которые содержат значения независимых переменных (рис. 4.1).

4. Если выделены и заголовки столбцов, то установите флажок Метки в первой строке.

5. Выберите параметры вывода. В данном примере Новая рабочая книга.

6. В поле Остатки поставьте необходимые флажки.

7. ОК.

Рис. 4.1. Диалоговое окно Регрессия подготовлено к выполнению анализа данных

Результат регрессионного анализа содержится в таблицах 4.4-4.7. Рассмотрим содержание этих таблиц.

Таблица 4.4

Таблица 4.5

Таблица 4.6

Таблица 4.7

График остатков изображен на рис. 4.2.

Рис. 4.2. График остатков

Пояснения к таблице 4.4

Регрессионная статистика

№	Наименование в отчете EXCEL	Принятые наименования	Формула
1	Множественный R	Коэффициент множественной корреляции, индекс корреляции
2	R-квадрат	Коэффициент детерминации, R2
3	Нормированный R-квадрат	Скорректированный R2
4	Стандартная ошибка	Стандартная ошибка оценки
5	Наблюдения	Количество наблюдений, n	n

Пояснения к таблице 4.5

	Df - число степеней свободы	SS - сумма квадратов	MS	F-критерий Фишера
Регрессия	k = 2
Остаток	n - k - 1 = 13
Итого	n - 1 = 15

Пояснения к таблице 4.6.

Во втором столбце таблицы 4.6 содержатся коэффициенты уравнения регрессии а₀, а₁, а₂. В третьем столбце содержатся стандартные ошибки коэффициентов уравнения регрессии (4.6), а в четвертом - t-статистика (4.5), используемая для проверки значимости коэффициентов уравнения регрессии.

Уравнение регрессии зависимости объема реализации от затрат на рекламу и индекса потребительских расходов можно записать в следующем виде:

У = -1471,314 + 9,568х₁ + 15,754х₂.

3. Оценка качества всего уравнения регрессии

В таблице 4.7 приведены вычисленные по модели значения Y и значения остаточной компоненты ε_i.

Значение коэффициентов детерминации и множественной корреляции можно найти в таблице Регрессионная статистика.

Коэффициент детерминации.

= 1 - 22360,104/158718,44 = 136358,3/158718,44 = 0,859.

Он показывает долю вариации результативного признака под воздействием изучаемых факторов. Следовательно, около 86% вариации зависимой переменной учтено в модели и обусловлено влиянием включенных факторов.

Коэффициент множественной корреляции R:

Он показывает тесноту связи зависимой переменной Y с двумя включенными в модель объясняющими факторами.

4. Проверку значимости уравнения регрессии произведем на основе вычисления F-критерия Фишера:

Значение F-критерия Фишера можно найти в таблице 4.6 протокола EXCEL.

Табличное значение F -критерия при доверительной вероятности 0,95 при ν₁ = k = 2 и ν₂ = n – k - 1 = 16 – 2 – 1 = 13 составляет 3,81. Табличное значение F-критерия можно найти с помощью функции FРАСПОБР (рис. 4.3).

Рис. 4.3. Определение табличного значения F-критерия

Поскольку F_pac > F_табл, уравнение регрессии следует признать адекватным.

5. Оценить с помощью t-критерия Стьюдента статистическую значимость коэффициентов уравнения множественной регрессии

Значимость коэффициентов уравнения регрессии а₀, а₁, а₂ оценим с использованием t-критерия Стьюдента.

где b_jj – диагональный элемент матрицы (X^TX)^-1;

b₁₁ = 39,2314;

b₂₂ = 0,00299;

b₃₃ = 0,00354;

;

;

Расчетные значения t-критерия Стьюдента для коэффициентов уравнения регрессии а₁, а₂ приведены в четвертом столбце таблицы 4.7 протокола EXCEL. Табличное значение t-критерия Стьюдента можно найти с помощью функции СТЬЮДРАСПОБР (рис. 4.4).

Рис. 4.3. Определение табличного значения t-критерия Стьюдента

Табличное значение t-критерия при 5% уровне значимости и степенях свободы (16 – 2 – 1 = 13) составляет 2,16. Так как |t_расч|> t_табл, то коэффициенты а₁, а₂ и существенны (значимы).

6. Проанализировать влияние факторов на зависимую переменную по модели (для каждого коэффициента регрессии вычислить коэффициент эластичности, β-коэффициент)

Учитывая, что коэффициент регрессии невозможно использовать для непосредственной оценки влияния факторов на зависимую переменную из-за различия единиц измерения, используем коэффициент эластичности (Э) и бета-коэффициент, которые соответственно рассчитываются по формулам:

Э₁ = 9,568 × 9,294/306,813 = 0,2898;

Э₁ = 15,7529 × 107,231/306,813 = 5,506;

β_i = α_i × S_xi : S_y;

β_i = 9,568 × 4,913/102,865 = 0,457;

β_i = 15,7529 × 4,5128/102,865 = 0,691.

Коэффициент эластичности показывает, на сколько процентов изменяется зависимая переменная при изменении фактора на один процент.

Бета-коэффициент с математической точки зрения показывает, на какую часть величины среднего квадратического отклонения меняется среднее значение зависимой переменной с изменением независимой переменной на одно среднеквадратическое отклонение при фиксированном на постоянном уровне значении остальных независимых переменных. Это означает, что при увеличении затрат на рекламу в нашем примере на 4,91 тыс. руб. объем реализации увеличится на 47 тыс. руб. (0,457 × 102,865).

7. Определить точечные и интервальные прогнозные оценки объема реализации на два квартала вперед (t_0,7 = 1,12)

Прогнозные значения Х_1,17, Х_2,17 и Х_1,18, Х_1,18 можно определить с помощью методов экспертных оценок, с помощью средних абсолютных приростов или вычислить на основе экстраполяционных методов.

Для фактора Х₁ Затраты на рекламу выбрана модель

Х₁ = 12,83 - 11,616t + 4,319t² - 0,552t³ + 0,020t⁴ - 0,0006t⁵,

по которой получен прогноз на 2 месяца вперед². График модели временного ряда Затраты на рекламу приведен на рис. 4.5.

Рис. 4.5. Прогноз показателя Затраты на рекламу

Для временного ряда Индекс потребительских расходов в качестве аппроксимирующей функции выбран полином второй степени (парабола), но которой построен прогноз на 2 шага вперед. На рисунке 4.6 приведен результат построения тренда для временного ряда Индекс потребительских расходов.

Х₂ = 97,008 + 1,739 t - 0,0488 t².

Рис. 4.6. Прогноз показателя Индекс потребительских расходов

Для получения прогнозных оценок зависимостей переменной по модели

Y = -1471,438 + 9,568Х₁ + 15,754 Х₂

подставим в нее найденные прогнозные значения факторов Х₁ и Х₂

Y_t=17 = -1471,438 + 9,568 × 5,75 + 15,754 × 112,468 = 355,399;

Y_t=18 = -1471,438 + 9,568 × 4,85 +15,754 × 112,488 = 344,179.

Доверительный интервал прогноза будет иметь следующие границы:

Верхняя граница прогноза: Y_p(N+1) + U(1)

Нижняя граница прогноза: Y_p(N+1) - U(1).

t_кр = 1,77 (Значение t_кр получено с помощью функции СТЬЮДРАСПРОБР(0,1;13) для выбранной вероятности 95% с числом степеней свободы равным 13.)

На первый шаг:

1 = 1;

u(1) = 42,968.

На второй шаг:

1 = 2;

u(2) = 45,749.

Результаты прогнозных оценок модели регрессии представим в табл. 4.8.

Таблица 4.8

Таблица прогнозов (р = 90%)

1 Для вычисления а₀ добавлен столбец Х₀.

2 Внимание! Полиномы таких высоких порядков редко используются при прогнозировании экономических показателей.