Текст книги "Ответы на экзаменационные билеты по эконометрике"

24. Проверка гипотезы о значимости модели парной регрессии. Теорема о разложении сумм квадратов

Проверка гипотезы о значимости линейной модели парной регрессии состоит в проверке гипотез о значимости коэффициентов регрессии β0 и β1 или значимости парного коэффициента детерминации r2yx.

Если проверка значимости модели парной регрессии в целом осуществляется через проверку гипотез о значимости коэффициентов регрессии, то выдвигаются основные гипотезы вида Н0:β0=0, или Н0:β1=0, утверждающие, что коэффициенты регрессии являются незначимыми, и, следовательно, модель парной регрессии в целом также является незначимой.

Обратные или конкурирующие гипотезы вида Н1:β0≠0, или Н1:β1≠0 утверждают, что коэффициенты регрессии являются значимыми, и, следовательно, модель парной регрессии в целом также является значимой.

Если проверка значимости модели парной регрессии в целом осуществляется через проверку гипотезы о значимости парного коэффициента детерминации, то выдвигается основная гипотеза вида H0:r2yx=0, утверждающая, что парный коэффициент детерминации является незначимым, и, следовательно, модель парной регрессии в целом также является незначимой.

Обратная или конкурирующая гипотеза вида H0:r2yx≠0, утверждает, что парный коэффициент детерминации является значимым, и, следовательно, модель регрессии в целом также является значимой.

Проверка выдвинутых гипотез осуществляется с помощью F-критерия Фишера-Снедекора.

Наблюдаемое значение F-критерия (вычисленное на основе выборочных данных) сравнивают с критическим значением F-критерия, которое определяется по таблице распределения Стьюдента.

Критическое значение F-критерия определяется по таблице распределения Фишера-Снедекора в зависимости от: уровня значимости а и числа степеней свободы k1=h-1 и k2=n-h, где n – это объём выборочной совокупности, а h – число оцениваемых по данной выборке параметров.

При проверке гипотезы о значимости модели парной регрессии в целом критическое значение F-критерия определяется как Fкрит(а;n-2).

При проверке основных гипотез о незначимости модели парной регрессии в целом наблюдаемое значение F-критерия рассчитывается по формуле:

При проверке основной гипотезы возможны следующие ситуации:

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то с вероятностью а основная гипотеза о незначимости коэффициентов модели регрессии или парного коэффициента детерминации отвергается, и, следовательно, модель регрессии в целом признаётся значимой.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл>Fкрит, то с вероятностью а основная гипотеза о незначимости коэффициентов модели регрессии или парного коэффициента детерминации отвергается, и, следовательно, модель регрессии в целом признаётся значимой.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т.е. Fнабл<Fкрит, то с вероятностью (1-а) основная гипотеза о незначимости коэффициентов модели регрессии или парного коэффициента детерминации принимается, и, следовательно, модель регрессии в целом признаётся незначимой.

Коэффициент детерминации может быть рассчитан не только как квадрат линейного коэффициента парной корреляции или через теорему о разложении общей дисперсии результативной переменной на составляющие, но и через теорему о разложении сумм квадратов результативной переменной.

Теорема. Сумма квадратов разностей между значениями результативной переменной и её средним значением по выборочной совокупности может быть представлена следующим образом:

где

– общая сумма квадратов (Total Sum Square – TSS);

– сумма квадратов остатков (Error Sum Square – ESS);

– сумма квадратов объяснённой регрессии (Regression Sum Square – RSS).

Представим данную теорему в векторной форме:

Общую сумму квадратов можно представить следующим образом:

Если в модель регрессии не включается свободный член β0, то данное разложение также остаётся верным.

Парный коэффициент детерминации может быть рассчитан через теорему о о разложении сумм квадратов результативной переменной по следующим формулам:

или

25. Точечный и интервальный прогнозы для модели парной регрессии

Одна из задач эконометрического моделирования заключается в прогнозировании поведения исследуемого явления или процесса в будущем. В большинстве случаев данная задача решается на основе регрессионных моделей, с помощью которых можно спрогнозировать поведение результативной переменной в зависимости от поведения факторных переменных.

Рассмотрим подробнее процесс прогнозирования для линейной модели парной регрессии.

Точечный прогноз результативной переменной у на основе линейной модели парной регрессии при заданном значении факторной переменной хm будет осуществляться по формуле:

ym=β0+β1xm+εm.

Точечный прогноз результативной переменной ym с доверительной вероятностью γ или (1–а) попадает в интервал прогноза, определяемый как:

ym–t*ω(m)≤ ym≤ ym+t*ω(m),

t – t-критерий Стьюдента, который определяется в зависимости от заданного уровня значимости a и числа степеней свободы (n-2) для линейной модели парной регрессии;

ω(m) – величина ошибки прогноза в точке m.

Для линейной модели парной регрессии величина ошибки прогноза определяется по формуле:

где S2(ε) – несмещённая оценка дисперсии случайной ошибки линейной модели парной регрессии.

Рассмотрим процесс определения величины ошибки прогноза β(m).

Предположим, что на основе выборочных данных была построена линейная модель парной регрессии вида:

Факторная переменная х в данной модели представлена в центрированном виде.

Задача состоит в расчёте прогноза результативной переменной у при заданном значении факторной переменной хm, т. е.

Математическое ожидание результативной переменной у в точке m рассчитывается по формуле:

Дисперсия результативной переменной у в точке m рассчитывается по формуле:

где D(β0) – дисперсия оценки параметра β0 линейной модели парной регрессии, которая рассчитывается по формуле:

Следовательно, точечная оценка прогноза результативной переменной у в точке m имеет нормальный закон распределения с математическим ожиданием

и дисперсией

Если в формулу дисперсии результативной переменной у в точке m вместо дисперсии G2 подставить её выборочную оценку S2, то получим доверительный интервал для прогноза результативной переменной у при заданном значении факторной переменной хm:

где выборочная оценка генеральной дисперсии S2 для линейной модели парной регрессии рассчитывается по формуле:

В этом случае прогнозный интервал можно преобразовать к виду:

что и требовалось доказать.

26. Линейная модель множественной регрессии

Построение модели множественной регрессии является одним из методов характеристики аналитической формы связи между зависимой (результативной) переменной и несколькими независимыми (факторными) переменными.

Модель множественной регрессии строится в том случае, если коэффициент множественной корреляции показал наличие связи между исследуемыми переменными.

Общий вид линейной модели множественной регрессии:

yi=β0+β1x1i+…+βmxmi+εi,

где yi – значение i-ой результативной переменной,

x1i…xmi – значения факторных переменных;

β0…βm – неизвестные коэффициенты модели множественной регрессии;

εi – случайные ошибки модели множественной регрессии.

При построении нормальной линейной модели множественной регрессии учитываются пять условий:

1) факторные переменные x1i…xmi – неслучайные или детерминированные величины, которые не зависят от распределения случайной ошибки модели регрессии βi;

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:

3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:

4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т.е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):

Это условие выполняется в том случае, если исходные данные не являются временными рядами;

5) на основании третьего и четвёртого условий часто добавляется пятое условие, заключающееся в том, что случайная ошибка модели регрессии – это случайная величина, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией G2: εi~N(0, G2).

Общий вид нормальной линейной модели парной регрессии в матричной форме:

Y=X* β+ε,

Где

– случайный вектор-столбец значений результативной переменной размерности (n*1);

– матрица значений факторной переменной размерности (n*(m+1)). Первый столбец является единичным, потому что в модели регрессии коэффициент β0 умножается на единицу;

– вектор-столбец неизвестных коэффициентов модели регрессии размерности ((m+1)*1);

– случайный вектор-столбец ошибок модели регрессии размерности (n*1).

Включение в линейную модель множественной регрессии случайного вектора-столбца ошибок модели обусловлено тем, что практически невозможно оценить связь между переменными со 100-процентной точностью.

Условия построения нормальной линейной модели множественной регрессии, записанные в матричной форме:

1) факторные переменные x1j…xmj – неслучайные или детерминированные величины, которые не зависят от распределения случайной ошибки модели регрессии εi. В терминах матричной записи Х называется детерминированной матрицей ранга (k+1), т.е. столбцы матрицы X линейно независимы между собой и ранг матрицы Х равен m+1<n;

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:

3) предположения о том, что дисперсия случайной ошибки модели регрессии является постоянной для всех наблюдений и ковариация случайных ошибок любых двух разных наблюдений равна нулю, записываются с помощью ковариационной матрицы случайных ошибок нормальной линейной модели множественной регрессии:

где

G2 – дисперсия случайной ошибки модели регрессии ε;

In – единичная матрица размерности (n*n).

4) случайная ошибка модели регрессии ε является независимой и независящей от матрицы Х случайной величиной, подчиняющейся многомерному нормальному закону распределения с нулевым математическим ожиданием и дисперсией G2: ε→N(0;G2In.

В нормальную линейную модель множественной регрессии должны входить факторные переменные, удовлетворяющие следующим условиям:

1) данные переменные должны быть количественно измеримыми;

2) каждая факторная переменная должна достаточно тесно коррелировать с результативной переменной;

3) факторные переменные не должны сильно коррелировать друг с другом или находиться в строгой функциональной зависимости.

27. Классический метод наименьших квадратов для модели множественной регрессии. Метод Крамера

В общем виде линейную модель множественной регрессии можно записать следующим образом:

yi=β0+β1x1i+…+βmxmi+εi,

где yi – значение i-ой результативной переменной,

x1i…xmi – значения факторных переменных;

β0…βm – неизвестные коэффициенты модели множественной регрессии;

εi – случайные ошибки модели множественной регрессии.

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). Суть метода наименьших квадратов состоит в том, чтобы найти такой вектор β оценок неизвестных коэффициентов модели, при которых сумма квадратов отклонений (остатков) наблюдаемых значений зависимой переменной у от расчётных значений ỹ (рассчитанных на основании построенной модели регрессии) была бы минимальной.

Матричная форма функционала F метода наименьших квадратов:

где

– случайный вектор-столбец значений результативной переменной размерности (n*1);

– матрица значений факторной переменной размерности (n*(m+1)). Первый столбец является единичным, потому что в модели регрессии коэффициент β0 умножается на единицу;

В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β0…βm, потому что значения результативной и факторных переменных известны из наблюдений. Для определения минимума функции (1) необходимо вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (1):

где

– вектор-столбец неизвестных коэффициентов модели регрессии размерности ((m+1)*1);

Общий вид стационарной системы уравнений для функции (1):

Решением стационарной системы уравнений будут МНК-оценки неизвестных параметров линейной модели множественной регрессии:

Оценим с помощью метода наименьших квадратов неизвестные параметры линейной модели двухфакторной регрессии:

yi=β0+β1x1i+β2x2i+εi,

где

Чтобы рассчитать оценки неизвестных коэффициентов β0,β1 и β2 данной двухфакторной модели регрессии, необходимо минимизировать функционал F вида:

Для определения экстремума функции нескольких переменных, частные производные по этим переменным приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для модели множественной линейной регрессии с двумя переменными:

В результате элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:

Данная система называется системой нормальных уравнений относительно коэффициентов

для модели регрессии yi=β0+β1x1i+β2x2i+εi.

Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты

можно рассчитать с помощью метода Крамера или метода Гаусса.

Рассмотрим подробнее метод Крамера решения квадратных систем нормальных уравнений.

Единственное решение квадратной системы линейных уравнений определяется по формуле:

где Δ – основной определитель квадратной системы линейных уравнений;

Δj – определитель, полученный из основного определителя путём замены j-го столбца на столбец свободных членов.

При использовании метода Крамера возможно возникновение следующих ситуаций:

1) если основной определитель системы Δ равен нулю и все определители Δjтакже равны нулю, то данная система имеет бесконечное множество решений;

2) если основной определитель системы Δ равен нулю и хотя бы один из определителей Δjтакже равен нулю, то система решений не имеет.

28. Линейная модель множественной регрессии стандартизированного масштаба

Помимо классического метода наименьших квадратов для определения неизвестных параметров линейной модели множественной регрессии β0…βm используется метод оценки данных параметров через β-коэффициенты (коэффициенты модели регрессии в стандартных масштабах).

Построение модели множественной регрессии в стандартизированном или нормированном масштабе означает, что все переменные, включенные в модель регрессии, стандартизируются с помощью специальных формул.

Посредством процесса стандартизации точкой отсчёта для каждой нормированной переменной устанавливается её среднее значение по выборочной совокупности. При этом в качестве единицы измерения стандартизированной переменной принимается её среднеквадратическое отклонение σ.

Факторная переменная х переводится в стандартизированный масштаб по формуле:

где xij – значение переменной xjв i-том наблюдении;

G(xj) – среднеквадратическое отклонение факторной переменной xi;

Результативная переменная у переводится в стандартизированный масштаб по формуле:

где G(y) – среднеквадратическое отклонение результативной переменной у.

Если между исследуемыми переменными в исходном масштабе является линейной, то процесс стандартизации не нарушает этой связи, поэтому стандартизированные переменные будут связаны между собой линейно:

Неизвестные коэффициенты данной функции можно определить с помощью классического метода наименьших квадратов для линейной модели множественной регрессии. В этом случае минимизируется функционал F вида:

В результате минимизации данного функционала получим систему нормальных уравнений, переменными в которой будут являться парные коэффициенты корреляции между факторными и результативной переменной. Такой подход основывается на следующем равенстве:

Система нормальных уравнений для стандартизированной модели множественной регрессии имеет вид:

В связи с тем, что полученная система нормальных уравнений является квадратной (количество уравнений равняется количеству неизвестных переменных), то оценки коэффициентов

можно рассчитать с помощью метода Крамера, метода Гаусса или метода обратных матриц.

Рассчитанные из системы нормальных уравнений β-коэффициенты в стандартизированном масштабе необходимо перевести в масштаб исходных данных по формулам:

Рассмотрим метод Гаусса решения квадратных систем линейных уравнений. Суть данного метода заключается в том, что исходная квадратная система из n линейных уравнений с n неизвестными переменными преобразовывают к треугольному виду. Для этого в одном и уавнений системы оставляют все неизвестные переменные. В другом уравнении сокращают одну из неизвестных переменных для того, чтобы число неизвестных стало (n-1). В следующем уравнении сокращают две неизвестных переменных, чтобы число переменных стало (n-2). В результате данных преобразований исходная система уравнений примет треугольный вид, первое уравнение которой содержит все неизвестные, а последнее – только одну. В последнем уравнении системы остаётся (n-(n-1)) неизвестных переменных, т. е. одна неизвестная переменная, которая называется базисной. Дальнейшее решение сводится к выражению свободных (n-1) неизвестных переменных через базисную переменную и получению общего решения квадратной системы линейных уравнений.

29. Соизмеримые показатели тесноты связи

К соизмеримым показателям тесноты связи относятся:

1) коэффициенты частной эластичности;

2) стандартизированные частные коэффициенты регрессии;

3) частный коэффициент детерминации.

Если факторные переменные имеют несопоставимые единицы измерения, то связь между ними измеряется с помощью соизмеримых показателей тесноты связи. С помощью соизмеримых показателей тесноты связи характеризуется степень зависимости между факторной и результативной переменными в модели множественной регрессии.

Коэффициент частной эластичности рассчитывается по формуле:

где

– среднее значение факторной переменной xi по выборочной совокупности,

– среднее значение результативной переменной у по выборочной совокупности;

– первая производная результативной переменной у по факторной переменной х.

Частный коэффициент эластичности измеряется в процентах и характеризует объём изменения результативной переменной у при изменении на 1 % от среднего уровня факторной переменной xiпри условии постоянства всех остальных факторных переменных, включённых в модель регрессии.

Для линейной модели регрессии частный коэффициент эластичности рассчитывается по формуле:

где βi– коэффициент модели множественной регрессии.

Для того чтобы рассчитать стандартизированные частные коэффициенты регрессии, необходимо построить модель множественной регрессии в стандартном (нормированном) масштабе. Это означает, что все переменные, включённые в модель регрессии, стандартизируются с помощью специальных формул. Посредством процесса стандартизации точкой отсчёта для каждой нормированной переменной устанавливается её среднее значение по выборочной совокупности. При этом в качестве единицы измерения стандартизированной переменной принимается её среднеквадратическое отклонение β.

Факторная переменная х переводится в стандартизированный масштаб по формуле:

где xij – значение переменной xj в i-том наблюдении;

G(xj) – среднеквадратическое отклонение факторной переменной xi;

Результативная переменная у переводится в стандартизированный масштаб по формуле:

где G(y) – среднеквадратическое отклонение результативной переменной у.

Стандартизированные частные коэффициенты регрессии характеризуют, на какую долю своего среднеквадратического отклонения G(y) изменится результативная переменная у при изменении факторной переменной х на величину своего среднеквадратического отклонения G(x), при условии постоянства всех остальных факторных переменных, включённых в модель регрессии.

Стандартизированный частный коэффициент регрессии характеризует степень непосредственной или прямой зависимости между результативной и факторной переменными. Но в связи с тем, что между факторными переменными, включёнными в модель множественной регрессии, существует зависимость, факторная переменная оказывает не только прямое, но и косвенное влияние на результативную переменную.

Частный коэффициент детерминации используется для характеристики степени косвенного влияния факторной переменной х на результативную переменную у:

где βi– стандартизированный частный коэффициент регрессии;

r(xixj) – коэффициент частной корреляции между факторными переменными xi и xj.

Частный коэффициент детерминации характеризует, на сколько процентов вариация результативной переменной вызвана вариацией i-ой факторной переменной, включённой в модель множественной регрессии, при условии постоянства всех остальных факторных переменных, включённых в модель регрессии.

Стандартизированные частные коэффициенты регрессии и частные коэффициенты эластичности могут давать различные результаты. Это несовпадение может быть объяснено, например, слишком большой величиной среднеквадратического отклонения одной из факторных переменных или эффектом неоднозначного воздействия одной из факторных переменных на результативную переменную.