О нелинейной регрессии и инструментальных переменных

    Иногда линейная модель регрессии бывает недостаточной, с точки зрения её качества и значимости, тогда могут  быть использованы нелинейные модели. В простейшей форме нелинейность может быть учтена путем введения инструментальных переменных   z_j = φ _j (x_j), которые входят в модель регрессии обычным линейным образом. Например, нелинейная модель 2-го порядка может быть построена следующим образом (рис. 5.4):

,

где  - инструментальная переменная.

Рис.5.4 Кривая нелинейной среднеквадратической регрессии 2-го порядка

 

Часто в качестве инструментальных переменных используются степенная функция , логарифмическая , показательная  и иногда тригонометрическая  для выявления циклических факторов в зависимостях. Введение новых членов в модель регрессии,  в том числе и инструментальных, оправдано тогда, когда возрастает качество регрессии. Например, значимо повышается коэффициент детерминации, ликвидируется мультиколлинеарность переменных, и т.д. 

Таким образом, замена или введение новых переменных в регрессионную модель - это задача исследователя в конкретной предметной области деятельности.

Числовой пример (часть 6)

Опишем введение нелинейности в модель через инструментальные переменные в нашем сквозном примере. Для этого, построим графически корреляционное поле в плоскостях  и проанализируем расположение на них точек измерений. Можно заметить по тесноте точек, что зависимость измерений объясняемой переменной от переменной  очень слаба в отличие от других трёх переменных. Кроме того, видно, что расположение точек на плоскости  группируется не вдоль прямой линии, как на плоскости  а вдоль некоторой кривой, похожей на кубическую параболу.

 

Поэтому ввёдем вместо переменной  новую инструментальную переменную  и, тем самым, построим регрессионную модель вида:

.

Эта модель уже нелинейная, но строится обычным образом после преобразования входных данных, при этом коэффициент детерминации повышается от 0.919 до 0.928.  В нашем примере это повышение незначительное, но подобные преобразования могут привести и к серьёзному улучшению качества регрессионной модели.

 

 

Линейн

					y-тренд		y-тренд
x1	x2	x3	x4	y
e	нелин	e
0.306	-0.454	0.593	-0.756	-0.673	-0.690	0.016	-0.723	0.049
0.066	-0.454	0.091	1.323	0.126	0.330	-0.204	0.313	-0.186
-0.896	-1.079	1.598	-0.756	-0.773	-1.299	0.526	-1.276	0.503
-0.415	1.420	-1.415	-0.756	0.626	0.701	-0.075	0.766	-0.140
0.787	0.795	-0.913	1.323	1.625	1.250	0.375	1.242	0.384
1.749	-1.079	0.593	-0.756	-0.823	-0.949	0.126	-0.922	0.099
-0.415	-0.454	-0.411	1.323	0.026	0.410	-0.384	0.420	-0.393
-1.377	0.170	0.091	-0.756	-0.703	-0.337	-0.366	-0.423	-0.280
1.509	0.170	1.598	-0.756	-0.793	-0.501	-0.293	-0.552	-0.241
0.066	-1.079	-0.411	-0.756	-0.763	-0.828	0.064	-0.773	0.010
-1.377	2.045	-1.415	1.323	2.125	1.913	0.212	1.929	0.196
				Линейная регрес.		Нелинейная регрес.
				R2=	0.919	R2=	0.928
				S=	0.387	S=	0.364

 

Задачи факторного анализа

    В предыдущих главах рассматривались статистические данные, полученные в наблюдениях за величинами характеристик объектов при помощи того или иного измерительного прибора-инструмента. Такие данные объединялись в матрицу измерения Х, а наблюдаемые величины называли измеримыми факторами. Однако в наблюдениях часто замечено, что при анализе данных имеются некоторые непосредственно не измеримые, но весьма важные факторы, объясняющие наблюдаемые явления. Эти скрытые (латентные) факторы являются или причиной наблюдаемых измерений, или их обобщением. Например, такие понятия, как надёжность изделия или конструкции, её экономичность, экологичность или эргономичность неизмеримы непосредственно, но они связаны с измерениями величин предельно допустимых нагрузок, вибро-шумовых величин, химического состава, величин калибровочных настроек приборов и многого другого. Другой пример следующий, студенческая зачетная книжка есть матрица измерений его знаний, но она есть отражение других, скрытых факторов, таких как способность, усидчивость, мотивируемость, здоровье, склонности к точным, естественным или гуманитарно-художественным видам деятельности.

    Возникает вопрос, как методами статистического анализа данных измерений выделить и вычислить эти скрытые общие факторы, а также объяснить ими наблюдаемые измеримые факторы. Кроме того, желательно иметь весьма ограниченный набор таких общих факторов, который бы объяснял наблюдения с достаточно хорошей точностью.

    Мы будем строить факторную модель следующего вида [1,2]:

.

Здесь  вектора измеримых j -факторов, - вектор общих (латентных) факторов ,  - вектор частных (специфических) факторов, присущих именно измеримым факторам.

 

Линейная факторная модель

    Наиболее простой и популярной факторной моделью является линейная факторная модель

.

Каждый измеримый j -фактор представляется в модели суммой линейной общефакторной части  и характерной специфической части . 

В матричной форме модель по всем измерениям измеримых факторов выглядит следующим образом:

,

где  матрица измерений  , - матрица факторных нагрузок  , - матрица значений общих факторов ,  -матрица специфичности .

 

, , , .

 

Поскольку через вводимые общие факторы мы хотим линейно объяснять все измеримые факторы, то будем требовать от этих факторов (вернее их значений) выполнения условий теоремы Гаусса-Маркова, а именно:

    1.   несмещённость специфических факторов,

    2.  некоррелируемость специфических факторов,

    3.  гомоскедастичность специфических факторов,

4.  нормальность специфических факторов.

5.  некоррелируемость общих и специфических факторов между собой.

Кроме того, будем требовать от модели также  некоррелируемость общих факторов  и  упорядоченность их факторной дисперсии  по убыванию .  Последнее требование позволяет назвать первый фактор главным, т.к. именно он определяет наибольшую долю факторную изменчивость . Чем больше первые факторные дисперсии и чем меньше последние, тем выше качество факторной модели.  Количество общих факторов p должно быть не большим, по крайней мере , это позволит провести уменьшение размерности  задачи анализа измеренных величин. Такое сжатие информации об измеренных объектах позволит эффективно и наглядно решать задачи о классификации наблюдаемых объектов в задачах кластерного анализа.

Как же ввести общие факторы в наблюдаемый нами массив измерений? Для понимания главной идеи факторного анализа вернёмся к задаче парного регрессионного анализа. Построим для корреляционного поля  в центральной нормированной системе координат новую систему координат  повёрнутую на угол  и в каждой из них прямоугольник, охватывающий корреляционное поле. На рисунке 6.1 видно, что размеры этих прямоугольников различны, но ведь они соответствуют дисперсиям наблюдаемых величин, причём как видим из рисунка , .

    Рис. 6.1. Идея построения новых факторов (главных координат) путем вращения измеримых факторов.

 

В новой системе координат первая дисперсия увеличилась, а вторая уменьшилась. Это подсказывает, что новые факторы можно вводить как новую систему координат, повёрнутую относительно исходной системы, где произведены измерения. Преобразование поворота прямоугольной системы координат известно:

Угол  в матрице поворота  можно выбрать из различных соображений, например, в методе центройд [3], ось главного фактора  направляется на наиболее удалённую точку корреляционного поля, а ось фактора  должна быть перпендикулярной к оси .  Можно направить первую ось вдоль линии регрессии, при этом , так как регрессия имеет вид .

 Наиболее известно построение многомерной линейной факторной модели методом главных координат.

 

 

Метод главных координат

     В основе метода главных координат лежит линейное преобразование поворота измеренных величин   в новые координаты , которые и будут общими факторами, причём размерность пространства при повороте не меняется . Запишем преобразование через матрицу поворота

; , где  обратная матрица поворота.

Матрица поворота должна обладать рядом свойств, обеспечивающих выполнение требований Гаусса-Маркова к линейной факторной модели. Для этого матрица поворота должна быть [9]:

    - ортогональной  для обеспечения ортогональности новой системы координат;

    - преобразование вращения должно диагонализировать корреляционную матрицу в новой системе координат.

 Рассмотрим преобразование корреляционной матрицы:

пусть  симметричная корреляционная матрица в нормированной исходной системе измерений  , а  преобразованная вращением матрица измерений в новых факторных переменных, она несимметрична . Тогда корреляционная матрица в новых  координатах будет следущей:

.

 Построим матрицу поворота так, чтобы корреляционная матрица  была бы диагональной, что обеспечит независимость новых факторных переменных. Это требование будет выполнено, если матрица поворота построена из собственных векторов корреляционной матрицы . Собственные вектора  находятся из условия,  или  которое разрешимо при значении величин , удовлетворяющих характеристическому уравнению . Это алгебраическое уравнение порядка для симметричной положительно определенной матрицы  имеет  вещественных положительных корней , называемых собственными числами корреляционной матрицы. Упорядочив их по убыванию значения и найдя каждому из них соответствующий собственный вектор единичной длины, можем построить следующую матрицу поворота . Корреляционная матрица в факторных переменных будет диагональной   с диагональными элементами . Такое преобразование матрицы оставляет инвариантным её след , а так как  и , то выполнено следующее .