Обобщение метода наименьших квадратов на многофакторный линейный случай 


Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Обобщение метода наименьших квадратов на многофакторный линейный случай



= (—1) ■ (—2) — (+!)■ (+2) = 0.

Пусть имеется к факторов и известно, что отклик и факторы связаны линейно: у—Ь0х0-{-Ъ1х1-\-Ъ2х2+... Л-Ъкхк. Выпишем для этого случая матрицы X, Y и В


'Ух' У% УN
хо1 хг
ик1
Ъх
Х02 Х12 ..
в = К*+1)Х1]
Х = (JVXfc)
Y =
А.
Х0 N [8]1N
kN_

 

 


Запишем исходную систему линейных уравнений: Y = ХВ;
~Ух~   хох ХХХ • ХкХ   Р„
У% Х02 Х12 • Хк2   Ъх
Уи_   _Х0 N X,, ■ XkN_   А

 

После преобразований, аналогичных рассмотренным в пре­дыдущем параграфе, придем к следующей формуле:


 

 


B = (XTX)~1XTY;
Pol / Х01 Х02 ' ■ x0N ч
Ъх = ххх ХХ2 • . xlN
А_   -ХкХ Хк2• • XkN_

Xq2 • • • Хо N

Х}2 ■ * Xitf


41 C12
к 1 lt:2
X
_X0N XiN...Xkfi_
Ух У% \-У N-

 

 


Скалярные произведения удобно представлять в виде сумм, т. е. матрицу системы нормальных уравнений можно записать в сле­дующем виде:


хгх =
к -1

2 xl 2 xoxi 2 xax2 • • • 2 xoxk X0X1 X1 ^J X1X2 " • * XlXk

2 XlXk 2 X2Xk • ■ • 2*


Так как суммирование ведется от 1 до N по всему множеству опытов, индекс суммирования мы опустили.

Аналогично XTY есть вектор сумм произведений:

XTY= 2 УЧ _2 ухк

Чтобы получить ответ, т. е. вектор В, остается обратить ма­трицу ХГХ и умножить обратную матрицу на XTY.

хг=
ХТХ:

Проведем обработку данных табл. 7.9 матричным способом

  + + + + + + +
+ + + +
+ ■— + + +
+ + + +
+ —' + + +
+ + + +
+ + + ■— +
-+ + + +
-+ + + + + + + +
+ + —' + +
+ + + +
+ + + +
+ + + +
+ + + +
+ + —' + + —'
L+ + + +
"8 0 0 0 0 0 0 ОТ      
Х =

 

08000000 00800000 00080000 00008000 00000800 00000080 L0 0 0 0 0 0 0 8.


Г/.             0~
  V.            
    V*          
             
        7s      
          7s    
            7 8  
_0             7 8-
гХ)"1=

 

"2 г/.жо. 2 УА,

2 УгХ2.

XTY =
26,5
J У lX 4:1
0,5
t ___ 2J y<xbi °5 — 8
-0,0625,
-10,5
j S/A
2 у
-14,3

2 У А» 2 У А* 2 УА, 2 УА, _2 г/А,_

=—1,3125; -1,7875.

8 8

Мы получили тс ЖС результаты, что и в седьмой главе. Детально рассмотренная процедура M1IK в матричной форме показывает, как получаются формулы для коэффициентов регрессии, которые использовались в предыдущих главах.

2 л
188,7
ixOi
= 23,5875; 1,0625, =—5,8125;
2 у,*и
8 5
_2л
-46,5
x2i
2 v,i
1,5
=0,1875; = 3,3125;

Аналогичным путем можно оценить эффекты взаимодействия, входящие в модель Для этого надо расширить матрицу X, вклю­чив в нее столбцы взаимодействий Все остальные операции про­изводятся совершенно аналогично В векторе В появляются при этом элементы, соответствующие эффектам взаимодействий. Рас­ширение матрицы X подобным образом называют линеаризацией Это эквивалентно замене эффектов взаимодействия новыми ли­нейными членами Подобная процедура возможна только тогда, когда все коэффициенты входят в уравнение линейно. Такие урав­нения называются линейными по параметрам и только они рас­сматриваются в нашей книге В некоторых случаях приходится использовать уравнения, нелинейные по параметрам. Примером может служить уравнение Аррениуса у=Ь0еь,х,1 которое исполь­зуется в химической кинетике [7, 8].

10.4. Статистический анализ

В предыдущей главе вначале была продемонстрирована про­цедура МНК, а затем рассмотрены статистические аспекты. Так же построена и эта глава

Перейдем к статистическому анализу в матричной форме. Будем предполагать, что постулаты регрессионного анализа вы­полняются. Что значит провести статистический анализ? Это значит проверить ряд статистических гипотез гипотезу об аде­кватности заданной модели, гипотезы о значимоеiи отдельных ко эффициентов регрессии и др Дальнейшее изложение направлено на прояснение некоторых обстоятетьств, определивших вид фор­мул статистического анатиза регрессионной модели Знакомство с элементами алгебры матриц поможет еде тать это.

Фундаментальную роль в анатизе уравнения регрессии играет матрица

М -1 = (ХГХв*{,})-\

которая называется матрицей дисперсий ковариаций. Прягая матрица М называется информационной матрицей Фишера.

В структуре матрицы дисперсий-ковариаций содержится вся информация о статистических свойствах модели Провести стати­стический анализ значит извлечь эту информацию. Для этого прежде всего перейдем от матрицы, обратной к матрице системы нормальных уравнений, к матрице М-1. Оценка дисперсии вос­производимости — скаляр; ХТХ — квадратная матрица. Умножить матрицу на скаляр слева или справа — значит умно­жить на этот скаляр каждый элемент матрицы.

Полученные таким образом произведения имеют определенный статистический смысл. Так, на главной диагонали матрицы-про­изведения стоят оценки дисперсий коэффициентов регрессии, вне главной диагонали расположены оценки ковариаций.

Чтобы познакомиться с понятием ковариация, рассмотрим два произвольных вектор-столбца матрицы X. Во многих случаях важно знать, сколь сильна линейная связь между этими векторами. Ковариация является одной из мер такой связи. Чтобы найти ко- вариацию, сначала центрируют оба вектора, а затем вычисляют их скалярное произведение. Центрирование используется для устранения неопределенности, связанной с выбором начала коор динат. Пусть, например, изучается ковариация между темпера­турой и каким-нибудь другим фактором Если значения темпера­туры записываются в шкале Цельсия, то без центрирования зна­чение ковариации получится иное, чем для шкалы Кельвина. При центрировании же это не произойдет.

Ковариация определяется по формуле

n

cov {xlx2} = 2 к - (*2, - х2).

»=1

Заметим, что это выражение совпадает с числителем коэффициента парной корреляции, с которым мы уже сталкивались (§ 2.3).

М = (Х*Х.*?,}) =

Давайте построим матрицу М-1 для однофакторной линейной модели. Информационная матрица М равна:

N 2*1,-

2 хи 2 хи

Матрица 'дисперсий-ковариаций М-1 равна:

sb) s\y }

2 ^^ Х-^,

л 2 - (2

2 24,

а

_____ N_____


 

 


cov {b0, by)' S\h}

ЪКУ.<x>v{b0, bj


 

 


Ортогональные планы, рассматриваемые в этой книге, обла­дают тем свойством, что ковариации между всеми парами коэф­фициентов регрессии равны нулю. Это можно проиллюстрировать примером из предыдущего параграфа:

sfj,}/8

м-1 =

О

'Ъ}1 8

(так принято сокращенно записывать квадратные матрицы, когда все внедиагональные элементы равны нулю). В этом примере 5а{У}=1 и поэтому дисперсии ^-коэффициентов s\iy} = 0,125. Таким образом, мы пришли к формуле

sbj) —sbj}lN<

которая уже фигурировала раньше. Она справедлива для орто­гональных планов.

Рассмотрим теперь проверку адекватности линейного урав­нения регрессии. Дисперсия адекватности равна

n

2 (к-м»

»2 _______________

О

»* # — (* +!) •

Числитель этого выражения — остаточная сумма квадратов — в матричной форме имеет вид

2 {у, — gf = (Y — Y)T (Y — Y) = YTY — BrXrY. t=i

Приведем конкретный пример (§ 6.4, пример № 4) расчета остаточной суммы квадратов разными способами (см. табл. 10.3).

Таблица 10.3

Расчет остаточной суммы квадратов

Номер опыта «о ж,   V V у — у (У -у)2
i +     95,0 94,5 +0,5 0,25
2 + + 90,0 90,5 —0,5 0,25
3 +   + 85,0 85,5 —0,5 0,25
  + + + 82,0 81,5 +0,5 0,25

 

Линейное уравнение регрессии имеет вид у=88,0—2,0^—4,5ж2. Обычный способ вычисления остаточной суммы дает

2 (г/, — = (0,25 + 0,25 + 0,25 + 0,25) = 1,00.»=i

Y ■— Y:
"+0,5- —0,5 —0,5 +0,5

Воспользуемся теперь матричной записью. Для этого придется ввести еще одну матричную операцию — операцию вычитания. Разностью двух матриц одинакового размера называется матрица, элементы которой являются разностями соответствующих эле­ментов матриц уменьшаемого и вычитаемого, взятых в том же порядке:

"95,0"   "94,5_   -+0,5-1
90,0   90,5   —0,5
85,0 --- 85,5 —0,5
82,0   81,5   +0,5
Транспонирование и перемножение дают

 

(Y-f)r (¥ —?) = [+0,5 -0,5 -0,5 +0,5] = 0,25 + 0,25 + 0,25 + 0,25 = 1,00.

Если воспользоваться другим выражением для остаточной суммы квадратов, то


'95,0' 90,0 85,0 82,0 95" 90 85 82
1 1 -1 1- -1—1
1 1 -1 1 11
1,00.

YJY - BJXJY = [95,0 90,0 85,0 82,0].

[88,0—2,0—4,5]


 

 


Здесь мы встретились с необходимостью перемножить три мат­рицы. Эту операцию можно выполнять либо справа налево, либо слева направо. Сначала перемножается первая пара матриц. А затем матрица-произведение рассматривается как новая мат­рица и перемножается с третьей. Конечно, размеры всех матриц должны удовлетворять условиям существования произведения, что и выполняется в нашем случае.

Кроме статистических оценок, уже знакомых по предыдущей главе, введем еще одну оценку — оценку дисперсии предсказан­ного значения отклика. Если имеется адекватное уравнение ре­грессии, то его можно использовать для предсказания результата какого-нибудь нового опыта в некоторой точке факторного про­странства. Для этого достаточно подставить в уравнение коорди­наты этой точки и произвести алгебраические операции. Очевидно точность такого предсказания будет неодинакова в разных точках факторного пространства. Чтобы учесть это различие и вводится дисперсия предсказанного значения отклика.

Пусть известное уравнение имеет вид у=Ъ0-{-Ъ1х1. Координаты предсказываемой точки задаются вектором Xf=[l xt]. Отсюда следует, что

У, = [ 1

J

В рамках предпосылок регрессионного анализа х — неслу­чайная величина, а Ь0 и Ьг — случайные величины, так как они являются функциями результатов эксперимента. Следовательно, у — тоже случайная величина, связанная с некоторой суммой двух величин Ь0 и bv Дисперсии и' ковариация Ь0 и Ьг уже из­вестны. Они являются элементами матрицы дисперсий-кова- риаций. Для определения дисперсии предсказанного значения отклика s2^} можно воспользоваться законом сложения ошибок [9]. Если y=f (z1; z2,..., zk), где Zj — независимые случайные величины, входящие в известное уравнение, то

j=l l-l №

В нашем случае

или

»?<>«>«SW + <cov (6о> М + •

Последнее соотношение можно записать также в матричной форме:

SW cov (&<>> М

М-1 = (ХГХ^})"1 =

со v{b0, Ьг) s\bl}

Давайте произведем вычисления для нескольких опытов из примера предыдущего параграфа. Возьмем в качестве первой тЪчки начало координат — нулевой опыт. В этом случае вектор Х; имеет вид XJ=[1 О О О О О О 0J. Матрица

"1/8

1/8

1/8 0 1/8 U 1/8

1/8

О 1/8

_ 1/8______________________

так как s\yy = 1.

  "1 ■
   
,^}=ХГ(Х*ХГ *{%>*, = Г 1 xt]

Отсюда получим дисперсию предсказанного значения у, ко­торый в этой точке равен 23,5875


"1/8
П" о о о о о о о
1/8
о 1/8 1/8 1/8 0 1/8
1/8
*Ь.} = [1 00 00 00 0]
1/8

 

 


-1 о о о о о о о
= 1/8 = 0,125.
"1/8
-1- 2 2 2 2 2 2 2
1/8
О
1/8
1/8
1/8
1/8
О
1/8
1/8
£ Таким образом, точность предсказания отклика в центре экс­перимента оказалась равной дисперсии коэффициентов. Посмот­рим, какое значение примет s2^} в точке с координатами, рав­ными 2: Х*=[1 2 2 2 2 2 2 2]. Тогда

= [1/8 0 0 0 00 0 0] *?Л> = [1 222222 2]


 

 


= 3,625.

В этой точке $0=2О,О125, а дпсперсия s2{$ay =3,625. Обратите вни­мание, как существенно увеличилась дисперсия предсказания при удалении от центра.

Описывая статистический анализ, мы до сих пор не принимали во внимание повторных наблюдений. Перейдем тепбрь к рассмо­трению этого вопроса.



Поделиться:


Последнее изменение этой страницы: 2017-02-05; просмотров: 264; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 44.223.70.167 (0.051 с.)