Регресії методом найменших квадратів

У найпростішому випадку різні значення ознаки й відповідні їм значення ознаки зустрічаються у вибірці один раз. Тоді немає необхідності говорити про умовну середню, і рівняння (1.4.1) запишеться у вигляді

(1.4.2.1)

 

 

Загалом кажучи, теоретичні значення , звичайно, будуть відрізнятися від спостережуваних значень , так що рівняння (1.4.2.1) описує емпіричні дані лише з тією або іншою погрішністю. Природно вибрати параметри і так, щоб погрішність була мінімальною. Але як це зробити? Який принцип покласти в основу мінімізації погрішності?

Напрошується наступна думка. Для різних різниці будуть, загалом кажучи, різними, а тому принцип мінімізації погрішності повинен полягати в тім, щоб сума всіх погрішностей була найменшою.

Чи підтримуєте ви такий принцип мінімізації?

Такий принцип правильним бути не може. Справа в тому, що відхилення для різних значень можуть бути як додатними, так і від’ємними. При підсумовуванні вони частково компенсують один одного, так що справжня картина спотвориться. Наприклад, якщо , а , то сумарне відхилення дорівнює нулю.

Щоб не враховувати знаки відхилень, німецький математики К.Гаусс (1777-1855), французькі математики П. Лаплас (1749-1827) і А. Лежандр (1752-1833) незалежно друг від друга розробили метод найменших квадратів, відповідно до якого параметри і треба підбирати так, щоб сума квадратів відхилень була найменшою. Таким чином, для знаходження і треба знайти найменше значення функції

 

тобто у цьому випадку функції

.

 

Як відомо з курсу математичного аналізу, необхідною умовою екстремуму функції, яка має похідну, є рівність нулю частинних похідних:

 

(1.4.2.2.)

 

Ці рівності можна розглядати як рівняння відносно і ; вони називаються нормальними рівняннями, а сама система (1.4.2.2) – нормальною системою.

Надалі для зручності запису замість будемо писати . Відповідно індекси в і проставляти не будемо. Система (1.4.2.2) запишеться у вигляді

(1.4.2.3)

 

Зауваження 1. Цю систему легко запам'ятати. Візьмемо рівняння . Поставивши спереду знак «», одержимо друге рівняння системи, тому що . Помноживши рівняння на й написавши спереду знак «», одержимо перше рівняння.

Можна довести, що при значеннях і , знайдених із системи (1.4.2.3), функція досягає найменшого значення. З геометричної точки зору це означає, що при знайдених значеннях параметрів і точки , побудовані за даними спостережень, лежать ближче до теоретичної прямої , чим при будь-яких інших значеннях і .

Розв’язок системи (1.4.2.3), має вигляд:

 

(1.4.2.4)

 

(1.4.2.5)

 

По цих формулах можна відразу знайти значення і , не складаючи систему (1.4.2.3)

 

Зауваження 2. У рівнянні лінійної регресії

 

 

коефіцієнт називають коефіцієнтом регресії на й позначають символом . Очевидно, що з геометричної точки зору - кутовий коефіцієнт прямої лінії регресії на . Аналогічно коефіцієнт при в рівнянні лінійної регресії на називається коефіцієнтом регресії на й позначають символом . Тому рівняння лінійної регресії на . і на часто пишуть у вигляді

 

,

і

 

 

відповідно.

Метод (принцип) найменших квадратів перебуває в повній відповідності із загальним положенням математичної статистики, відповідно до якого як міра розсіювання береться дисперсія або середнє квадратическое відхилення .. Вводячи поняття дисперсії в теорії ймовірностей, ми ставили задачу охарактеризувати розкид значень випадкової величини біля її математичного сподівання. Представлялося природним як таку характеристику взяти середнє значення (математичне сподівання) відхилення випадкової величини від її математичного сподівання , але виявилося, що

 

,

Це говорить про те, що в середньому додатні відхилення врівноважують негативні.

У математичній статистиці доведене аналогічне твердження: сума добутків відхилень значення ознаки від загальної середньої дорівнює нулю:

.

Щоб не враховувати знаки відхилень, як характеристика розкиду випадкової величини біля її математичного сподівання в теорії ймовірностей прийнята дисперсія:

.

 

У математичній статистиці це визначення приймає наступний вид:

,

 

де - частоти значень відповідної ознаки вибірки об'єму п.

 

Приклад. У результаті спостереження над дослідними ділянками була встановлена наступна врожайність (у ц с 1 га) при різній кількості внесених у ґрунт добрив (таблиця 1)

Таблиця 1

Кількість добрив (у т. на 1 га)
Урожайність (у ц. з 1 га)	15,0	15,6	16,6	18,0	19,2

 

Досвід показує, що в певних межах залежність між урожайністю й кількістю внесених добрив близька до лінійної (перевірте це геометрично для проведених даних). Знайти рівняння регресії на .

Розв’язання. Шукаємо рівняння у вигляді

 

.

 

 

Складемо розрахункову таблицю 2.

 

Таблиця 2

	15,0 15,6 16,6 18,0 19,2		15,0 31,2 49,8 72,0 96,0

 

По формулах (1.4.2.4) і (1.4.2.5) знайдемо параметри і :

 

 

Отже, шукане рівняння регресії має вигляд:

 

.

 

Як ми вже відзначали в пункті 1.2, це рівняння, як і будь-які інші отримані рівняння регресії, потрібно піддати регресійному й кореляційному аналізу.

 

1.5. Двовимірна дискретна випадкова величина і її закон розподілу. Кореляційна таблиця

У теорії ймовірностей при опису багатьох випадкових явищ доводиться використовувати не одну, а кілька випадкових величин. Наприклад, точка влучення снаряда визначається двома випадковими величинами: абсцисою та ординатою. При імовірнісному моделюванні структури витрат родини необхідно розглядати в комплексі витрати випадково обраної родини на харчування, одяг, транспорт і т.д.

Під -мірною випадковою величиною розуміється впорядкований набір випадкових величин . Будемо позначати її символом .

Говорять також, що -мірна випадкова величина визначає систему випадкових величин .

Для вивчення системи випадкових величин недостатньо вивчити окремо кожну складову системи. Тут виникає потреба вивчення взаємних зв'язків між ними, що приводить до нових задач, які не виникали при розгляді “звичайних”, одномірних випадкових величин.

Надалі ми будемо говорити про двовимірну дискретну випадкову величину . Її складові дискретні.

Законом розподілу дискретної двовимірної випадкової величини називається перелік всіх можливих значень цієї величини й відповідних імовірностей.

Нехай випадкова величина приймає значення , а випадкова величина - значення . Тоді значення випадкової величини - усілякі пари чисел . Відповідні ймовірності - це ймовірності того, що приймає значення а приймає значення : .

Звичайно закон розподілу двовимірної дискретної випадкової величини задають у вигляді таблиці із двома входами (таблиця 3).

 

Таблиця 3

 

			…		…
			…		…
			…		…
…	…	…	…	…	…	…
			…		…
…	…	…	…	…	…	…
			…		…

 

Тому що випадкова величина обов'язково прийме одне й тільки одне зі значень , то сума всіх імовірностей у клітках таблиці 3 дорівнює одиниці:

.

 

Знак подвійної суми – це повторне застосування символу підсумовування. Дійсно, якщо розкрити спочатку символ те одержимо:

 

.

 

Тепер розкриємо символ

 

Одержали суму ймовірностей, що стоять у всіх клітках таблиці 3. При перестановці символів підсумовування міняється лише порядок доданків.

У таблиці 3 кожному з відповідає ряд розподілу величини , тобто кожному значенню х відповідає набір значень величини й відповідних імовірностей. І навпаки, кожному з відповідає ряд розподілу величини .

Нехай у результаті кожного з п випробувань ми реєструємо по одному значенню досліджуваних нами величин і . Якщо ми маємо є підстави розглядати й як сумісно розподілені випадкові величини, то пари значень

можна розглядати як випадкову вибірку з генеральної сукупності всіх можливих значень двовимірної дискретної випадкової величини . У п.п. 1.4.1 і 1.4.2 була поставлена задача знаходження лінійного рівняння регресії в найпростішому випадку, коли кожна пара спостерігалася по одному разу. Розглянемо загальний випадок, коли конкретне значення х може зустрітися раз, конкретне значення раз, а та сама пара раз. Нехай і - упорядковані по зростанню різні значення й . Побудуємо таблицю 4.

Таблиця 4

			…		…
			…		…
			…		…
…	…	…	…	…	…	…
			…		…
…	…	…	…	…	…	…
			…		…

У верхньому рядку таблиці зазначені спостережувані значення ознаки , у лівому стовпці таблиці – спостережувані значення величини . На перетинанні рядків і стовпців зазначені частоти спостережуваних пар значень і . Очевидно, що

,

де - загальне число всіх спостережень.

Таблиця 4 називається кореляційною таблицею частот або просто кореляційною таблицею.

Якщо в таблиці 4 частоти замінити відносними частотами , то одержимо кореляційну таблицю відносних частот.

Очевидно, що

.

 

У таблиці 4 кожному спостережуваному значенню відповідає статистичний розподіл частот величини , а в кореляційній таблиці відносних частот кожному значенню відповідає статистичний розподіл відносних частот.

Кореляційна таблиця відносних частот є статистичним аналогом закону розподілу дискретної двовимірної випадкової величини (див. таблицю 3). Якщо ми хочемо за результатами досить великої кількості спостережень скласти імовірнісну модель випадкової величини ,то можемо використовувати для цього (у якості одного зі способів) кореляційну таблицю відносних частот, поклавши (точно або з округленням) значення ймовірностей рівними відповідним відносним частотам , тому що при досить більших п (статистична ймовірність).

Для приклада складемо кореляційну таблицю по вибірці, представленої в таблиці 5.

Таблиця 5

№ п/п			№ п/п			№ п/п			№ п/п			№ п/п
		0,7			0,2			0,8			0,9			0,3
		0,1			0,3			0,6			0,4			0,7
		0,2			0,8			0,3			0,7			0,4
		0,3			0,5			0,7			0,4			0,1
		0,5			0,7			0,3			0,6			0,5
		0,5			0,4			0,6			0,4			0,4
		0,5			0,4			0,5			0,7			0,3
		0,6			1,0			0,1			0,6			0,6

 

Розташувавши значення і у порядку зростання й підрахувавши відповідні частоти, одержимо кореляційну таблицю (таблиця 6).

Таблиця 6

0,1				–	–	–	–	–	–
0,2	–			–	–	–	–	–	–
0,3	–					–	–	–	–
0,4	–	–					–	–	–
0,5	–	–	–					–	–
0,6	–	–	–					–	–
0,7	–	–	–	–					–
0,8	–	–	–	–	–	–			–
0,9	–	–	–	–	–	–	–	–	–
1,0

 

Відповідна кореляційна таблиця відносних частот має такий вигляд (таблиця 7):

 

Таблиця 7

0,1				–	–	–	–	–	–
0,2	–			–	–	–	–	–	–
0,3	–					–	–	–	–
0,4	–	–					–	–	–
0,5	–	–	–					–	–
0,6	–	–	–					–	–
0,7	–	–	–	–					–
0,8	–	–	–	–	–	–			–
0,9	–	–	–	–	–	–	–		–
1,0	–	–	–	–	–	–	–	–

 

Коефіцієнт кореляції

 

У теорії ймовірностей було доведено, що математичне сподівання добутку двох незалежних випадкових величин дорівнює добутку їхніх математичних сподівань:

або

.

 

Тому, якщо для двох випадкових величин виявиться, що

 

, (1.6.1)

 

те це є ознакою того, що між і існує зв'язок. При цьому, треба думати, чим більше різниця буде відрізнятися від нуля, тим тісніше зв'язок між і , тобто логічно висловити припущення, що різниця в лівій частині рівності (1.6.1) може служити числовою характеристикою тісноти кореляційного зв'язку між і . Надалі ми побачимо, що наше припущення справедливо лише для лінійного зв'язку між і .

Недоліком запропонованої числової характеристики тісноти зв'язку є те, що її розмірність дорівнює добутку размірностей і . Щоб усунути цей недолік, для характеристики тісноти зв'язку між і у теорії ймовірностей уводиться безрозмірна величина – коефіцієнт кореляції , що визначається формулою

 

(1.6.2)

де – середнє квадратическое відхилення величини ,

– середнє квадратическое відхилення величини .

Аналогом математичного сподівання в математичній статистиці є середня величина, тому чисельник у формулі (1.6.2) запишеться у вигляді

 

.

Після приведення до загального знаменника одержуємо статистичний аналог формули (1.6.2):

. (1.6.3)

 

По цій формулі й обчислюється коефіцієнт кореляції в математичній статистиці. Середні квадратические відхилення, як відомо, мають такий вигляд:

. (1.6.4)

 

Це статистичний аналог відповідної величини в теорії ймовірностей:

 

.

 

Перелічимо деякі властивості коефіцієнта кореляції.

 

Властивість 1. Абсолютна величина коефіцієнта кореляції не перевищує одиниці:

Властивість 2. Якщо й незалежні, то .

Наслідок. Якщо коефіцієнт кореляції відмінний від нуля, то ці величини залежні

Зауваження. Твердження, зворотне властивості 2, загалом кажучи, невірно, тобто рівність нулю коефіцієнта кореляції ще не свідчить про незалежність величин і . Однак, наприклад, якщо й розподілені за нормальним законом, то рівність нулю коефіцієнта кореляції свідчить про незалежність і .

Властивість 3. Якщо коефіцієнт кореляції дорівнює нулю, а рівняння регресії й линійні, то і не зв'язані кореляційною залежністю.

Властивість 4. Якщо абсолютна величина коефіцієнта кореляції дорівнює одиниці, то спостережувані значення ознак зв'язані лінійною функціональною залежністю; при цьому у випадку прямого зв'язку і у випадку зворотного зв'язку.

Властивість 5. Зі зростанням абсолютної величини коефіцієнта кореляції розсіювання спостережуваних значень ознак навколо середніх зменшується, тобто лінійна кореляційна залежність стає більше тісною.

Отже, коефіцієнт кореляції характеризує тісноту лінійного кореляційного зв'язку між кількісними ознаками у вибірці: чим ближче до нуля, тим цей зв'язок слабкіше, а у випадку лінійний кореляційний зв'язок відсутній. Чим ближче до одиниці, тим лінійний зв'язок сильніше, переходячи у випадку у функціональний.

Зауваження 1. Коефіцієнт кореляції дорівнює

 

,

 

причому знак збігається зі знаком коефіцієнтів регресії й ( і мають однакові знаки).

Зауваження 2. Для вибірки досить великого об'єму висновок про тісноту лінійної залежності між і , який отриманий за даними вибірки, певною мірою може бути поширений на всю генеральну сукупність. Наприклад, оцінка коефіцієнта кореляції нормально розподіленої генеральної сукупності за коефіцієнтом кореляції вибірки може бути зроблена (при )по формулі

.

 

Приклад.1. Знайти коефіцієнт кореляції по даним п = 20 спостережень, наведених у таблиці 8.

Таблиця. 8

 

	10,5	15,8	17,8	19,5	20,4	21,5	22,2	24,3	25,3	26,5

 

 

	28,1	30,1	35,2	36,4		38,5	39,5	40,5		42,5

 

Розв’язання. Скористаємося формулами (1.6.3.) і (1.6.4). Тому що кожна пара зустрічається один раз, то . Підрахуємо всі складові цих формул.

= 121,8.

 

= 15728,5.

 

= 29,89.

= 28,63.

 

= 907,98.

 

= 9,4.

 

.

 

Маємо:

.

 

Як бачимо, коефіцієнт кореляції дуже близький до одиниці. Це означає, що розглянуті випадкові величини зв'язані практично функціональною лінійною залежністю.

Приклад 2. Обчислити коефіцієнт кореляції за даними кореляційної таблиці 8

Таблиця. 8