Методом наименьших квадратов

 

При совместном исследовании двух случайных величин по имеющейся выборке (х ₁, у ₂), (х ₂, у ₂),…,(x_k, y_k) возникает, как указывалось выше, задача определения зависимости между ними. Если вид функции y = f (x, a, b,...) задан, то требуется найти значения коэффициентов a, b,..., при которых y_i наименее отличаются от f (x_i). В методе наименьших квадратов, как отмечалось, коэффициенты должны быть такими, что принимает минимальное значение.

а) Линейная зависимость y = ax + b. Если , то из условия получаем:

б) Квадратичная зависимость y = (ax + b)². Отсюда и система для определения a, b может быть получена по аналогии с предыдущим случаем с помощью замены y_i на :

в) Показательная зависимость Логарифмируя, получаем: ln y=ax + b, и система уравнений для a, b имеет вид:

г) Зависимость вида Тогда y ² = ax + b, и условия для а и b можно задать так:

д) Логарифмическая зависимость y = ln(ax + b), то есть e^y = ax + b, и

 

 

Пример. Найти параметры зависимости между х и у для выборки

 

xi	1,4	1,7	2,6	3,1	4,5	5,3
yi	2,5	4,7	18,3	29,8	74,2	110,4

 

для случаев: 1) линейной зависимости y = ax + b;

2) квадратичной зависимости y = (ax + b)²;

3) показательной зависимости y = e^{ax + b}.

Определить, какая из функций является лучшим приближением зависимости между х и у.

По виду выборки достаточно очевидно, что связь между х и у скорее всего не является линейной – у растет не пропорционально х. Проверим это предположение, найдя коэффициенты а и b для каждой из функций. Для этого вычислим предварительно = 3,1; = 40,0;

Теперь можно решать линейные системы для а и b:

1) то есть линейная зависимость имеет вид: у = 27,34 х – 44,74.

2) квадратичная функция:

у = (2,29 х – 1,68)².

3) показательная функция:

у = е ^{0,94 х + 0,04}.

Вычислим значения

:

 

yi	2,5	4,7	18,3	29,8	74,2	110,4
(yi)лин	-6,46	1,74	26,34	40,0	78,29	100,13	379,93
(yi)кв	2,33	4,9	18,27	29,37	74,4	109,35	1,397
(yi)показ	3,85	5,09	11,67	18,8	69,5	146,66	1503,81

 

Итак, наилучшим приближением является квадратичная функция. ◄

 

2.3. Ранговая корреляция

Пусть объекты генеральной совокупности обладают двумя качественными признаками (то есть признаками, которые невозможно измерить точно, но которые позволяют сравнивать объекты между собой и располагать их в порядке убывания или возрастания качества). Договоримся для определенности располагать объекты в порядке ухудшения качества.

Пусть выборка объема п содержит независимые объекты, обладающие двумя качественными признаками: А и В. Требуется выяснить степень их связи между собой, то есть установить наличие или отсутствие ранговой корреляции.

Расположим объекты выборки в порядке ухудшения качества по признаку А, предполагая, что все они имеют различное качество по обоим признакам. Назовем место, занимаемое в этом ряду некоторым объектом, его рангом х _i: х ₁ = 1, х ₂ = 2,…, х_п = п.

Теперь расположим объекты в порядке ухудшения качества по признаку В, присвоив им ранги у_i, где номер i равен порядковому номеру объекта по признаку А, а само значение ранга равно порядковому номеру объекта по признаку В. Таким образом, получены две последовательности рангов:

по признаку А … х ₁, х ₂,…, х_п

по признаку В … у ₁, у ₂,…, у_п.

При этом, если, например, у ₃ = 6, то это означает, что данный объект занимает в ряду по признаку А третье место, а в ряду по признаку В – шестое.

Сравним полученные последовательности рангов.

1. Если x_i = y_i при всех значениях i, то ухудшение качества по признаку А влечет за собой ухудшение качества по признаку В, то есть имеется «полная ранговая зависимость».

2. Если ранги противоположны, то есть х ₁ = 1, у ₁ = п; х ₂ = 2, у ₂ = п – 1;…, х_п = п, у_п = 1, то признаки тоже связаны: ухудшение качества по одному из них приводит к улучшению качества по другому («противоположная зависимость»).

3. На практике чаще всего встречается промежуточный случай, когда ряд у_i не монотонен. Для оценки связи между признаками будем считать ранги х ₁, х ₂,…, х_п возможными значениями случайной величины Х, а у ₁, у ₂,…, у_п – возможными значениями случайной величины Y. Теперь можно исследовать связь между Х и Y, вычислив для них выборочный коэффициент корреляции

, (2)

где (условные варианты). Поскольку каждому рангу x_i соответствует только одно значение y_i, то частота любой пары условных вариант с одинаковыми индексами равна 1, а с разными индексами – нулю. Кроме того, из выбора условных вариант следует, что , поэтому формула (2) приобретает более простой вид:

. (3)

Итак, требуется найти и . Можно показать, что . Учитывая, что , можно выразить через разности рангов . После преобразований получим: , , откуда . Подставив эти результаты в (3), получим выборочный коэффициент ранговой корреляции Спирмена:

. (4)