Непараметрическая линейная регрессия.

Линейный регрессионный анализ объединяет широкий круг задач, связанных с построением функциональных зависимостей между двумя группами числовых переменных: x₁,..., x_p и y₁,..., y_q. Для краткости мы объединим x₁,..., x_p в многомерную переменную x, а y₁,..., y_q —в переменную y, и будем говорить об исследовании зависимости между x и y. При этом мы будем считать x независимой переменной, влияющей на значения y. В связи с этим мы будем называть y откликом, а x = (x₁,..., x_p) — факторами, влияющими на отклик.

Самый простой случай регрессионных задач — это исследование связи между одной независимой (одномерной) переменной x и одной зависимой переменной (откликом) y. Эта задача носит название простой регрессии. Исходными данными этой задачи являются два набора наблюдений x₁, x₂,..., x_n — значения x и y₁, y₂,..., y_n — соответствующие значения y.

Для того, чтобы задача о подборе функции отклика f была осмысленной, мы должны определить набор допустимых функций f(x). Как правило, предполагают, что множество допустимых функций является параметрическим семейством f(x, θ), где θ ∈ Θ — параметр семейства. Тогда:

y_i = f(x_i, θ) + ε_i, i= 1,..., n, (8.3)

и восстановление зависимости между x и y оказывается эквивалентным указанию значения θ (точнее, ее оценки ˆθ) по исходным данным (x_i, y_i), i = 1,..., n. Знание ˆθ позволит нам по заданному значению фактора x предсказывать отклик y, точнее, его закономерную часть.

Проиллюстрируем основные идеи обработки регрессионного эксперимента (8.3) на примере простой линейной регрессии. Так называют задачу регрессии, в которой x и y — одномерные величины (поэтому мы будем обозначать их x и y), а функция f(x, θ) имеет вид A + bx, где θ = (A, b). В этом случае соотношение (8.3) принимает вид:

y_i = A + bx_i + ε_i i = 1,..., n. (8.4)

Здесь x₁,..., x_n — заданные числа (значения фактора); y₁,..., y_n — наблюденные значения отклика; ε₁,..., ε_n — независимые (ненаблюдаемые) одинаково распределенные случайные величины.

Гауссовская модель. При решении задачи (8.4) (как и во многих других случаях) используются два основных подхода: непараметрический и гауссовский, они различаются характером предположений относительно закона распределения случайных величин ε. Сначала мы рассмотрим гауссовскую модель простой линейной регрессии. В ней дополнительно к вышесказанному предполагается, что величины ε_i распределены по нормальному закону N(0, σ²) с некоторой неизвестной дисперсией σ².

Для определения параметров регрессионной модели часто используется метод наименьших квадратов.

Метод наименьших квадратов. При выборе методов определения параметров регрессионной модели можно руководствоваться различными подходами. Один из наиболее естественных и распространенных состоит в том, что при «хорошем» выборе оценки ˆθ параметра модели θ величины y_i − f(x_i, θ) (в случае простой линейной регрессии — величины y_i − A − bx_i) должны в совокупности быть близки к нулю. Меру близости совокупности этих величин (они обычно называются остатками) к нулю можно выбирать по-разному (например, максимум модулей, сумму модулей и т.д.), но наиболее простые формулы расчета получаются, если в качестве этой меры выбрать сумму квадратов:

Определение. Методом наименьших квадратов называется способ подбора параметров регрессионной модели исходя из минимизации суммы квадратов остатков.

Сам по себе метод наименьших квадратов не связан с какими-либо предположениями о распределении случайных ошибок ε₁,..., ε_n, он может применяться и тогда, когда мы не считаем эти ошибки случайными (например, в задачах сглаживания экспериментальных данных). Однако мы будем рассматривать метод наименьших квадратов в связи с гауссовской моделью. Причины этого следующие:

• именно в гауссовской модели метод наименьших квадратов обладает определенными свойствами оптимальности;

• в гауссовской модели получаемые с помощью этого метода оценки неизвестных параметров обладают ясными статистическими свойствами.

Средняя точка ( всегда лежит на линии регрессии.

b – коэффициент регрессии

коэффициент истинной регрессии, т.е. регрессии которая м.б. получена по результатам генеральных выборок.

– случайная величина, распределенная по закону Стьюдента.

- искомый коэффициент регрессии.

В регрессии с вероятностью 0,95 справедливо равенство:

Если коэффициент регрессии=0, то между x и y отсутствует линейная связь. Если 0 входит в доверительный интервал, то линейной регрессии нет.