Коэффициент ранговой корреляции Кендалла

Для вычисления коэффициента ранговой корреляции Кендалла r_k необходимо ранжировать данные по одному из признаков в порядке возрастания и определить соответствующие ранги по второму признаку. Затем для каждого ранга второго признака определяется число последующих рангов, больших по величине, чем взятый ранг, и находится сумма этих чисел.

Коэффициент ранговой корреляции Кендалла определяется формулой

 

 

где R_i – количество рангов второй переменной, начиная с i +1, величина которых больше чем величина i -ого ранга этой переменной.

Существуют таблицы процентных точек распределения коэффициента r_k, позволяющие проверить гипотезу о значимости коэффициента корреляции.

При больших объемах выборки критические значения r_k не табулируются, и их приходится вычислять по приближенным формулам, которые основаны на том, что при нулевой гипотезе H₀: r_k =0 и больших n случайная величина

 

распределена приближенно по стандартному нормальному закону.

 

40. Зависимость между признаками, измеренными в номинальной или порядковой шкалах

Часто возникает задача проверки независимости двух признаков, измеренных в номинальной или порядковой шкалах.

Пусть у каких-то объектов измеряются два признака X и Y с числом уровней r и s соответственно. Результаты таких наблюдений удобно представлять в виде таблицы, называемой таблицей сопряженности признаков.

В таблице u_i (i = 1,..., r) и v_j (j = 1,..., s) – значения, принимаемые признаками, величина n_ij – число объектов из общего числа объектов, у которых признак X принял значение u_i, а признак Y – значение v_j

Введем следующие случайные величины:

 

– количество объектов, у которых встретилось значение u_i

 

 

– количество объектов, у которых встретилось значение v_j

 

Кроме того, имеют место очевидные равенства

 

Пусть далее

 

Дискретные случайные величины X и Y независимы тогда и только тогда, когда

для всех пар i, j

 

Поэтому гипотезу о независимости дискретных случайных величин X и Y можно записать так:

В качестве альтернативной, как правило, используют гипотезу

Судить о справедливости гипотезы H₀ следует на основании выборочных частот n_ij таблицы сопряженности. В соответствии с законом больших чисел при n →∞ относительные частоты близки к соответствующим вероятностям:

 

 

Для проверки гипотезы H₀ используется статистика

 

которая при справедливости гипотезы имеет распределение χ ² с rs − (r + s − 1) степенями свободы.

Критерий независимости χ ² отклоняет гипотезу H₀ с уровнем значимости α, если:

 

41. Регрессионный анализ. Основные понятия регрессионного анализа

Для математического описания статистических связей между изучаемыми переменными величинами следует решить следующие задачи:

ü подобрать класс функций, в котором целесообразно искать наилучшую (в определенном смысле) аппроксимацию интересующей зависимости;

ü найти оценки неизвестных значений параметров, входящих в уравнения искомой зависимости;

ü установить адекватность полученного уравнения искомой зависимости;

ü выявить наиболее информативные входные переменные.

Совокупность перечисленных задач и составляет предмет исследований регрессионного анализа.

Функцией регрессии (или регрессией) называется зависимость математического ожидания одной случайной величины от значения, принимаемого другой случайной величиной, образующей с первой двумерную систему случайных величин.

Пусть имеется система случайных величин (X, Y), то функция регрессии Y на X

 

а функция регрессии X на Y

 

 

Функции регрессии f (x) и φ (y), не являются взаимно обратимыми, если только зависимость между X и Y не является функциональной.

В случае n -мерного вектора с координатами X ₁, X ₂,…, X_n можно рассматривать условное математическое ожидание для любой компоненты. Например, для X ₁

называется регрессией X ₁ на X ₂,…, X_n.

 

Для полного определения функции регрессии необходимо знать условное распределение выходной переменной при фиксированных значениях входной переменной.

Поскольку в реальной ситуации такой информацией не располагают, то обычно ограничиваются поиском подходящей аппроксимирующей функции f_a (x) для f (x), основываясь на статистических данных вида (x_i, y_i), i = 1,…, n. Эти данные являются результатом n независимых наблюдений y ₁,…, y_n случайной величины Y при значениях входной переменной x ₁,…, x_n, при этом в регрессионном анализе предполагается, что значения входной переменной задаются точно.

Проблема выбора наилучшей аппроксимирующей функции f_a (x), являясь основной в регрессионном анализе, и не имеет формализованных процедур для своего решения. Иногда выбор определяется на основе анализа экспериментальных данных, чаще из теоретических соображений.

Если предполагается, что функция регрессии является достаточно гладкой, то аппроксимирующая ее функция f_a (x) может быть представлена в виде линейной комбинации некоторого набора линейно независимых базисных функций ψ_k (x), k = 0, 1,…, m −1, т. е. в виде

 

где m – число неизвестных параметров θ_k (в общем случае величина неизвестная, уточняемая в ходе построения модели).

Такая функция является линейной по параметрам, поэтому в рассматриваемом случае говорят о модели функции регрессии, линейной по параметрам.

Тогда задача отыскания наилучшей аппроксимации для линии регрессии f (x) сводится к нахождению таких значений параметров, при которых f_a (x;θ) наиболее адекватна имеющимся данным. Одним из методов позволяющем решить эту задачу является метод наименьших квадратов.

 

42. Метод наименьших квадратов

Пусть множество точек (x_i, y_i), i = 1,…, n расположено на плоскости вдоль некоторой прямой

Тогда в качестве функции f_a (x), аппроксимирующей функцию регрессии f (x) = M [ Y | x ] естественно взять линейную функцию аргумента x:

 

Т. е. в качестве базисных функций здесь выбраны ψ ₀(x)≡1 и ψ ₁(x)≡ x. Такую регрессию называют простой линейной регрессией.

Если множество точек (x_i, y_i), i = 1,…, n расположено вдоль некоторой кривой, то в качестве f_a (x) естественно попробовать выбрать семейство парабол

 

 

Эта функция является нелинейной по параметрам θ ₀ и θ ₁, однако путем функционального преобразования (в данном случае логарифмирования) ее можно привести к новой функции f’_a (x), линейной по параметрам:

 

43. Простая линейная регрессия

Простейшей моделью регрессии является простая (одномерная, однофакторная, парная) линейная модель, имеющая следующий вид:

 

где ε_i – некоррелированные между собой случайные величины (ошибки), имеющие нулевые математические ожидания и одинаковые дисперсии σ ², a и b – постоянные коэффициенты (параметры), которые необходимо оценить по измеренным значениям отклика y_i.

Для нахождения оценок параметров a и b линейной регрессии, определяющих наиболее удовлетворяющую экспериментальным данным прямую линию:

 

применяется метод наименьших квадратов.

Согласно методу наименьших квадратов оценки параметров a и b находят из условия минимизации суммы квадратов отклонений значений y_i по вертикали от “истинной” линии регрессии:

 

Пусть было произведено десять наблюдений случайной величины Y при фиксированных значениях переменной X

Для минимизации D приравняем к нулю частные производные по a и b:

 

В результате получим следующую систему уравнений для нахождения оценок a и b:

 

Решение этих двух уравнений дает:

 

Выражения для оценок параметров a и b можно представить также в виде:

 

 

Тогда эмпирическое уравнение регрессионной прямой Y на X можно записать в виде:

 

Несмещенная оценка дисперсии σ ² отклонений значений y_i oт подобранной прямой линии регрессии дается выражением

 

Рассчитаем параметры уравнения регрессии

 

 

Таким образом, прямая регрессии имеет вид:

 

А оценка дисперсии отклонений значений y_i oт подобранной прямой линии регрессии

 

 

44. Проверка значимости линии регрессии

Найденная оценка b ≠ 0 может быть реализацией случайной величины, математическое ожидание которой равно нулю, т. е. может оказаться, что никакой регрессионной зависимости на самом деле нет.

Чтобы разобраться с этой ситуацией, следует проверить гипотезу Н₀: b = 0 при конкурирующей гипотезе Н₁: b ≠ 0.

Проверку значимости линии регрессии можно провести с помощью дисперсионного анализа.

Рассмотрим следующее тождество:

 

Величина y_i − ŷ_i = ε_i называется остатком и представляет собой разность между двумя величинами:

ü отклонением наблюдаемого значения (отклика) от общего среднего откликов;

ü отклонением предсказанного значения отклика ŷ_i от того же среднего

 

 

Записанное тождество можно записать в виде

 

Возведя обе его части в квадрат и просуммировав по i, получим:

 

 

Где величины получили название:

 

полной (общей) суммой квадратов СК_п, которая равна сумме квадратов отклонений наблюдений относительно среднего значения наблюдений

 

сумма квадратов, обусловленной регрессией СК_р, которая равна сумме квадратов отклонений значений линии регрессии относительно среднего наблюдений.

 

 

остаточная сумма квадратов СК₀. которая равна сумме квадратов отклонений наблюдений относительно значений линии регрессии

 

Таким образом, разброс Y -ков относительно их среднего значения можно приписать в некоторой степени тому факту, что не все наблюдения лежат на линии регрессии. Если бы это было так, то сумма квадратов относительно регрессии была бы равна нулю. Отсюда следует, что регрессия будет значимой, если сумма квадратов СК_р будет больше суммы квадратов СК₀.

Вычисления по проверки значимости регрессии проводят в следующей таблице дисперсионного анализа

Если ошибки ε_i распределены по нормальному закону, то при справедливости гипотезы Н₀: b = 0 статистика:

 

 

распределена по закону Фишера с числом степеней свободы 1 и n −2.

Нулевая гипотеза будет отклонена на уровне значимости α, если вычисленное значение статистики F будет больше α-процентной точки f _{1; n −2;α} распределения Фишера.

 

45. Проверка адекватности модели регрессии. Метод остатков

Под адекватностью построенной регрессионной модели понимается то, что никакая другая модель не дает значимого улучшения в предсказании отклика.

Если все значения откликов получены при разных значениях x, т. е. нет нескольких значений отклика, полученных при одинаковых x_i, то можно провести лишь ограниченную проверку адекватности линейной модели. Основой для такой проверки являются остатки:

- отклонения от установленной закономерности:

 

Поскольку X – одномерная переменная, точки (x_i, d_i) можно изобразить на плоскости в виде так называемого графика остатков. Такое представление позволяет иногда обнаружить в поведении остатков какую-то закономерность. Кроме того, анализ остатков позволяет проанализировать предположение относительно закона распределения ошибок.

 

 

 

В случае когда ошибки распределены по нормальному закону и имеется априорная оценка их дисперсии σ ² (оценка, полученная на основе ранее выполненных измерений), то возможна более точная оценка адекватности модели.

С помощью F -критерия Фишера можно проверить, значимо ли остаточная дисперсия s ₀² отличается от априорной оценки. Если она значимо больше, то имеет место неадекватность и следует пересмотреть модель.

Если априорной оценки σ ² нет, но измерения отклика Y повторялись два или более раз при одинаковых значениях X, то эти повторные наблюдения можно использовать для получения еще одной оценки σ ² (первой является остаточная дисперсия). Про такую оценку говорят, что она представляет “чистую” ошибку, поскольку, если сделать x одинаковыми для двух и более наблюдений, то только случайные изменения могут повлиять на результаты и создавать разброс между ними.

Получаемая оценка оказывается более надежной оценкой дисперсии, чем оценка, получаемая другими способами. По этой причине при планировании экспериментов имеет смысл ставить опыты с повторениями.

Предположим, что имеется m различных значений X: x ₁, x ₂,..., x_m. Пусть для каждого из этих значений x_i имеется n_i наблюдений отклика Y. Всего наблюдений получается:

 

 

Тогда модель простой линейной регрессии может быть записана в виде:

 

 

 

 

Найдем дисперсию “чистых” ошибок. Эта дисперсия представляет собой объединенную оценку дисперсии σ ², если представить значения откликов y_ij при x = x_i как выборки объема n_i. В результате дисперсия “чистых” ошибок равна:

 

Эта дисперсия служит оценкой σ ² безотносительно к тому, корректна ли подобранная модель.

Покажем, что сумма квадратов “чистых ошибок” является частью остаточной суммы квадратов (суммы квадратов, входящей в выражение для остаточной дисперсии). Остаток для j -ого наблюдения при x_i можно записать в виде:

 

Если возвести обе части этого равенства в квадрат, а затем просуммировать их по j и по i, то получим:

Слева в этом равенстве стоит остаточная сумма квадратов. Первый член в правой части – это сумма квадратов “чистых” ошибок, второй член можно назвать суммой квадратов неадекватности. Последняя сумма имеет m −2 степеней свободы, следовательно, дисперсия неадекватности

Статистикой критерия для проверки гипотезы H₀: простая линейная модель адекватна, против гипотезы H₁: простая линейная модель неадекватна, является случайная величина

 

При справедливости нулевой гипотезы величина F имеет распределение Фишера со степенями свободы m −2 и n − m. Гипотеза линейности линии регрессии должна быть отвергнута с уровнем значимости α, если полученное значение статистики больше α-процентной точки распределения Фишера с числом степеней свободы m −2 и n − m.

 

46. Проверка адекватности модели регрессии(см 45). Дисперсионный анализ

 

 

47. Проверка адекватности модели регрессии (см 45). Коэффициент детерминации

Иногда для характеристики качества линии регрессии используют выборочный коэффициент детерминации R ², показывающий, какую часть (долю) сумма квадратов, обусловленная регрессией, СК_р составляет в полной сумме квадратов СК_п:

 

 

Чем ближе R ² к единице, тем лучше регрессия аппроксимирует экспериментальные данные, тем теснее наблюдения примыкают к линии регрессии. Если R ² = 0, то изменения отклика полностью обусловлены воздействием неучтенных факторов, и линия регрессии параллельна оси x -ов. В случае простой линейной регрессии коэффициент детерминации R ² равен квадрату коэффициента корреляции r ² .

Максимальное значение R²=1 может быть достигнуто только в случае, когда наблюдения проводились при различных значениях x-ов. Если же в данных имеются повторяющиеся опыты, то величина R² не может достичь единицы, как бы ни была хороша модель.

 

 

48. Доверительные интервалы для параметров простой линейной регрессии

Подобно тому как выборочное среднее - это оценка истинного среднего (среднего по совокупности), так и выборочные параметры уравнения регрессии a и b - не более чем оценки истинных коэффициентов регрессии. Разные выборки дают разные оценки среднего — точно так же разные выборки будут давать разные оценки коэффициентов регрессии.

В предположении, что закон распределения ошибок ε_i описываются нормальным законом, оценка параметра b будет иметь нормальное распределение с параметрами:

 

Поскольку оценка параметра a представляет собой линейную комбинацию независимых нормально распределенных величин, она также будет иметь нормальное распределение с математическим ожиданием и дисперсией:

 

При этом (1 − α) доверительный интервал для оценки дисперсии σ ² с учетом того, что отношение (n −2) s ₀²/ σ ² распределено по закону χ ² с числом степеней свободы n −2 будет определяться выражением

 

49. Доверительные интервалы для линии регрессии. Доверительный интервал для значений зависимой переменной

Обычно мы не знаем истинных величин коэффициентов регрессии а и b. Нам известны только их оценки. Иначе говоря, истинная прямая регрессии может пройти выше или ниже, быть более крутой или пологой, чем построенная по выборочным данным. Мы вычислили доверительные интервалы для коэффициентов регрессии. Можно вычислить доверительную область и для самой линии регрессии.

Пусть для простой линейной регрессии нужно построить (1− α) доверительный интервал для математического ожидания отклика Y при значении х = х ₀. Это математическое ожидание равно a + bх ₀, а его оценка

 

 

Поскольку, то.

Полученная оценка математического ожидания представляет собой линейную комбинацию некоррелированных нормально распределенных величин и поэтому тоже имеет нормальное распределение с центром в точке истинного значения условного математического ожидания и дисперсией

 

Поэтому доверительный интервал для линии регрессии при каждом значении x ₀ можно представить в виде

 

 

Как видно минимальный доверительный интервал получается при x ₀ равному среднему значению и возрастает по мере того, как x ₀ “удаляется” от среднего в любом направлении.

Для получения множества совместных доверительных интервалов, пригодных для всей функции регрессии, на всем ее протяжении, в приведенное выше выражении вместо t_{n −2, α /2} необходимо подставить