Корреляция случайных величин

Прямое токование термина корреляция — стохастическая, вероятная, возможная связь между двумя (парная) или несколькими (множественная) случайными величинами.

Выше говорилось о том, что если для двух СВ (X и Y) имеет место равенство P(XY) =P(X) P(Y), то величины X и Y считаются независимыми. Ну, а если это не так!?

Ведь всегда важен вопрос — а как сильно зависит одна СВ от другой? И дело в не присущем людям стремлении анализировать что-либо обязательно в числовом измерении. Уже понятно, что системный анализ означает непрерывные вы ЧИСЛ ения, что использование компьютера вынуждает нас работать с числами, а не понятиями.

Для числовой оценки возможной связи между двумя случайными величинами: Y (со средним M_y и среднеквадратичным отклонением S_y) и — X (со средним M_x и среднеквадратичным отклонением S_x) принято использовать так называемый коэффициент корреляции

R_xy= . {2 - 11}

Этот коэффициент может принимать значения от -1 до +1 — в зависимости от тесноты связи между данными случайными величинами.

Если коэффициент корреляции равен нулю, то X и Y называют некоррелированными. Считать их независимыми обычно нет оснований — оказывается, что существуют такие, как правило — нелинейные связи величин, при которых R_xy = 0, хотя величины зависят друг от друга. Обратное всегда верно — если величины независимы, то R_xy = 0. Но, если модуль R_xy = 1, то есть все основания предполагать наличие линейной связи между Y и X. Именно поэтому часто говорят о линейной корреляции при использовании такого способа оценки связи между СВ.

Отметим еще один способ оценки корреляционной связи двух случайных величин — если просуммировать произведения отклонений каждой из них от своего среднего значения, то полученную величину —

С_xy= S (X - M_x) · (Y - M_y)

или ковариацию величин X и Y отличает от коэффициента корреляции два показателя: во-первых, усреднение (деление на число наблюдений или пар X, Y) и, во-вторых, нормирование путем деления на соответствующие среднеквадратичные отклонения.

Такая оценка связей между случайными величинами в сложной системе является одним из начальных этапов системного анализа, поэтому уже здесь во всей остроте встает вопрос о доверии к выводу о наличии или отсутствии связей между двумя СВ.

В современных методах системного анализа обычно поступают так. По найденному значению R вычисляют вспомогательную величину:

W = 0.5 Ln[(1 + R)/(1-R)] {2 - 12}

и вопрос о доверии к коэффициенту корреляции сводят к доверительным интервалам для случайной величины W, которые определяются стандартными таблицами или формулами.

В отдельных случаях системного анализа приходится решать вопрос о связях нескольких (более 2) случайных величин или вопрос о множественной корреляции.

Пусть X, Y и Z - случайные величины, по наблюдениям над которыми мы установили их средние M_x, M_y, Mz и среднеквадратичные отклонения S_x, S_y, S_z.

Тогда можно найти парные коэффициенты корреляции R_xy, R_xz, R_yz по приведенной выше формуле. Но этого явно недостаточно - ведь мы на каждом из трех этапов попросту забывали о наличии третьей случайной величины! Поэтому в случаях множественного корреляционного анализа иногда требуется отыскивать т. н. частные коэффициенты корреляции — например, оценка виляния Z на связь между X и Y производится с помощью коэффициента

R_xy.z = {2 - 13}

И, наконец, можно поставить вопрос — а какова связь между данной СВ и совокупностью остальных? Ответ на такие вопросы дают коэффициенты множественной корреляции R_x.yz, R_y.zx, R_z.xy, формулы для вычисления которых построены по тем же принципам — учету связи одной из величин со всеми остальными в совокупности.

На сложности вычислений всех описанных показателей корреляционных связей можно не обращать особого внимания - программы для их расчета достаточно просты и имеются в готовом виде во многих ППП современных компьютеров.

Достаточно понять главное — если при формальном описании элемента сложной системы, совокупности таких элементов в виде подсистемы или, наконец, системы в целом, мы рассматриваем связи между отдельными ее частями, — то степень тесноты этой связи в виде влияния одной СВ на другую можно и нужно оценивать на уровне корреляции.

В заключение заметим еще одно — во всех случаях системного анализа на корреляционном уровне обе случайные величины при парной корреляции или все при множественной считаются "равноправными" — т. е. речь идет о взаимном влиянии СВ друг на друга.

Так бывает далеко не всегда - очень часто вопрос о связях Y и X ставится в иной плоскости — одна из величин является зависимой (функцией) от другой (аргумента).

Линейная регрессия

В тех случаях, когда из природы процессов в системе или из данных наблюдений над ней следует вывод о нормальном законе распределения двух СВ - Y и X, из которых одна является независимой, т. е. Y является функцией X, то возникает соблазн определить такую зависимость “формульно”, аналитически.

В случае успеха нам будет намного проще вести системный анализ — особенно для элементов системы типа "вход-выход”. Конечно, наиболее заманчивой является перспектива линейной зависимости типа Y = a + b · X.

Подобная задача носит название задачи регрессионного анализа и предполагает следующий способ решения.

Выдвигается следующая гипотеза:

H₀: случайная величина Y при фиксированном значении величины X распределена нормально с математическим ожиданием

M_y = a + b·X и дисперсией D_y, не зависящей от X. {2 - 14}

При наличии результатов наблюдений над парами X_i и Y_i предварительно вычисляются средние значения M_y и M_x, а затем производится оценка коэффициента b в виде

b = = R_xy {2 - 15}

что следует из определения коэффициента корреляции {2 - 11}.

После этого вычисляется оценка для a в виде

a = M_y - b M_X {2 - 16}

и производится проверка значимости полученных результатов. Таким образом, регрессионный анализ является мощным, хотя и далеко не всегда допустимым расширением корреляционного анализа, решая всё ту же задачу оценки связей в сложной системе.