Основной принцип проверки статистической гипотезы

Основной принцип проверки статистической гипотезы следующий. Сначала нужно сформулировать нулевую гипотезу и альтернативную ей , потом по справочникам или руководствам подобрать подходящий статистический критерий. Затем вычислить значение этого критерия для конкретной анализируемой ситуации, и определить, какой области принадлежит это вычисленное значение критерия. Если вычисленное значение критерия принадлежит критической области, то нулевую гипотезу отвергают, отклоняют. Если вычисленное значение критерия принадлежит области принятия гипотезы, то утверждают, что нет оснований отклонить нулевую гипотезу, фактически, утверждают, что её принимают.

Проверка статистической гипотезы сводится к принятию решения, следует ли принять нулевую гипотезу или отклонить ее в пользу альтернативной. При этом нулевая гипотеза (постулирующая отсутствие различий) выступает в качестве утверждения, которое считается справедливым до тех пор, пока не будут найдены противоречащие ему факты.

При проверке статистических критериев с той или иной вероятностью могут совершаться ошибки. Ошибкой первого рода называется такая, при совершении которой в результате проверки отвергают правильную статистическую гипотезу. Вероятность ошибки первого рода называется уровнем значимости, обычно его обозначают буквой . Как правило, уровень значимости задаётся исследователями. Наиболее часто в социальных и психологических исследованиях используется уровень значимости 0,9, 0,95 или 0,99.

Ошибкой второго рода называется такая, при совершении которой в результате проверки принимается нулевая гипотеза в ситуации, когда она неверна. Вероятность ошибки второго рода обычно обозначается буквой . Вероятность несовершения ошибки второго рода равна . Эта вероятность называется мощностью статистического критерия. Чем выше вероятность , тем более вероятно, что случайно полученное значение статистического критерия попадёт в критическую область и нулевая гипотеза будет отклонена. Чем выше эта вероятность, тем выше мощность статистического критерия. Иначе говоря, если при высокой мощности статистического критерия удалось обеспечить попадание его значения в область допустимых, то подтверждение нулевой гипотезы является максимально возможным для этого критерия неслучайным событием. Следовательно, выводу о подтверждении нулевой гипотезы можно доверять. Поэтому при прочих равных следует выбирать статистические критерии с максимально возможными мощностями.

Нулевая и альтернативная гипотезы принимаются на основе одного и того же правила, которое называется критерием нулевой гипотезы. Однако условия их принятия принципиально асимметричны. Альтернативная гипотеза принимается в том случае, когда нулевая не подтверждается и должна быть отклонена. Решение о принятии альтернативной гипотезы происходит при зафиксированном значении вероятности ошибки первого рода α. Нулевая гипотеза принимается во всех случаях, когда ее нельзя отклонить. Однако при принятии нулевой гипотезы необходимо оценивать вероятность правильности такого решения (1 - β), которая называется мощностью критерия. Критерий нулевой гипотезы строится на основе специально подобранной численной функции, которая вычисляется по выборке и называется статистикой критерия.

 

Возможные решения при проверке гипотез (в скобках указаны вероятности этих решений)
В ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ	КАКОЕ ПРИНЯТО РЕШЕНИЕ на основе анализа выборки:
Что есть реально:	Принять	Отвергнуть
верна	Правильное принятие (1 - α)	Ошибка I рода (α)
не верна	Ошибка II рода (β)	Правильное отклонение (1 - β)

 

Геометрическая иллюстрация областей принятия и отклонения нулевой гипотезы приведена на Рис. 1. График на этом рисунке – это график функции плотности вероятности статистического критерия , который используется для принятия решения. Площади под этой кривой – это вероятности соответствующих событий: принятия или отклонения нулевой гипотезы .

 

Рис.1. Области принятия и отклонения нулевой гипотезы.

 

Предположим, что истинное значение оцениваемого параметра равно . Если рассматривать гипотезу о равенстве , то при проверке этой гипотезы необходимо оценить, насколько велико должно быть различие между и , чтобы эту гипотезу отвергнуть. Ответить на данный вопрос можно в статистическом смысле, рассматривая вероятность достижения некоторой заданной разности между и на основе выборочного распределения параметра .

Целесообразно полагать одинаковыми значения вероятности выхода параметра за нижний и верхний пределы интервала, чтобы эти внешние интервалы были симметричными. Такое допущение во многих случаях позволяет минимизировать доверительный интервал, т.е. повысить мощность критерия проверки. Суммарная вероятность того, что параметр выйдет за пределы интервала с границами и , составляет величину . Эту величину следует выбрать настолько малой, чтобы выход за пределы интервала был маловероятен. Если оценка параметра попала в заданный интервал, то в таком случае нет оснований подвергать сомнению проверяемую гипотезу, следовательно, гипотезу равенства можно принять. Но если после получения выборки окажется, что оценка выходит за установленные пределы, то в этом случае есть серьезные основания отвергнуть гипотезу . Отсюда следует, что вероятность допустить ошибку первого рода равна , т.е. равна уровню значимости критерия.

Если предположить, что истинное значение параметра в действительности сдвинуто и равно , то согласно гипотезе о равенстве – вероятность того, что оценка параметра попадет в область принятия гипотезы, составит , как видно из Рис. 2.

 

 

Рис.2. Что происходит при сдвиге реального значения статистического критерия.

 

При заданном объеме выборки вероятность совершения ошибки первого рода можно уменьшить, снижая уровень значимости . Однако при этом увеличивается вероятность ошибки второго рода , т.е. снижается мощность критерия. Аналогичные рассуждения можно провести для случая, когда истинное значение параметра равно .

Единственный способ уменьшить обе вероятности состоит в увеличении объема выборки. В таком случае график плотности распределения оценки параметра становится более "узким". При выборе критической области руководствуются правилом Неймана – Пирсона: следует так выбирать критическую область, чтобы вероятность была мала, если гипотеза верна, и велика в противном случае. Однако выбор конкретного значения относительно произволен. Употребительные значения лежат в пределах от 0,001 до 0,2. В целях упрощения ручных расчетов составлены таблицы интервалов с границами и для типовых значений и различных способов построения критерия.

При выборе уровня значимости необходимо учитывать мощность критерия при альтернативной гипотезе. Иногда большая мощность критерия оказывается существеннее малого уровня значимости, и его значение выбирают относительно большим, например 0,2. Такой выбор оправдан, если последствия ошибок второго рода более существенны, чем ошибок первого рода. Например, если отвергнуто правильное решение "продолжить работу пользователей с текущими паролями", то ошибка первого рода приведет к некоторой задержке в нормальном функционировании системы, связанной со сменой паролей. Если же принято решения не менять пароли, несмотря на опасность несанкционированного доступа посторонних лиц к информации, то эта ошибка повлечет более серьезные последствия.

В зависимости от сущности проверяемой гипотезы и используемых мер расхождения оценки характеристики от ее теоретического значения применяют различные критерии. Но процедура проверки нулевой гипотезы против альтернативной гипотезы остаётся всегда одинаковой и состоит в следующем:

1. для выборки по соответствующей формуле вычисляется значение статистики выбранного для проверки гипотезы критерия ;

2. выбирается уровень значимости ;

3. определяется критическая область, границы которой зависят от свойств критерия, выбранного уровня значимости, а также вида альтернативной гипотезы (односторонней, двусторонней);

4. принимается решение: если вычисленное значение статистики попадает в критическую область, нулевая гипотеза отклоняется, и принимается альтернативная. Если нет - принимается нулевая гипотеза, после чего по специальным формулам определяется мощность критерия (вероятность того, что решение о принятии нулевой гипотезы не является ошибочным).

Формулы и таблицы для вычисления критериев, определения их мощности и критических областей можно найти в учебной и справочной статистической литературе.