Число экспериментальных групп

Если только полевые испытания не запланированы как последовательное испытание или оптимизация по симплексу, необходимо еще до начала исследования определить/спланировать число экспериментальных групп.

В последовательных исследованиях и при оптимизации это невозможно, поскольку решение принимается после получения результатов каждой из серий экспериментов, и мы не знаем, когда же будет, достигнут желаемый результат.

При исследованиях подобного типа мы прекращаем испытания, как только достигнут желаемый/значимый параметр, сформулированный до начала исследования.

Аналогичным образом испытания могут быть прерваны, если мы видим, что значимой разницы между группой, подвергаемой обработке, и интактной группой нет.

В обычных случаях главный вывод полевого исследования выражается а дихотомической форме (например, лечение признается успешным или безуспешным) соответственно, и результаты статистической проверки также носят дихотомический характер (результат признается статистически значимым, т.е. неслучайным, либо статистически незначимым, т.е. случайным).

Существует четыре варианта соотношений между выводами исследователя и действительностью, которые иллюстрирует таблица формата 2x2 (табл. 5.3).

При проведении полевых испытаний следует исходить из того, что испытуемая обработка обеспечивает достаточно выраженный эффект, чтобы ее выявить при наблюдении за опытными и контрольными животными/группами, и что эффект подобной обработки имеет выраженный биологический и/или экономический эффект для референтной популяции.

В полевых испытаниях наблюдаемый эффект (различие результатов, полученное на обработанной и необработанной группах) используется с тем, чтобы выявить истинный эффект обработки (наличие такого эффекта признается не после разового испытания, а после проведения серии полевых испытаний).

Случайные вариации присущи любым наблюдениям, поэтому правильно искать ответ не на вопрос: случайны или нет полученные результаты, а какова вероятность того, что результаты конкретного исследования объясняются случайным стечением обстоятельств. Вероятность ошибки, обусловленной случайной вариацией, оценивается методами статистики.

Эти методы позволяют рассчитать вероятность того, что конкретные результаты получены исключительно за счет случайности. При этом использование конкретных статистических критериев помогает оценить степень приближенности наблюдаемого различия между группами к истинному.

 

Таблица 5.3

 

Соотношение между заключением статистического теста и истинным различием двух групп: опытной и контрольной (но Fletcher ct al., 1996)

 

 

	Истинное различие
Присутствует	Отсутствует
Результат статистического теста (вывод исследователя)	Различие значимо	Верно	Ошибка 1-го рода (альфа ошибка)
Различие незначимо	Ошибка 2-го рода (бета ошибка)	Верно

Из четырех выводов возможны два правильных ответа (а и d) и два ошибочных (в и с).

Правильные ответы: а - вывод исследователя о различии и истинное различие присутствует:

сI — вывод об отсутствии различий исследователя соответствует реальному отсутствию различий.

Ошибочные ответы: Ь - ложноположительное заключение. Исследователь делает вывод о том, что оцениваемое воздействие эффективно, хотя в действительности различие отсутствует. с - ложноотрицательное заключение. Исследователь делает вывод о том. что испытуемое воздействие неэффективно, хотя а действительности это не так.

 

Теоретическое рассмотрение вопроса о наличии действительного эффекта обработки при рассмотрении результатов полевых испытаний указывает на подверженность нашего решения ошибке I-го и 2-го рода.

Ошибка 1-го рода заключается в том, что мы по результатам полевых испытаний делаем вывод, что обработка эффективна, что на самом деле не так.

Ошибка 2-го рода состоит в том, что по результатам полевых испытаний мы утверждаем, что различий между обработанными и необработанными группами нет, хотя на самом деле эффект обработки имеется.

Если вероятность ошибки 2-го рода вычесть из 1, то полученный показатель является мерой «мощности» эксперимента, который указывает на вероятность того, что действительный эффект обработки был идентифицирован правильно.

Аналогичным образом, при вычитании из 1 ошибки 1-го рода мы получаем величину достоверности. Так, при вероятности ошибки 1-го рода в 5% (0,05) достоверность составит 95% (0,95).

Достоверность указывает на вероятность того, что полученные в испытаниях результаты не отличаются между собой в реальности. Как правило, исследователи более обеспокоены ошибкой 1-го рода, чем 2- го рода и в медико-биологических исследованиях считают приемлемой вероятность в 5% или меньше.

При отсутствии какой-либо информации о возможной ошибке 1-го или 2-го рода принимают вероятность ошибки 2-го рода в четыре раза выше, чем ошибки 1-го рода (т.е. <20%).

Однако, если это выполнимо, величина ошибок обоего рода должна быть оценена в понятных величинах: биологических, экономических, логических.

Причина, по которой мы обсуждаем эти ошибки, заключена в том, что их необходимо принимать в расчет при определении объема выборки (числа экспериментальных единиц) в полевых исследованиях. Избыточное число объектов в выборке не только удорожает проведение исследования, но и ведеч при поверхностном анализе к признанию значимости несущественных эффектов.

В то же время, малая выборка снижает мощность проводимого исследования (т.е. снижает вероятность выявления биологически значимого эффекта).

Вопрос об объеме выборки зависит от четырех характеристик:

-величины эффекта;

-альфа-ошибки;

-бета-ошибки;

-природы данных.

Величина эффекта.В принципе можно пытаться искать различия любой величины, но при прочих равных условиях для выявления малых различий требуется большой объем выборки. Поэтому всегда следует отдавать предпочтение клинически или хозяйственно значимым эффектам.

Альфа-ошибка.Обычно в медико-биологических исследованиях используют уровень значимости в 0,05, а для особо важных параметров - н 0,01.

Бета-ошибка. Допустимые величины бета-ошибки составляют 0,20 по ряду причин, которые мы обсудим позже.

Природа данных. При качественных характеристиках исхода событий статистическая мощность исследования зависит от частоты событий. Чем больше число событий, тем выше статистическая мощность исследования для данного числа испытуемых.

При 50% превалентности болезни нам достаточно исследовать 4-5 животных из популяции от 10 животных до бесконечно большой, тогда как при 0,5% превалентности нам потребуется исследовать 10 из 10 животных, а для бесконечно большой популяции исследованию подлежит не менее 598 голов.

При количественных характеристиках исхода мощность исследования определяется величиной различий внутри каждой группы. Чем больше различие особей внутри группы, тем ниже статистическая мощность исследования и тем больше должен быть объем выборки.

Формулы расчета объема выборки мы рассмотрели в разделе 2. Следует, однако, учитывать то обстоятельство, что эти расчеты дают нам приблизительную величину, и при реальном проведении полевого исследования, когда мы имеем дело не с лабораторными, хорошо идентифицированными особями, а группами животных в условиях производства, объем выборки необходимо увеличивать в 4-5 раз.

Хотя практики с удовольствием воспринимают идею полевых испытаний, следует быть достаточно осторожным при их проведении и помнить, что одно-два крупномасштабных испытания ценнее и достовернее массы маломасштабных исследований.

Этому имеется два объяснения. Во- первых, при недостаточной выборке в маломасштабных исследованиях снижается мощность эксперимента, а, следовательно, чтобы не впадать в ошибку, мы чаще всего вынуждены признавать «различие между группами не­значимо», хотя на самом деле это наше исследование малоэффективно.

Во - вторых, при большом числе мелкомасштабных исследований, проводимых различными лицами, вероятность того, что хотя бы у одного из исследователей будут получены «значимые различия», притом, что на деле они отсутствуют, существенно выше, чем принимаемая нами величина в 5%.

Эта же проблема возникает и при анализе литературы, поскольку отрицательные результаты, как правило, не публикуются, а даже единичные положительные результаты с удовольствием воспринимаются и публикуются. Возникает так называемое публикационное смещение (publication bias).

 

Контрольные вопросы

1. Какими методами оценивается вероятность ошибки, обусловленной случайной вариацией?

2. В заключается ошибка 1-го рода?

3. В заключается ошибка 2-го рода?