Оценка результатов — суммарная оценка

С политической точки зрения предварительная оценка менее опасна, чем суммарная оценка, представляющая собой общую оценку эффективности программы. Предварительная оценка направлена на усовершенствование программы и вряд ли поставит под вопрос само ее существование. Суммарная оценка вполне может это сделать. Если программа неэффективна, то зачем продолжать ее реализацию и платить ее руководителю и персоналу (понимаете, что я имел в виду, называя такую оценку «опасной»)? По мнению Сикреста и Фигередо (Sechrest & Figueredo, 1993):

Суммарная оценка и даже причина се проведения ставят под сомнение само существование организаций. Предварительная оценка, наоборот, просто отвечает на вопрос «Как можно сделать лучше?», практически не касаясь вопроса «Приносим ли мы вообще какую-нибудь пользу?» (р. 661).

Несмотря на эти политические трудности, суммарная оценка является ядром процесса оценки и важнейшей особенностью всех программ, имеющих федеральное финансирование. Любая организация, собирающаяся потратить средства, полученные от сбора налогов, на разработку программы, обязана показать, что деньги будут потрачены с пользой.

В действительности суммарная оценка подразумевает применение методов, с которыми вы уже успели познакомиться, а в особенности подходов, связанных с квазиэкспериментальными планами. Но иногда можно провести более точный эксперимент с использованием случайного распределения, особенно при оценке программы, на которую рассчитывают больше людей, чем существует возможностей. В таком случае случайное распределение, проводящееся в форме лотереи (случайные победители становятся участниками программы, а остальные записываются в лист ожидания), — это не просто методологический идеал, а единственная справедливая процедура.

Исследователи, проводящие оценку программы, иногда сталкиваются с вопросом о том, как объяснить то, что между экспериментальной и контрольной группами не обнаружено значимых различий. На языке статистики это означает «невозможность исключить Н₀». Такой результат может оказаться весьма трудным для интерпретации. Вероятно, различий просто не существует, но всегда есть возможность совершения ошибки 2-го рода (см. главу 4), особенно если измерительные инструменты не слишком точны или надежны. Программа может иметь небольшой, но важный эффект, но в ходе анализа обнаружить его не удастся.

Хотя невозможность обнаружить различия может вызвать проблемы, большинство исследователей считают, что такой результат (особенно если его удалось воспроизвести) дает важную информацию, необходимую для принятия решения, особенно в случае прикладных исследований. Например, человек, выступающий за продолжение проведения новой программы, обязан показать, чем эта программа лучше других, уже существующих. Если не будут показаны различия между новой программой и уже существующей, то новую программу стоит прекратить, особенно если она требует большего финансирования. Как указали Итон и Сикрест (Yeaton & Sechrest, 1986), это может стать вопросом жизни и смерти. Они привели в пример исследование, сравнивающее виды лечения рака груди, различающиеся степенью хирургического вмешательства. Процент выживших женщин, перенесших минимальные операции, значимо не отличался от процента выживших из числа подвергшихся полной мастэктомии. Такой результат является примером «невозможности исключить Н₀». Стоит ли проигнорировать его на том основании, что не было обнаружено значимых различий? Конечно, нет. Если нужный результат достигается при менее травмирующей процедуре лечения, зачем делать более радикальные шаги? Конечно, уверенность в правильности решения, принятого на основании отсутствия различий, непосредственно зависит от регулярности возможного воспроизведения данного открытия. Рекомендации об использовании минимального хирургического вмешательства могут быть сделаны только после многократного подтверждения отсутствия различий между умеренными и радикальными процедурами.

«Невозможность исключить Н₀» может помочь правильно оценить утверждения защитников новой программы. Человек, утверждающий, что обязательное тюремное заключение после третьего уголовного преступления заметно снизит число серьезных преступлений, обязан продемонстрировать наличие подобного эффекта. Результаты рассмотренного ранее исследования этого вопроса, проведенного по плану с прерванной временной последовательностью (Stolzenberg & D'Alessio, 1997), в ходе которого не было обнаружено никакого влияния программы «трех ударов» на уровень преступности, важны, несмотря на то что «различия не были обнаружены». Воспроизведение этих результатов привело бы к серьезным вопросам о значении закона об обязательном тюремном заключении.

Пример «невозможности исключить Н₀» говорит о том, что отсутствие различий очень важно, когда при принятии решения учитываются возможные затраты на проведение программы. Таким образом, мы подошли к последнему виду оценки программ.