Классические исследования —реформы как эксперименты

Статья Дональда Кэмпбелла «Реформы как эксперименты», написанная им в 1969 г., примечательна по трем причинам. Во-первых, в ней убедительно доказывается, что нам необходимо выработать экспериментальный подход по отношению к социальным реформам. В самом начале статьи Кэмпбелл выступил в защиту применения научного образа мышления, написав, что «мы должны быть готовы к экспериментальной проверке социальных реформ, проверке, в ходе которой мы испытываем новые программы, направленные на решение особых социальных проблем, узнаем.эффективны ли эти программы, и на основании этого оставляем без изменений, копируем, модифицируем или отвергаем их» (р. 409). Во-вторых, в статье Кэмпбелла было описано несколько исследований, ставших классическими в области оценки программ, и явившихся прототипами других исследований с использованием таких планов, как план с прерванной временной последовательностью. Вероятно, самым известным примером является его описание исследование по оценке мер, направленных на снижение скорости движения автомобилей в штате Коннектикут (Campbell & Ross, 1968). 1955 г. был годом рекордного количества смертей в автокатастрофах (324) и губернатор штата Коннектикут Абрахам Рибикофф ввел ограничения скорости, разумно предположив, что скорость движения и количество смертей в автокатастрофах коррелируют. В следующем году количество смертей упало до 284. Для Рибикоффа этого было достаточно, чтобы заявить, что на основании «сохранения 40 жизней в 1956 г. и снижения количества похоронных маршей... на 12,3% по сравнению с 1955 г. мы можем сказать, что эта программа действительно стоящая» (процитировано по Campbell, 1969, р. 412). Но действительно ли это так?

Я надеюсь, вы уже подумали о том, что здесь возможны и другие объяснения снижения уровня смертности. Например, мог сказаться фактор истории. Возможно, в 1956 г. погода была лучше, а дороги суше. Еще более вероятно влияние регрессии: 324 - это хороший пример максимальной оценки, вслед за которой обычно проходит регрессия к среднему. И действительно, Кэмпбелл указал, что на полученных в Коннектинуте результатах сказалась регрессия и что «в литературе, посвященной экспериментальным социальным реформам, регрессия - это, вероятно, наиболее часто встречающийся вид самомистификации» (р. 414). Это характерно для данного вида исследований, так как меры, подобные снижению допустимого предела скоро-

сти, часто принимаются сразу после того, как происходят особо трагические события. Теория вероятности говорит нам о том, что в следующем году дела не будут обстоять так же плохо. Только ли регрессия повлияла на полученные результаты? Вероятно, нет. Проведя исследование по плану с прерванной временной последовательностью и неэквивалентной контрольной группой (близлежащие штаты, в которых не было принято мер по снижению скорости автомобилей), Кэмпбелл сделал вывод, что эти меры имели некоторый эффект, хотя и не такой значительный, как думал губернатор. Результаты этого исследования представлены на рис. 10.10.

Рис. 10.10. Введение ограничения скорости в Коннектикуте - классический пример плана с прерванно

временной последовательностью и неэквивалентной контрольной группой

(из Campbell, 1969)

Третья причина особой важности статьи Кэмпбелла заключается в том, что она дает представление о политической реальности исследований, посвященных социальным вопросам. Политики часто предлагают программы, в эффективность которых они просто верят. Они говорят о необходимости тщательной оценки таких программ, но не слишком обрадуются, узнав о получении отрицательных результатов. Ведь поддержав программу, они оказываются заинтересованы в ее успехе и продолжении, особенно если она приносит пользу родному штату или округу этого политика. По этой причине политики и администрация, принятые на работу для проведения конкретной программы, редко настаивают на скрупулезной оценке и склонны довольствоваться положительными результатами, даже если они получены в ходе плохо разработанных исследований. Например, губернатору Рибикоффу было достаточно информации о смертности в результате автокатастроф, полученной непосредственно до и после принятия мер по ограничению скорости.

Кэмпбелл рекомендует изменить отношение к этому вопросу и сместить акцент с важности конкретной программы на важность проблемы. Это заставит политиков и администрацию думать о программах как о попытках экспериментального решения проблем. В таком случае, прежде чем выбрать одну эффективную, будут испытаны несколько различных программ. Как выразился Кэмпбелл в заключительной части своей статьи: «Директивная администрация настолько заранее уверена в эффективности реформ, что просто не может позволить себе честную оценку... Экспериментирующая администрация подтверждает эффективность реформ исходя из важности проблемы, а не на основании уверенности в своей правоте и готова рассмотреть другие возможные решения этой проблемы, если первое оказывается неудовлетворительным. Поэтому она не боится строгого анализа проводимых реформ»(1969, р. 428; курсив автора).

Планирование программ — анализ потребности

Учреждение начинает использовать определенную программу, так как его руководители находят, что в этом есть потребность. Как определяется эта потребность? Очевидно, что мнения руководства об осмысленности применения программы не достаточно. Программа физических упражнений для пенсионеров кажется весьма подходящей, но если никто не захочет в ней участвовать, то время и деньги будут потрачены зря. Прежде чем планировать любой проект, необходимо провести анализ потребности.

Анализ потребности — это набор процедур, с помощью которых определяется, существует ли достаточно большая популяция, которой будет полезна предложенная программа, может ли данная программа решить строго определенную проблему и будут ли члены этой популяции пользоваться программой. Существуют различные методы оценки необходимости, и очень важно прибегнуть по крайней мере к нескольким из них, поскольку необходимость очень легко переоценить. Один из поводов для осторожности — переоценка по запоминаемости, с которой вы познакомились в главе 1 при обсуждении типов познания. События, попадающие на первые страницы, привлекают наше внимание и лучше запоминаются. Поскольку они так легко закрепляются в памяти, мы склонны переоценивать частоту их появления. Достаточно было широкой огласки пары историй о детях, оставленных взявшими отпуск родителями, чтобы раздался звонок с предложением о проведении новой программы для решения этой весьма распространенной проблемы. Также потребность в новой программе может переоцениваться людьми, которым выгодно ее существование (она сохраняет им рабочие места).

Как указали Позавак и Кэри (Posavac & Carey, 1997), есть несколько способов определить потенциальную необходимость в программе.

• Данные переписи населения. Если предлагаемая вами программа предназначена для пожилых людей, а в данном сообществе живут лишь несколько пенсионеров, то очевидно, что программа будет мало полезной. Данные переписи населения (www.census.gov) дадут вам базовую демографическую информацию о количестве людей, соответствующих различным категориям. Кроме того, эта информация достаточно подробна, чтобы вы могли определить такие показатели, как количество матерей-одиночек в возрасте до 21 года, количество людей с различными физическими или психическими нарушениями или число пожилых людей, находящихся за чертой бедности. Кроме данных переписи местные организации могут иметь определенные архивные данные. Например, руководство корпорации, которая планирует организовать детский сад при производстве, может оценить количество сотрудников, имеющих маленьких детей. Также важную информацию о необходимости проведения программы могут дать опубликованные отчеты об исследованиях. Если исследование показало устойчивое снижение уровня интеллекта детей, живущих в нищете, то это говорит о необходимости программы по улучшению экономических условий жизни.

• Изучение доступных услуг. Нет необходимости начинать программу доставки пищи на дом инвалидам, если такая программа уже успешно действует. Таким образом, один из очевидных шагов в процессе анализа необходимости — это составление перечня существующих услуг, включая информацию о том, кто предоставляет услуги, какие именно услуги предоставляются, и оценку количества людей, которым предоставляются данные услуги. К примеру, вы можете обнаружить, что действующая программа доставки пищи проводится организацией, имеющей слишком большое финансирование и небольшой штат сотрудников, а это приводит к тому, что охвачено не более 10% нуждающихся. В таком случае разработка второй программы может оказаться весьма полезной.

• Изучение потенциальных пользователей. Третья стратегия анализа необходимости заключается в проведении опроса общественности: либо высоко репрезентативной выборки, либо целевой группы, определяемой по данным переписи населения. В ходе опроса можно выяснить мнение участников о необходимости проведения данной программы. Но более важно, что опрос может помочь оценить количество людей, которые действительно будут участвовать в предлагаемой программе.

• Ключевые информаторы, фокус-группы и общие собрания. Ключевой информатор — это человек, имеющий опыт и специальные знания о существующей проблеме, которая иначе не станет известна исследователю (Gilchrist & Williams, 1999). Это могут быть общественные активисты, священники, люди, входящие в правление различных социальных служб, и т. д. Иногда они могут стоять слишком близко к проблеме, чтобы оценивать ее реалистично, но в целом они представляют собой очень важный источник информации. Фокус-группа — небольшая (обычно 7-9 человек) группа людей, отвечающих на ряд вопросов, посвященных определенной теме, например необходимости в конкретной программе. Изучение мнения фокус-группы часто проводится после опроса общественности; предварительно это делают, чтобы уточнить вопросы, используемые при опросе общественного мнения. Члены фокус-групп обычно сходны по возрасту и социоэкономическому статусу, что делает группу в целом подходящей для выполнения определенного задания. Кроме того, полезную информацию иногда можно получить на общих собраниях — открытых встречах, куда приглашаются все члены сообщества, в котором хотят ввести определенную программу ключевые информаторы. Фокус-группы и общие собрания могут очень помочь в сборе информации, но исследователям необходимо с осторожностью подойти к этому занятию и не переоценить слова речистых информаторов, членов фокус-групп и лидеров общих собраний.

В последние два десятилетия во многих корпорациях распространилось мнение о том, что прибыль имеет связь со здоровьем рабочих. Поэтому компании принялись разрабатывать, реализовывать и проводить оценку программ по охране здоровья рабочих. В нижеследующем примере описывается крупномасштабная программа, которая началась с тщательного анализа потребности.

Пример 26. Оценка потребности

В компании «Дюпон» перед началом проведения программы, призванной улучшить здоровье рабочих, был проведен анализ потребности (Bertera, 1990). Программа предусматривала введение ряда изменений, касающихся 110 000 сотрудников, работающих на 100 заводах фирмы. Было ясно, что затраты на проведение такой масштабной программы будут огромны, а поэтому было важно четко продемонстрировать потребность в ней.

Проведенная компанией «Дюпон» оценка потребности включала анализ существующей информации о частоте различных видов заболеваний сотрудников фирмы, о причинах смерти рабочих, а также об отсутствии на рабочих местах и нетрудоспособности сотрудников за последние 15 лет. Был получен один непредвиденный результат: обнаружилось, что сотрудники, выполняющие самую низкооплачиваемую работу, имели самые высокие показатели по всем основным категориям заболеваний. Это открытие показало исследователям, что данная группа рабочих требует особого внимания.

Еще одно свидетельство необходимости программы по охране здоровья было получено при изучении действующих в фирме программ по улучшению здоровья сотрудников. Исследование выявило широкий набор программ, проводимых медицинским персоналом заводов фирмы «Дюпон», в том числе программы по снижению веса, антиникотиновые и антистрессовые программы и др. Однако в основном они заключались в проведении лекций и показе фильмов без последующей работы с сотрудниками и без систематической оценки эффективности этих программ. Также был проведен опрос сотрудников, чтобы выявить их знания об охране здоровья, оценку своей деятельности по оздоровлению, готовность изменить привычки питания и предпочтения по отношению к различным видам программ по охране здоровья.

На основании полученной информации в фирме разработали обширную серию программ, направленных на улучшение здоровья рабочих. В нее вошли тренинго-вые программы, далеко превосходящие рамки проведения однократных лекций, включающие создание местных комитетов по охране здоровья, изменение обстановки на рабочих местах (например, удаление автоматов по продаже сигарет). Также все рабочие прошли опрос о риске для здоровья. По результатам опроса была составлена оценка риска, включившая в себя индивидуальные планы по улучшению здоровья. Эта оценка вошла в личные дела служащих.

После того как был окончен анализ потребности и принято решение о продолжении начатой работы, были разработаны детали программы и начата ее реализация. В ходе проведения программы было предпринят еще один вид оценки.

Наблюдение за программами — предварительная оценка

Программы нередко продолжаются довольно долгое время. С методологической точки зрения может казаться правильным ждать в течение года до проведения заключительной оценки эффективности программы, но что если уже в первый месяц ясно, что существуют проблемы, которые можно легко решить? Почему бы вместо ожидания окончания программы тщательно не понаблюдать за ней, пока

она находится в процессе реализации? Такое наблюдение называется предварительной оценкой. Согласно одному исследованию (Sechrest & Figueredo, 1993), она представляет собой наиболее часто встречаемый вид оценки программ.

В предварительную оценку входит несколько компонентов. Во-первых, она показывает, соответствует ли плану реализация программы. Предположим, к примеру, что местная организация, создавшая «горячую линию», решила разработать программу помощи детям, которые остаются одни после школы, так как их родители работают. Одна из очень важных задач — это сделать номер телефона горячей линии доступным и хорошо известным всем. В ходе предварительной оценки будет выявлено, помещена ли в надлежащее время реклама в газетах и были ли разосланы письма с наклейками, на которых указан телефонный номер горячей линии, как это было запланировано. Кроме того, можно выборочно обзвонить жителей и спросить, слышали ли они о новой горячей линии для детей. Нет никакого смысла проводить оценку эффективности программы, если люди даже не слышали о ней.

Вторая функция предварительной оценки — обеспечить получение данных о том, как используется данная программа. Исследователи позаимствовали название из области бухгалтерии и иногда называют такую процедуру программным аудитом. Так же как финансовый аудитор ищет случаи несоответствия того, как должен проводиться учет, с тем, как он в действительности проводится, аудитор программы изучает, соответствует ли реализуемая программа описанию, представленному в документации данной организации.

Заключительная часть предварительной оценки — это пилотажное исследование. Реализацию программы и начальные результаты можно оценить на небольшом примере, прежде чем проводить ее полномасштабное внедрение. Так и было сделано в ходе исследования в фирме «Дюпон». Пилотажное исследование на одном из заводов показало значимое снижение количество дней на больничном после введения программы по улучшению здоровья. Это воодушевило авторов программы и привело к ее реализации на других заводах (Bertera, 1990).