Реальный эксперимент и «эксперимент полного соответствия»

Реальный эксперимент отличается как от эксперимента идеального, так и от самой реальности, которую он призван моделировать. Это отличие фиксируется таким понятием, как «внешняя валидность» психологического эксперимента.

Внешняя валидность определяет, в какой мере результаты, полученные в эксперименте, будут соответствовать жизненной ситуации, послужившей «первообразом» для эксперимента. Кроме того, внешняя валидность характеризует возможность обобщения, переноса результатов, полученных в эксперименте, на весь класс жизненных ситуаций, к которым принадлежит «первообразная», и налюбые другие.

Надо сказать, что внешняя валидность имеет особое значение на эмпирической стадии развития науки. В принципе возможны такие эксперименты, которые не соответствуют никаким реальным жизненным ситуациям, а служатлишьдля проверки гипотез, источником которых является развитая теория. В развитых науках стремятся избегать «прямого замыкания» экспериментальный результат - реальность, так как понятно, что эксперимент строится исходя из требований проверяемой теории, а не из требований соответствия реальности. Моделирование некоторых условий, например, в экспериментах по сенсорной депривации или выработке классических условных рефлексов не соответствует никакой жизненной реальности. При условии, если под реальностью понимать то, что было, а не то, что потенциально может быть. Поэтому многостраничные рассуждения такого солидного автора, как Готтсданкер, по поводу «экспериментов полного соответствия» или «экспериментов, улучшающих реальность», кажутся надуманными и архаичными.

Но нельзя отрицать значение «внешней валидности «для эксперимента, если учитывать общее состояние психологической науки, а не «передовой» край психологической теории.

Внешняя валидность иногда трактуется как характеристика эксперимента, определяющая возможность переноса (обобщения) результатов на различные времена, места, условия и группы людей (или животных). Однако возможность переноса является следствием двух причин: 1) соответствия условий эксперимента его «первообразной» жизненной ситуации («репрезентативность» эксперимента); 2) типичности самой «первообразной» ситуации для реальности («репрезентативность» ситуации). Выбранная для моделирования в эксперименте ситуация может быть совершенно нерепрезентативной с точки зрения жизни той группы испытуемых, которая участвует в эксперименте, или является редкой и нетипичной.

Внешняя валидность, как определяет ее Готтсданкер, влияет прежде всего на достоверность выводов, которую дают результаты реального эксперимента, по сравнению с экспериментом полного соответствия. Для достижения высокой внешней валидности нужно, чтобы уровни дополнительных экспериментальных переменных соответствовали их уровням в реальности. Эксперимент, который не имеет внешней валидности, считается неверным. Добавим, что он неверен, если источником гипотезы является реальность, обыденное знание, а не теория. Эксперимент, не соответствующий реальности, может обладать совершенной внутренней и операциональной валидностью. Другое дело, что прямой перенос его результатов в реальность невозможен без учета влияния на зависимую переменную помимо независимой и дополнительных переменных.

Очевидно, что достижение полной внешней валидности невозможно в принципе, поэтому любое «чистое» аналитическое исследование является внешне невалидным. Вместе с тем рекомендуется максимально учитывать влияние дополнительных переменных на экспериментальный эффект, так как неизвестно, когда будет построена теория для их объяснения, а данные, возможно, придется использовать на практике.

Заботу о внешней валидности эксперимента особо проявляют исследователи, работающие в прикладных областях: клинической психологии, педагогической и организационной психологии. Это понятно, ибо для решения своих повседневных задач им чаще приходится прибегать к постановке экспериментов, имитирующих реальность. По сути, историческая дискуссия сторонников лабораторного эксперимента и «естественного эксперимента» была отражением разного методического подхода специалистов, занимавшихся фундаментальной или прикладной психологией. В настоящее время факторами, влияющими на внешнюю валидность, считают неустранимые особенности эксперимента, отличающие его от реальной ситуации. Кэмпбелл ставит знак равенства между внешней валидностью, репрезентативностью эксперимента и возможностью генерализации его результатов. Он относит к факторам, угрожающим внешней валидности, в первую очередь эффекты, связанные с особенностями объекта исследования: обучаемость, наличие памяти, способность эмоционально реагировать на ситуации. Кэмпбелл называет главные причины нарушения внешней валидности:

1. Эффект тестирования -уменьшение или увеличение восприимчивости испытуемых к экспериментальному воздействию под влиянием тестирования. Например, предварительный контроль знаний учеников может повысить их интерес к новому учебному материалу. Поскольку генеральная совокупность предварительному тестированию не подвергается, то результаты для нее могут быть нерепрезентативными.

2. Условия проведения исследования. Они вызывают реакцию испытуемого на эксперимент. Следовательно, его данные нельзя переносить налиц, не принимавших участия в эксперименте; этими лицами является вся генеральная совокупность, кроме экспериментальной выборки.

3. Взаимодействие факторов отбора и содержания экспериментального воздействия. Их следствия - артефакты (в экспериментах с добровольцами или испытуемыми, участвующими по принуждению).

4. Интерференция экспериментальных воздействий. Испытуемые обладают памятью и обучаемостью. Если эксперимент состоит из нескольких серий, то первые воздействия не проходят для них бесследно и сказываются на появлении эффектов от последующих воздействий.

Большинство причин нарушения внешней валидности связано с особенностями психологического эксперимента, проводимого с участием человека, которые отличают психологическое исследование от эксперимента, осуществляемого специалистами других естественных наук.

На взаимодействие процедуры тестирования и содержания экспериментального воздействия первым обратил внимание в 1949 г. Р. Л. Соломон при проведении исследования школьников: предварительное тестирование снижало эффективность обучения. Исследование социальных установок показало, что предварительное тестирование оказывало влияние на установки личности и ее подверженность убеждению, а в экспериментах Ховленда, наоборот, оно ослабляло убеждающее воздействие фильмов.

Эффект тем больше, чем необычнее процедура тестирования и чем более сходно по содержанию экспериментальное воздействие с тестом. Для того, чтобы избежать эффекта предварительного тестирования, Кэмпбелл рекомендует применять экспериментальные планы с предварительно нетестируемыми группами.

Как уже отмечалось, «взаимодействие состава группы и воздействия» связано с неслучайным участием испытуемых в эксперименте. Реакция может быть двух типов: готовность добровольцев «подвергнуться воздействию» и отказ, негативная реакция тех, кто принудительно привлечен к участию в эксперименте. В исследованиях по научению могут согласиться участвовать только интеллектуально одаренные. Выбывание испытуемых в ходе эксперимента может вызываться экспериментальным воздействием. К примеру, лица, потерпевшие неудачу при выполнении заданий на мотивацию достижения, могут отказаться от участия в последующих сериях.

Естественно, практически невозможно элиминировать лишь фактор «реакции на эксперимент». Еще раз отметим, что проблема внутренней валидности разрешима в принципе, так как можно подобрать соответствующие процедуры планирования эксперимента и математической обработки результатов, чтобы обеспечить заданный уровень их достоверности.

Согласно Кэмпбеллу, проблема внешней валидности как репрезентативности эксперимента по отношению к реальности неразрешима, так как индукция, т. е. обобщение, никогда не может быть полностью объективна.

Проблема внешней валидности как адекватности ситуации эксперимента его «первообразной» жизненной ситуации также неразрешима логическими и математическими средствами: она требует привлечения всей совокупности научных психологических знаний для описания ситуации в целом.

Экспериментальная выборка

Выбop объекта исследования - следующая задача, которую предстоит решать психологу после определения зависимой и независимой переменных.

В прикладных исследованиях свобода психолога ограничена уже тем, что объект известен с самого начала. Так, в 1977 г., будучи студентом факультета психологии и биологии Ярославского университета, я с группой коллег должен был изучить структуру профессионально важных качеств операторов сортировочной горки. Целью исследования стала выработка рекомендаций по совершенствованию системы отбора и обучения операторов. Численность и состав выборки были определены - все операторы Ярославского железнодорожного узла. Но выводы могли распространяться и на операторов, работавших в самых разных городах.

В других случаях психолог волен выбирать тот объект, который больше соответствует задачам исследования. Лаборатория нейрофизиологии Института психологии РАН под руководством Ю. И. Александрова выявляет нейронные механизмы регуляции поведения. Центральная проблема - как новая мотивация организует систему регуляции поведенческого акта? Удобная модель формирования новой мотивации прослеживается при возникновении зависимости от алкоголя, Налюдях такие опыты, естественно, ставить неэтично, небезопасно, а у желающих принять участие в эксперименте такая зависимость, как правило, уже имеется. В качестве объекта выбираются кролики, у которых легко выработать эту зависимость; их можно оперировать, вживляя электроды в головной мозг, и, наконец, обучить той или иной форме поведения. Для того, чтобы выяснить, как субъективная уверенность влияет на успешность принятия решения при обнаружении сигнала, нет необходимости прибегать к особым ухищрениям, но для работы в психологическом эксперименте (длительном, требующем произвольного внимания и ответственного отношения к делу) лучше привлекать людей интеллигентных и социально зрелых, поэтому часто в роли испытуемых выступают друзья, аспиранты и дипломники.

Данные психогенетических исследований свидетельствуют о том, что креативность (общая способность к творчеству) в меньшей степени детерминирована генотипом, чем общий интеллект. Я и моя аспирантка Г. Ожиганова предположили, что решающим средовым фактором, влияющим на развитие креативности, будет подражание значимой творческой личности. Выбор объекта исследования можно было определить, проведя «формирующий» эксперимент, воздействующим фактором которого должна стать личность взрослого, проявляющего творческое поведение и подкрепляющего это проявление у испытуемых. Известно, что первый сензитивный период развития креативности наблюдается в 3-5 лет. Поэтому дети этого возраста были выбраны в качестве испытуемых.

Идеальным объектом психологического исследования может выступать либо отдельный индивид, либо группа. В первом случае мы говорим об общепсихологическом эксперименте, во втором - о социально-психологическом. Но в конкретном эксперименте не только реальный объект должен соответствовать по своим характеристикам идеальному объекту, но и результаты, полученные при его участии, должны применяться к другим объектам. Если бы все люди (или животные) были похожи друг на друга, а еще лучше - оказались совершенно одинаковыми, то не возникло бы никаких проблем. Эксперимент можно провести с участием одного испытуемого, а полученные результаты применить для объяснения поведения всех других людей. Но люди различаются по полу, возрасту, расе, национальности, принадлежности к той или иной культуре или религии, социальному и экономическому положению и т. д. Следовательно, простая генерализация (обобщение) данных, полученных при исследовании одного испытуемого, невозможна. Однако на практике, например в лабораторных экспериментах по исследованию сенсорных процессов, памяти, внимания и т. д., этими различиями прене- I брегают, считая, что наш испытуемый может представлять любого; индивида из Homo sapiens. ВШлееГзанятных случаях голубь или крыса может выступить в качестве модели любого человека, например, в экспериментах по оперантному научению. Но это иная проблема. Здесь же заметим, что эксперимент может быть проведен с одним испытуемым (single-experiment) или группой. В социальной психологии это будет одна группа и множество групп - «группа групп».

Эксперимент с одним испьпуемым проводится тогда, когда: 1) индивидуальными различиями можно пренебречь, исследование чрезвычайно велико по объему и включает множество экспериментальных проб; 2) испытуемый - уникальный объект, например гениальный музыкант или творчески одаренный шахматист; 3) от испытуемого требуется особая компетентность при проведении исследования (эксперимент с обученными испытуемыми); 4) повторение данного эксперимента с участием других испытуемых невозможно.

Для экспериментов с одним испытуемым разработаны особые экспериментальные планы.

Чаще исследование проводится сэксперименальной группой, в которой все испытуемые объективно различны, но отобраны и распределены по подгруппам с помощью той или иной стратегии.

Различают четыре основных вида «дизайна» - конструирования экспериментальных групп.

При первом варианте исследование проводится с двумя различными группами: экспериментальной и контрольной, которые ставятся в разные условия. Это наиболее распространенный способ.

Второй вариант предполагает исследование одной группы: ее поведение изучается к-в экспериментальных и в контрольных условиях. Он применяется, когда имеется только экспериментальная группа и нет возможности сформировать контрольную. Но этот план никак не контролирует «эффект последовательности» и используется лишь в тех редких случаях, когда эффектом последовательности можно пренебречь.

Третий вариант-использование конструирования групп методом «парного дизайна» - состоит в следующем. Для каждого субъекта группы подбирается эквивалентный (или похожий) ему, и они распределяются по разным группам. Соответственно контрольная и экспериментальная группы становятся похожими по составу испытуемых. Конечно, в этом случае невозможно соблюсти полную эквивалентность фупп в обоих условиях эксперимента, но данный способ значительно лучше, чем эксперимент с участием одной группы в разных условиях.

Наконец, четвертый план является смешанным: все группы ставятся в разные условия. При этом образуется несколько групп. Способ применяется при факторном планировании эксперимента.

Итак, формирование выборки испытуемых - экспериментальной группы -:- должно подчиняться ряду правил.

1. Содержательный критерий (критерий операциональной валид-ности). Напомним, что операциональная валидность определяется соответствием экспериментального метода проверяемой гипотезе.

Подбор экспериментальной группы должен определяться предметом и гипотезой исследования. Бессмысленно проверять степень развития произвольного запоминания у годовалых и двухлетних детей или выявлять у группы московских бомжей, в какой мере уровень их интеллекта влияет на выбор того или иного кандидата в Государственную Думу (ибо они голосовать не имеют права).

Таким образом, экспериментатор должен создать модель идеального объекта экспериментального исследования для своего частного случая и по возможности его описать, следуя этому описанию при формировании экспериментальной группы. Характеристики реальной экспериментальной группы должны минимально отклоняться от характеристик идеальной экспериментальной группы.

2. Критерий эквивалентности испытуемых (критерий внутренней валидности). Результаты, полученные при иссяедо»вании экспе-риментально5Гвыборки, должны распространяться на каждого ее члена. То есть мы должны учесть все значимые характеристики объекта исследования, различия в выраженности которых могут существенно повлиять на зависимую переменную. Допустим, необходимо проверить влияние ситуативной тревожности детей на скорость овладения школьными навыками. В этом случае состав экспериментальной группы должен быть подобран так, чтобы в нее входили дети с одинаковым уровнем развития интеллекта. Если же это не удается сделать, то при обработке данных используется нормировка результатов на величину значимого параметра.

Процедура подбора эквивалентных групп и эквивалентных испытуемых называется рандомизацией.

3. Критерий репрезентативности (критерий внешней валидности). Существуют теоретические статистические критерии репрезентативности (представленности) выборки испытуемых. Группа лиц, участвующих в эксперименте, должна представлять всю часть популяции, по отношению к которой мы можем применять данные, полученные в эксперименте. Величина экспериментальной выборки определяется видом статистических мер и выбранной точностью (достоверностью) принятия или отвержения экспериментальной гипотезы. Она может быть равна множеству индивидов, чье поведение нас интересует. Экспериментальная выборка может представлять лишь часть интересующего нас множества. Главная проблема состоит в том, на какие другие интересующие нас группы можно распространить результаты проводимого нами исследования. (Об этом см. гл. 7.)

Подбор экспериментальной группы осуществляется с помощью различных стратегий. Напомним, для чего нужна стратегия отбора групп. Задача сводится, во-первых, к устранению уже рассмотренного в предыдущих разделах «эффекта смешения». Под этим термином понимается влияние индивидуальных различий между испытуемыми на связь независимой и зависимой переменных. Например, на публичное поощрение за хорошую работу люди разного темперамента реагирует неодинаково. Тем самым контролируется влияние побочной переменной на внутреннюю валидность. Во-вторых, экспериментальная группадолжна представлять изучаемую популяцию, т. е. обеспечивать внешнюю валидность эксперимента.

Использование реально существующих групп порождает систематическое смешение независимой переменной с индивидуальными свойствами испытуемых.

Для нас уже очевидно, что экспериментальная выборка представляет собой модель популяции в целом или той ее части, поведение которой нас интересует.

Наиболее простой вариант был уже рассмотрен - составление репрезентативной группы испытуемых, характеристики которой соответствуют характеристикам интересующей нас популяции. Иногда невозможно найти способ создания репрезентативной группы. Тогда используется метод приближенного моделирования. В частности, исследование может проводиться при участии студентов 2-го курса университета, а данные приписываются всем людям, или «людям в возрасте от 17 до 21 года», или «людям со средним образованием в возрасте от 17 до 21 года» ит. д. Чем меньше генерализация, т. е. чем точнее набор критериев, описывающих популяцию, на которую распространяются выводы о характеристиках экспериментальной выборки, тем выше внешняя валидность эксперимента.

При моделировании популяции методом случайного выбора, или рандомизации, экспериментальную выборку составляют так, что каждой личности предоставляется равный шанс для участия в эксперименте. Каждому индивиду присваивается номер; с помощью таблицы случайных чисел производится формирование экспериментальной выборки. Процедура очень трудноосуществима, поскольку каждый представитель интересующей нас популяции должен быть учтен. На практике прибегают к более простым способам случайного отбора. Отбирают любую группу испытуемых, затем измеряют у них значимое для эксперимента индивидуальное свойство. После этого испытуемых распределяют по группам методом Монте-Карло так, что вероятность попасть в группу для каждого испытуемого равна.

Наконец, существует еще один способ моделирования выборки - стратометрический. Генеральная совокупность рассматривается как»совокупность групп, обладающих определенными характеристиками. В экспериментальную выборку отбираются испытуемые с соответствующими характеристиками - так, чтобы в ней были равнопредставлены лица из каждой страты. Чаще всего используются следующие характеристики: пол, возраст, политические предпочтения, образование и уровень доходов. Эту стратегию применяют психодиагносты при разработке тестов; педагогические психологи; в основном же ею пользуются социологи и социальные психологи при опросах общественного мнения, исследовании социальных установок и т. д.

Ряд авторов выделяют стратегию попаряого отпора. При этом экспериментальная и контрольная группы составляются из индивидов, эквивалентных по значимым для эксперимента побочным параметрам. Идеальный вариант - использование близнецовых пар (моно-и дизиготных). Разновидностью этой стратегии является подбор однородных подгрупп, в которых испытуемые уравнены по всем характеристикам, кроме интересующих исследователя дополнительных переменных. Другой вариант - выделение значимой дополни- eльнoй переменной. Все испытуемые тестируются, ранжируются по уровню выраженности переменной. Группы формируются так, чтобы испытуемые, обладающие одинаковыми или близкими значениями переменной, попали в разные группы.

Итак, существует шесть стратегий построения групп: 1) рандомизация, 2) попарный отбор, 3) рандомизация с выделением страт (стратометрический отбор), 4) приближенное моделирование, 5) репрезентативное моделирование, 6) привлечение реальных групп.

Различают два основных типа привлечения испытуемых в группу: а) отбор, б) распределение. Отбор проводят при рандомизации, рандомизации с выделением страт, при репрезентативном и приближенном моделировании. Распределение осуществляется при способе составления групп из эквивалентных пар и исследованиях с участием реальных групп.

Считается, что наилучшая внешняя и внутренняя валидность достигается при страгегии подбора эквивалентных пар и стратометрической рандомизации: индивидуальные особенности испытуемых с помощью этих стратегий контролируются максимально. В остальных же случаях нет никаких гарантий эквивалентности испытуемых, контролируемости индивидуальных различий и представительности группы.

Привлечение добровольцев или принудительное участие в эксперименте нарушает репрезентативность выборки (см. гл. 3). Отметим лишь, что стратегии попарного моделирования, приближенного моделирования и стратометрической рандомизации, в отличие от стратегии рандомизации («случайно отобранных групп»), предполагают, что нам известен дополнительный параметр - индивидуальная особенность, которая может оказать значимое влияние на результат эксперимента. Ошибка в выделении этого парамента и/или недоучет других параметров приводят экспериментатора к неудаче. Очевидно, что применение таких стратегий формирования групп должно опираться на серьезные знания в области дифференциальной психологии (психологии индивидуальных различий).

Мы уже знаем, что многие авторы, в частности Кэмпбелл, считали подбор эквивалентных пар менее надежным методом, чем рандомизация. Рандомизацию можно считать наиболее надежной стратегией и с точки зрения репрезентации в эксперименте изучаемой популяции, и с точки зрения контроля дополнительных переменных. Наиболее существенная проблема при рандомизации: в какой мере первичная выборка, из которой мы формируем экспериментальную и контрольные группы, действительно представляет генеральную совокупность? Решение этой проблемы - дело искусства и интуиции экспериментатора.

Отдельная проблема - численность экспериментальной выборки. В зависимости от целей и возможностей она может варьировать от одного испытуемого до нескольких тысяч человек. Количество испытуемых в отдельной группе (экспериментальной или контрольной) в большинстве экспериментальных исследований варьирует от 1 до 100. Рекомендуется, чтобы численность сравниваемых групп была не менее 30-35 человек из соображений статистических: коэффициенты корреляции выше 0,35 при таком количестве испытуемых значимы при а = 0,05.

Если же для обработки данных используется факторный анализ, то существует простое правило: надежные факторые решения можно получить лишь в том случае, когда количество испытуемых не менее, чем в 3 раза, превышает число регистрируемых параметров. Крометого, как рекомендуетЛ. В. Куликов, целесообразно увеличивать количество испытуемых, по крайней мере, на 5-10% больше требуемого, поскольку часть из них будет «отбракована» в ходе эксперимента или при анализе экспериментальных протоколов (не поняли инструкцию, не приняли задачу, дали «девиантные» результаты и т. д.).

Что касается состава по полу и возрасту, то рекомендуется (кроме специальных случаев) разбивать общую группу на подгруппы мужчин и женщин и обрабатывать данные отдельно для каждой подгруппы. Возрастной состав определяется исходя из целей исследования. Для ориентировки приведем наиболее распространенную периодизацию возрастов:

1. Новорожденный-0-10дней.

2. Грудной – 10 дней-I год.

3. Раннее детство - 1-2 года.

4. Первый период детства- 3-7лет.

5. Второй период детства - 8-12 лет (мальчики), 8- 11 лет (девочки).

6. Подростковый- 13-16лет (мальчики), 12-15 лет (девочки).

7. Юношеский- 17-21 год (мужчины), 16-20 лет (женщины).

8. Средний: первый период - 22-35 лет (мужчины), 21-35 лет (женщины); второй период- 36-60 лет (мужчины), 36-55лет(жен-щины).

9. Пожилойвозраст-61-75 (мужчины), 55-75 лет (женщины).

10. Старческий возраст- 75-90 лет.

11. Долгожители - 90 лет и старше.