Факторы, угрожающие внутренней валидности

Теперь мы можем применить понятие безупречного эксперимента (идеального и бесконечного) для описания того, что мешает достижению внутренней валидности в реальных экспериментах. Как мы увидим, некоторые из таких помех устранить нельзя; они необходимо связаны с процедурами проведения наших не-вполне-безупречных экспериментов. Скажем, если Джеку нужно разучить две пьесы, одну из них он неизбежно будет разучивать первой. Существуют, однако, и такие трудности, которые можно преодолеть, если заранее об этом позаботиться. Так, Джек уже знал, что не стоит применять частичный и целостный методы в разное время дня.

Изменения во времени

Известные побочные факторы. В идеальном эксперименте различные состояния независимой переменной предъявляются испытуемому одновременно. Этого Джек сделать не мог, но он мог по крайней мере заниматься в одно и то же время дня. Время дня — это заранее известная побочная (т. е. отличная от независимой) переменная, которая может повлиять на эффективность занятии, и ее надо охранять неизменной. Если бы Джек был невнимателен, то в разные дни эксперимента он мог бы заниматься то при закрытых, то при открытых окнах. А уличный шум может сильно повлиять на эффективность занятий. Поэтому лучше сохранять его неизменным, держа окна закрытыми. В эксперименте с наушниками, который продолжался более шести месяцев, исследователи знали о возможных изменениях температуры и влажности в ткацком цехе. К сожалению, условия эксперимента не позволяли им исключить эти изменения. Но экспериментаторы фиксировали и старались учесть влияния названных факторов. И что самое главное — чередование двух условий независимой переменной снижало влияние этих факторов, Экспериментатор должен стараться заранее определить все возможные факторы, которые с течением времени могут изменяться. И главное, стараться удерживать их на постоянном уровне при каждой новой пробе.

Нестабильность во времени. Но даже стараясь изо всех сил, экспериментатор не сумеет сделать одну пробу в точности (кроме отличия уровней независимой переменной) похожей на другие. Некоторая нестабильность во времени будет всегда. В эксперименте она проявляется в изменчивости побочных факторов, а также в некоторых вариациях самой независимой переменной. Наконец, всегда остаются совершенно неясные источники сильных колебаний в ответах испытуемых, приводящие к увеличению разброса экспериментальных данных. Давайте рассмотрим конкретные примеры каждой из этих трех форм нестабильности во времени.

Изменчивость побочных факторов. Часто бывает так, что экспериментатор знает о существовании посторонних факторов, влияющих на зависимую переменную, но не может управлять ими непосредственно. Какой-то день в работе ткачихи мог оказаться «не самым удачным» из-за того, что накануне она поздно легла спать. Конечно, экспериментатор мог бы попытаться убедить ее не делать этого, пока эксперимент не завершится. Но ведь эксперимент продолжался шесть месяцев! Поужинав накануне в ресторане, Джек неважно себя чувствовал во время разучивания одной из пьес — в другой раз ему следует быть осторожнее.

От пробы к пробе окружающие условия никогда не остаются неизменными. Описывая эксперимент в ткацком цехе, исследователи утверждают:

«Хорошо известно, что на производительность ткацкого труда могут влиять атмосферные условие. Так, с повышением температуры и относительной влажности уменьшается количество обрывов нити. С другой стороны, дальнейшее повышение того и другого, продолжая благоприятно воздействовать на физические свойства пряжи, неблагоприятно сказывается на физиологическом состоянии людей, работоспособность которых может снизиться так, что это сведет на нет любые положительные влияния» (Уестон и Адаме, 1932, с. 56).

Следовательно, даже измеряя температуру и влажность, нельзя установить точно их влияние на производительность труда. Список побочных переменных можно было бы продолжать до бесконечности, включая в него и субъективные факторы, как, например, хорошее или плохое самочувствие испытуемого в течение эксперимента. Добросовестный экспериментатор может фиксировать некоторые из этих изменений, но не может их избежать. Теперь вам понятно, почему экспериментатор стремится уйти из реального мира в прекрасные звуконепроницаемые лаборатории и иметь дело с такими испытуемыми (белыми крысами), поведение которых он может контролировать 24 часа в сутки. Но даже там калориферы иногда остывают, бутыли с водой засоряются, и крысы подхватывают «насморк».

Само пребывание в ситуации эксперимента может вызвать продолжительные изменения в поведении испытуемого. Таков был главный вывод из знаменитых экспериментов «Хауторн», вывод, важный для всех экспериментальных психологов. На Западном электрозаводе в Хауторне (Иллинойс) было проведено исследование влияния освещения в цехах на производительность сборочных работ. Предварительные попытки установить какую-либо закономерность закончились неудачей. Тогда было предпринято систематическое исследование условий труда рабочих (Роетлисбергер и Диксон, 1946). Основной частью этого исследования были эксперименты с заданием по сборке переключателей. Оно представляло собой «сборку телефонных реле; это 2операция, которую обычно выполняют женщины: нужно соединить примерно 35 небольших деталей в «сборную арматуру» и закрепить ее четырьмя винтами» (с. 20).

Для эксперимента была оборудована специальная комната, чтобы исследователи могли контролировать условия работы и адекватно оценивать деятельность операторов. В качестве испытуемых в эксперименте приняли участие пять молодых женщин, вполне освоивших данный вид работы. Исследовались две независимые переменные: распределение периодов отдыха, а также длина рабочего дня и рабочей недели. Оплата труда производилась в соответствии с общим количеством переключателей, собранных бригадой из пяти человек.

Было установлено, что независимо от распределения периодов отдыха и длины рабочего дня и недели производительность труда продолжала расти в течение двух лет! Исследователи сообщают, во-первых, о «постепенном изменении социальных отношений в группе операторов в направлении групповой сплоченности и солидарности и, во-вторых, об изменении отношений между операторами и их контролерами. Организаторы эксперимента стремились создать среди девушек атмосферу взаимной поддержки и сотрудничества, избавить их от излишних волнений и тревог. Эти усилия по созданию необходимых условий эксперимента косвенным путем привели к изменению отношений между людьми» (с. 58—59).

Пользуясь нашей терминологией, эту ситуацию можно описать так. До эксперимента социальные условия работы испытуемых находились на одном уровне. В ситуации эксперимента данная «побочная переменная» перешла на другой уровень. Это привело к продолжительному изменению зависимой переменной — производительности труда, несмотря на то что объективно социальные условия в эксперименте оставались неизменными.

Независимая переменная. Рассчитывать на полную идентичность каждого из условий независимой переменной на всем протяжении эксперимента мы не можем. В какие-то дни или даже недели наушники могли быть надеты не так удобно, как в остальные. Несмотря на все старания Джека, он может по-разному относиться, например, к частичному методу, разучивая разные пьесы. И Йоко знала о вариациях каждого из условий своей независимой переменной. Сок одного и того же сорта в любых двух банках не бывает одинаков, и разница подчас очень велика. Какие-то изменения будут встречаться даже в тех экспериментах, в которых, казалось бы, достигнуто полное единообразие условий. Яркость электрического света (как стимула) будет меняться от перепадов напряжения в сети, а они случаются довольно часто. В течение эксперимента могут возникать и закономерные изменения, например с увеличением срока службы лампочки ее свет может становиться все менее ярким.

Зависимая переменная. При действии одной и той же независимой переменной испытуемый не всегда будет давать один и тот же ответ. Так будет даже в том случае, если экспериментатор необычайно искусен и пунктуален в устранении нестабильности побочных факторов и независимой переменной.

Нестабильность зависимой переменной очень эффектно представлена на графиках, отражающих результаты двух экспериментов. На рис. 2.1 показана понедельная выработка испытуемой Д. в эксперименте с наушниками. Как видим, меньше всего ударов она пропускала с десятой по двенадцатую неделю и с восемнадцатой по двадцать вторую. А самые неудачные ее показатели — наибольшее количество пропущенных ударов — приходятся на четырнадцатую неделю и окончание эксперимента. И что особенно интересно — для обоих условий работы кривые поднимаются и опускаются совместно. Изменения в производительности труда, происходившие с течением времени, несомненно, более существенны, чем различия между использованием и неиспользованием наушников.

На рис. 2.2 показаны изменения ответов испытуемого в эксперименте на время реакции выбора. Пробы давались каждые шесть секунд; испытуемый должен был сдвигать рукоятку к себе или от себя и тем самым совмещать две световые точки. Разумеется, точки предъявлялись в случайном порядке. За 70 запланированных последовательных проб во времени реакции испытуемого наблюдались как непродолжительные колебания, так и более регулярные отклонения. Самое короткое время реакции было показано примерно между тридцатой и сороковой пробами, а самое большое — между шестидесятой и семидесятой. И это увеличение нельзя считать результатом усталости, ведь как раз перед сороковой пробой испытуемый отдыхал. В итоге самые большие показатели несколько превышали 400 мс, а самые малые — 200 мс, т. е. время реакции изменялось в отношении два к одному.

Рис. 2.1. Понедельная производительность труда испытуемой Д. Ось абсцисс — очередность недель проведения эксперимента. Ось ординат — количество пропущенных ударов (в среднем за час). Пунктирная линия — работа без наушников, сплошная — с наушниками

Рис. 2.2. Время реакции выбора для 70 последовательных проб. Ось абсцисс — номера проб (пунктиром отмечен период отдыха). Ось ординат — время реакции (в мс). Пунктирная линия — сдвиг рукоятки к себе, сплошная — от себя; треугольниками помечены ответы с ошибками

Таким образом, в исследовании времени реакции были обнаружены поминутные и даже посекундные его изменения. Они не связаны с усталостью, скорее их можно объяснить колебаниями внимания. На графике результатов ткачихи Д. отражены значительные колебания производительности ее труда. При этом взлеты и падения кривых, по-видимому, не зависят от температуры и влажности. Правда, увеличение числа пропущенных ударов к окончанию эксперимента можно объяснить применением искусственного (газового) освещения; оно было необходимым, так как эксперимент заканчивался осенью.

Даже тогда, когда сами ответы испытуемых постоянны, изменения могут вноситься процедурой их измерения. Счетчик фиксирует каждое передвижение челнока, совершающего новый удар. Однако приборы не всегда бывают исправны. А если измерения связаны с субъективными суждениями, то они непременно окажутся менее стабильными. Джек считал пьесу выученной окончательно после двух безошибочных исполнений наизусть. Однако в исполнении пьес было довольно много небольших погрешностей, почти ошибок. Иногда Джек мог посчитать их ошибками, а иногда нет. И объяснилось это вполне естественными колебаниями его субъективного состояния. Изменения в оценке исполнения пьес могли быть и регулярными. Например, в процессе эксперимента Джек мог все строже относиться к своим ошибкам.

Различия экспериментальных задач

Одну и ту же пьесу нельзя заучить (как в идеале) двумя различными методами одновременно. Но даже если методы следуют один за другим, их все равно нельзя применить к одной и той же пьесе. Если пьеса заучена, она заучена. Существуют эксперименты, в которых необходимо не только предъявлять разные экспериментальные условия в разное время, но и менять трудность задач. Это весьма значительное отличие от идеального эксперимента. Как Джек может убедиться в одинаковой трудности выбранных им пьес? А ведь в любом эксперименте по исследованию научения с участием одних и тех же испытуемых задачи для разных условий независимой переменной с необходимостью будут разными.

Эффекты последовательности

В неудачном варианте своего эксперимента Джек сначала заучивал две пьесы частичным методом, а затем две другие — целостным. Мы уже знаем, что на качество его игры могут повлиять любые (в том числе только что описанные) факторы, изменяющиеся во времени. Однако есть и другие влияния, связанные с положением каждого из условий независимой переменной в последовательности их предъявления. Влияния одного из условий на следующие за ним называются эффектами последовательности, эффектами порядка или эффектами переноса. Они могут быть положительными и отрицательными, иметь общий и специфический характер. Применение частичного метода могло положительно повлиять на дальнейшие занятия Джека по целостному методу за счет увеличения практики или привыкания к режиму эксперимента. Оно могло оказать и отрицательное действие: привычка заучивать пьесы короткими отрывками могла помешать заучиванию больших частей или Джек мог просто устать от занятий.

Предубеждения экспериментатора

Во времена возникновения автомобиля бытовал такой анекдот в форме загадки. Вопрос: Какой самый главный винтик в автомобиле? Ответ: Тот, что держит руль (СНОСКА: В оригинале – каламбур, основанный на многозначности слова «nut», в частности «техническая деталь» и «незадачливый человек, чудак» (прим. перев.)). В том же духе можем спросить и мы. Вопрос: Какой из факторов, угрожающих валидности эксперимента, самый опасный? Ответ: Экспериментатор.

Если у исследователя есть какие-либо ожидания относительно результатов эксперимента, особенно связанные с предпочтением одного из условий независимой переменной, то эти ожидания так или иначе проявятся при проведении опытов, Йоко хорошо знала, что главное — это составить случайную последовательность обоих сортов сока. Ей хотелось исключить любой намек на то, какой именно сорт она оценивала каждое утро. А вот Джек не проявил должной аккуратности. Сначала он подобрал пары пьес, которые казались ему одинаковыми по трудности (с тем, чтобы разучивать каждую из пьес разными методами), а затем сам расположил их в определенной последовательности. Но если при этом он рассчитывал на большую эффективность частичного метода, то мог невольно отобрать для целостного метода более трудные пьесы из каждой пары.

Кроме того, субъективные оценки качества исполнения пьес могли колебаться не случайным образом (как было показано выше). Джек мог невольно отдавать предпочтение одному из методов. Поэтому при оценке исполнения обеих пьес каждой пары Джеку не следует слишком верить в частичный метод, но и применяя целостный, тоже стараться достичь самых высоких результатов.

В эксперименте с наушниками исследователи, естественно, рассчитывали повысить с их помощью производительность труда и вполне могли передать свою уверенность участникам эксперимента. Поэтому, возможно, с наушниками ткачихи (в среднем) старались работать лучше.

Одно из самых коварных следствий предубежденности экспериментатора — это нежелание учитывать некоторые экспериментальные данные, как полученные якобы при нетипичных условиях, например при сильном уличном шуме. К сожалению, мнение экспериментатора о нетипичности условий часто весьма субъективно. Отсюда один и тот же уровень шума будет считаться нетипичным при одном состоянии независимой переменной, но вполне нормальным — при другом.

От предубеждения экспериментатора может зависеть даже точность регистрации данных. Показано, например, что в протоколах экспериментов по изучению экстрасенсорного восприятия встречаются ошибки в пользу наличия соответствующих феноменов, если протоколист верит в их существование. Те же, кто не верит в экстрасенсорное восприятие, не допускают подобных искажений (Кеннеди, 1939). Тщательный анализ этой проблемы в целом представлен в книге «Влияния экспериментатора в психологическом исследовании» (Розенталь, 1976).