Изменение временного контекста

Еще один вопрос, связанный с внешней валидностью, касается долговечности результатов. Одно из самых известных в истории психологических исследований — это исследования конформности, проведенные Соломоном Ашем в 1950-х гг. (например, Ash, 1956). Эксперименты проводились в исторический период, когда в США главенствовали консервативные силы, люди опасались «красной угрозы», а конформность и послушание властям высоко оценивались обществом. Аш обнаружил, что студенты колледжей очень восприимчивы к давлению сверху. Действительно ли это и сегодня, в другом политическом климате? Будет ли фактор воздействия на конформность, найденный Ашем (групповое согласие), главенствовать и в наши дни? Вообще, исследования, посвященные более фундаментальным процессам (например, познанию), выдерживают проверку временем лучше, чем исследования социальных факторов, включенных в определенный исторический контекст.

Обобщая изложенное ранее, можно сказать, что валидность данных увеличивается, если их можно применить к другим людям, другим условиям и другой эпохе. Но должны ли поэтому ученые разрабатывать исследования, включающие множество разных социальных групп, проводить эксперименты в различных условиях и повторять их каждые десять лет? Конечно, нет. Внешняя валидность не определяется по одному исследованию. Она представляет собой еще один пример важности процесса повторения и дополнения. Для ученого, разрабатывающего исследование, важность внешней валидности теряет значение в сравнении с важностью нашей следующей темы.

Внутренняя валидность

Последний вид экспериментальной валидности, описанный Куком и Кэмпбеллом (Cook and Campbell, 1979), называется внутренняя валидность. Этот термин обозначает методологическое совершенство эксперимента и отсутствие в нем ослож-нителей. При обладающем внутренней валидностью исследовании экспериментатор уверен, что результаты, полученные измерением зависимой переменной, непосредственно связаны с независимой переменной, а не с каким-нибудь другим неконтролируемым фактором. В исследовании, отягощенном осложняющими факторами, как мы видели на примере эксперимента с массированной/распределенной нагрузкой, результаты невозможно интерпретировать. Результат может быть связан с влиянием независимой переменной, осложняющей (осложняющих) переменной (переменных) или их комбинации, при этом невозможно выбрать одно из нескольких различных объяснений.

Угроза для внутренней валидности

Внутреннюю валидность исследования может снизить любой неконтролируемый внешний фактор, однако есть несколько вопросов, требующих особого рассмотрения (Cook & Campbell, 1979). Так называемая угроза для внутренней валидности наиболее опасна при отсутствии контрольной группы. Эта проблема иногда возникает в исследованиях по оценке программ (глава 10). Часто такая угроза возникает в длительных исследованиях, в ходе которых проводятся несколько измерений. Например, участники могут пройти предварительное тестирование, подвергнуться особому экспериментальному воздействию, а затем пройти заключительное тестирование. В идеале воздействие должно иметь определенный положительный эффект, который можно определить, обнаружив различия между результатами предварительного и заключительного тестирования. Второй вид угрозы возникает, если сравниваются «неэквивалентные» группы. Эта так называемая проблема отбора испытуемых может переплетаться с другими видами угрозы для внутренней валидности.

Предварительное и заключительное тестирование

Верно ли, что студентам легче изучить общую психологию с помощью компьютеризированного курса, где каждый может продвигаться вперед соразмерно своей собственной скорости? Если в колледже будет проводиться программа по снижению экзаменационной тревожности, как можно показать, что она действует эффективно? Если вы обучите людей различным стратегиям запоминания, улучшит ли это их память? Во всех этих эмпирических вопросах речь идет о том, изменятся ли люди, усвоив некоторый опыт (курс, программа, тренировка памяти). Стандартный способ обнаружить изменения — проверить людей до получения ими данного опыта (провести предварительное тестирование), а затем после получения опыта (провести заключительное тестирование). Идеальным результатом для только что описанных примеров будет, если люди в ходе заключительного тестирования покажут, что они: а) знают общую психологию лучше, чем вначале, б) меньше волнуются перед экзаменами, чем раньше, и в) демонстрируют улучшение памяти. В ходе

стандартного исследования сравниваются экспериментальная и контрольная группы; последняя при этом не подвергается никакому воздействию:

Экспериментальная предварительное Воздействие заключительное

группа: тестирование тестирование

Контрольная предварительное заключительное

группа: тестирование тестирование

При отсутствии подходящей контрольной группы возникает угроза внутренней валидности эксперимента. Предположим, вы хотите оценить эффективность программы помощи студентам колледжа, страдающим от экзаменационной тревоги (т. е. тем, которые имеют неплохие навыки обучения и знают материал, но так сильно волнуются во время экзаменов, что это мешает их успешной сдаче). В начале лекций первокурсники заполняют различные опросники, в том числе один, выполняющий функцию предварительного тестирования для изучения тревожности. Предположим, что оценки могут варьироваться от 20 до 100, и чем больше значение, тем выше уровень тревожности. Студентов, получивших высокие оценки, просят участвовать в программе по снижению экзаменационной тревоги, включающей тренинги на расслабление и выработку учебных навыков, а также другие методики. Спустя три месяца студенты снова выполняют тест на тревожность и его результаты выглядят следующим образом:

Предварительное экспериментальное заключительное

тестирование воздействие тестирование

90 70

Таким образом, средняя предварительная оценка у студентов, выбранных для участия в программе, равна 90, а средняя заключительная — 70. Если предположить, что разница статистически значима, какой вывод можно сделать? Была ли эффективна программа? Чем были вызваны изменения, экспериментальным воздействием, или же могли сказаться другие факторы? Я надеюсь, вы понимаете, что есть несколько способов объяснения таких результатов. Читайте дальше.

История и взросление

Иногда между предварительным и заключительным тестированием вклинивается некоторое событие, не связанное с экспериментальным воздействием, но вызывающее большие изменения. В таком случае угрозой для внутренней валидности исследования является история. Предположим, к примеру, что в колледже из предыдущего примера решили, что система оценок мешает обучению и что знания по всем предметам впредь должны оцениваться по принципу сдал/не сдал. Допустим, что такое решение было принято после проведения предварительного тестирования тревожности в середине экспериментальной программы по ее снижению. Заключительное тестирование может показать значительное снижение тревожности, но очень вероятно, что такой результат будет вызван изменением системы оценок, а не самой программой. Разве вы не станете меньше волноваться по поводу данного курса об исследовательских методах, если оценка не будет иметь никакого значения? Кроме того, в программе по снижению экзаменационной тревоги студенты-первокурсники принимают участие в самом начале своей учебной деятельности, поэтому изменение оценок предварительного и заключительного тестирования может быть связано со взрослением студентов по мере привыкания к жизни колледжа. Как вы, вероятно, помните, первый семестр в колледже — это время значительных изменений в жизни студентов. Если исследование занимает продолжительный период, то взросление студентов обязательно скажется на его результатах.

Обратите внимание, что если будет использоваться контрольная группа, то экспериментатор сможет учесть влияние и истории, и взросления. Если будут получены приведенные ниже результаты, то это влияние можно будет исключить, а программу снижения экзаменационной тревожности считать эффективной:

 

Экспериментальная	предварительное	экспериментальное	заключительное
группа:	тестирование	воздействие	тестирование
Контрольная	предварительное		заключительное
группа:	тестирование		тестирование

С другой стороны, если оценки контрольной группы при заключительном тестировании также снижаются до 70, и история, и взросление, а также оба фактора одновременно могут являться объяснением изменений оценок экспериментальной группы.

Регрессия

Регрессия означает движение в обратную сторону — в данном случае в направлении средней оценки. Поэтому явление, которое я собираюсь описать, иногда называют регрессией к среднему. В большом наборе оценок большинство из них группируются вокруг среднего арифметического и лишь некоторые (крайние) оценки будут заметно отстоять от него. Представьте, что вы случайным образом выбираете несколько оценок из нормального распределения, показанного на рис. 5.2. Большинство оценок группируются вокруг среднего, так что если вы выбираете случайным образом, то наиболее вероятно, что вы выберете оценку, близкую к среднему арифметическому (X слева на рис. 5.2). Предположим, однако, что вы выбрали одну, далеко отстоящую от средней оценки (т. е. крайнюю оценку — Y). Верно ли, что при следующем выборе вы, вероятнее всего, получите:

1. Ту же оценку еще раз?

2. Оценку еще более крайнюю, чем первая?

3. Оценку ближе к среднему арифметическому, чем первая?

Я полагаю, вы выберете третий вариант, и это будет означать, что вы понимаете идею регрессии к среднему. Приведем более конкретный пример (относящийся к правой части рис. 5.2). Предположим, вы знаете (на основании нескольких сотен бросков), что в среднем Тэд бросает бейсбольный мяч на 300 футов. Затем он бросает мяч на 380 футов. Если вы будете спорить о его следующем броске, на что вы поставите?

1. На 380 футов.

2. На 420 футов.

3. На 330 футов.

И опять я думаю, что вы выберете третий вариант, тем самым еще раз подтвердив, что понимаете идею регрессии к среднему. Но как это связано с нашими предварительными и заключительными исследованиями?

Для многих исследований, включающих предварительное и заключительное тестирование, участники отбираются на основании того, что в ходе предварительной проверки они показали результаты, близкие к крайним. Так, в исследовании экзаменационной тревожности отбирались те участники, чьи показатели тревожности были очень высоки. Заключительное тестирование может показать улучшение показателей, которое возможно будет связано с регрессией, а не с программой улучшения памяти. И снова контрольная группа, состоящая из участников с высокой тревожностью, поможет исследователю заметить наличие регрессии. Например, следующие результаты предполагают, что регрессия могла оказать некоторое влияние¹, но тем не менее воздействие самой программы было более сильным и перекрыло регрессию. Вы понимаете, почему это так?

Экспериментальная предварительное экспериментальное заключительное

группа: тестирование воздействие тестирование

90 70

Контрольная предварительное заключительное

группа: тестирование тестирование

90 80

Регрессия может привести к различным проблемам и вероятно именно она была виновна в проведении исследований, ставящих под сомнение эффективность хорошо известной программы Read Start. Этот случай будет рассматриваться в главе 10 для иллюстрации проблем, возникающих при осуществлении крупномасштабных федеральных программ.