Понятие валидности эксперимента. Внешняя и внутрянняя. Их связь

 Виды валидности – это направления сравнений реально проводимых экспериментов с мысленными образцами. Оценка валидности связана как с оценкой реализации выбранных форм экспериментального контроля, так и с оценкой системы умозаключений при организации исследования с точки зрения следования нормативам экспериментального вывода. Нормативы, связанные с возможными обобщениями из психологических экспериментов, предполагают разведение разных видов валидности.

Внутренняя и внешняя валидность – обязательно обсуждаемые аспекты правильного эксперимента, будь то эксперимент в научных или практических целях. Отличия в выводах из этих экспериментов будут касаться того, как строится обобщение: переносится ли оно на других людей, другие ситуации, виды деятельности или на теоретическую модель.

Внутренняя валидность эксперимента обеспечивает вывод только об исследуемой зависимости, т.е. об отношении между независимой и зависимой переменными, но ничего не сообщает о возможности ее распространения за пределы данной экспериментальной ситуации. Если полученные данные характеризуются ненадежностью или наличием смешений (систематических, несистематических, сопутствующих), то нельзя считать обоснованным утверждение, формулируемое в экспериментальной гипотезе, даже если получен соответствующий ей экспериментальный эффект.

Если внутренняя валидность проведенного эксперимента оценивается высоко, то из этого также еще не следует, что установленная экспериментально зависимость соответствует чему-либо в реальности. Так, в лабораторных экспериментах экспериментальная модель может представлять модель научную, репрезентирующую определенные связи между операционализированными переменными. Возможны случаи, когда для этих моделей потом не находятся те виды субъективной реальности, которые они были призваны репрезентировать в экспериментальной ситуации. Тем самым не находится той эмпирии, на которую можно было бы перенести обобщение установленной в эксперименте зависимости.

Внутренняя валидность является непременным условием любого эксперимента Кэмпбелл выделил восемь основных факторов, нарушающих внутреннюю валид­ность эксперимента. Перечислим их. Первую группу можно назвать факторами выборки:

1. Селекция — неэквивалентность групп по составу, которая вызывает системати­ческую ошибку в результатах.

2. Статистическая регрессия — частный случай ошибки селекции, когда группы отбирались на основе «крайних» показателей (иначе — корреляция из-за не­однородности группы).

3. Экспериментальный отсев — неравномерное выбывание испытуемых из сравни­ваемых групп, приводящее к неэквивалентности групп по составу.

4. Естественное развитие — изменение испытуемых, являющееся следствием те­чения времени, без связи с конкретными событиями изменение состояния (голод, усталость, болезнь и др.), свойств индивида (возрастные перемены, накоп­ление опыта и др.).

Внешняя валидность, предполагающая решение проблем соответствия (НП, ЗП, ДП), обеспечивает возможность обобщения на те виды ситуаций или виды деятельности, которым соответствуют экспериментально контролируемые переменные. Если речь идет о теоретических обобщениях, то оценка внешней валидности уступает место оценке конструктной валидности. Решение вопросов о конструктной и внешней валидности приводит исследователя к выбору типа эксперимента: естественного («дублирующего реальный мир»), искусственного (улучшающего реальный мир) или лабораторного.

Экспериментальный метод предполагает построение исследования с целью отвержения неадекватных объяснений или «неверных» теорий как не соответствующих эмпирически установленным зависимостям. Чаще неразличение продуктивного теоретизирования и псевдотеоретизирования связано с тем, что всегда необходим существенный «прорыв» в обобщении, чтобы соотнести хотя бы посредством гипотетических конструктов [68] закономерности, устанавливаемые при построении экспериментальных ситуаций (экспериментальных моделей) и теоретических моделей. Только содержательное обсуждение устанавливаемой в каузальной гипотезе связи между переменными, учитывающее объяснительные принципы, сложившиеся в рамках конкретных психологических школ, позволяет исследователю настаивать на реальности, т.е. «эмпирической загруженности», стоящих за переменными психологических понятий и исследуемых зависимостей. Анализ эмпирической загруженности следующих из теории гипотез выполняет при этом существенную роль «ограничителя» для утверждения псевдозакономерностей [82].

Понятие конструктной валидности охватывает соответствующий аспект оценки правильности построения эксперимента: насколько обоснованным был переход от представленных в теоретической гипотезе понятий – психологических конструктов к эмпирическим их репрезентациям как НП, ЗП, ДП, а также насколько объяснение установленной зависимости действительно следует из представляемой автором теории. Еще до выбора конкретных методик или уже при их обосновании экспериментатор осуществляет тот «прорыв» в обобщении (от теории к эмпирии), который связан с множественностью экспериментальных воплощений универсальных высказываний. Один и тот же конструкт (например, понятие агрессии или фрустрации) может предполагать разные модели возникновения и регуляции исследуемых феноменов, т.е. всегда возникает вопрос, какая авторская позиция стоит за используемым психологическим понятием. Эта позиция во многом определит, как будут конкретизированы переменные на уровне экспериментальной и контргипотез.

Уже рассмотренная проблема возможной множественной интерпретации одной и той же экспериментальной зависимости фиксирует другой аспект конструктной валидности, а именно: насколько обоснованным выглядит авторское введение гипотетических конструктов в каузальную зависимость как объяснение связи между НП и ЗП. Известно, что отсутствие сильных конкурирующих объяснений – это третье условие причинного вывода. В реальности конкурирующие объяснения остаются всегда, вопрос только в том, насколько более обоснованной выступает авторская интерпретация по сравнению с другими объяснениями той же установленной зависимости. Понятно, что эта оценка – содержательная, а не только формально-логическая (что тоже должно учитываться – как проявление логической компетентности автора). Само принятие той или иной позиции может характеризовать пристрастия экспериментатора, однако оценка конструктной валидности уже не может быть столь же пристрастной, поскольку она связана с отражением в гипотезе накопленных знаний об исследуемой реальности.

Итак, оценка обоснованности перехода от уровня теоретических положений к уровню экспериментальной и контргипотезы – вопросы конструктной валидности эксперимента. Решение проблем операционализации переменных в методических процедурах их измерения (и управления) – вопросы операциональной валидности. Если обобщение зависимости включает перенос ее на «жизненные», т.е. реальные, виды ситуаций и деятельности человека – это решение проблем соответствия переменных с точки зрения внешней, или, как ее теперь иногда называют, экологической валидности.

Оценка операциональной валидности охватывает этап перехода от уже сформулированных экспериментальных и контргипотез к процедурам их методического воплощения. Одна и та же переменная может быть представлена показателями разных методик. Одна и та же мысленная модель эксперимента может быть реализована при достаточно разном «техническом» или операциональном воплощении управляемых и измеряемых переменных.

Популяционные гипотезы, имеющие целью перенос обобщений на конкретные группы людей и целые популяции, могут оцениваться с помощью использования мысленных образцов, но не могут быть проверены в умственном плане. Те дополнительные переменные, которые должны быть учтены исследователем в целях обобщения, не обеспечивают обоснования условий необходимости или достаточности в контексте представленности в реальном поведении людей или в реальных ситуациях действия именно тех механизмов, которые рассматривались в МЭ.

Факторы, угрожающие внутренней валидности эксперимента, рассматриваются в связи с обсуждением формального планирования как условия принятия решений об экспериментальном факте. Разработка межгрупповых или интраиндивидуальных планов направлена в первую очередь на обеспечение контроля внутренней валидности. Применительно к стратегиям отбора испытуемых в группы из популяций следует также обсуждать взаимосвязь внешней (популяционной) и внутренней валидности, поскольку этими стратегиями решаются одновременно две задачи: обеспечение репрезентативности выборки испытуемых, и эквивалентности сравниваемых групп.

Внешняя валидность определяет, в какой мере результаты, полученные в экспе­рименте, будут соответствовать жизненной ситуации, послужившей «первообра­зом» для эксперимента. Кроме того, внешняя валидность характеризует воз­можность обобщения, переноса результатов, полученных в эксперименте, на весь класс жизненных ситуаций, к которым принадлежит «первообразная», и на любые другие.

Надо сказать, что внешняя валидность имеет особое значение на эмпирической стадии развития науки. В принципе возможны такие эксперименты, которые не со­ответствуют никаким реальным жизненным ситуациям, а служат лишь для провер­ки гипотез, источником которых является развитая теория. В развитых науках ис­следователи стремятся избегать «прямого замыкания». Экспериментальный резуль­тат — реальность, так как понятно, что эксперимент строится исходя из требований проверяемой теории, а не из требований соответствия реальности. Моделирование некоторых условий, например в экспериментах по сенсорной депривации или выра­ботке классических условных рефлексов, не соответствует никакой жизненной ре­альности. При условии, если под реальностью понимать то, что было, а не то, что потенциально может быть. Поэтому многостраничные рассуждения такого солидного автора, как Готтсданкер, по поводу «экспериментов полного соответствия» или «экспериментов, улучшающих реальность», кажутся надуманными и архаичными.

Но нельзя отрицать значение «внешней валидности» для эксперимента, если учи­тывать общее состояние психологической науки, а не «передовой» край психологи­ческой теории.

Внешняя валидность иногда трактуется как характеристика эксперимента, опре­деляющая возможность переноса (обобщения) полученных результатов на различ­ные времена, места, условия и группы людей (или животных). Однако возможность переноса является следствием двух причин: 1) соответствия условий эксперимента его «первообразной» жизненной ситуации («репрезентативность» эксперимента); 2) типичности самой «первообразной» ситуации для реальности («репрезентатив­ность» ситуации). Выбранная для моделирования в эксперименте ситуация может быть совершенно нерепрезентативной с точки зрения жизни той группы испытуе­мых, которая участвует в эксперименте, или являться редкой и нетипичной.

Внешняя валидность, как определяет ее Готтсданкер, влияет прежде всего на достоверность выводов, которую дают результаты реального эксперимента по срав­нению с экспериментом полного соответствия. Для достижения высокой внешней валидности нужно, чтобы уровни дополнительных переменных в эксперименте со­ответствовали их уровням в реальности. Эксперимент, который не имеет внешней валидности, считается неверным. Добавим, что он неверен, если источником гипо­тезы является реальность, обыденное знание, а не теория. Эксперимент, не соответ­ствующий реальности, может обладать совершенной внутренней и операциональ­ной валидностью. Другое дело, что прямой перенос его результатов в реальность невозможен без учета влияния на зависимую переменную помимо независимой и дополнительных переменных.

Очевидно, что достижение полной внешней валидности невозможно в принци­пе, поэтому любое «чистое» аналитическое исследование является внешне невалид­ным. Вместе с тем рекомендуется максимально учитывать влияние дополнительных переменных на экспериментальный эффект, так как неизвестно, когда будет построена теория для их объяснения, а данные, возможно, придется использовать на практике.

Заботу о внешней валидности эксперимента особо проявляют исследователи, ра­ботающие в прикладных областях: клинической психологии, педагогической и орга­низационной психологии. Это понятно, ибо для решения своих повседневных задач им чаще приходится прибегать к постановке экспериментов, имитирующих реаль­ность. По сути, историческая дискуссия сторонников лабораторного эксперимента и «естественного эксперимента» была отражением разного методического подхода специалистов, занимавшихся фундаментальной или прикладной психологией. В на­стоящее время факторами, влияющими на внешнюю валидность, считают неустра­нимые особенности эксперимента, отличающие его от реальной ситуации. Кэмпбелл ставит знак равенства между внешней валидностью, репрезентативностью экспе­римента и возможностью генерализации его результатов. Он относит к факторам, угрожающим внешней валидности, в первую очередь эффекты, связанные с особен­ностями объекта исследования: обучаемость, наличие памяти, способность эмоционально реагировать на ситуации. Кэмпбелл называет главные причины нарушения внешней валидности:

1. Эффект тестирования — уменьшение или увеличение восприимчивости испы­туемых к экспериментальному воздействию под влиянием тестирования. Напри­мер, предварительный контроль знаний учеников может повысить их интерес к новому учебному материалу. Поскольку генеральная совокупность предвари­тельному тестированию не подвергается, то результаты для нее могут быть не­репрезентативными.

2. Условия проведения исследования. Они вызывают реакцию испытуемого на экс­перимент. Следовательно, его данные нельзя переносить на лиц, не принимав­ших участия в эксперименте, этими лицами является вся генеральная совокуп­ность, кроме экспериментальной выборки.

3. Взаимодействие факторов отбора и содержания экспериментального воздей­ствия. Их следствия — артефакты (в экспериментах с добровольцами или испы­туемыми, участвующими по принуждению).

4. Интерференция экспериментальных воздействий. Испытуемые обладают памя­тью и обучаемостью. Если эксперимент состоит из нескольких серий, то первые воздействия не проходят для них бесследно и сказываются на появлении эффек­тов от последующих воздействий.

Большинство причин нарушения внешней валидности связано с особенностями психологического эксперимента, проводимого с участием человека, которые отли­чают психологическое исследование от эксперимента, осуществляемого специали­стами других естественных наук.

На взаимодействие процедуры тестирования и содержания экспериментального воздействия первым обратил внимание в 1949 г. Р. Л. Соломон [Solomon R.L., 1949] при проведении исследования школьников: предварительное тестирование снижа­ло эффективность обучения. Исследование социальных установок показало, что предварительное тестирование оказывало влияние на установки личности и ее под­верженность убеждению, а в экспериментах Ховленда, наоборот, ослабляло убеж­дающее воздействие фильмов.

Эффект тем больше, чем необычнее процедура тестирования и чем более сходно по содержанию экспериментальное воздействие с тестом. Для того чтобы избежать эффекта предварительного тестирования, Кэмпбелл рекомендует применять экспе­риментальные планы с предварительно не тестируемыми группами.

Как уже отмечалось, «взаимодействие состава группы и воздействия» связано с неслучайным участием испытуемых в эксперименте. Реакция может быть двух ти­пов: готовность добровольцев «подвергнуться воздействию» и отказ, негативная ре­акция тех, кто принудительно привлечен к участию в эксперименте. В исследовани­ях по научению могут согласиться участвовать только интеллектуально одаренные люди. Выбывание испытуемых в ходе эксперимента может вызываться эксперимен­тальным воздействием. К примеру, лица, потерпевшие неудачу при выполнении за­даний на мотивацию достижения, могут отказаться от участия в последующих сериях.

Естественно, практически невозможно элиминировать лишь фактор «реакции на эксперимент». Еще раз отметим, что проблема внутренней валидности разрешима в принципе, так как можно подобрать соответствующие процедуры планирования экс­перимента и математической обработки результатов, чтобы обеспечить заданный уровень их достоверности.

Согласно Кэмпбеллу, проблема внешней валидности как репрезентативности эксперимента по отношению к реальности неразрешима, так как индукция, т.е. обобщение, никогда не может быть полностью объективна.

Проблема внешней валидности как адекватности ситуации эксперимента его «первообразной» жизненной ситуации также неразрешима логическими и матема­тическими средствами: она требует привлечения всей совокупности научных пси­хологических знаний для описания ситуации в целом.