Тема 1. Обобщение и репрезентативность.

Цель любого экспериментального исследования – сделать так, чтобы выводы, основанные на ограниченном количестве данных, остава­лись достоверными за пределами эксперимента. Это на­зывается обобщением. Выполненный нами анализ безупречного эксперимента показывает, что достоверность экспериментальных выводов определяется по крайней мере двумя требованиями. От них же зависит и право­мерность возможных обобщений. Первое требование за­ключается в том, чтобы найденное в эксперименте отно­шение между независимой и зависимой переменными было свободным от влияния других переменных. Второе требование – чтобы постоянный уровень дополнитель­ной переменной, задействованной в эксперименте, соответствовал ее уровню в более широкой области прак­тики.

Репрезентативность

Мы уже знаем, что безупречный эксперимент невоз­можен, но он дает нам руководящие принципы для пра­вильного планирования реальных экспериментов. Теперь мы можем задать вопрос о применении этих принципов. Ответ прост – нужно определить, насколько успешно реально проведенный эксперимент репрезентирует (пред­ставляет) эксперимент безупречный. Прежде всего по­смотрим, в какой мере исключена в наших эксперимен­тах возможность посторонних влияний на зависимую пе­ременную.

В оригинальном исследовании, проведенном в ткац­ком цехе, испытуемая 13 недель работала с наушниками и 13 чередующихся с ними недель – без наушников. При «неудачном» пересмотре эксперимента она носила наушники в первые 13 недель, а следующие 13 работала без них. В идеальном эксперименте испытуемая должна была бы работать и с наушниками, и без них одновре­менно. Понятно, что схема чередования недель прибли­жается к этому идеалу в большей степени. Чередование двух условий, или АБАБАБАБАБ и т. д., более репре­зентативно для их одновременного предъявления, чем последовательность, состоящая только из А и Б.

В своем первоначальном эксперименте Джек Моцарт разучивал пьесы в следующем порядке: целостный ме­тод – частичный – частичный – целостный. В «не­удачном» эксперименте последовательность была иной: целостный – целостный – частичный – частичный. В первом случае усредненные позиции целостного и час­тичного методов были одинаковы. Целостный метод за­нимал в последовательности позиции 1 и 4, среднее – 2,5. Позициями частичного метода были 2 и 3, среднее – 2,5. Напротив, в «неудачном» эксперименте целостный метод занимал позиции 1 и 2, среднее – 1,5, а частич­ный – 3 и 4, среднее – 3,5. Более репрезентативным для одновременного предъявления двух условий вновь оказался оригинальный эксперимент.

В первоначальном варианте своего эксперимента Иоко выпивала оба сорта сока – «Риттенхауз» и «Бадди 'и' Билл» – в случайном порядке в течение 36 дней. В «неудачно» измененном варианте она ограничилась 4 днями. Ясно, что к бесконечности ближе 36, а не 4. Первоначальный план лучше репрезентирует бесконеч­ный эксперимент, чем план измененный.

Эксперимент полного соответствия лучше представлен в оригинальном исследовании Джека, чем в его изменен­ном варианте с вальсами. Хотя Джек и не разучивал все пьесы, которые он намеревался выучить в дальней­шем, он взял пьесы точно того же типа, т. е. выбрал соответствующий уровень дополнительной переменной.. А вариант с вальсами оказывается «неадекватным», по­скольку по своему уровню эти пьесы отличаются от тех, которые Джек разучивал бы в эксперименте полного соответствия.

Подводя итоги, можно сказать, что более надежную информацию об отношении между независимой и зави­симой переменными дают те эксперименты, которые лучше представляют идеальный и бесконечный экспери­менты. А чем ближе уровень значимой дополнительной переменной в проведенном эксперименте к ее уровню в эксперименте полного соответствия, тем лучше пред­ставлена в нем изучаемая реальная ситуация.

Тема 2. Валидность.

В зависимости от того, насколько реальные экспери­менты представляют безупречный, их называют более или менее валидными. Безупречный эксперимент позволил бы безошибочно отделить верную гипотезу от невер­ной. Если бы Джек Моцарт смог провести безупречный эксперимент, он бы совершенно точно знал, какая из его гипотез верна: частичный метод лучше или целостный метод лучше. Таким образом, говоря о валидности эксперимента, вы оцениваете качество той работы, ко­торую предполагаете провести для определения справед­ливости одной из конкурирующих гипотез.

Внутренняя валидность. Всем трем описанным нами «неудачным» экспериментам недоставало внутренней валидности. Это значит, что они не позволяют рассмат­ривать полученную картину отношений между незави­симой и зависимой переменными как достоверную. И виноваты в этом, как мы убедились, всевозможные посторонние влияния. Эксперимент, которому недостает внутренней валидности, не может быть использован для выяснения того, какая гипотеза о связи независи­мой и зависимой переменных истинна, а какая ложна. Например, если нам не ясно, почему ткачиха работала лучше: потому, что она носила наушники, или потому, что стояла хорошая погода, – мы не вправе считать результаты эксперимента достаточными для определе­ния истинной и ложной гипотез о влиянии наушников на производительность труда.

Термин «внутренний» подчеркивает существо данного вида валидности. Можно» сказать, что эксперимент, ли­шенный внутренней валидности, неудачен, так сказать, изнутри, по самой своей сути. Действительно, если он не позволяет убедиться в достоверности найденного отно­шения независимой и зависимой переменных, он просто бесполезен.

Внешняя валидность. «Неадекватный» эксперимент, который мог бы провести Джек, [разучивая _ вальсы вместо сонат, не был бы неудачным в принципе. Это был бы вполне нормальный эксперимент по заучиванию вальсов. Бесполезным его считать нельзя. Джек мог бы использовать свои.результаты, если бы зацним чис­лом решил, что на самом деле он искал наиболее эф­фективный метод заучивания вальсов. Однако этому эксперименту недостает внешней валидности. Он не обеспечивает достаточных оснований для определения верной и неверной гипотез о лучшем методе заучивания сонат.

Термин «внешний» относится к определению темати­ки проводимого эксперимента – чему именно он по­священ. В данном случае эксперимент не был внешне валидным потому, что «сонаты» – такая же необходи­мая составная часть проверяемой гипотезы, как незави­симая и зависимая переменные..

Общие определения. Понятия внешней и внутренней валидности являются центральными для всей нашей книги. Их применение в последующих главах в основ­ных чертах определяется тем, что мы только что сказа­ли. Сейчас мы приведем и более формальные определе­ния этих понятий. Правда, все их значение вы поймете только тогда, когда познакомитесь с экспериментальны­ми проблемами более высокого порядка. Но у вас уже будет основа для общего понимания и дальнейшего уточнения того, что такое валидность и два ее вида.

Начнем со схематического изображения эксперимен­тальной гипотезы:

Независимая переменная... Отношение... Зависимая переменная... Уровни других переменных.

Итак, гипотеза включает в себя само отношение и обозначения обеих его сторон. Определение валидности эксперимента, как внутренней, так и внешней, состоит в следующем. Это степень правомерности вывода об экспериментальной гипотезе, которую обеспечивают ре­зультаты данного эксперимента по сравнению с резуль­татами эксперимента, безупречного во всех трех аспек­тах.

Понятие внутренней валидности эксперимента касает­ся только самого отношения и не затрагивает того, что именно соотносится. Отсюда внутренняя валидность – это степень правомерности вывода об эксперименталь­ной гипотезе, основанного на результатах данного экспе­римента, по сравнению с тем выводом, в основе которого лежат результаты идеального и бесконечного экспериментов, где изменения независимой и зависимой пере­менных происходят в одних и тех же условиях, а все другие, побочные факторы остаются неизменными.

Любой эксперимент сталкивается также с проблемой соответствия исследуемой ситуации – реальной. Вопрос о соответствии уровня дополнительной переменной, типа музыки, уже возникал. Несколько позже мы обсудим подобные вопросы для независимых и зависимых пере­менных. Понятно, что вопросы о соответствии касаются содержания того, что стоит по обе стороны изучаемого отношения. Это и есть вопросы внешней валидности. Ее можно определить как степень правомерности данного вывода об экспериментальной гипотезе по сравнению с тем выводом, который основан на результатах экспери­мента с полным соответствием независимой, зависимой и уровнями всех дополнительных переменных.

В настоящем разделе мы обсудим главным образом проблему внутренней валидности. В любом эксперимен­те вы с самого начала столкнетесь с этой проблемой; если внутренняя валидность не достигнута, рассматри­вать внешнюю не имеет смысла. Ранее были представлены эксперименты такого типа, для которых вопросы внешней валидности практически не обсуждаются. А в следующей части нашего курса мы рассмотрим эк­сперименты, в которых именно эти вопросы выступают на первый план.

Никаких гарантий. Мы можем сказать, что экспери­мент валиден, не зная фактически, правильны ли вы­воды. Мы можем оказать, что он невалиден, не зная, что выводы ошибочны. Причина в том, что мы не можем знать наперед, какая, из двух конкурирующих гипотез верна. Ведь если бы мы об этом знали, нам не надо было бы проводить эксперимент. Если бы Джек заранее знал, какая из двух его гипотез справедлива: (1) частичный метод лучше или (2) целостный метод лучше,-–он мог бы не проводить свое исследование.

При определении валидности реальных эксперимен­тов мы должны сравнивать сами процедуры их проведе­ния с процедурами «проведения» безупречного экспери­мента. Валидный эксперимент представляет безупреч­ный эксперимент лучше, чем невалидный. Следователь­но, в валидном эксперименте мы с большей вероят­ностью можем получить такие результаты, которых могли бы достичь в безупречном эксперименте. При этом важно помнить, что обобщение ограниченных – и всегда несовершенных – экспериментальных данных связано с риском. Даже самый высоковалидный экспери­мент может дать неточную информацию о правильности экспериментальной гипотезы, а информация, полученная в невалидном эксперименте, может оказаться точной. Причины такого риска и его влияние на интерпретацию экспериментальных результатов мы обсудим в следующих разделах нашего курса.

Занятие 2.