Проблема эффектов последовательности

Важность этой проблемы все более осознается в экспериментальной психологии (Поултон и Фримен, 1966). Сейчас мы обсудим, почему эффекты последовательности — это основной фактор, нарушающий внутреннюю валидность в эксперименте с одним испытуемым. Речь идет о тех характеристиках ответа испытуемого в данной пробе, которые вызваны самим фактом предъявления ему предыдущих проб. Эти влияния могут быть положительными и отрицательными. Они могут иметь глобальный характер, как, например, адаптация к режиму эксперимента или усталость испытуемого. Они могут быть и специфическими, скажем, умение предсказывать тот момент, когда в челноке окончится нить. Они бывают недолгими, распространяющимися лишь на одну последующую пробу, и продолжительными, причем их действие от пробы к пробе может накапливаться. Такие влияния обычно называются эффектами переноса.

Однородные и неоднородные эффекты

Рассмотрим эффект переноса, который накапливается по мере предъявления проб. Предположим, что в течение четырех экспериментальных проб (целостный метод — частичный — частичный — целостный) Джек Моцарт постепенно втягивался в режим эксперимента. Если подобное влияние на каждую последующую пробу является однородным, то ни один из методов заучивания не получит преимущества перед другим. Например, если величина положительного переноса каждой предыдущей пробы (или переноса от пробы к пробе) равна 2 «единицам», то значения «помощи» испытуемому были бы следующими: первая проба целостного метода — никакой помощи, первая частичного метода — 2 единицы, вторая частичного метода — 4 единицы, вторая целостного метода — 6 единиц. В итоге на каждый метод, целостный и частичный, пришлось бы по 6 единиц. Таким образом, эффект однородного переноса оказывается уравновешенным.

Однако чаще случается так, что процесс научения сначала протекает более интенсивно, а затем замедляется. Поэтому в нашем примере лучше предположить, что перенос первой пробы на вторую равнялся 3 единицам, от второй к третьей пробе он возрастал на 2 единицы, а от третьей к четвертой—только на 1. При таком неоднородном переносе каждой пробе отвечали бы следующие значения: первая проба целостного метода — никакой помощи, первая частичного метода — 3 единицы, вторая частичного метода — 5 единиц, вторая целостного метода — 6 единиц. Теперь целостный метод по-прежнему получает в итоге 6 единиц, в то время как частичный — 8.

При использовании позиционно уравненной последовательности АББА условия независимой переменной (А или Б) оказываются связанными с ранним или поздним переносом. Условие А связано с поздним переносом, поскольку оно получает «помощь» только на четвертой пробе, а условие Б — с ранним, на второй и третьей пробах. Внутренняя валидность эксперимента пострадает в той мере, в какой предположение об однородности переноса окажется неверным. Приведенное объяснение справедливо не только в случае положительного, но и отрицательного эффекта последовательности, например по причине усталости испытуемого. Только в этом случае преимущество получает условие А.

При использовании схем случайной последовательности и регулярного чередования, когда число проб достаточно велико, проблема неоднородных влияний далеко не так существенна, как при позиционно уравненной последовательности. Ведь каждое из условий независимой переменной проходит в эксперименте по нескольку раз, как в ранних, так и в поздних пробах. Гораздо большую опасность для достижения внутренней валидности при использовании любой из трех рассмотренных схем представляют асимметричные влияния. Обратимся к их описанию.

Симметричные и асимметричные эффекты

Если мы уверены в том, что в нашем эксперименте с одним испытуемым эффекты последовательности являются симметричными, то связанные с ними трудности можно преодолеть. Посмотрим, почему это так и что означает в данном контексте слово «симметричные». Оно означает, что влияние условия А на последующее условие Б является точно таким же, как и влияние условия Б на последующее условие А. Скажем, использование частичного метода занятий в эксперименте Джека Моцарта точно так же влияет на последующее применение целостного метода, как использование целостного метода на последующее применение частичного.

Предположим, что между двумя методами существует своего рода антагонизм, т. е. негативный перенос, равный 5 единицам. При последовательности методов: целостный — частичный — частичный — целостный — его эффект обнаружится на второй и на четвертой пробах, т. е. на второй (частичный метод) и четвертой (целостный) пробах эффективность заучивания пьес будет снижаться на 5 единиц. Таким образом, при позиционно уравненной последовательности, которой воспользовался Джек, эти симметричные влияния взаимно компенсируются. При большем количестве проб (в случайной или чередующейся схемах) условие А предшествует условию Б, а Б предшествует А примерно одинаковое число раз, и поэтому их взаимовлияния вновь будут уравнены.

Но если перенос условия А на условие Б отличается от влияния Б на А, то экспериментатор оказывается в весьма затруднительном положении. Предположим — и это самый худший случай, — что практика, получаемая при использовании целостного метода, облегчает Джеку разучивание пьес с помощью частичного метода, а практика, получаемая при частичном методе, мешает заучиванию с помощью целостного. Пусть, как и раньше, эти влияния равны 5 единицам. При последовательности АББА качество исполнения пьес повысится на 5 единиц на второй пробе (частичный метод) и понизится на 5 единиц на четвертой пробе (целостный метод). Ясно, что эффекты переноса скомпенсированы не будут, и частичный метод получит преимущество. Для того чтобы это произошло, вовсе не обязательны разнонаправленные влияния, им достаточно быть просто неодинаковыми по величине. В данном случае мы имеем дело с систематическим смешением независимой переменной (метод заучивания) с другой переменной — последовательностью проб: либо условие А — условие Б, либо условие Б — условие А. Одна из проб условия А сопровождается влиянием Б на А, а одна из проб условия Б — влиянием А на Б. И беда в том, что экспериментатор не знает, какой вид влияния имеет Место. Все, что у него есть, — это четыре показателя качества исполнения пьес, на каждое из которых воздействуют к тому же факторы времени, а иногда (как в данном эксперименте) — еще и факторы задачи.

Не слишком изменится эта ситуация и при регулярном чередовании проб. Каждая проба условия Б следует за пробой условия А и наоборот. Если влияния асимметричны, то систематическое смешение независимой переменной будет не в половине проб, как в схеме позиционного уравнивания, а в каждой пробе (кроме первой). И вновь нет практически никаких средств для определения асимметричности этого переноса.

При использовании случайной последовательности примерно половина проб одного условия предшествует пробам другого условия. Возникает хоть какая-то возможность определить само наличие влияний последовательности и их асимметричный характер. Например, для каждого из следующих сочетаний проб: условие А предшествует условию Б, А не предшествует Б, Б предшествует А, Б не предшествует А — можно получить отдельное значение зависимой переменной. Различие между первыми двумя значениями позволит обнаружить величин влияния условия А на условие Б, а различие между двумя вторыми значениями — величину влияния Б на А. Зная эти величины, можно позаботиться об устранении систематического смешения: определяя значения зависимой переменной при каждом из условий, нужно вычитать соответствующие величины эффектов последовательности.

Следует заметить, что наше обсуждение не дает полного представления о последствиях предъявления обоих условий независимой переменной одному и тому же испытуемому. Здесь возможны влияния более общего характера. Например, целостный метод заучивания может становиться менее эффективным только в сочетании с частичным. По контрасту он может показаться испытуемому слишком утомительным. А если бы применялся один метод, контраста бы не было. Для определения подобных влияний также нет никаких практических средств. Кроме того, в эксперименте с одним испытуемым ни одна из указанных схем не устраняет возможности асимметричного переноса. Именно эти влияния следует признать самым серьезным источником систематического смешения независимой переменной.

Более того, он является и наиболее общим видом систематического смешения. Если между двумя условиями независимой переменной существуют асимметричные эффекты последовательности, то они скажутся в любом эксперименте, сравнивающем эти условия. Влияние предубеждений экспериментатора будет сказываться только в данном конкретном эксперименте, в другом эксперименте оно может радикально измениться, если новый экспериментатор имеет противоположные предубеждения. Точно так же смешение с факторами времени и факторами задачи при использовании короткой позиционно уравненной последовательности будет существенно меняться от эксперимента к эксперименту, как и неоднородные эффекты последовательности.

КРАТКОЕ ИЗЛОЖЕНИЕ

Мало иметь заранее подготовленный план эксперимента и хорошо регистрировать его ход. Не всякий план является удачным. Реальный эксперимент можно оценить по его близости к эксперименту безупречному. Конечно, на практике безупречность недостижима. Значение идеи безупречного эксперимента состоит в том, что она дает образец для оценки реальных экспериментов и точного определения их недостатков. В данной главе мы пользовались этим образцом при сравнении экспериментов, описанных в главе 1, с менее удачными планами проведения тех же экспериментов.

Одним из видов безупречного эксперимента является идеальный эксперимент, в котором одному и тому же испытуемому в одно и то же время предъявляются разные условия независимой переменной. Главное в нем — это обеспечение неизменности всех побочных факторов. Другим видом безупречного эксперимента является бесконечный, т. е. постоянно продолжающийся, эксперимент. Центральное значение имеет здесь достаточно большое количество данных. Третий вид безупречного эксперимента — эксперимент полного соответствия, все обстоятельства проведения которого суть те же самые обстоятельства, на которые будут распространяться его выводы. В нем важно то, что дополнительные факторы нужно сохранять не просто на неизменном, но и на адекватном уровне. При сравнении первоначально описанных экспериментов с их менее удачными вариантами было обнаружено, что во всех случаях оригинальные планы были ближе к одному из видов безупречного эксперимента.

В любом реальном эксперименте не все полученные данные можно считать достоверными. Однако нужно стремиться получить результаты (основу для будущих выводов), как можно более близкие к результатам безупречного эксперимента. Чем ближе реальный эксперимент к безупречному, безошибочному и по плану, и по процедурам, тем лучше он репрезентирует, или представляет его. Во всех случаях сравнения оригинальных экспериментов с их менее удачно спланированными вариантами оказалось, что именно оригинальные лучше представляют безупречный эксперимент. В зависимости от того, насколько реальные эксперименты репрезентируют безупречный, они бывают более или менее валидными. Различают два вида валидности. Первый называется внутренней валидностью. Речь идет о таком планировании эксперимента, при котором можно получить то же отношение между независимой и зависимой переменными, что и в идеальном или бесконечном экспериментах, т. е. об устранении побочных влияний. Если же эксперимент по своему проекту позволяет получить те же результаты, что и эксперимент полного соответствия, то он обладает внешней валидностью. Эксперимент, страдающий недостатком внутренней валидности, можно назвать неудачным, несостоятельным, а эксперимент, которому недостает внешней валидности, — неадекватным. Примером последнего служит эксперимент, при проведении которого уровень значимой дополнительной переменной не соответствует ее реальному уровню. Было установлено, наконец, что даже когда эксперимент удачно спланирован и успешно проведен, нет полной гарантии того, что полученные в нем результаты подобны результатам безупречного эксперимента. И наоборот, неудачно спланированный эксперимент может дать корректные результаты. Хотя, конечно, у хорошо спланированного эксперимента таких шансов больше.

Особое внимание в этой главе мы уделили внутренней валидности — главному требованию к любому эксперименту. Существует целый ряд факторов, затрудняющих достижение внутренней валидности. В эксперименте с одним испытуемым это прежде всего всевозможные изменения, происходящие с течением времени. Идеальный эксперимент неосуществим, нельзя одновременно предъявить одному и тому же испытуемому различные условия независимой переменной. На практике двух идентичных проб не существует, независимо от того, предъявляются они одному испытуемому или разным. Это связано, в частности, с теми побочными факторами, 4уровни которых могут изменяться. Некоторые из этих факторов можно зафиксировать и проконтролировать. Однако в большинстве случаев связанная с ними нестабильность результатов от пробы к пробе неизбежна. Как продолжительные, так и кратковременные колебания такого рода являются скорее правилом, чем исключением. Некоторые из них связаны с непостоянством побочных влияний, которые можно определить, но нельзя проконтролировать. Даже сама независимая переменная не всегда остается неизменной в различных пробах. Непостоянство же зависимой переменной может быть связано также с особенностями изучаемого поведения и с его измерениями в эксперименте. Все эти факторы мы объединили под названием «факторы времени».

Помимо них мы описали еще три источника нарушения внутренней валидности. Некоторые эксперименты, особенно связанные с научением, требуют применения различных задач для разных условий, и тогда «факторы задачи» становятся одним из таких источников. Далее, в любом эксперименте, где разные условия предъявляются одному и тому же испытуемому, существуют эффекты последовательности, т. е. влияния ранее предъявленного условия на предъявленное позже. И еще один источник нарушения внутренней валидности — это предубеждение экспериментатора о преимуществе одного из условий независимой переменной.

Все эти угрозы внутренней валидности в случае их неустранения приведут к одному из двух следствий. Первое — ненадежность эксперимента. Она возникает в том случае, если при большом разбросе данных проведено слишком мало проб. Здесь у нас нет полной уверенности в том, что при повторении эксперимента будут получены те же самые результаты. Второе—систематическое смешение, когда каждое из условий независимой переменной неразрывно связано со своим уровнем одной из других переменных, и это нарушает внутреннюю валидность.

В главе были обсуждены различные схемы эксперимента с одним испытуемым и то, насколько успешно позволяют они устранить указанные недостатки. Какая бы схема ни применялась, неотъемлемой частью эксперимента является первичный контроль за побочными факторами. Это — организация и протоколирование эксперимента, стабилизация известных побочных переменных, точность экспериментальных процедур и необходимое количество проб.

Схема случайной последовательности особенно удобна в тех экспериментах, где для каждого из условий можно применить большое количество проб. Валидность зависит от числа проб, необходимого для достижения высокой надежности эксперимента. Использование этой схемы исключает возможность всех эффектов последовательности, за исключением асимметричных влияний. Впрочем, последние сохраняются и при использовании других схем.

Если в эксперименте можно использовать не так много проб, то лучше предъявлять их не в случайном порядке, а применить схему регулярного чередования. Надежность эксперимента вновь будет зависеть от соответствия количества проб разбросу показателей. Экспериментатору следует обратить особое внимание на возможные влияния событий, происходящих через равные промежутки времени. Эти влияния могут давать определенное преимущество одному из исследуемых условий и, таким образом, приводить к систематическому смешению.

Схема позиционно уравненной последовательности применяется при относительно небольшом количестве проб (или блоков проб). Надежность зависит от адекватности выбора проб или их блоков изучаемому поведению. Здесь контроль за систематическими влияниями факторов, изменяющимися от пробы к пробе, связан с предположением о линейном характере этих изменений.

Схемы различаются также и по тому, насколько успешно они позволяют преодолеть различия задач. При использовании позиционно уравненной последовательности все задачи разделяют на пары, стараясь подобрать в каждую пару задачи примерно одинаковой трудности. Если это не удается полностью, то внутренняя валидность эксперимента пострадает из-за неизбежного для данной схемы систематического смешения независимой переменной с факторами задачи. Если используются случайная последовательность или регулярное чередование условий, т. е. число проб достаточно велико, то задачи (или пары задач) можно предъявлять в случайном порядке. Тогда систематического смешения с факторами задачи не происходит. Однако высокая степень изменчивости этих факторов снижает надежность эксперимента.

К систематическому смешению приводят также эффекты последовательности проб. При использовании схемы позиционного уравнивания внутренней валидности угрожает неоднородность влияний ранних и поздних экспериментальных проб. Труднее всего устранить такие случаи систематического смешения, когда влияния последовательности взаимно асимметричны, т. е. влияние условия А на условие Б отличается от влияния условия Б на условие А. И это может произойти в любом эксперименте, где различные условия независимой переменной предъявляются одному и тому же испытуемому.

ВОПРОСЫ

1. Как еще можно оценить эксперимент, кроме оценки качества организации его хода и протоколирования?

2. Покажите, как с помощью понятия идеального эксперимента можно определить, что один способ проведения эксперимента лучше другого.

3. Почему для опытов Иоко с томатным соком образцом безупречного эксперимента служит бесконечный, а не идеальный эксперимент?

4. Как внутренняя валидность связана с безупречным экспериментом?

5. Можно ли считать хорошим эксперимент, который не вполне репрезентирует эксперимент полного соответствия?

6. Опишите основные факторы, затрудняющие достижение внутренней валидности эксперимента.

7. Почему вопрос о различии задач касался прежде всего эксперимента Джека с заучиванием фортепьянных пьес, а не двух других экспериментов?

8. Покажите различие между ненадежностью и систематическим смешением.

9. Как вы определите, что в эксперименте лучше применить схему регулярного чередования, чем схему случайной последовательности?

10. Сравните возможность систематического смешения при использовании схемы позиционного уравнивания и двух других схем.

11. В чем различие между систематическим смешением, которое может меняться от эксперимента к эксперименту при исследовании какой-то проблемы, и систематическим смешением, которое может произойти во всех экспериментах, направленных на решение данной проблемы?

СТАТИСТИЧЕСКОЕ ПРИЛОЖЕНИЕ: ОПРЕДЕЛЕНИЕ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ И ПАРАМЕТРОВ НА ОСНОВЕ ВЫБОРОЧНЫХ СТАТИСТИК. СРЕДНЕЕ И СТАНДАРТНОЕ ОТКЛОНЕНИЕ

Определение среднего в популяции (генеральной совокупности)

В эксперименте по определению времени реакции, описанном в приложении к главе 1, были взяты результаты действительного эксперимента. Предполагалось, что они представляют такие данные, которые могли бы быть получены в эксперименте с полной внутренней валидностью. Так, среднее время реакции на световой сигнал по 17 пробам представляло среднее, которое можно было бы получить в эксперименте с неограниченным числом проб.

Мы используем среднее для ограниченной выборки проб, чтобы сделать вывод о достаточно большой (вплоть до неограниченной) популяции проб. Такая популяция называется генеральной совокупностью. Среднее по генеральной совокупности таких, например, данных, как ВР, обозначается Мх. Такую характеристику генеральной совокупности называют параметром. Среднее, действительно вычисленное нами для данной выборки, называется статистикой, и обозначается Мх. Является ли статистика Мх наилучшей оценкой параметра Мх, которую мы можем получить на основе нашей выборки проб? Ответ — без доказательства — да. Но прежде чем вы решите, что это всегда так, давайте перейдем, к стандартному отклонению, где дело обстоит иначе.

Вычисление стандартного отклонения

Обычно помимо среднего значения оценок мы хотим знать еще кое-что, а именно, какова несистематическая вариация оценок от пробы к пробе. Наиболее распространенный способ измерения несистематической вариации состоит в вычислении стандартного отклонения.

Для этого, вы определяете, насколько каждая оценка (т. е. X) больше или меньше среднего (Мх). Затем вы возводите в квадрат каждую разность (X-Мх) и складываете их. Вслед за этим вы делите эту сумму на N число проб. Наконец, вы извлекаете квадратный корень из этого среднего.

Это вычисление представлено формулой с использование символа σх для обозначения стандартного отклонения:

(2.1)

Эту формулу можно сократить, введя маленькое х для обозначения (X-Мх). Тогда формула выглядит так:

(2.1A)

Давайте выпишем данные по условию А из приложения к главе I и одновременно произведем по ним вычисления, указываемые формулой для σх

 

 

Проба	X	Мх	X - МX	x2
или х
			+38	+1444
			—1	+1
			+24	+576
			—2	+4
			—5	+25
			—17	+289
			+30	+900
			—13	+169
			+15	+225
			+6	+36
			+12	+144
			+3	+9
			—11	+121
			—9	+81
			-30	+900
			—20	+400
			—22	+484
			Σx2	+5808

Поскольку

То

мс.

Оценка стандартного отклонения генеральной совокупности

Для определения среднего генеральной совокупности, которое могло бы быть получено в бесконечном эксперименте, наилучшей оценкой фактически было среднее по выборке. Иначе обстоит дело со стандартным отклонением. В любом наборе реальных проб имеет место меньшее число результатов с очень высокими или очень низкими значениями, чем в генеральной совокупности. А поскольку стандартное отклонение является мерой разброса оценок, то его величина, определенная на основе выборки, всегда меньше параметра генеральной совокупности сигма σх.

Более точная, оценка стандартного отклонения для генеральной совокупности находится по формуле

(2.2)

Или

(2.2А)

Для наших числовых данных:

мс.

В некоторых экспериментах высказывается гипотеза, что поведение в одном условии более вариативно, чем в другом. Тогда целесообразнее сравнивать стандартные отклонения, а не средние. Если для обоих условий N одно и то же, можно сравнивать между собой сигмы. Однако когда N различны, сигма для условия с меньшим N дает более заниженную оценку такого параметра генеральной совокупности, как стандартное отклонение. Поэтому следует сравнивать два S.

Таблица, которая приводится ниже, поможет вам запомнить эти положения и формулы.

	Среднее	Стандартное отклонение
Параметрические характеристики генеральной совокупности (г. с.)
Статистические характеристики выборки
Оцениваемый параметр генеральной совокупности			или

Задача: Вычислите σх и Sх для условия Б.

Ответ: σБ = 15,9; σБ = 16,4.

Статистическая таблица 1

Числа от 1 до 100 с их квадратами и корнями квадратными
Число	Квадрат	Корень квадр.	Число	Квадрат	Корень квадр.	Число	Квадрат	Корень квадр.	Число	Квадрат	Корень квадр.
		1.000			5,099			7,141			8,718
		1,414			5,196			7,211			8,775
		1,732			5,292			7,280			8,832
		2,000			5,385			7,348			8,888
		2,236			5,477			7,416			8,944
		2,449			5,568			7,483			9,000
		2,646			5.657			7,550			9,055
		2,828			5,745			7,616			9,110
		3,000			5,831			7,681			9,165
		3,162			5,916			7,746			9,220
		3,317			6,000			7,810			9,274
		3,464			6,083			7,874			9,327
		3,606			6,164			77,93			9,381
		3,742			6,245			8,000			9,434
		3,873			6,325			8,062			9,487
		4,000			6,403			8,124			9,539
		4,123			6,481			8,185			9,592
		4,243			6,557			8,246			9,644
		4,359			6,633			8,307			9,695
		4,472			6,708			8,367			9,747
		4,583			6,782			8,426			9,798
		4,690			6,856			8,485			9,849
		4,796			6,928			8,544			9,899
		4,899			7,000			8,602			9,950.
		5,000			7,071			8,660			10,000..