Повышение внутренней валидности с помощью первичного контроля

Термин «контроль» используется в нашей книге для обозначения любого способа усовершенствования экспериментов, который приближает их к безупречному. Здесь мы будем иметь дело с угрозами внутренней валидности эксперимента и мерами, которые позволяют их устранить. Если контроль в эксперименте недостаточен, то внутренняя валидность может нарушиться двояким образом. Она может пострадать от ненадежности и от систематического смешения. Ниже мы рассмотрим способы первичного контроля (применимые к любой экспериментальной схеме), которые могут повысить надежность эксперимента и сократить систематическое смешение.

Ненадежность

Предположим, что исследование в ткацком цехе проводилось лишь в течение 11-й и 14-й недель из 26. Для выбора, в какую из этих недель давать наушники, просто бросали монету (чтобы избежать предубеждений) Случилось так, что выбор пал на четырнадцатую неделю. А теперь посмотрите на рис 2.1. На этой неделе испытуемая Д. работала плохо: она пропускала более 1400 ударов за час. С другой стороны, одиннадцатая неделя была для нее удачной: менее 800 пропущенных ударов за час Объективность такого эксперимента сомнений не вызывает, он просто слишком короткий. За две другие недели ткачиха покажет иные результаты и т д. Двухнедельный эксперимент весьма далек от бесконечного, а 26-недельный гораздо ближе к нему, и у нас есть все основания надеяться, что другой эксперимент в 26 недель даст примерно те же результаты Конечно, если разброс будет невелик, то большего количества проб не потребуется.

Когда мы говорим о надежности среднего значения зависимой переменной для каждого из условии независимой переменной, то имеем в виду его устойчивость при повторении эксперимента второй, третий, четвертый и т.д. раз. Итак, если надежность высокая, то при многократном повторении эксперимента будет воспроизводиться примерно одно и то же значение зависимой переменной.

Выбор адекватного количества проб. Для достижения высокой надежности эксперимента количество проб должно соответствовать изменчивости изучаемого поведения. В эксперименте с временем реакции, как можно судить по рис. 2.2, требуется много проб — 50, 100 или даже больше. Ведь экспериментальные данные сильно варьируют от пробы к пробе. Джеку Моцарту в эксперименте с заучиванием фортепьянных пьес проб нужно гораздо меньше, поскольку каждая проба включает довольно много отдельных действий, и результат измерения оказывается более стабильным. Таким образом, необходимое количество проб зависит от разброса результатов измерений.

Сокращение изменчивости во времени

Увеличение количества проб — лишь один из способов повышения надежности. Другой — сокращение самой изменчивости изучаемого поведения. Достигается оно прежде всего с помощью организации хода эксперимента и его протоколирования, уже обсуждавшихся в главе 1. Процедура эксперимента должна строго соблюдаться, а значимая информация о ней (учитывая возможность ошибок при воспроизведении по памяти) — фиксироваться документально. Кроме последовательного выполнения запланированных действий уменьшения разброса экспериментальных данных можно достичь, соблюдая точность в эксперименте.

Любые меры, которые позволяют сделать эксперимент более точным, сокращают изменчивость поведения во времени. Так, чтобы не увеличивать эту изменчивость за счет поведения экспериментатора, везде, где это возможно, применяются автоматические методы. Например, в эксперименте с временем реакции выбора экспериментатор сам мог бы давать испытуемому команду «Приготовьтесь!» примерно за секунду до предъявления сигнала. Разумеется, время подачи такой команды, громкость голоса экспериментатора не могут не изменяться. Поэтому гораздо лучше использовать для предупреждения испытуемого прибор-автомат, зажигающий стандартную световую точку. Далее, экспериментатор мог бы измерять время реакции с помощью обычного секундомера: включать его при предъявлении сигнала и останавливать, увидев, что испытуемый дал ответ. Но это, несомненно, увеличило бы различие между пробами. Использование же электрических или электронных часов, которые автоматически включаются вместе с сигналом и останавливаются с выдачей ответа, позволяет практически предотвратить подобные вариации.

Из сказанного вполне понятно, что любые способы стабилизации побочных переменных повышают надежность эксперимента. Джеку Моцарту, конечно, не следует во время своих занятий то закрывать окна, то широко раскрывать их. Если у него есть возможность поддерживать в комнате нормальную температуру, то окна лучше всегда держать закрытыми, чтобы уменьшить шум транспорта и, что более важно, сократить колебания в уровне этого шума. Мы помним, как внимательно следила Йоко за тем, чтобы томатный сок, который она пила, имел постоянную температуру.

Систематическое смешение

Однако на самом деле ненадежность — еще не самый худший вариант нарушения внутренней валидности. В принципе этот недостаток всегда можно исправить путем увеличения числа проб. В тех же случаях, когда этого сделать нельзя, мы используем термин «систематическое смешение». План «неудачного» эксперимента с ткачихами — работа в первые 13 недель с наушниками и следующие 13 без них — не позволяет улучшить эксперимент путем увеличения количества проб. Можно повторить эксперимент полностью, но и тогда останется сомнение, не пришелся ли один из этих 13-недельных периодов на времена, когда зависимая переменная испытывала благоприятные (или неблагоприятные) влияния. Напротив, с помощью плана чередования недель, который применялся в действительности, можно продлить эксперимент настолько, насколько потребуется для достижения надежности. Следовательно, «неудачный» план приводит к систематическому смешению Независимой переменной (использование или неиспользование наушников) с другими факторами, изменяющимися во времени (в первые или вторые 13 недель.

Систематическое смешение означает, что независимая переменная постоянно сопровождается некоторыми побочными переменными. Использование наушников сопровождается изменениями в состоянии ткачихи за первые 13 недель, их неиспользование — изменениями в ее состоянии за вторьте 13 недель. По данным такого эксперимента мы не сможем судить о том, была ли высокая производительность труда (за первые 13 недель) результатом воздействия независимой переменной (использования заглушек) или каких-то других факторов.

Теперь нам понятно, почему описанный эффект (в отличие от ненадежности) назван систематическим. Надежность можно повысить, увеличивая число проб, ведь в течение долгого времени любые благоприятные (или неблагоприятные) влияния окажутся размытыми. Если же эксперимент страдает от систематического смешения, то с увеличением проб этот недостаток лишь усугубится.

Довольно много подобных влияний может возникнуть в случае, если не принять необходимых мер против предубеждений экспериментатора. Если экспериментаторы надеялись на повышение производительности труда с помощью наушников, то они могли передать свою веру рабочим, а быть может, и ошибаться в снятии показаний счетчика ударов. Все это явно нарушило бы равновесие между двумя состояниями независимой переменной. Одно из этих состояний (использование наушников) сопровождалось бы одним уровнем побочной переменной — благоприятным предубеждением экспериментатора, а второе состояние (неиспользование наушников) — другим ее уровнем — неблагоприятным предубеждением. При этом экспериментатору вовсе не обязательно проявлять свои склонности постоянно. Даже эпизодические случаи будут порождать систематические влияния, приводящие к неравенству двух состояний независимой переменной.

Довольно много подобных влияний может возникнуть в случае, если не принять необходимых мер против предубеждений экспериментатора. Если экспериментаторы надеялись на повышение производительности труда с помощью наушников, то они могли передать свою веру рабочим, а быть может, и ошибаться в снятии показаний счетчика ударов. Все это явно нарушило бы равновесие между двумя состояниями независимой переменной. Одно из этих состояний (использование наушников) сопровождалось бы одним уровнем побочной переменной — благоприятным предубеждением экспериментатора, а второе состояние (неиспользование наушников) — другим ее уровнем — неблагоприятным предубеждением. При этом экспериментатору вовсе не обязательно проявлять свои склонности постоянно. Даже эпизодические случаи будут порождать систематические влияния, приводящие к неравенству двух состояний независимой переменной.