Достижение внутренней валидности в экспериментах с межгрупповым сравнением

Новая угроза для внутренней валидности: индивидуальные различия испытуемых

Эксперимент с межгрупповым сравнением, вроде только что описанного, не может быть идеальным, но по другой причине, чем эксперимент с одним испытуемым. В идеальном эксперименте один и тот же испытуемый или одна и та же группа испытуемых одновременно работает в различных условиях независимой переменной. В реальности индивидуальный эксперимент ухудшается из-за того, что испытуемый не может работать в различных экспериментальных условиях одновременно. А в реальном эксперименте с межгрупповым сравнением группы могут работать одновременно, но предъявить разные экспериментальные условия одной и той же группе невозможно.

Теперь давайте рассмотрим природу межиндивидуальных вариаций, а затем, в следующем разделе, обсудим, что можно сделать для сокращения влияния этих вариаций на внутреннюю валидность эксперимента.

Известные характеристики

У испытуемых любой потенциальной группы есть довольно много различий, выделить которые очень легко. В только что описанном эксперименте, например, участвовали юноши и девушки. С этим ясно. Другая известная характеристика — возраст. Однако в подобных индивидуальных различиях не всегда можно сразу установить четкие градации. Так, в эксперименте с испанским для определения различий испытуемых по их словарному запасу потребовалась предварительная проверка. Нельзя утверждать, что абсолютно все известные индивидуальные характеристики имеют отношение к изучаемому виду деятельности, но на практике таковой может оказаться почти каждая из них. Длина волос, например, может свидетельствовать об образе жизни испытуемого, а тот, в свою очередь, — влиять на стиль обучения. Место фамилии испытуемого в алфавитном списке может указывать на его этническое происхождение. Трудно найти такую характеристику, которая так или иначе не была бы связана с деятельностью, исследуемой в эксперименте.

Вывод из всего этого в отношении экспериментов с межгрупповым сравнением вполне ясен. Экспериментатор должен быть очень внимательным к индивидуальным различиям при разделении на группы. Можно сказать точно, что если студентов в аудитории разделить на две экспериментальные группы по тому, близко или далеко они предпочитают сидеть от доски, то исследование наверняка будет ненадежным.

Несистематические вариации

Дайте любой группе людей какой-нибудь тест — и вы получите определенное распределение ответов. Чаше всего оно будет иметь куполообразную форму. Так распределились оценки студентов, прошедших предварительную проверку на знание слов испанского языка. То же было справедливо и для покупателей, пользовавшихся вычислительным устройством. Такую же форму имело распределение времени научения, необходимого для правильного выполнения задач на различение в опытах с крысами. В большинстве случаев нельзя заранее выделить те индивидуальные различия, которые объясняли бы подобный разброс. Эти различия непостоянны и изменчивы.

Какую-то часть несистематических вариаций можно отнести за счет изменчивости поведения каждого испытуемого во времени или нестабильности в оценке этого поведения, о чем мы говорили в главе 2. Во-первых, в любой конкретной пробе одни испытуемые будут более работоспособны, другие — менее и т. д. Во-вторых, в каждый конкретный замер обычно попадает лишь какая-то часть изучаемого поведения, и поэтому данная оценка работы одних испытуемых может оказаться удачной, а других — неудачной. В отличие от индивидуальных экспериментов, в экспериментах с межгрупповым сравнением подобная изменчивость сглаживается за счет увеличения количества отдельных действий, оцениваемых в одном замере. В эксперименте с испанским это достигалось двумя путями. Во-первых, каждый студент участвовал в опытах на протяжении двух лет (при одном из условий независимой переменной). Таким образом, обучение происходило как в благоприятные, так и в неблагоприятные периоды. Во-вторых, они проводились через длительный тест. Возможно, что для еще большей минимизации факторов во времени было бы лучше повторно проводить тесты по 2—3 в месяц.

Но независимо от того, насколько удастся сократить изменчивость результатов у каждого отдельного испытуемого, все же сохранятся вариации между испытуемыми, причем те, которые мы не сможем объяснить установленными индивидуальными различиями. Причины этих вариаций могут быть разными. Все еще обсуждается извечный вопрос о соотношении врожденных и приобретенных различий. Правда, экспериментатора больше интересуют сами вариации, чем их теоретическое объяснение. Далее, такие вариации могут оказаться связаны с самим экспериментом. Может случиться так, что для большинства испытуемых более эффективным окажется разговорный метод обучения испанскому языку, а кому-то больше поможет письменный. И наконец, есть вариации, возникающие в самом ходе эксперимента. Так, могут меняться личные отношения между студентом и преподавателем, испытуемым и экспериментатором.

Таким образом, разброс данных по группе испытуемых может быть обусловлен как изменчивостью поведения каждого испытуемого, так и различиями между испытуемыми по их «среднему» уровню. Чтобы представить общую картину несистематических вариации, нужно иметь в виду оба их источника. Если в каждом из экспериментальных условий работает отдельная группа испытуемых, то всегда есть опасность, что полученные различия в результатах объясняются не условиями, а индивидуальными особенностями испытуемых, случайно попавших в каждую из групп.

Еще раз о систематическом смешении и ненадежности

Итак, основным препятствием для достижения внутренней валидности в эксперименте с межгрупповым сравнением является потенциальная возможность влияния на полученные результаты индивидуальных различий испытуемых в каждой из групп. Из-за этих влияний подлинные воздействия экспериментальных условий могут и вовсе не проявиться. Если группы составлены так, что между ними сохраняется устойчивое различие (например, в одной группе юноши, в другой — девушки), то систематическое смешение независимой переменной с индивидуальными особенностями испытуемых неизбежно. А случайные различия между испытуемыми в группе, обусловленные ограниченным размером выборки, будут снижать надежность значений тех зависимых переменных, которые исследуются в эксперименте.

Как мы знаем, по своей внутренней валидности реальные эксперименты не могут быть безупречными. Однако реальные группы испытуемых можно сравнивать с такими группами, которые участвовали бы в идеальном и бесконечном эксперименте. Эти мысленные, неосуществимые эксперименты уже знакомы нам по схемам эксперимента с одним испытуемым. В идеальном эксперименте с межгрупповым сравнением членами обеих групп должны быть одни и те же люди. Только тогда полученная разница между условиями независимой переменной совершенно не будет связана с индивидуальными различиями испытуемых каждой группы. Однако на практике достичь этого невозможно, так как испытуемые каждой группы должны быть разными людьми. И все же нужно стараться сделать группы как можно больше похожими друг на друга, подбирая их буквально испытуемый к испытуемому.

Для проведения бесконечного эксперимента с межгрупповым сравнением нужно, чтобы обе группы состояли из бесконечного числа испытуемых (причем способ составления групп не должен порождать систематического смешения). Мы уже советовали вам привлекать для эксперимента большое число испытуемых. Как вы помните, в эксперименте с одним испытуемым для достижения высокого уровня надежности с увеличением разброса данных требуется больше проб. А в эксперименте с межгрупповым сравнением соответствующим требованием будет увеличение количества испытуемых.

Кроме того, надежность индивидуального эксперимента можно повысить путем усреднения изменчивости во времени. Поскольку какая-то часть различий между испытуемыми целиком зависит от субъективных особенностей, этот метод применяется и при межгрупповом сравнении. Эти различия уменьшатся также в том случае, если для всех испытуемых будут обеспечены примерно равные условия проведения эксперимента. Если в эксперименте с испанским языком применение того или другого метода обучения к разным студентам как-то различалось, то нужно ожидать подобных различий и в успешности обучения. В индивидуальных экспериментах соблюдение строгости в отношении всех необходимых аспектов — независимой, зависимой и дополнительных переменных — будет увеличивать надежность, а в новом случае ее можно повысить путем сокращения межгрупповых различий, уравнивая условия работы испытуемых. И если добиться этого, то высокая надежность эксперимента может быть достигнута и не на столь большом количестве испытуемых.