Формирование объекта эксперимента

Для успешности эксперимента важно правильно подобрать участни­ков. К методам отбора участников выдвигается жесткое требование: они должны обеспечить правомерность распространения выводов эк­сперимента на реальные условия.² Применение того или иного метода предопределяется схемой планируемого эксперимента.

Метод попарного отбора² используется преимущественно в парал­лельном эксперименте. Из генеральной совокупности подбираются две группы таким образом, чтобы они были идентичны по нейтральным и контролируемым характеристикам. Обеим группам создаются оди­наковые условия; на экспериментальную группу оказывается воздей­ствие изучаемым фактором. Результат эксперимента фиксируется на основании измерения и сравнения значений зависимых переменных в обеих группах. Если существенных признаков много, то отбор ста­новится очень сложным и в реальных условиях трудновыполнимым,

¹ Б. Е. Токарев. Методы сбора и использования маркетинговой информации. —
М.: Юристъ, 2001. С. 171.

² Как провести социологическое исследование. — М.: Политиздат, 1990.
С. 146-147.

поэтому применим в экспериментах с малыми группами. В умозри­тельных экспериментах возможности применения этого метода шире. Главным недостатком метода попарного отбора является утрата реп­резентативности групп в отношении генеральной совокупности, когда экспериментатор пытается обеспечить максимально возможное соот­ветствие между двумя претендентами, один из которых включается в экспериментальную, а другой — в контрольную группу.

Метод частотного выравнивания основан на сопоставлении экспе­риментальной и контрольной групп в целом по процентному распреде­лению или средним величинам существенных признаков.¹ Недостатком этого метода стало нежелательное появление неодинаковых сочетаний характеристик, например: среди приверженцев марки (10% группы) в экспериментальной группе — в основном молодежь, а в контрольной группе те же приверженцы представлены в основном лицами среднего возраста.

Метод выравнивания по квоте¹ (метод структурной идентифика­ции²) помогает устранить обозначенные выше недостатки, поскольку выравнивает распределение характеристик (как порознь, так и их ком­бинаций) в соответствии с распределением признаков генеральной совокупности. В этом случае каждая группа - своеобразная микромо­дель генеральной совокупности по нейтральным и контролируемым характеристикам. Метод применяется как в линейном, так и в парал­лельном эксперименте, но по сложности реализации лишь немногим проще метода попарного отбора.

Для формирования участвующих в эксперименте групп объектов (формирования выборки) может быть применен метод случайного отбора (метод рандомизации¹). Этот метод считается наиболее надеж­ным в силу детальной разработанности процедуры случайных выбо­рок и возможного анализа точности и надежности выборки. Метод рандомизации основан на довольно большом объеме выборки (мето­ды расчета ошибки при выборках 50-100 человек не обеспечивают устойчивых результатов); исходные подмножества также должны быть достаточно большими для проявления закона больших чисел.

Для тех случаев, когда в качестве группы рассматриваются города или регионы, тестируемый рынок должен быть репрезентативным це­левому сегменту с точки зрения структуры населения и потребностей,

¹ Методы сбора информации в социологических исследованиях. Кн. 2. — М:
Наука, 1990. С. 210-211.

² Как провести социологическое исследование. — М.: Политиздат, 1990.
С. 146-147.

структуры торговых предприятий, структуры конкуренции и средств массовой информации.¹

Комбинация различных приемов обеспечивает надежность вырав­нивания и при малых выборках. При сочетании частотного распреде­ления с рандомизацией формируются группы в соответствии с частот­ным распределением, а затем они переформировываются случайным образом. Если при первоначальном отборе упущена какая-либо суще­ственная характеристика, то при случайном распределении лица, об­ладающие данной характеристикой примерно с одинаковой вероятно­стью, попадут в обе группы.²

Сочетание рандомизации и квотного отбора считается наиболее на­дежным,² но требует не только модели распределения существенных признаков, но и фиксирования характеристик относительно всех чле­нов исходной совокупности — без этого невозможно произвести кор­ректировку выборки на основе случайного отбора.

Проведение экспериментальных мероприятий и замер показателей

Проведение экспериментальных мероприятий выражается в экспери­ментальном воздействии и измерении значений выбранных показате­лей в соответствии с запланированной схемой эксперимента. Измерение осуществляется посредством опроса мнений участников или наблю­дения за их реакцией.

В процессе эксперимента могут использоваться количественный и качественный замеры показателей. В основе количественных изме­рений лежит фиксирование интенсивности и длительности проявления определенной переменной. При качественных измерениях фиксиру­ется лишь наличие или отсутствие результата воздействия переменной.

Аналитический этап эксперимента

Аналитический этап эксперимента состоит из следующих процедур:

• анализ выявленных зависимостей;

• определение внутренней и внешней достоверности результатов
эксперимента;

¹ Е.Дихтлъ, X. Хершген. Практический маркетинг. — М.: Высш. шк., ИНФРА-М,
1996. С. 55.

² Методы сбора информации в социологических исследованиях. Кн. 2. — М.:
Наука, 1990. С. 210-211.

• составление отчета о проведении эксперимента, содержащего ин­формацию об условиях существования объекта исследования и проведения эксперимента.

После завершения эксперимента необходимо определить, в чем же заключаются его результат, и оценить его достоверность.

Внутренняя и внешняя достоверность результатов эксперимента

Достоверность с точки зрения математической статистики обозначает обязательное наступление событий и характеризует существенность в различии тех или иных показателей. Для оценки достоверности экс­перимента используются критерии внешней и внутренней валидно-сти¹ (внешней и внутренней достоверности²).

Внутренняя валидность определяет границы, в которых изменение зависимой переменной действительно обусловлено изменением неза­висимой переменной. Внешняя валидность определяет границы, в ко­торых результаты эксперимента могут быть распространены на дру­гие условия, в первую очередь на условия генеральной совокупности.

Для достижения внутренней валидности следует учесть и макси­мально нейтрализовать влияние следующих факторов:³

1. Внешний фон — влияние конкретных событий, происходящих
между первым и вторым измерениями наряду с эксперименталь­
ным воздействием.

2. Естественное изменение- влияние, которое оказывает на участ­
ников эксперимента течение времени, например усиление голода
или усталости. Естественное изменение не связано с конкретны­
ми событиями — это биологические, социальные или психологи­
ческие изменения участников эксперимента в процессе его про­
ведения.

3. Эффект предварительного измерения (эффект обучения) —
влияние заданий, связанных с начальным измерением зависимой
переменной «до» экспериментального воздействия, на результаты
повторного измерения «после» экспериментального воздействия.

¹ Методы сбора информации в социологических исследованиях. Кн. 2. — М.:
Наука, 1990. С. 208-209.

² Е. П. Голубков. Маркетинговые исследования: теория, практика и методо­
логия. - М.: Финпресс, 1998. С. 127.

³ Д. Т. Кэмпбэлл. Модели экспериментов в социальной психологии и при­
кладных исследованиях. — М., 1980. С. 217-234; Е. П. Голубков. Маркетинго­
вые исследования: теория, практика и методология. — М.: Финпресс, 1998.
С. 127.

4. Погрешность измерительного инструмента — влияние техниче­
ских сбоев аппаратуры или естественных изменений, происходя­
щих с исследователями (например усталость).

5. Отбор участников эксперимента — влияние неэквивалентности
составов экспериментальной и контрольной групп.

Факторы, ставящие под угрозу внешнюю валидность, репрезента­тивность эксперимента:

1. Эффект взаимного влияния процедуры измерения в группах
и характера экспериментального воздействия — предваритель­
ное измерение оказывает влияние на восприимчивость к экспе­
риментальному воздействию участников эксперимента, поэтому
реакция людей, прошедших предварительное измерение, будет
нерепрезентативной по отношению к тем, кто этому не подвер­
гался, т. е. генеральной совокупности.

2. Эффект взаимного влияния процедуры отбора участников экс­
перимента и характера экспериментального воздействия — на­
блюдаемый результат может быть свойствен только данной
группе и не проявляться в других частях изучаемой совокуп­
ности.

3. Эффект контроля условий организации эксперимента — полу­
ченный результат может быть вызван не только эксперименталь­
ным фактором, но и знанием, например, что проводится экспери­
мент, отклонениями «реальной жизни» от заявленных условий
эксперимента и пр. Поэтому некорректно распространять полу­
ченные данные на лица, подвергающиеся экспериментальному
воздействию, в неэкспериментальных условиях.

Наиболее проблематичны эксперименты по изучению влияния цены на выбор товара покупателем. В ходе эксперимента люди могут вести себя более рационально, акцентируясь на цене в большей степени, чем в реальной жизни; в такой ситуации практически исключены импуль­сивные покупки. С другой стороны, покупатели в ходе эксперимента зачастую не тратят свои реальные деньги, что также снижает внешнюю валидность эксперимента.

Для преодоления влияния этих факторов необходимо контролиро­вать репрезентативность выборки участников эксперимента и соответ­ствие условий эксперимента реальным условиям.

Анализ факторов, создающих угрозу достоверности результатов, позволяет сделать некоторые выводы о преимуществах и недостатках различных схем эксперимента (табл. 7.3).

Таблица 7.3 Источники невалидности экспериментов по Д. Т. Кэмпбеллу¹

 

 

Факторы	Схема эксперимента
«до-после» без контр, группы	«только после» с контр, группой	«до-после» с контр, группой
Внутренняя валидность
Внешний фон	-	+	+
Естественное изменение	-	+	+
Эффект обучения	-	+	+
Погрешность измерительного инструмента	—	+	+
Отбор участников эксперимента	+	+	+
Внешняя валидность
Взаимодействие тестирования и экспериментального фактора	—	+	—
Эффект взаимодействия отбора участников эксперимента и экспериментального фактора		?	?
Эффект контроля условий организации эксперимента		?	?

«-» означает, что рассматриваемая схема не позволяет преодолеть негативное влияние данного фактора на валидность результатов эксперимента. «+» указывает на то, что фактор находится под контролем. «?» означает возможность некоторых осложнений.

¹ КэмпбеллД.Т. Модели экспериментов в социальной психологии и приклад­ных исследованиях. — М.; 1980.

Глава 8 Опрос