Внутренняя и внешняя валидность (достоверность) экспериментов

 

Проводя эксперименты, мы преследуем две цели:

1. Сделать надежные выводы об эффектах, выявленных на тех объектах, которые мы изучаем;

2. Распространить эти выводы на интересующую нас исследуемую совокупность.

Возможность достижения первой цели означает наличие внутренней валидности экспериментов, возможность достижения второй цели — наличие внешней валидности.

Внутренняя валидность означает, таким образом, что выявленные изменения зависимых переменных являются именно результатом запланированных нами различий независимых переменных, а не влияния каких-либо других факторов. Следовательно, для обеспечения внутренней валидности все потенциально важные внешние факторы должны контролироваться. Внутренняя валидность необходима, если ее нет, то вообще не о чем говорить, в экспериментах ничего не обнаружено.

Внешняя валидность означает возможность обобщения выводов о наличии зависимости за пределы изученной в ходе экспериментов ситуации: на другие объекты, периоды времени, ситуации. Поэтому внешняя валидность оказывается под угрозой, если для экспериментов были отобраны слишком «лабораторные», далекие от реальной жизни ситуации. А значит, угрозы для внешней валидности во многом являются платой за стремление во что бы то ни стало обеспечить внутреннюю валидность экспериментов: фиксируя внешние переменные, мы неизбежно снижаем общность выводов.

Предположим, что мы хотим понять, в какой мере изменятся продажи нашего товара, если изменить его цену. Для этого мы ставим эксперимент, участники которого покупают продукты по предложенному нами каталогу. Мы предъявляем разным участникам эксперимента разные варианты каталогов с разными ценами и сравниваем затем сделанный ими выбор. Такие эксперименты реально проводятся, и опыт показывает, что их результаты демонстрируют существенно более высокую чувствительность покупателей к ценовому фактору, чем на самом деле. Дело в том, что внимание участника этого эксперимента искусственно концентрируется на цене товара, в то время как при реальных покупках его привлекают и красивые упаковки, и местная реклама, и действия других покупателей и многое другое.

 

Тест-маркетинг

 

Говоря о причинных исследованиях, надо сказать хотя бы несколько слов об их важнейшей разновидности — тест-маркетинге, то есть реальных рыночных экспериментах, проводимых под контролем в специально отобранной достаточно большой части рынка. В ходе тест-маркетинга проходит проверку не просто товар как таковой, а весь маркетинговый комплекс: товар (включая способ его позиционирования в глазах покупателей), цена товара, система его распространения и мероприятия по его продвижению.

Без тест-маркетинга крупномасштабные рыночные шаги обычно не предпринимаются, так как цена ошибки слишком велика. Так, в американские учебники попал пример производимых в России брэндов M&M и Марс. Так как тест-маркетинг не был проведен, осталось неясным, была ли их реклама по телевидению слишком непродолжительной, достаточной или избыточной. Перечислим ряд правил организации тест-маркетинга, которые рекомендуется соблюдать для получения на его основе надежных выводов.

Во-первых, надо стремиться, чтобы отобранная часть рынка была репрезентативной по: демографии, потребительскому поведению, потреблению СМИ, конкурентной среде, условиям дистрибуции.

Во-вторых, по опыту эта часть должна охватывать не менее 2% всего рынка.

В-третьих, эксперименты желательно проводить не в одной, а в двух или даже в трех разных частях рынка.

В-четвертых, нельзя выбирать для тест-маркетинга места, где часто проводятся такие эксперименты.

В-пятых, продолжительность тестирования новых брэндов следует выбирать крайне осторожно. С одной стороны, она должна быть такой, чтобы первые покупатели успели совершить по повторной покупке, что нередко составляет десять месяцев и даже более. С другой стороны, при слишком длительном тестировании растет вероятность, что ваши эксперименты случайно, а чаще — намеренно, сорвет конкурент, выйдя на выбранную вами часть рынка со своим новым продуктом без всякого тест-маркетинга. Таким образом, тест-маркетинг следует рассматривать как один из важных инструментов конкурентной борьбы.

 

Примеры использования причинных исследований в маркетинге

 

Пример 1. Известная корпорация «Спортсак» вчинила иск менее известной корпорации «Кмарт» в связи с тем, что последняя вывела на рынок сумки «Пари сак». Обвинение состояло в том, что новая сумка «Кмарт» выглядит как сумки корпорации «Спортсак». Для доказательства этого факта «Спортсак» предприняла маркетинговое исследование. Для экспериментов в ходе персональных уличных интервью были отобраны две группы женщин, которым демонстрировали разные сумки и просили определить, какая фирма их выпустила. Выяснилось, что женщины действительно считают производителем легких сумок компании «Кмарт» компанию «Спортсак». На основании этих результатов арбитражный суд вынудил компанию «Кмарт» прекратить производство сумок данной модели.

Пример 2. Компанию «Эккерт» интересовало, повысятся ли продажи лекарств, если их в помещении аптек будут рекламировать по радио. Было отобрано 12 аптек, имеющих сравнимые размеры, географическое положение, объемы продаж и срок существования. Случайно отобранные половина из них были оборудованы средствами радиотрансляции, а в остальных даже существующие там средства радиотрансляции были удалены. Данные о продажах лекарств в натуральном и стоимостном выражении регистрировались в течение трех периодов: в течение недели до начала эксперимента, в ходе четырехнедельного эксперимента и в течение недели после его окончания. Оказалось, что там, где действует радиореклама, продажи лекарств по крайней мере вдвое выше. Убедившись в этом, фирма решила наладить проведение радиорекламы во всех своих аптеках.

Пример 3. Проводилось исследование, как связан размер скидки, указанный на купонах, с вероятностью их предъявления для покупки тех или иных товаров: стирального порошка, зубной пасты и т. д. Выяснилось, что с ростом скидки растет вероятность, что товар купят те, кто раньше его либо вовсе не покупал, либо покупал, но редко. Интенсивность же приобретения товара теми, кто его и раньше часто покупал, от размера скидки не зависит. Таким образом, купоны не помогут, если резервы для привлечения новых покупателей исчерпаны.