Методики и техники тестирования продукта.

Типы тестов. Существует два базовых принципа тестирования продуктов:

Показ одного продукта

Принцип сравнения 2 - х и более продуктов

Еще одна классификация тестов (что изучаем?)

1. Разницу (triangle, duo - trio)

2. Предпочтение (paired comparison)

3. Признание /. Принятие (hedonic, attribute ratong/ scaling)

4. Дескриптивный тест (quantitative descriptive analysis, profiling)

четыре вида тестов: продукта (product test), рекламы (advertising test), концепции (concept test) и упаковки (pack test).

7 шагов при тестировании гипотез.

1. сформулируйте нулевуюгипотезу

2. сформулируйте альтернативнуюгипотезу

3. установите уровень значимости б

4. установите область принятия /. отбрасывания. гипотезы

5. по полученным в тесте данным вычислите наблюдаемые статистики

6. интерпретируйте вычисления

7. сделайте заключение

виды тестов

ПОКАЗ ОДНОГО ПРОДУКТА -MONADIC TEST

*Обычно это лучший из всех методов тестирования продуктов, так как имеет множество достоинств.

1) Monadic тест симулирует реальные жизненные условия, так как обычно в жизни мы употребляем один, а не несколько продуктов в одно и тоже время.

2) Исключается взаимовлияние, наблюдаемое при парных сравнениях продуктов.

3) Фокусируя внимание респондента на одном продукте, Monadic тест обеспечивает наиболее точную и действенную диагностическую информацию.

4) Monadic тест обеспечивает использование нормативной базы данных и разработку норм и стандартов действий.

* Теоретически все продукты могут тестироваться в формате Monadic теста, тогда как многие продукты не могут адекватно сравниваться в тестах парных сравнений, например, продукты с очень сильным вкусом (чипсы, алкогольные настойки) могут настолько забить вкус респондента, что он не будет в состоянии тестировать второй продукт.

ПОСЛЕДОВАТЕЛЬНЫЙ ПОКАЗ ПРОДУКТОВ - SEQUENTIAL MONADIC TEST (SM)

* SM очень часто применяется для снижения затрат на проведение теста. В данном формате каждый респондент оценивает два продукта (или она пробует один продукт и оценивает его, затем пробует второй продукт и оценивает его). SM тест работает достаточно хорошо во многих случаях и имеет ряд тех же достоинств, что и чистый Monadic тест. Надо всегда помнить об "подавления" в данном виде тестов. Все оценки в SM тесте будут ниже по сравнению с чистым Monadic тестом. Следовательно, результаты SM тестов не могут напрямую сравниваться с результатами Monadic тестов. Кроме того, в ряде случаев в SM тестах наблюдается "взаимовлияния", характерный для парных тестов. Если первый из двух продуктов значительно лучше, тогда второй продукт будет оценен непропорционально низко и наоборот.

ПРОТОМОНАДИК - PROTOMONADIC TEST

* Monadic тесты, заканчивающиеся парным сравнением.

* SM тесты, заканчивающиеся парным сравнением.

* Protomonadic тест обеспечивает хорошие диагностические данные, а парное сравнение в конце теста может рассматриваться как подстраховка - как дополнительная гарантия того, что результаты корректны.

Обычно используется в холл - тестах, на не в домашних условиях (из-за сложности исполнения).

ПАРНОЕ СРАВНЕНИЕ - PAIRED COMPARISON

* Парное сравнение, при котором респондент пробует два продукта и определяет, какой продукт лучше, обращен к нашему здравому смыслу. Парное сравнение является прекрасным тестом для предъявления доказательств из - за его наглядности. При помощи данного теста возможно измерение очень малых различий между двумя продуктами. Кроме того, парное сравнение часто дешевле других методов, так как во многих случаях размеры выборки меньше.

Тем не менее тест парных сравнений имеет ограниченную ценность для серьезных программ разработки продуктов. Тесты парных сравнений не говорят нам, являются ли оба продукта хорошими или плохими, не могут быть включены в базу нормативных данных. Результаты парных сравнений сильно подвержены эффекту взаимовлияния (например, любые вариации в контрольном продукте вызывают соответствующие вариации в оценках тестового продукта).

ПОВТОРНОЕ ПАРНОЕ СРАВНЕНИЕ - REPEATED PAIRS

В Repeated pairs тестах каждый респондент вначале попарно сравнивает продукт А и Б, а затем эта процедура повторяется. Однако при повторном тестировании те же продукты представляют как два других продукта (не как продукты А и Б). Целью Repeated pairs теста является выявление потребителей, не различающих продукты, то есть тех, кто выбрал другой продукт при повторном тесте. Считается, что потребители, которые выбрали продукт А в первом тесте и продукт Б во втором тесте, не могут ощутить разницу между этими продуктами. Обычно ответы этих респондентов не учитываются при дальнейших расчетах. Конечные результаты базируются на ответах респондентов, которые различают продукты А и Б, то есть, например, выбравших продукт А в первом и повторном тесте.

ТЕСТ ТРЕУГОЛЬНИКА - TRIANGLE TEST

Тест Треугольника используется в первую очередь для тестирования разницы между продуктами. Каждому участнику теста представляются на пробу три продукта и предлагают выбрать один, который отличается от двух других. Тест применяется для определения потребителей, которые способны отличить (идентифицировать) один продукт из трех. В дальнейшем эти респонденты используются в качестве членов небольших экспертных панелей (иногда называемых сенсорными). Используя в дальнейшем Тест Треугольника, эти экспертные панели помогают исследовать и развивать формулы продукта, например, изменения в процессе изготовления, изменения рецептуры и т.д. Тест Треугольника используется также для контроля качества (отличий данной партии или продукции различных заводов от стандартной).

ТЕСТ ДВОЙКА - (DUO - TRIO TEST) Одновременно предъявляются три образца. Один из них помечается как контрольный и трехзначным случайным кодом. Два других также помечаются трехзначным случайным кодом. Первым тестируется контрольный образец, затем два других. Респондент должен определить образец, отличающийся от контрольного и одинаковый с контрольным. План теста может быть:

*С постоянным контрольным образцом. В этом случае используется один набор кодов для образцов. Он применяется тогда, когда в наличии имеется ограниченное количество одного из образцов.

*С равными долями контрольных образцов. В этом случае используется два набора кодов образцов. Это помогает уменьшить количество тестируемых образцов и уменьшает смещение оценок.

INGREDIENT SCREENING.

Как предварительная ступень оптимизации продукта или напитка, Ingredient Screening позволяет оценить относительную важность и роль различных компонентов в формуле продукта. Обычно создают несколько формул продукта с высоким и низким уровнем (или отсутствием) конкретного ингредиента. При этом уровни других ингредиентов остаются неизменными. Каждый респондент обычно оценивает от трех до пяти таких формул в зависимости от типа продукта. Продукт оценивается как в целом, так и по конкретным характеристикам (сладость, кислота, текстура, послевкусие). Порядок тестирования определяется заранее рассчитанным планом эксперимента. Результаты эксперимента обрабатываются с помощью таких статистических процедур, как ANOVA и MANOVA, а также регрессионным и дискриминантным анализом.

PRODUCT OPTIMIZATION

Оптимизация продукта является сложным процессом улучшения продукта, пока он не достигнет максимального уровня потребительской удовлетворенности и степени приятия. Существует множество исследовательских методов, позволяющих найти оптимальный продукт, но термин "оптимизация продукта " особенно часто применяется к особому структурированному процессу изменения параметров продукта и последующему тестированию полученных вариантов продукта. Эти варианты оцениваются пользователями товарной категории. Каждый респондент оценивает от трех до пяти вариантов продукта, давая как общую оценку варианта, так и каждой специфической характеристики продукта. Полученные данные анализируются процедурами ANOVA и MANOVA, регрессионным и дискриминантным анализом, а также процедурой поиска экстремумов функции. Результатом является предсказание оптимальной формулы продукта.

Тестировании упаковки.

В качестве примера можно привести лишь очень популярную методику, используемую при тестировании упаковки, - simulated test marketing (STM), или просто buying simulation ("моделирование покупки"). Оборудуется муляж магазинного стеллажа (shelf display), на котором расставляются образцы товаров, среди которых находятся и интересующие нас. К товарам крепятся ценники. Покупателю предлагается "совершить покупку". Этим методом можно тестировать не только варианты упаковки, но и определять наиболее предпочтительную цену на наш товар. Методика STM позволяет также моделировать рыночную ситуацию. В упрощенном варианте вместо муляжа прилавка используется его фотография.

Тестирование "вслепую".

В данном случае потребителю дают пробовать продукт без упаковки, не сообщая заранее, какому производителю данный товар принадлежит. Это условие особенно важно соблюдать, если необходимо сравнивать именно вкус (запах) продукта, а не весь комплекс ощущений, которые товары вызывают у респондента.

Методика round robin

Первая десятка респондентов будет сравнивать наш продукт с первым и вторым конкурирующим товарами, вторая десятка - со вторым и третьим, третья - с третьим и четвертым и т.д. Результаты будут сведены в матрицу, количество измерений которой будет зависеть от количества сравниваемых параметров.

Основные "меры" в monadic тестах.

Степень интереса к покупке и открытый вопрос о причинах.

Общая оценка:

Позитив (что нравится, преимущества)

Негатив (что не нравится, недостатки)

Ценность, уникальность, превосходство, доверие, важность

Ожидаемая частота использования, кто из членов домохозяйства использует /будет использовать.

Ожидаемая частота покупок, количество в одной покупке

Ситуации потребления

Замещение / другое использование

Оценка атрибутов продукта и выделение его существенных черт

Для других тестов - в сравнительной форме

холл-тест

Холл-тест (Hall-test).

Это метод маркетинговых исследований, предполагающий тестирование отдельных характеристик товаров (и/ или рекламных материалов) в закрытом помещении.

Технология проведения.

Холл-тест проводится в специально арендуемом помещении ("hall") вблизи мест, имеющих достаточно большой поток представителей нужной целевой аудитории (около станций метро, людных улиц, вблизи рынков, крупных торговых центров и т.п. - конкретные места оговариваются с Заказчиком при планировании исследования).

Помещение оборудуется всем необходимым для работы: столами для проведения опроса, макетами магазинных прилавков, иллюстративными и вспомогательными материалами и т.д. Для участия в опросе приглашаются прохожие, соответствующие критериям отбора. Респондентов просят ответить на вопросы исследователей, касающиеся частоты и объема потребления интересующих нас товаров/услуг, а также высказать свое мнение по поводу предлагаемых на тест материалов и объяснить причину предпочтения того или иного варианта. Ответы респондентов фиксируются в анкете.

Для проведения исследования методом холл-теста обычно используется целевая выборка, то есть осуществляется отбор реальных и/или потенциальных потребителей, соответствующих заданным характеристикам (целевая группа). Объем выборки может быть различным в зависимости от задач исследования, но обычно он составляет от 200 до 400 человек (стандартной считается выборка в 300 человек).

Применение.

Объектом исследования могут выступать вкус, внешний вид, цена товара, дизайн упаковки, торговая марка (название и логотип), отдельные элементы рекламных концепций и др.

Холл-тесты применяются:

для оценки потребительских свойств товара по разным тестируемым характеристикам с целью их улучшения;

при тестировании элементов рекламных обращений для оптимизации рекламной кампании;

для получения информации о покупательском поведении потребителей (определяются критерии выбора, частота и объем потребления марок изучаемой товарной категории).

Особенности метода

Холл-тест сочетает в себе преимущества как количественных, так и качественных методов. Наряду с закрытыми вопросами, позволяющими зафиксировать количественные характеристики покупки и потребления товара, формат холл-теста позволяет задать респондентам большое количество открытых вопросов, тем самым, дает возможность получить не только оценку товара, но и узнать причины такого отношения, причем в тех категориях, какими мыслит непосредственно потребитель (такая информация дает почву для креативных разработок).

Также преимуществом методики является возможность предъявления и оценки не только визуальной информации, но и аудиальной (слуховой), обонятельной, осязательной, вкусовой, а также их комбинаций.

Сроки проведения.

Проведение исследования методом холл-теста занимает около 14-ти дней.

Из них:

Разработка анкеты, инструкций для интервьюеров, подготовка к проведению 3 дня

Проведение холл-теста 3-4 дня

Ввод данных в компьютер, подготовка оперативного отчета (таблиц) 2 дня

Подготовка полного отчета, выводов и рекомендаций от 6 дней

4) Метод фокус групп.

Фокус-группа (Focus Group)

Описание методики

Фокус-группа - групповое глубинное интервью, сфокусированное на исследуемой проблеме или объекте (товар, услуга, реклама), направленное на определение отношения участников к поставленной проблеме или причин восприятия того или иного объекта (товар, реклама), выявления мотивации тех или иных действий потребителей.

Фокус-группа проводится в специально оборудованном помещении в течение 1,5-2 часов по заранее разработанному сценарию. Обычное количество участников составляет 8-12 человек, не знакомых между собой, не объединенных общими интересами, идеями и т.д. (рекрутирование) Основным принципом подбора участников группы является однородность социально-демографических характеристик, а также частота и объем потребления определенного товара или услуги. Общее число фокус-групп, которое необходимо провести, зависит от исследовательских задач и от степени дифференциации целевых групп. Обычно в рамках исследования проводится от 2 до 6 групп. Фокус-группы проводит квалифицированный специалист - психолог, задача которого - понять истинное отношение участников фокус-группы к обсуждаемым вопросам. (модератор)

Применение.

Фокус-группы используются для решения следующих задач:

изучение отношения потребителей к товарам, торговым маркам, производителям;

оценка соответствия существующего продукта требованиям рынка;

поиск незанятых ниш и разработка нового продукта;

выбор концепции продукта/услуги;

определение имиджа компании для потребителя, ее сильные и слабые стороны;

тестирование новых товаров (свойства, название, дизайн, упаковка, слоган и т.д.);

тестирование рекламных материалов;

Отчеты по результатам фокус-групп могут быть представлены в нескольких вариантах.

Устный отчет... Результаты исследования докладываются заказчику устно в краткой форме, при этом упор делается на наиболее важных выводах исследования, которые нередко дополняются иллюстративным материалом (слайды, диаграммы. фрагменты видеозаписи и т.п.). После этого исследователь отвечает на вопросы заказчика.

Письменный отчет. Этот вид отчета может быть как кратким, так и детализированным. Однако, независимо от объема, он должен включать в себя следующие необходимые разделы:

Введение - информация о том, каковы были цели исследования, сколько фокус-групп было проведено, каковы были отборочные критерии и процедуры отбора участников фокус-групп, когда и где проводились фокус-группы, каков был состав участников.

Результаты исследования - изложение и интерпретация результатов дискуссии, систематизированных по тематическим блокам.

Выводы и рекомендации - краткое изложение основных выводов исследования, рекомендации и предложения исследователя.

В детализированный отчет включаются цитаты участников дискуссии, иллюстрирующие обобщения и выводы исследователя.

Известно, что западные заказчики предпочитают таблицы и устный доклад, наши - письменный отчет в двух видах (краткий - для начальства, подробный - для работы). И конечно же стенограммы и расшифровки фокус-групп.

 

12. Медиа исследования – рейтинги СМИ.
Современное российское общество, все полнее включаясь в рыночные отношения, остро нуждается в информации о состоянии рынка, о различных аспектах поведения населения. В связи с этим все более важной становится роль социологических исследований. Среди прочего, они крайне важны и для планирования рекламных кампаний. В конце 80-х, когда рекламный бизнес в России только еще зарождался, оценивать аудиторию СМИ особой необходимости не было.

Однако в последние годы такая необходимость сделалась вполне очевидной: значительно увеличились объемы рекламы, возникла конкурентная борьба за рекламное пространство, возросла его стоимость. Сегодня рекламодатель должен тщательно и обоснованно подходить к выбору носителей рекламы и к медиапланированию в целом.

Социологические исследования и нужны, прежде всего, для получения объективных и достоверных данных, на основе которых определяются оптимальные пути медиапланирования.

Медиаисследования существуют двух направлениях:

1. Исследования популярности медиа (рейтинги и прочие медиаданные (МД), собственно и называемые медиаисследованиями (МИ).

МИ базируются в основном на социологических исследованиях, следовательно, их достоверность такая же, как и достоверность любого социологического исследования (зависит от объема выборки, репрезентативности последней, методики исследования).

2. Мониторинг (и не только) рекламы в медиа.

Мониторинг - фиксирование выходов + измерение объемов + оценка затрат по официальным прайс-листам.

Многие МИ невозможны без точного мониторинга

TV - реальное время выхода передачи может отличаться на часы. Особенно это актуально в нашей стране, где имеют место быть: 10 часовых поясов, волюнтаризм местных ретрансляторов, обрезка рекламы. Поэтому опрос "смотрел - не смотрел" должен четко коррелировать с реальным временем выхода передачи (рекламы).

ПАНЕЛЬ (panel)

Группа людей, отобранная для проведения исследования. Суть панельного исследования состоит в том, чтобы непрерывно получать в течение некоторого периода времени информацию от каждого из членов панели. При помощи панельных исследований изучается теле- и радиоаудитория. Информация может собираться при помощи дневников, а в случае измерения телевизионной аудитории при помощи специальных приборов - people meter.

Пресса - региональные варианты центральных изданий заметно отличаются от центральных. К примеру, "Аргументы и факты" или "Комсомольская правда" имеют свои вкладыши почти в каждом регионе.

Радио - сеть, отнюдь не значит полная ретрансляция, даже наоборот. На местах выбирают "коронку" из центрального вещания, а остальное заполняют тем, что нравится местной редакции (и это правильно).

PEOPLE METER

Прибор, позволяющий регистрировать просмотр телевизора каждым из членов телевизионной панели. Приборы устанавливаются на каждый телеприемник в семье, принимающей участие в исследовании. Они круглосуточно фиксируют просмотр телеканалов. У прибора есть пульт дистанционного управления, на котором для каждого члена семьи выделена отдельная кнопка. Участники исследования нажимают свою кнопку каждый раз, когда входят и выходят из комнаты, где находится включенный телевизор.

ДНЕВНИК (diary)

Метод исследования, при котором респонденты в течение некоторого времени (от недели и дольше) заполняют специальные дневники. В дневниках может фиксироваться информация о просмотре телепрограмм или прослушивании радиостанций и т.п.

В практике медиаисследований принята следующая терминология:

Потенциальной аудиторией телеканала называется все население, проживающее в тех населенных пунктах, где существует техническая возможность приема того или иного телеканала. Размеры потенциальной аудитории меняются в зависимости от количества и типа телеприемников, а также от диапазона вещания телеканалов.

Телезритель - это человек, который находится в комнате с включенным телевизором. Исследования телеаудитории - это выборочные исследования, в результате которых появляются статистические данные о количестве зрителей телеканала среди определенной группы населения в некоторый период времени в течение отдельной передачи или рекламной кампании в целом.

Выборка - та часть генеральнойсовокупности, которая подвергается процессу исследования. Она должна объективно отражать генеральную совокупность, т.е. повторять ее по важнейшим характеристикам.

Репрезентативность - соответствие структуры выборки структуре генеральной совокупности.

Итак, если исходить из того, что нам необходимо получить репрезентативную выборку, то не мешало бы определиться с параметрами, если мы говорим об исследованиях СМИ. В порядке убывания значимости их можно расположить в следующем порядке:

* Пол.

* Возраст.

* Социальное положение.

* Образование.

* Душевой доход.

Измерение аудитории - это исследование, обеспечивающее получение статистических оценок телеаудитории по фактическим замерам для определенного календарного периода. На практике измерение аудитории осуществляется тем или иным методом опроса населения, т.е. обращения с вопросами к населению в целом или к определенной группе людей для получения как фактической информации (смотрел,/не смотрел, читал,/не читал и т.д.), так и субъективной - мнений, оценок, предпочтений и др. Лица, отобранные специальным образом для проведения опроса, называются респондентами. Они составляют выборку опроса. Выборка формируется таким образом, чтобы она полностью репрезентировала (представляла) структуру генеральной совокупности.

Генеральная совокупность - это та группа населения, из которой производится выборка респондентов для исследования. В зависимости от целей исследования в качестве генеральной совокупности может рассматриваться население всей страны в целом, население отдельного региона, конкретного города, либо же специфическая группа населения, обладающая определенными социально-демографическими параметрами и т.д. В соответствии с теорией статистики, если выборка репрезентирует генеральную совокупность (соответствует ей структурно и имеет достаточный объем), то полученные в результате исследований данные позволяют судить о генеральной совокупности в целом. Существуют научно обоснованные процедуры построения репрезентативной выборки. Как правило, выборка должна быть случайной, респондентов следует отбирать из базы данных, имеющей достаточный охват, точность и актуальность. Случайная выборка подразумевает, что все респонденты имеют равную вероятность быть отобранными. Идеального объема выборки для различных методик в мировой практике не установлено, однако, как показывает практика, достоверность данных заметно повышается при увеличении объема выборки приблизительно до 1200 человек. Дальнейшее увеличение ее объема дает лишь незначительное повышение надежности исследований.

По срокам участия респондентов в исследовании различают разовую выборку, используемую для одного измерения, и панельную, участие респондента в которой рассчитано на продолжительный, заранее определенный срок. Замена респондентов в панели - естественная или вынужденная - создает оборот, или ротацию панели, что имеет и свои положительные, отрицательные стороны. Слишком быстрый оборот не позволяет проследить существование каких-либо тенденций, поскольку наблюдаемые изменения, скачки данных могут объясняться как некоторым изменением, произошедшим в реальности, так и образованием новой выборки. Напротив, медленный оборот обеспечивает стабильный состав респондентов, что снижает вероятность влияния субъективных факторов на выводы о тенденциях телесмотрения. Отсюда ясно, что плавные изменения в панели, вызываемые как естественными, так и вынужденными причинами, более предпочтительны. Очевидно, что разовая выборка, предполагающая ежедневную смену респондентов, может нам предоставить лишь рейтинги замеряемых временных интервалов или телепередач. Это позволяет получить только самые общие представления о рекламной кампании, а именно медиапоказатель GRP.

При планировании рекламной кампании медиапланеру необходимо знать охват (Reach) целевой аудитории и частоту (Frequency) контакта, а также получить ряд других характеристик, вытекающих из этих базовых показателей.

Получить оценки этих важнейших медиапоказателей для произвольной комбинации временных интервалов на различных телеканалах можно при помощи панельных исследований. В основу первых таких исследований, легла методика day-after-recall (воспоминание о телесмотрении вчерашнего дня), разработанная на Западе еще в 60-х годах. Главный ее недостаток - обращение к человеческой памяти, которая, как известно, несовершенна. Респонденту необходимо вспомнить, какие передачи вчерашнего дня он смотрел больше чем наполовину.

Другой недостаток, присущий, по-видимому, всем методикам измерений, - невозможность определить, видел ли респондент рекламный блок в передаче, даже если он находился в этот момент в комнате с включенным телевизором.

Наконец, третий немаловажный недостаток метода - использование телефона в качестве средства интервьюирования, что в условиях недостаточного уровня телефонизации в России приводит к значительным территориальным ограничениям.

Шагом вперед стало проведение дневниковых исследований. Это достаточно простая, относительно дешевая и наиболее часто используемая методика сбора данных (хотя и не самая точная). Обычно дневник разбивают на пятнадцатиминутные или получасовые интервалы, заполняемые респондентом в течение определенного непрерывного периода времени - как правило, одной или двух полных недель. В некоторых методиках дневник представляет собой подробный перечень телепрограмм.

Рейтинг - отношение числа людей, ответивших положительно на вопрос о просмотре передачи (чтении газеты и пр.), к объему выборки, выраженное в процентах.