Надежность и достоверность измерения маркетинговой информации

 

Описанные выше способы построения шкал не дают полного представления о свойствах полученных оценок. Необходимы дополнительные процедуры для выявления присущих этим оценкам ошибок. Назовем это проблемой надежности измерения. Эта проблема решается путем выявления правильности, устойчивости и обоснованности измерения.

При изучении правильности устанавливается общая приемлемость данного способа измерения (шкалы или системы шкал). Непосредственно понятие правильности связано с возможностью учета в результате измерения различного рода систематических ошибок. Систематические ошибки имеют некоторую стабильную природу возникновения: либо они являются постоянными, либо меняются по определенному закону. Возможно, что последующие этапы окажутся излишними, если в самом начале выяснится полная неспособность данного инструмента на требуемом уровне дифференцировать изучаемую совокупность, иначе говоря, если окажется, что систематически не используется какая-то часть шкалы либо та или иная градация шкалы или вопроса. И, наконец, возможно, что исходный признак не обладает дифференцирующей способностью в отношении объекта измерения. Прежде всего нужно ликвидировать или уменьшить такого рода недостатки шкалы и только затем использовать ее в исследовании.

Устойчивость характеризует степень совпадения результатов измерения при повторных применениях измерительной процедуры и описывается величиной случайной ошибки (чаще всего используется средняя квадратическая ошибка). Она определяется постоянством подхода респондента к ответам на одинаковые или подобные вопросы. Существует несколько методов оценки устойчивости измерений: повторное тестирование; включение в анкету эквивалентных вопросов, т.е. вопросов по той же проблеме, но сформулированных по-другому, и разделение выборки на две части (сравнение ответов на вопросы двух групп респондентов).

Наиболее сложный вопрос надежности измерения – его обоснованность. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее. Обоснованность данных измерения – это доказательство соответствия между тем, что измерено, и тем, что должно было быть измерено. В отличие от правильности и устойчивости, которые могут быть измерены достаточно строго и выражены в форме числового показателя, критерии обоснованности определяются либо на основе логических рассуждений, либо на основе косвенных показателей. Обычно применяется сравнение данных одной методики с данными других методик или исследований.

При установлении надежности следует иметь в виду, что в процессе измерения участвуют три составляющие: объект измерения, измеряющие средства, с помощью которых производится отображение свойств объекта на числовую систему, и субъект (интервьюер), производящий измерение. Предпосылки надежного измерения кроются в каждой отдельной составляющей.

Прежде всего, когда в качестве объекта измерения выступает человек, то он в отношении измеряемого свойства может обладать значительной степенью неопределенности. Так, зачастую у респондента нет четкой иерархии жизненных ценностей, а следовательно, нельзя получить и абсолютно точные данные, характеризующие важность для него тех или иных явлений. Он может быть плохо мотивирован, вследствие чего невнимательно отвечает на вопросы. Однако только в последнюю очередь следует искать причину ненадежности оценок в самом респонденте.

С другой стороны, может быть, что способ получения оценки не в состоянии дать максимально точных значений измеряемого свойства. Например, у респондента существует развернутая иерархия ценностей, а для получения информации используется шкала с вариациями ответов только «очень важно» и «совсем не важно». Как правило, из приведенного набора все ценности помечаются ответами «очень важно», хотя реально у респондента имеется большее число уровней значимости.

Наконец, при наличии высокой точности первых двух составляющих измерения субъект, производящий измерение, допускает грубые ошибки; нечетко составлены инструкции к анкете; интервьюер каждый раз по-разному формулирует один и тот же вопрос, используя различную терминологию.

Каждая составляющая процесса измерения может быть источником ошибки, связанной либо с устойчивостью, либо с правильностью, либо с обоснованностью. Однако, как правило, исследователь не в состоянии разделить эти ошибки по источникам их происхождения и поэтому изучает ошибки устойчивости, правильности и обоснованности всего измерительного комплекса в совокупности.

В процессе измерения иногда возникают грубые ошибки, причиной которых могут быть неправильные записи исходных данных, плохие расчеты, неквалифицированное использование измерительных средств и т. п. Это обнаруживается в том, что в рядах измерений попадаются данные, резко отличающиеся от совокупности всех остальных значений. Чтобы выяснить, нужно ли эти значения признать грубыми ошибками, устанавливают критическую границу, так чтобы вероятность того, что крайние значения превысят ее, была бы достаточно малой. Для этого используются специальные статистические критерии определения грубых ошибок [11].

Очевидно, что в процессе проведения разными фирмами разнообразных и многочисленных маркетинговых исследований имела место последовательная адаптация шкал измерений и методик их проведения под цели и задачи конкретных маркетинговых исследований. Это облегчает решение задач, рассмотренных в данном разделе, и делает его скорее необходимым при проведении оригинальных маркетинговых исследований.

Достоверность измерений характеризует совершенно другие аспекты, чем надежность измерений. Измерение может быть надежным, но недостоверным. Последнее характеризует точность измерений по отношению к тому, что существует в реальности. Например, респонденту задали вопрос о его годовом доходе, который составляет менее 25 000 долларов. Не желая называть интервьюеру истинную цифру, респондент указал доход «более 10 000 долларов». При повторном тестировании он снова назвал данную цифру, демонстрируя высокий уровень надежности измерений. Ложь не является единственной причиной низкого уровня достоверности измерений. Можно также назвать плохую память, плохое знание респондентом действительности и т.п.

Рассмотрим другой пример, характеризующий различие между надежностью и достоверностью измерений. Даже часы с неточным ходом будут показывать время в один час два раза в сутки, демонстрируя высокую надежность. Однако идти они могут очень неточно, т.е. показ времени будет недостоверным.

Главное направление проверки достоверности измерений заключается в получении информации из различных источников. Это может быть осуществлено по-разному. Здесь прежде всего следует отметить следующее.

Надо стремиться составлять вопросы таким образом, чтобы их формулировки способствовали получению достоверных ответов. Далее, в анкету могут включаться вопросы, связанные друг с другом.

Например, в анкету помещается вопрос о том, в какой степени респонденту нравится какой-то продукт питания определенной марки. И далее спрашивается, какое количество данного товара было куплено респондентом за последний месяц. Второй вопрос направлен на проверку достоверности ответа на первый вопрос.

Часто для оценки достоверности измерений используется несколько различных методов или источников получения информации. Например, после письменного заполнения анкет ряду респондентов из первоначальной выборки дополнительно задаются те же вопросы по телефону. По схожести ответов судят о степени их достоверности.

 

Вопросы для повторения и обсуждения

1. Что такое измерение?

2. Чем объективное измерение отличается от субъективного?

3. Охарактеризуйте четыре шкальные характеристики.

4. Дайте определение четырем типам шкал и укажите типы информации, заключенные в каждой из них.

5. Каковы аргументы «за» и «против» использования нейтральной градации в симметричной шкале?

6. Что из себя представляет модифицированная шкала Лайкерта и как с ней соотносятся шкала жизненного стиля и семантическая дифференциальная шкала?

7. Какие компоненты определяют содержание понятия «надежность измерения»?

8. Какими недостатками может обладать используемая шкала измерений?

9. Какие методы оценки устойчивости измерений вы знаете?

10. Какие подходы к оценке уровня обоснованности измерений вы знаете?

11. Чем надежность измерения отличается от его достоверности?

12. В каких случаях исследователь должен оценивать надежность и достоверность измерения?

13. Спроектируйте шкалу измерений (обоснуйте выбор шкалы, число градаций, наличие или отсутствие нейтральной точки или градации; подумайте над тем, то ли вы измеряете, что планировали измерить) для следующих задач:

а) фирма-изготовитель детских игрушек желает знать, как дошкольники реагируют на видеоигру «Поем с нами», в которой ребенок должен петь совместно с героями мультипликационного фильма;

б) фирма-производитель молочных продуктов испытывает пять новых вкусовых добавок в йогурты и желает знать, как потребители оценят эти добавки с точки зрения степени их сладости, приятности и насыщенности вкуса.

 

 

6. Разработка и реализация плана исследований

Выбор методов сбора данных

 

Можно выделить следующие методы сбора данных при проведении опросов с участием интервьюеров или при самостоятельном заполнении анкет респондентами:

1. Интервьюирование, осуществляемое на дому у респондента. Возможно предварительное согласование сроков интервью по телефону.

При таком способе обычно легче установить доверительные отношения, возможен показ образцов товара, рекламных материалов и т.п. Домашняя обстановка настраивает на достаточно длительное интервью с высокой степенью концентрации на проводимом обследовании. Однако это дорогой метод сбора данных.

2. Интервьюирование посетителей крупных магазинов. Компании, проводящие такие обследования, могут в крупных магазинах иметь свои офисы. Посетители магазина опрашиваются интервьюером в помещении магазина или могут приглашаться для дачи интервью в офис. С помощью данного метода без использования специальных методических подходов трудно обеспечить репрезентативность результатов обследования и вдумчивое отношение опрашиваемых к задаваемым вопросам. По сравнению с первым методом данный метод является более дешевым.

3. Интервью в офисах. Используется обычно при сборе информации о продукции производственно-технического и офисного назначения. Этот метод по существу обладает теми же достоинствами и недостатками, как и первый метод, однако имеет более высокую стоимость проведения, обусловленную использованием более квалифицированных интервьюеров.

4. Традиционное телефонное интервью. К числу достоинств данного метода сбора данных относится следующее: относительно низкая стоимость, возможность охватить большое число респондентов и обеспечить высокий уровень репрезентативности, возможность проведения за относительно короткий период времени. Данному методу присущи следующие недостатки: невозможность что-либо показать респонденту, невозможность интервьюеру иметь личное впечатление от встречи с респондентами. (Вместе с тем отсутствие личного контакта порой способствует получению правдивых ответов на вопросы о потреблении алкоголя, противозачаточных средств и т.п.) Далее – трудность получения пространных ответов на большое число вопросов, так как терпение респондента может иссякнуть. Кроме того, трудно проверить качество проведенного интервью и установить, все ли запланированные респонденты в реальности были опрошены. Для контроля за качеством проведенного обследования руководство может организовывать повторные проверочные звонки к ранее опрошенным респондентам.

5. Телефонное интервью из специально оборудованного помещения, где одновременно работают несколько интервьюеров, к телефонам которых могут подсоединяться контролеры. Помимо хороших возможностей контроля качества работы интервьюеров, данный метод по сравнению с традиционным телефонным интервью обеспечивает снижение затрат за счет объединения ресурсов (материально-технических, программных и др.).

6. Телефонное интервью с помощью компьютера. Многие компании, занимающиеся опросом потребителей, специально оборудованные помещения для телефонного интервьюирования оснащают специальной компьютерной техникой. Эта техника осуществляет автоматический набор телефонных номеров респондентов, после чего на мониторе появляется вступительный текст, а затем – последовательно задаваемые вопросы с возможными вариантами ответов. Интервьюер зачитывает респонденту вопросы и с помощью кода фиксирует названный вариант ответа. При этом следующий вопрос формулируется в зависимости от варианта ответа на предыдущий вопрос. Компьютерная база ответов и их статистическая обработка осуществляются автоматически в реальном масштабе времени. В ряде случаев анализ только части ответов позволяет принять определенные решения и прекратить дальнейший опрос, экономя время и ресурсы.

7. Полностью компьютеризованное интервью. В данном случае в дополнение к ранее описанному методу респондент отвечает на вопросы путем нажатия на кнопки своего телефона или вопросы появляются на мониторе его компьютера, и респондент вводит ответы, используя обычную компьютерную клавиатуру.

8. Групповое самостоятельное заполнение анкет. Такой подход используется для удобства и удешевления интервьюирования.

Например, перед двадцатью-тридцатью членами группы демонстрируется рекламный ролик, после чего они индивидуально отвечают на вопросы анкеты, касающиеся оценки данного ролика. Участниками группы могут быть школьники одного класса, студенты одной учебной группы, отдыхающие какого-либо дома отдыха и т.д. Возможна обратная связь с интервьюером.

9. Самостоятельное заполнение оставленных анкет. Является вариантом обследования на основе самостоятельного заполнения анкет. После предварительного устного разъяснения целей и задач проводимого обследования анкета оставляется у респондента. Заполненную анкету, спустя определенное время, или забирают у респондента, или он отсылает ее по почте в конверте с оплаченным ответом. Данный метод применяется при проведении опросов на ограниченной территории, не требующей от интервьюера больших передвижений. Этот метод характеризуется высокой степенью возврата ответов, минимальным влиянием интервьюера на опрашиваемых, относительной дешевизной и хорошим контролем за формированием группы респондентов. В качестве респондентов могут выбираться сотрудники одной организации, жильцы отеля, посетители магазина и т.п.

10. Обследование по почте. Вопросы и ответы на них посылаются по почте. Достоинства данного метода обусловлены тем, что не надо нанимать интервьюеров, легкостью формирования групп целевых респондентов, его дешевизной. Этот метод обладает теми же недостатками, что и методы самостоятельного заполнения анкет без участия интервьюера, рассмотреные выше. Кроме того, этот метод характеризуется низким процентом возвращенных ответов, он ориентирован в основном на достаточно грамотных людей, проживающих в странах с эффективной почтовой системой. Существует возможность искажения результатов за счет того, что ответившие респонденты по своему социальному положению, отношению к определенному товару, рекламе и т.п. отличаются от тех, кто не ответил на анкету (самовыборка респондентов).

Выбор конкретных методов обследований основан на учете следующих групп факторов; цели и ресурсы исследователя; характеристики респондентов; характеристики вопросов, задаваемых исследователем. Кратко охарактеризуем эти три группы факторов.

Цели сбора данных вытекают из целей проводимого маркетингового исследования. В основе их определения лежат требования получения информации желаемого качества. Последнее определяется отпущенным временем на принятие решения и имеющимися ресурсами.

К числу наиболее быстро реализуемых методов относятся телефонный опрос и интервьюирование посетителей крупных магазинов. Гораздо больше времени требует реализация персонального интервьюирования, опроса по почте.

Отсутствие достаточных денежных средств также оказывает влияние на выбор метода сбора данных. Например, если исследователь желает, чтобы выборка состояла из 1000 респондентов, а на эти исследования отпущено 5000 долларов, то кажется невозможным нанять интервьюеров при плате 20 долларов за одно интервью, поскольку в данном случае интервьюерам придется заплатить 20 000 долларов. В данном примере придется использовать более дешевые методы, например телефонное интервью.

Качество собранных данных оценивается многими параметрами, которые будут рассмотрены достаточно подробно в последующих разделах учебника. Здесь же будут отмечены только два аспекта понятия «качество собранных данных»: возможность распространять выводы, полученные от сбора информации для определенной выборки, на всю совокупность в целом, и полнота информации, полученной от каждого опрошенного. Этим критериям, например, в гораздо большей степени удовлетворяет информация, полученная при личной встрече интервьюера с респондентом, чем при интервьюировании по телефону.

Следует рассмотреть, по крайней мере, четыре характеристики целевой группы респондентов, влияющие на выбор метода сбора данных:

1. Процент респондентов, обладающих требуемыми характеристиками, в общей совокупности опрашиваемых. Например, если испытывается концепция низкокалорийных продуктов питания, приготавливаемых в микроволновой печи, то в качестве целевых респондентов следует рассматривать домохозяек, имеющих микроволновые печи и которые в течение последних шести месяцев покупали низкокалорийные продукты питания.

2. Желание участвовать в опросе. Исследователя всегда беспокоит высокая степень отказа респондентов от участия в обследовании. Можно выделить два типа причин нежелания принять участие в любом обследовании. Первый обусловлен некими обобщенными чувствами подозрительности и стремлением никого не допускать в свою личную жизнь: определенная категория людей просто не хочет принимать участие в любом опросе. Второй обусловлен специфическими обстоятельствами проведения конкретного обследования. Например, некоторые респонденты не желают обсуждать определенные темы. Выбранный метод опроса влияет на степень желания участвовать в обследовании. Так, люди находят более трудным отказаться от участия в личном интервью, чем в почтовом опросе. Обычно используются различные методы стимулирования желания принять участие в обследовании: денежная оплата, небольшие подарки (ручки, зажигалки и др.) и т.п.

3. Возможность принятия участия в опросе. Даже если потенциальный респондент удовлетворяет двум вышеизложенным требованиям, он в силу тех или иных причин может не принять участие в обследовании (командировка, болезнь, неожиданные семейные обстоятельства, забывчивость и т.п.). Обычно личные контакты с потенциальными респондентами увеличивают вероятность их участия в обследовании, в то время как опрос по почте не обладают подобным стимулирующим социальным воздействием.

4. Разнообразие респондентов, характеризующее степень, в которой перспективные респонденты обладают некоторыми ключевыми чертами. Например, если только малая часть целевой совокупности посещает крупные универсальные магазины, то опрос посетителей таких магазинов не даст репрезентативных результатов. Чем более разнообразной является целевая группа, тем более личностный подход для обеспечения участия в обследовании нужных респондентов должны использовать исследователи.

Выбор методов сбора данных во многом определяется характером вопросов. Здесь прежде всего следует выделить уровень сложности задач, которые ставятся перед респондентами. Например, тестирование вкусовых качеств какого-то продукта питания или испытание телевизионной рекламы требуют достаточно сложной подготовки, специального оборудования, отдельных помещений и четкого контроля за процедурами их реализации.

Существенное влияние на выбор метода сбора данных оказывает степень чувствительности изучаемой темы, то есть степень затрагивания личных интересов, взглядов, морально-этических аспектов (сдача крови, расовые проблемы, личная гигиена, пожертвования в благотворительных целях и др.). Опыт изучения данных проблем говорит о том, что здесь менее всего подходит персональное интервью, а чаще всего используется телефонное интервью или интервью с помощью компьютера.