Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Измерения в маркетинговых исследованиях

Поиск

Для сбора данных разрабатываются анкеты (вопросники). Инфор­мация для их заполнения собирается путем проведения измерений. Под измерением понимается определение количественной меры или плотно­сти некоей характеристики (свойства), представляющей интерес для ис­следователя. Измеряются характеристики некоторых объектов (потреби­тели, марки продуктов, магазины, реклама и т.п.). Как только была опре­делена некоторая характеристика для выбранного объекта, говорят, что объект был измерен по данной характеристике. Легче измеряются объек­тивные свойства (возраст, доход, количество выпитого пива и т.п.), чем субъективные свойства (чувства, вкусы, привычки, отношения и т.п.). В последнем случае респондент должен перевести свои оценки на шкалу плотности (на некоторую числовую систему), которую должен разрабо­тать исследователь.

Измерения можно провести с помощью различных шкал. Выделя­ют четыре характеристики шкал: описание, порядок, расстояние и нали­чие начальной точки.

Описание предполагает использование единственного дескриптора, или опознавателя, для каждой градации в шкале. Например, «да» или «нет»; «согласен» или «не согласен»; возраст респондентов.

Порядок характеризует относительный размер дескрипторов («больше, чем», «меньше, чем», «равен»). Не все шкалы обладают харак­теристиками порядка. Например, нельзя сказать больше или меньше «покупатель» по сравнению с «непокупателем».

Такая характеристика шкалы, как расстояние, используется, когда известна абсолютная разница между дескрипторами, которая может быть выражена в количественных единицах. Респондент, который купил три пачки сигарет, купил на две пачки больше по сравнению с респондентом, купившим только одну пачку. Следует отметить, что когда существует «расстояние», то существует и «порядок». Респондент, купивший три пачки сигарет, купил их «больше, чем» респондент, приобретший только две пачки. «Расстояние» в данном случае равно двум.

Считается, что шкала имеет начальную точку, если она имеет един­ственное начало или нулевую точку. Например, возрастная шкала имеет истинную нулевую точку. Однако не все шкалы обладают нулевой точкой для измеряемых свойств. Часто они имею только произвольную ней­тральную точку. Скажем, отвечая на вопрос о предпочтительности опре­деленной марки автомобиля, респондент сказал, что он не имеет мнения. Градация «не имею мнения» не характеризует истинный нулевой уровень его мнения.

Каждая последующая характеристика шкалы строится на предыду­щей характеристике. Таким образом, «описание» является наиболее базо­вой характеристикой, которая присуща любой шкале. Если шкала имеет «расстояние», она также обладает «порядком» и «описанием».

Выделяют четыре уровня измерения, определяющих тип шкалы измерений: наименований, порядка, интервальный и отношений. Их от­носительная характеристика дается в табл. 4.6.

Таблица 4.6

Характеристика шкал различного типа

Уровень измерений     Характеристики шкал    
описание порядок расстояние наличие начальной точки
Шкала наименований   *
Шкала порядка   *   *    
Интервальная шкала   *   * *    
Шкала отношений   *   * *   *
         

 

Шкала наименований обладает только характеристикой описания; она ставит в соответствие описываемым объектам только его название, никакие количественные характеристики не используются.

Объекты измерения распадаются на множество взаимоисключаю­щих и исчерпывающих категорий. Шкала наименований устанавливает отношения равенства между объектами, которые объединяются в одну категорию. Каждой категории дается название, численное обозначение которого является элементом шкалы. Очевидно, что измерение на этом уровне всегда возможно. «Да», «Нет» и «Согласен», «Не согласен» явля­ются примерами градаций таких шкал. Если респонденты были расклас­сифицированы по роду их деятельности (номинальная шкала), то это не дает информацию типа: «больше, чем», «меньше, чем». В табл. 4.7 приво­дятся примеры вопросов, сформулированные как в шкале наименований, так и в других шкалах.

 

Продолжение табл. 4.7

 
 


В. Шкала интервалов

1. Пожалуйста, проранжируйте каждую марку товара с точки зрения его

качества:

Марка Рейтинг (обведите одну из цифр)
Очень низкое Очень высокое
«Монблан»                    
«Паркер»                    
«Кросс»                    

 

2. Укажите степень вашего согласия со следующими заявлениями, обведя одну из цифр:

Заявление Сильно не согласен Сильно согласен
а. Я всегда стремлюсь делать выгодные покупки          
б. Я люблю проводить время вне дома          
в. Я люблю готовить          

 

3. Пожалуйста, проранжируйте автомобиль «Понтиак Транс-Ам» по следующим характеристикам:

Медленный разгон ______ _______ ______ ______     _______ Быстрый разгон
Хороший дизайн ______ _______ _______ ______ Плохой дизайн
Низкая цена ______ _______ _______ ______ Высокая цена

 

Г. Шкала отношений

1. Пожалуйста, укажите ваш возраст____лет

2. Приблизительно укажите, сколько раз за последний месяц вы делали покупки в дежурном магазине в интервале времени от 20 до 23 часов

 

 

3. Какова вероятность того, что при составлении завещания вы прибегнете к помощи юриста _______ процентов

 

Шкала порядка разрешает ранжировать респондентов или их отве­ты. Она имеет свойства номинальной шкалы в сочетании с отношением порядка. Иными словами, если каждую пару категорий шкалы наимено­ваний упорядочить относительно друг друга, то получится порядковая шкала. Для того чтобы шкальные оценки отличались от чисел в обыден­ном понимании, их на порядковом уровне называют рангами. Например, частоту покупки определенного товара (раз в неделю, раз в месяц или чаще). Однако такая шкала указывает только относительную разницу между измеряемыми объектами.

(Зачастую предполагаемого четкого различения оценок не наблю­дается и респонденты не могут однозначно выбрать тот или иной ответ, т.е. некоторые соседние градации ответов накладываются друг на друга. Такую шкалу называют полуупорядоченной; она находится между шка­лами наименований и порядка.)

Интервальная, шкала обладает также характеристикой расстояния между отдельными градациями шкалы, измеряемого с помощью опреде­ленной единицы измерений, т.е. используется количественная информа­ция. На этой шкале уже не бессмысленны разности между отдельными градациями шкалы. В данном случае можно решить, равны они или нет, а если не равны, то какая из двух больше. Шкальные значения признаков можно складывать. Обычно предполагается, что шкала имеет равномер­ный характер (хотя это предположение требует обоснования). Например, если оцениваются продавцы магазина по шкале, имеющей градации: чрезвычайно дружественен, очень дружественен, в известной мере дру­жественен, в известной мере недружественен, очень недружественен, чрезвычайно недружественен, то обычно предполагается, что расстояния между отдельными градациями являются одинаковыми (каждое значение от другого отличается на единицу — см. табл. 4.7).

Шкала отношений является единственной шкалой, имеющей нуле­вую точку, поэтому можно проводить количественное сравнение полу­ченных результатов. Такое дополнение позволяет вести речь о соотноше­нии (пропорции) а:b для шкальных значений а и b. Например, респон­дент может быть в 2,5 раза старше, тратить в три раза больше денег, ле­тать самолетом в два раза чаще по сравнению с другим респондентом (табл. 4.7).

Выбранная шкала измерений определяет характер информации, которой будет располагать исследователь при проведении изучения ка­кого-то объекта. Кроме того, она предопределяет, какой вид статистиче­ского анализа можно или нельзя использовать.

При использовании шкалы наименований возможно нахождение частот распределения, средней тенденции по модальной частоте, вычис­ление коэффициентов взаимозависимости между двумя или большим числом рядов свойств, применение непараметрических критериев про­верки гипотез [10].

Среди статистических показателей на порядковом уровне пользу­ются показателями центральной тенденции — медианой, квартилями и др. Для выявления взаимозависимости двух признаков используются ко­эффициенты ранговой корреляции Спирмена и Кендэла.

Над числами, принадлежащими интервальной шкале, можно про­изводить довольно разнообразные действия. Шкалу можно сжать или растянуть в любое число раз. Например, если шкала имеет деления от 0 до 100, то, разделив все числа на 100, получим шкалу со значениями из интервала от 0 до 1. Можно сдвинуть всю шкалу так, чтобы ее составляли числа от -50 до +50.

Кроме рассмотренных выше алгебраических операций, интерваль­ные шкалы допускают все статистические операции, присущие порядко­вому уровню; возможны также вычисления средней арифметической, дисперсии т.д. Вместо ранговых коэффициентов корреляции вычисляется коэффициент парной корреляции Пирсона. Может также быть рассчитан множественный коэффициент корреляции.

Все перечисленные выше расчетные операции применимы также для шкалы отношений.

Надо иметь в виду, что полученные результаты всегда можно пере­вести в более простую шкалу, но никогда наоборот. Например, градации «сильно не согласен» и «в какой-то мере не согласен» (интервальная шкала) легко перевести в категорию «не согласен» шкалы наименований.

 

Построение шкал измерений

 

В простейшем случае оценка измеряемого признака некоторым индивидом производится путем выбора, как правило, одного ответа из серии предложенных или путем выбора одного числового балла из некоторой сово­купности чисел. Таким оценкам предшествует построение шкалы измерений.

Для оценки измеряемого качества иногда пользуются графически­ми шкалами, разделенными на равные части и снабженными словесными или числовыми обозначениями. Респондента просят сделать отметку на шкале в соответствии с его оценкой данного качества.

Ранжирование объектов является другим широко используемым приемом измерения. При ранжировании производится оценивание по измеряемому качеству совокупности объектов путем их упорядочивания по степени выраженности данного признака. Первое место, как правило, соответствует наиболее высокому уровню. Каждому объекту приписывается оценка, равная его месту в данном ранжированном ряду.

Возможно попарное сравнение исследуемой совокупности по из­меряемому качеству и дальнейшее упорядочивание их на основе резуль­татов сравнения. Однако данный подход является более сложным и его, скорее, применяют при опросах экспертов, а не массовых респондентов.

Так, при построении шкалы часто используются экспертные оцен­ки, а в дальнейшем принятая шкала применяется при проведении пол­номасштабного исследования.

Рассмотрим измерение, направленное на построение шкалы, т.е. по­строение шкальных весов оцениваемых признаков [19]. Для этого после оп­ределения числа и названий исследуемых признаков экспортно проводится назначение каждому признаку определенной количественной меры. Проще, но не лучше, осуществить построение шкалы с помощью простейших экс­пертных методов путем простого ранжирования или используя балльные шкалы. Полученные таким путем ранги (веса) оцениваемых признаковско­рее всего будут носить ориентировочный характер. Причем многие эксперты, если не оговорить специальные правила определения шкальных весов, про­сто затруднятся провести такое измерение. Поэтому в данном случае целесо­образно использовать более сложные методы.

При решении подобных задач часто используется метод парных сравнений. Предположим, что строится шкала для выяснения отношения к таким ценностям продукта, как «польза», «дизайн», «качество», «срок гарантии», «послепродажный сервис», «цена» и т. п. Предполагаем, что простое ранжирование (определение весов признаков) затруднено или имеет большое значение достаточно точное определение шкальных весов исследуемых признаков, поэтому прямое их экспертное определение не может быть осуществлено. Обозначим для простоты эти ценности симво­лами А1, А2, А3,..., А k.

Сущность метода парных сравнений состоит в том, чтобы предло­жить экспертам произвести сравнение объектов попарно, с тем чтобы установить в каждой паре наиболее важный (значимый) из них.

Из символов образуем всевозможные пары: (А1А2), (А1А3) и т. д. Всего таких парных комбинаций получится k • (k — 1)/2, где k — количе­ство оцениваемых признаков.

Выделенные пары признаков предъявляются экспертам на отдель­ных карточках так, чтобы одно и то же понятие не появлялось подряд в двух последовательно идущих карточках.

Результаты опроса сводятся в таблицу по образцу табл. 4.8, в кото­рой приведены гипотетические результаты опроса 30 экспертов по 5 при­знакам.

Таблица 4.8

Определение шкальных весов на основе парного сравнения

Ценности А1 А2 А3 А4 А5
А1   0,82 0,89 0,95
А2 0,39 0,51 0,60 0,69
А3 0,18 0,49 0,68 0,73
А4 0,11 0,40 0,32 0,82
А5 0,05 0,31 0,27 0,08

 

Число на пересечении, например, первой строки (А1) и второго столбца (А2) представляет собой долю случаев предпочтения признака А2 признаку А1 (общее число суждений равно n, где n — число экспертов). Очевидно, что на пересечении второй строки и первого столбца должно стоять число, дополняющее предыдущую долю до единицы. Если эксперт затрудняется выбрать предпочтительный признак, то в таблицу заносится число 0,5.

В математической модели, лежащей в основе построения шкалы методом парных сравнений, предполагается, что доля случаев предпочте­ния признака i признаку j f (mij) подчиняется нормальному закону, т.е.

Следующий шаг в построении шкальных оценок заключается в том, чтобы обратить наблюдаемые отношения mij в Zij по приведенному уравнению. По приложению для каждого значения mij (из табл. 4.8) нахо­дят Zij и заносят в табл. 4.9.

В приложении приведены значения интеграла в пределах от 0 до Z, а не от— ∞ до Z, как требует того приведенная выше формула. По­этому при использовании этой таблицы надо исходить из следующего: табл. 4.8 антисимметрична относительно диагонали (на диагонали стоят нули), т. е. Zij == Zij; причем значения Z положительны тогда, когда mij (табл. 4.8) больше 0,5. Поэтому берем из табл. 4.8 те mij, которые боль­ше 0,5, вычисляем разности (mij — 0,5). По приложению для них находим Zij и записываем в табл. 4.9 со знаком «плюс». Симметричное к нему чис­ло Zij имеет знак «минус» и ту же абсолютную величину.

Если Zij оказывается большим, чем 2,0, или меньшим 2,0, оно от­вергается как нестабильное. Если ни одна из оценок не отвергается, то шкальная оценка признака i будет равна средней величине всех чисел в графе i табл. 4.9. Когда некоторые j отвергаются, то в табл. 4.9 ставится прочерк. Далее из данных столбца 2 вычитаются данные столбца 1, из 3 — 2 и т. д., а результат заносится в новую таблицу. При этом разность между двумя прочерками или между значением и прочерком считается незначимой и в матрице ставится прочерк. Для преобразованной таблицы вновь вычисляются средние по столбцам, которые и отождествляются с весом признака измеряемого явления.

 

Нулевую точку устанавливают произвольным образом (см., напри­мер, последнюю строку в табл. 4.9).

Метод парных сравнений может использоваться также при опреде­лении относительных весов целей, критериев, факторов и др., осуществ­ляемом при проведении различных маркетинговых исследований.

При большом числе признаков метод парных сравнений оказыва­ется громоздким, поскольку эксперты должны -рассмотреть каждую воз­можную пару признаков, а число таких пар быстро растет с ростом числа признаков. Так, при k = 5 число пар равно 10, при k = 30 — 435.

В таких случаях используются некоторые другие методы, из кото­рых наибольшее применение получил метод равных интервалов [19].

Лайкерт в 1932 г. предложил метод измерения без использования экспертной оценки, который получил название шкалы Лайкерта (метод суммарных оценок). Группе лиц даются вопросы, которые должны оце­ниваться по пятибалльной системе в отношении согласия с этими вопро­сами (суждениями);

5 — «полностью согласен»

4 — «согласен»

3 — «нейтрален»

2 — «не согласен»

1 — «полностью не согласен».

Баллы одного лица относительно всех вопросов суммируются. По­лученная сумма — балл этого лица. Затем лица ранжируются по баллам.

Для построения шкалы отбирается большое число вопросов, отно­сящихся к исследуемой проблеме.

Данный метод можно использовать для отбора наиболее значимых вопросов для их включения в анкету, особенно в случае, когда имеется большое количество вопросов и реально существует проблема их отбора для включения в анкету.

Например, ограниченной группе потребителей или экспертов в 10 человек (А, Б, В и т.д.) дается 10 вопросов, из которых производится отбор. Вопросы оцениваются по пятибалльной шкале Лайкерта. Каждому лицу дается бланк (табл. 4.10).

Таблица 4.10

Иллюстрация метода суммарных оценок

Номер вопроса Ответ
полностью согласен согласен нейтрален не согласен полностью не согласен
1-й +                
2-й +                
3-й         +        
4-й     +            
5-й     +          

Продолжение табл. 4.10

Номер вопроса Ответ
полностью согласен согласен нейтрален не согласен полностью не согласен
6-й             +    
7-й             +    
8-й                 +
9-й         +        
10-й     +            

 

Индивид делает отметку по каждому вопросу в соответствии со своим отношением к нему. Далее подсчитывается общий балл лица отно­сительно всех вопросов. Полученные данные сводятся в следующую таб­лицу (здесь даны вычисления для пятого вопроса).

 

 

Лицо Общий балл Балл пятого вопроса Раз­ность Лицо Общий балл Балл пятого вопроса Раз­ность
А       Е      
Б       И      
В       К      
Г       Л      
Д       М      

 

 

Затем строится таблица сопряженности между баллами вопроса и величинами в графе «разность», причем разности сгруппированы по ин­тервалам (табл. 4.11).

Таблица 4.11

Таблица сопряженности

Балл Интервал разностей Балл Интервал разностей
10-19 20-29 30-39 40-50     10-19 10-29 30-39 40-50
         
      . —    
                       

 

Вычисляется коэффициент корреляции между баллом и разностью. И так для каждого вопроса. Вопросы с малыми корреляциями выбрасы­ваются.

Техника построения шкал методом суммарных оценок обеспечива­ет порядковый уровень измерения.

Проблема сопоставимости признаков, измеренных по разным шка­лам, с одной стороны, и желание иметь некий интегральный показатель для характеристики совокупности свойств измеренного объекта — с дру­гой, приводят к задаче объединения нескольких признаков, измеренных по разным шкалам, в один общий, итоговый показатель — индекс.

Следует помнить, что было бы большим заблуждением требовать от индекса того, чего он не может дать, — полной качественной характери­стики объекта наблюдения, так как задача шкалирования предполагает.всего лишь разработку механизма сведения качественных признаков к количественным.

При построении индекса измеряемое качество следует искать в со­четании оценок по совокупности исходных признаков.

В общем виде измеряемое качество у можно представить некото­рой функцией исходных признаков (х), т. е.

Y=f(Х1, Х2,..., Хk).

Возможны различные представления функции f и, с другой сторо­ны, различные способы приписывания оценок исходным признакам {х}. В зависимости от этого можно выделить три существенно различных типа методов:

1. Конструкция индекса задана на основе предваряющих исследование логических операций. Так, приписывание респонденту значения по основному показателю может определяться некоторой логической схемой, например схемой логического квадрата.

Разберем этот случай на примере построения итогового индекса уровня индивидуальной свободы одеваться для подростка. Этот индекс может быть построен на базе двух исходных: в вопросе А подросток дает свою оценку предоставляемой ему родителями свободы выбора (оценки 1,2,3,4); вопрос Б содержит информацию о том, как родители, по мне­нию респондента, учитывают его индивидуальные склонности (оценки 1,2,3). Схема объединения вопросов А и Б в итоговом показателе дана на рис. 4.3. Итоговый индекс имеет три градации, различающиеся по уров­ню индивидуальной свободы, — 111,11,1.

2. Итоговый индекс может представлять собой аналитическую функцию от исходных признаков. Форма математической зависимости между исходными признаками обосновывается исходя из теоретических соображений.

Примером подобного рода косвенного измерения является шкала Лайкерта. Респонденту предъявляется серия из вопросов, связанных с исследуемым объектом либо непосредственно, либо только весьма кос­венно. Общий балл респондента по всему вопроснику определяется как сумма его баллов x1 по всем признакам, т. е. суммарный балл равен x1 + x2 + x3 +,..., + xk.

Другой пример касается определения устойчивости интересов рес­пондента в проведении досуга с помощью индекса «стабильных занятий на досуге». Он представляет собой отношение количества «стабильных» занятий (z) к числу всех занятий (t), присутствующих в досуге респонден­та, т. е. индекс стабильности занятий имеет вид у == z/t.

3. Конструкция индекса может определяться путем применения некоторых формальных методов преобразования исходных признаков изучаемой совокупности. Обоснованность конструкции индекса и его формирование определяются непосредственно самим методом.

Наибольшую известность получили методы факторного анализа, распознавание образов, некоторые процедуры анализа причинных струк­тур.

Во многих случаях при составлении вопросников нецелесообразно с «нуля» разрабатывать шкалы измерений. Лучше воспользоваться стан­дартными типами шкал, используемыми в области маркетинговых иссле­дований. К числу таких шкал относятся: модифицированная шкала Лай­керта, шкала для изучения жизненного стиля и семантическая диффе­ренциальная шкала.

На основе модифицированной шкалы Лайкерта (интервальная шка­ла), адаптированной под цели проводимого маркетингового исследова­ния, изучается степень согласия или несогласия респондентов с опреде­ленными высказываниями. Данная шкала носит симметричный характер (табл. 4.12) и измеряет интенсивность чувств респондентов.

Таблица 4.12

Вопросник для выявления мнения потребителя относительно товара определенной марки

Заявление Сильно согла­сен В какой-то мере согласен Отно­шусь нейт­рально В какой-то мере не со­гласен Сильно не со­гласен
1. Джинсы (указывается конкретная марка) хорошо выглядят          
2. Данные джинсы имеют разумную цену          
3. Следующая пара ваших джинсов будет данной марки          
4. Данные джинсы легкоузнаваемые          
5. В данных джинсах вы чувствуете себя хорошо          

 

Существуют различные варианты модификации шкалы Лайкерта, например, вводится различное число градаций (7—9).

Школа для изучения жизненного стиля является специальным направле­нием применения модифицированной шкалы Лайкерта и предназначена для изучения системы ценностей, личностных качеств, интересов, мнений относительно работы, отдыха, покупок различных людей. Такая информация дозволяет принимать эффективные маркетинговые решения. Пример анкеты для изучения жизненного стиля приводится в табл. 4.13.

 

Таблица 4.13

Анкета для изучения жизненного стиля

Пожалуйста, обведите цифру, в наибольшей мере соответствующую степени Вашего согласия или несогласия с каждым утверждением.

 

Утверждение Сильно согласен Согласен И согла­сен и не согласен Не согласен Сильно не согласен
1. Я покупаю много          
специальных товаров                    
2. Я обычно имею один и более видов одежды самой последней моды                    
         
                   
                   
3. Самое главное для меня — это мои дети                    
4. Я обычно содержу мой дом в большом порядке          
                   

 

Продолжение табл. 4.13

Угверждение Сильно согласен Согласен И согла­сен и не согласен Не согласен Сильно не согласен
5. Я предпочитаю провести вечер дома,чем пойти на вечеринку                    
                   
6. Я люблю наблюдать или слушать трансляции футбольных матчей                              
7. Я зачастую оказываю влияние на покупки друзей          
                   
8. В следующем году я буду иметь больше денег на покупки          
                   

 

Семантическая дифференциальная шкала содержит серию двухпо­лярных определений, характеризующих различные свойства изучаемого объекта. Так как многие маркетинговые стимулы основаны на мысли­тельных ассоциациях и отношениях, не выраженных явно, то данный тип шкалы часто используется при определении имиджа товарной марки, магазина и т.п. Результаты изучения мнений потребителей относительно двух ресторанов (№1 и №2) на основе семантической дифференциальной шкалы приводятся в табл. 4.14.

Таблица 4.14

Сравнительная оценка двух ресторанов

 

 

Обозначения: - оценки ресторана №1,

- оценки ресторана №2.

В табл. 4.14 специально положительные или отрицательные оценки не расположены только с одной стороны, а случайным образом переме­шаны. Это сделано для того, чтобы избежать «гало эффекта». Он заклю­чается в том, что если первый оцениваемый объект обладает более высо­кими оценками (которые расположены только с левой стороны анкеты) по сравнению со вторым объектом, то респондент будет иметь тенден­цию и дальше ставить оценки слева.

'Одним из достоинств данного метода является то, что если отдель­ным градациям в шкале присвоить номера: 1, 2, 3, и т.д. и ввести в ком­пьютер данные разных респондентов, то конечные результаты могут быть получены в графическом виде (табл. 4.14).

При применении вышеназванных шкал возникает вопрос о целе­сообразности использования нейтральной точки. Все зависит от того, имеют или нет респонденты нейтральное мнение. Однозначной рекомен­дации по этому вопросу дать не представляется возможным.

То же самое можно сказать и относительно того, строить шкалу симметричной или несимметричной.

Существует великое множество вариантов шкал, построенных на основе изложенных принципов. Окончательный выбор обычно делается на основе испытания уровня надежности и точности измерений, прове­денных с помощью различных вариантов шкал.

 



Поделиться:


Последнее изменение этой страницы: 2016-08-14; просмотров: 353; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.116.10.68 (0.011 с.)