ТОП 10:

Проблемы повышения адекватности количественного инструментария



Социологам, привыкшим работать с формализованными анкетами, глубокое интервью может помочь в двух отношениях. Во-первых, его применение поможет социологу осознать грани­цы применимости и ограниченность возможностей анкетного метода. Во-вторых, глубокое интервью является эффективным средством проверки качества анкет и одновременно средством их доработки. Часто после проведения первых же интервью исследователю становится ясна необходимость радикальной пе­реработки созданной им анкеты.

Применение глубокого интервью при отработке социоло­гических анкет является одной из форм пилотажного опроса. В связи с этим целесообразно сделать ряд замечаний относитель­но пилотажных опросов вообще. В отечественных методических источниках, как правило, указывается на необходимость прове­дения пилотажных исследований при отработке социологичес­кого инструментария, однако данному вопросу обычно уделя­ется очень мало места и методические особенности проведения этого важного этапа, как правило, раскрываются недостаточно. Типичное описание пилотажного исследования в отече­ственной литературе выглядит так: «Пилотажное исследование в социологии — это пробное исследование преимущественно методической направленности, цель которого — проверка ка­чества инструмента для сбора социологической информации. В процессе пилотажа вырабатывается проект (макет) методи­ки, который затем опробуется в условиях, близких к условиям массового полевого исследования. При этом выясняется мера


§ 1. Адекватность количественного инструментария 293

потерь и искажений информации из-за наличия языкового, пси­хологического и других барьеров и тех обстоятельств в ситуации опроса, которые не были учтены при разработке программы и методик исследования. Обычно при пилотаже считается до­статочным опрос 50-100 человек, подобранных так, чтобы в вы­борку были включены все значимые для целей исследования группы респондентов».

Приведенное выше описание процитировано не только по­тому, что оно типично, но и потому, что оно соответствует реально сложившейся в отечественной социологии практике. Эта реальная практика такова. В зале собирают указанные выше 50-100 человек, раздают им проект анкеты и предлагают запол­нить. Собранные анкеты просматривают и анализируют. При этом, действительно, возникают определенные сигналы о том, что те или иные вопросы плохо срабатывают. К числу таких сигналов относятся:

а) низкая заполняемость некоторых вопросов либо высо­
кий процент ответов типа «не знаю», «затрудняюсь ответить».
Это, пожалуй, один из основных сигналов о том, что вопрос
либо непонятен, либо затрагивает «закрытые зоны» в сознании
респондента, либо предъявляет слишком высокие требования
к памяти респондента, либо страдает иными аналогичными

пороками;

б) в полузакрытых, а порой и закрытых вопросах респон­
денты вписывают свои варианты ответов, не совпадающие
ни с одним из закрытий. Если число таких ответов превышает
5-7 %, то это безусловный сигнал к тому, чтобы доработать
список закрытий;

в) некоторые респонденты пишут свои пояснения на полях
анкеты, порой весьма пространные. Такие записи могут служить
источником включения в анкету дополнительных вопросов, из­
менения ее структуры;

г) некоторые респонденты подходят к проводящим опрос
социологам и беседуют с ними. Иногда эти беседы относятся
к отдельным вызвавшим затруднения вопросам анкеты, ино­
гда превращаются в обсуждение всей затронутой в анкете
проблематики. Беседы такого рода часто оказываются полез­
ными для социологов и влияют на окончательную отработку


294 Глава 5. Глубокое интервью при разработке анкет

инструментария, однако сложившаяся практика такова, что эти беседы не являются специально запланированным методичес­ким этапом, проходят без разработанного заранее методического плана и строго не протоколируются.

Таким образом, можно отметить, что сложившаяся практика проведения пилотажных опросов в принципе дает социологам определенные сигналы о том, как следует доработать анкету. Вместе с тем, реальная ценность этих сигналов, в общем, не­велика. Дело в том, что практически работающий социолог, знакомый с имеющейся методической литературой и лично принимавший участие в проведении нескольких опросов, при­обретает навык избегать грубых ошибок при составлении анкет. Заполнение анкет респондентами при пилотажных обследова­ниях часто проходит «гладко», в том смысле, что особых за­труднений респонденты не испытывают, и анкета в результате такого пилотажа претерпевает лишь незначительные изменения. Вместе с тем, как будет показано ниже, «гладкость» заполнения отнюдь не означает высокого качества анкеты.

Прежде чем приступить к описанию наших рекомендаций по проведению пилотажных исследований, следует отметить, что существует или, по крайней мере, должно существовать несколь­ко типов пилотажных исследований. Для социологов должно стать привычным, что отработка или «доводка» анкет — слож­ный и многоэтапный процесс, состоящий, как правило, из 3-5, а то и большего числа разных «пилотажей»г). В частности, пило­тироваться может не только вопросник, но и, например, выборка (т. е. проверяться доступность респондентов, реалистичность из­бранной процедуры их поиска и т. п.), процедура опроса (время, место и способ организации опроса, продолжительность запол­нения анкеты) и ряд других параметров обследования. При пи­лотировании собственно вопросника предметом пилотажа могут быть сами вопросы, структура и композиция анкеты, а также проблематика исследования. Рассмотрение всего комплекса этих проблем, т. е. описание различных видов пилотажных исследова­ний, представляется важным, но не это входит в задачу данного

'' Следует оговорить, что иногда анкеты могут не требовать пилотажа. Это относится к тем случаям, когда вопросы анкеты либо очень просты, либо методика хорошо отработана.


§ 1. Адекватность количественного инструментария

параграфа. Его задачей является описание лишь некоторых ви­дов пилотажа, связанных с применением глубокого интервью.

Наиболее приемлемым для пилотажного исследования мы считаем часто используемый психологами метод заполнения ре­спондентом теста или вопросника, «рассуждая при этом вслух». Иными словами, респонденту следует предложить ознакомиться с готовым вариантом анкеты и заполнить ее, сообщая при этом интервьюеру все мысли, ассоциации и затруднения, которые приходят в голову. В хорошо отработанной анкете таких со­путствующих мыслей и затруднений будет немного. Вопросы, логическое членение которых доведено до конца и которые по­нятны респонденту, обычно заполняются сразу и не вызывают никаких устных комментариев. Иначе обстоит дело с разного рода «неадекватными» вопросами. Ответом на один такой во­прос вполне может стать длительное интервью, которое покажет полное несоответствие анкеты изучаемой проблематике.

Следует отметить, что многие проблемы неадекватности во­просов и вопросников освещены в отечественной литературе. В частности, довольно часто говорится об ограничениях, связан­ных с памятью респондентов, об узости их языковых возможно­стей (по причине, например, невысокого уровня образования), о личном или интимном характере вопросов2' и о ряде дру­гих факторов. Не отрицая важности этих аспектов, мы хотим сосредоточить внимание на главном, с нашей точки зрения, недостатке отечественных анкет, а именно — на своего рода «когнитивных» затруднениях, вызываемых у респондентов не­правильно поставленными вопросами. Под «неправильными» вопросами мы, в частности, понимаем:

— сложные вопросы большого логического объема, не «вмеща­
ющиеся» в список закрытий, даже если последний содержит
10-15 и более пунктов;

— вопросы, содержащие разного рода логические пороки
(«двойной» вопрос, противоречиво сформулированный во­
прос, неоднозначный по смыслу и т. п.);

2* Мы согласны с Э. Ноэль, которая отмечает, что эта причина упоми­нается в учебниках чаще всего, но в действительности играет сравнительно небольшую роль.


Глава 5. Глубокое интервью при разработке анкет

— вопросы, содержащие презумпции, противоречащие знани­
ям или представлениям респондента;

— вопросы, знания или представления о которых вообще от­
сутствуют в сознании респондента;

- вопросы, в которых респондент не находит того типологи­ческого случая, к которому относится он сам (к примеру, если спросить в анкете, кто в основном занимается ребен­ком, отец или мать, а реально ребенок живет у бабушки, то респондент, строго говоря, не может ответить на такой вопрос, хотя в действительности он обычно как-то на него отвечает).

Для иллюстрации того, что такое неадекватный вопрос и как он работает, приведем следующую сцену, взятую из реальной социологической жизни (опрашивался директор животноводче­ской фермы):

«Интервьюер (читает вопрос анкеты):Приходилось ли Вам за последние два месяца внедрять какие-либо инновации?

Респондент (думает, затем спрашивает):А что такое инно­вации?

Интервьюер:Ну, это если Вы внедрили у себя что-то новое...

Респондент (думает, затем спрашивает):Вот две неде­ли назад я две проржавевшие оцинкованные ванны выбросил и заменил пластмассовыми. Это инновация?

Интервьюер (думает, затем отвечает):Да, пожалуй, это инновация.

Респондент (думает, затем спрашивает):А еще я в про­шлом месяце двух пьяниц уволил. Это инновация?

Интервьюер (думает, затем отвечает):Нет, это не инно­вация.

Респондент (думает, затем спрашивает):Я сказал, что заменил две ванны. Это одна инновация или две?

Интервьюер (думает, затем отвечает):По-видимому, одна.

Респондент:Ну, тогда пишите, что одна.

Интервьюер:Понятно. Переходим к следующему вопросу...».

Интервью, проводимые по анкете, обычно выявляют не­сколько уровней ее недостатков. Таких уровней можно выделить,


§ 1. Адекватность количественного инструментария 297

как минимум, три. Первый уровень — это возможная неаде­кватность анкеты всей изучаемой проблематике или самой изу­чаемой действительности. В этом случае требуется радикальная замена всей анкеты, а также рассмотрение вопроса о том, приме­ним ли вообще метод анкетного опроса к данной (уточненной) проблематике. Пример, иллюстрирующий необходимость такой радикальной замены приведен в приложении к данному па­раграфу. Второй уровень — это состав вопросов и логическая композиция анкеты. В отечественных учебниках, рассматривая проблему композиции анкеты, много пишут о том, что поря­док следования вопросов может сильно повлиять на результаты опроса. Это верно, но в данном случае речь идет о другом. Го­воря об ошибках композиции, мы имеем в виду следующее. Во-первых, в анкете могут обнаружиться как «лишние» (нерелевант­ные) блоки вопросов, так и, что еще важнее, отсутствующие, но содержательно необходимые (релевантные) блоки вопросов.

Во-вторых, как уже отмечалось в главе второй, анкеты, со­ставленные отечественными социологами, почти всегда грешат недостаточной логической разветвленностью, упуская многие широко распространенные в действительности типологические случаи. Следует подчеркнуть, что первые же несколько интер­вью, проведенные по априорно составленной анкете, выявляют большое количество «недостающих» вопросов как первого, так и второго типа.

Наконец, третий уровень — это уровень самих вопросов и содержащихся в них подсказок-закрытий. Этот уровень мож­но охарактеризовать как «тонкую» или окончательную доводку анкеты. Перечень возможных пороков формулировок вопросов и закрытий, в общем, описан в отечественной литературе, но, несмотря на это, недостатки такого рода постоянно воспроиз­водятся в составляемых отечественными социологами анкетах.

Сопоставление результатов анкетных опросов (как пило­тажных, так и массовых) с результатами глубокого интервью по этим анкетам демонстрирует, что «гладкость» или «легкость» заполнения анкет сидящими в зале респондентами часто бывает кажущейся. Практика показывает, что респонденты в подавляю­щем большинстве случаев как-то отвечают даже на те вопросы, которые содержат в себе грубые методические пороки. Этот



Глава 5. Глубокое интервью при разработке анкет


§ 1. Адекватность количественного инструментария



 


 


эффект становится понятным, если учесть, что с психоэнерге­тической точки зрения респонденту легче ответить на вызыва­ющий сомнение вопрос, чем идти и выяснять по этому поводу отношения с лицами, проводящими анкетирование. Лишь сво­бодное интервью, в котором респондента просят сообщать обо всех испытываемых им затруднениях и сопутствующих мыслях, может выявить, насколько неадекватным может быть такой «гладко» заполняемый вопрос.

В качестве примера приведем выдержку из методического интервью, проведенного по просьбе автора Галиной Вохмен-цевой. Респондент — молодой рабочий, прошедший службу в армии, со средним образованием.

«Респондент (зачитывает вопрос анкеты):ЧТО ТАКОЕ ХО­РОШАЯ РАБОТА? ЧТО ОНА ДОЛЖНА ДАВАТЬ ЛЮДЯМ?

Интервьюер:Понятен вопрос?

Респондент:Да, понятен.

Интервьюер:Читайте дальше.

Респондент (читает первый вариант закрытия):

1. Постоянно совершенствоваться.

После прочтения респондентом этой подсказки диктофон за­фиксировал 40-секундную паузу. Затем респондент трижды пы­тался начать какую-то фразу, отражающую его мнение по поводу данной формулировки, но эта фраза у него не складывалась. Наконец он сказал: "Что значит «постоянно совершенствоваться?» Я этого не понимаю. Это квалификацию повышать, что ли? Но то­гда так и надо было написать. А так это бессодержательно..."».

В завершение данного параграфа следует рассмотреть во­прос о выборке в пилотажных исследованиях. В отечественных источниках указывается, что объем выборки должен составлять от 50 до 100 человек. По нашему мнению, существуют разные ти­пы пилотажей, и объем выборки при их проведении должен быть различным. В целом при проведении пилотажных исследований сохраняет силу принцип, согласно которому меньшей степени формализации опроса должен соответствовать и меньший объем выборки. Можно, конечно, провести по анкете и 100 свободных интервью, однако целесообразнее двигаться поэтапно, осуще­ствляя, как уже было сказано, 3-5 пилотажных исследований,


и проводя после каждого этапа доработку и коррекцию инстру­ментария. Думается, что по ни разу не пилотировавшейся анкете достаточно провести свободное интервью с 5-10 респондентами. Как показывает практика, этого числа бесед оказывается более чем достаточно для осознания необходимости существенной ее переработки. Следующие этапы пилотажа могут потребовать опроса большего числа респондентов с целью выявления различ­ных неучтенных анкетой типологических случаев, уже сравни­тельно редких, но возможно составляющих 10—15% в выборке. Степень формализации вопросника может при этом, навер­ное, возрастать, но отрефлексированным методическим опытом по данному вопросу мы не располагаем. С целью снижения трудоемкости исследования по увеличенной выборке может пи­лотироваться уже не вся анкета, а лишь отдельные ее блоки или вопросы. Выборки для пилотажей должны составляться по типу квотных, чтобы при опросе были учтены различия в ролевых позициях и, по возможности, в типах личности респондентов.


Сопоставление результатов обследования



 


Приложение







Последнее изменение этой страницы: 2016-08-26; Нарушение авторского права страницы

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.205.96.39 (0.013 с.)