Методический анализ результатов

Если содержательные методы анализа (статистический, количественный и качественный) относятся к социологической информации, притом уже полученной, то методический анализ ориентирован на инструментарий исследования (в самом широком понимании – макет выборки, методы сбора и обработки данных) и может применяться как до, так и после полевого («собирательного») этапа исследования. Значение методического анализа можно выразить формулировкой: качество методического аппарата исследования (инструментария) предопределяет качество социологической информации; последнее, в свою очередь, предопределяет и качество результатов, теоретических и практических, самого проведенного исследования.

В социологической литературе считается, что методические исследования – самостоятельный вид научных разработок. Этого рода изыскания не подчинены непосредственно получению информации о социальных процессах, раскрытию их причинных механизмов, они направлены на изучение эмпирического метода, его технологии, процедурных аспектов.

К методическим можно отнести пилотажные (пробные, зондажные) исследования. Как отмечается, в ходе пилотажного исследования проверяются практически все элементы исследования основного – задачи, гипотезы, методические и организационные вопросы, формулировки вопросов и шкал инструментария, макеты выборки и т. д.

Если само проведение пилотажного исследования и считается необязательным, то место его в последовательности (структуре) исследовательского процесса зафиксировано вполне определенно. Оно проводится после окончания всей подготовки, а не после того или иного ее элемента. После переработки элементов подготовки в соответствии с результатами пробного исследования подготовительный этап полностью закончен. Созданы все условия для перехода к следующему этапу эмпирического социологического исследования. До сих пор исследование было только проектом.

В развитие и дополнение к пилотажному исследованию применим методический эксперимент, пример которого дается в монографии «Опросы населения: методический опыт». Предваряя свой массовый почтовый опрос, исследователи поставили задачу определить лучший вариант обращения к респондентам, размер анкеты, день рассылки и степень точности заполнения адреса и т. п. Все это было сделано на базе сформированной подвыборки – миниатюрной модели выборочной совокупности. Предполагалось при этом, что эксперимент позволит оценить степень возврата анкет. Далее в этой же работе делается вывод о том, что существующие методы планирования эксперимента позволяют на небольшом массиве проверить влияние сразу многих признаков. Представляется, что качество инструмента обследования и методика проведения опроса в очень большой степени зависят от того, в какой мере они основываются на результатах методических экспериментов.

Анализ и ремонт выборки. Терминология выборочных исследований имеет в своем арсенале понятие «планируемая и реальная выборка», которая прямо указывает на различия между проектируемыми и полученными параметрами эмпирической информации.

Источники таких смещений можно предусмотреть еще на проектной стадии исследования, и они зачастую находятся «вне» сферы соответствующих расчетов арифметического и иного характера. Практика применения выборочного метода знает, к сожалению, немало примеров, когда, несмотря на правильные принципы, положенные в основу проекта выборочного обследования, были получены нерепрезентативные данные в силу ошибок, допущенных при разработке плана организации опроса, не учитывающего в должной мере специфику предмета и объекта исследования.

Можно с известной условностью утверждать, что ошибки репрезентативности зависят от трех факторов: от степени однородности совокупности по изучаемому признаку, от объема той части совокупности, которая оказалась объектом непосредственного обследования, и от организации отбора.

Расхождения фактической выборки с плановой возникают по ряду причин. Наиболее важные из них связаны с организационными факторами; с наличием значительного числа лиц, отказывающихся участвовать в опросе; с выявленной неточностью исходной информации о генеральной совокупности.

Большинство вышеизложенных позиций – организационно-информационного характера, что допускает возможность их априорной методической корректировки.

Апостериори (когда информация уже получена и обнаружены чрезмерные смещения в выборке) методический анализ с соответствующей корректировкой идет по следующим направлениям:

· неоднородность сбора/массивов данных;

· смещения социально-демографических характеристик;

· резко выделяющиеся ответы;

· пропущенные ответы.

Каждое из этих направлений – самостоятельная методическая задача.

Анализ инструментария исследования. В силу большей распространенности анкетных опросов нагляднее всего рассмотреть данный вопрос именно на примере анкеты.

Существует достаточно большое, теоретически и практически обоснованное, количество требований, которым должен удовлетворять инструментарий опроса. Но даже если соблюсти все эти требования на этапе проектирования исследования и провести экспертизу разработанного опросного листа (анкеты), вряд ли возможно предусмотреть все последующие возможные просчеты. Попытаться минимизировать их – возможно.

Допустимо, конечно, приступить к содержательному анализу массива полученных и обработанных данных – хотя бы в силу уже упоминавшейся необязательности методического анализа. Однако исследователя должны если не насторожить, то, во всяком случае, привлечь внимание следующие обстоятельства:

· недостаточно полный (сравнительно с запланированным) возврат анкет;

· недостаточно полная заполняемость анкет (здесь важно зафиксировать, по каким именно вопросам);

· неравномерное использование предлагаемых альтернатив ответов (как содержательных, так и шкальных);

· логические, фактологические, смысловые и оценочные противоречия в каждой проверяемой анкете (до ее включения в массив для обработки).

Каждое из этих обстоятельств обязывает исследователя поставить вопросы: Почему? Можно ли полученный массив данных запускать в обработку? Можно ли воссоздать недополученные данные? Как избежать подобных недоработок в будущем? Вопросы эти следует не только поставить, но и ответить на них – полностью и обоснованно.

Анализ измерительных шкал. Основные требования к измерительным шкалам в социологии – правильность, устойчивость и обоснованность. В строгом смысле слова понятие надежности измерения правомерно относится именно к инструменту, с помощью которого производится измерение, но не к самим данным, подлежащим измерению. В социологической литературе параллельно (с некоторыми различающимися нюансами) существует несколько терминологических пояснений, которые целесообразно привести здесь.

Обоснованность шкалы заключается в том, что с ее помощью целенаправленно измеряют вполне определенное свойство или признак, не смешивая его с другими.

Устойчивость измерения выражается в однозначности информации, извлекаемой с помощью данной процедуры.

Точность и правильность измерения зависят от ряда факторов:

· степени устойчивости измеряемого объекта или свойства;

· чувствительности эталона измерения (дробности пунктов шкалы);

· отсутствия систематических ошибок измерения;

· устойчивости измерения.

После предварительных расчетов результатов шкалирования нетрудно определить степень «работоспособности» выбранной и примененной шкалы. На уровне внешних признаков фиксируется отсутствие разброса ответов по значениям шкалы, использование респондентами только части шкалы, неравномерное использование ее отдельных пунктов и др. Все эти смещения определяются с помощью соответствующего математического аппарата.

Способов и методов проверки шкал существует множество, и среди них можно упомянуть следующие:

· логическая самопроверка предлагаемой шкалы;

· пробное измерение на малой подвыборке;

· использование «дополнительно-параллельного» метода измерения;

· экспертное судейство предлагаемой шкалы;

· повторное измерение;

· испытание нескольких шкал разной дробности либо определение работающей части шкалы и т. д.

Применение проверочных методов осуществляется по усмотрению исследователя как до, так и после основного (полевого) этапа сбора данных.

Планирование, организация и отчетность

Если в предыдущих разделах пособия говорилось преимущественно о содержательной стороне исследовательского процесса, то здесь речь следует вести о его «технолого-процедурных» компонентах. Различные авторы по-разному трактуют «дробление» социологического исследования на этапы, фазы и процедуры. Если взять лишь несколько точек зрения в их хронологическом порядке, то получается следующая картина.

В коллективной работе немецких авторов «Процесс социального исследования» (1975) выделяются этапы:

· консультации;

· предварительное планирование;

· выработка концепции;

· основное планирование;

· отбор методов исследования;

· организация эмпирического обследования;

· статистическая обработка данных;

· теоретическая обработка;

· внедрение в практику.

В 1981 г., обобщая опыт изучения общественного мнения, группа ленинградских ученых обозначила следующие этапы:

· разработка заказа на исследование;

· разработка программы исследования;

· разработка полевых документов;

· разработка выборки;

· печать (тиражирование) полевых документов;

· сбор первичной информации;

· обработка информации;

· анализ результатов обработки данных и составление отчета;

· консервация (создание архива) материалов исследования.

В 1987 г. В.А. Ядов делит теоретико-прикладное исследование на следующие этапы:

· разработка теоретической концепции и программы (до 30% времени, отведенного на исследование);

· полевой этап, т.е. сбор первичных данных, с выделением фазы пробы (пилотажа) и основного обследования (примерно 20% времени);

· период обработки и анализа данных (около 40% времени);

· оформление итоговых отчетов и публикаций (около 10% времени).

Думается, что важнее здесь не количество этапов и их обозначение, а логика и последовательность выполняемых действий.

Рабочие документы исследования. Что относится к рабочим документам исследования и в чем их предназначение? Если считать, что программа исследования (включая проект выборки, инструментарий и макет обработки данных) – базовый, основной документ, то к вспомогательным можно и нужно отнести следующие.

Рабочий план исследования. Его предназначение – упорядочение и детализация процедур исследовательского процесса, их последовательность или параллельность, видов соответствующих им работ и фиксация промежуточных результатов. По своей форме рабочий план включает следующие компоненты (графы, если речь вести о его «табличном» виде): этап исследования – процедуры (мероприятия) – сроки исполнения – ответственный – (со-) исполнители – содержание (вид) работы – результаты.

Следующую группу рабочих документов образуют различные «технологические» инструкции. К ним следует отнести, к примеру, маршрутную карту для анкетеров и интервьюеров, «поведенческие рекомендации» для них же, макеты кодировки первичной информации и ее ввода в ЭВМ, табличные формы «выхода» обработанной информации.

После реализации этапов сбора и обработки информации в распоряжении исследовательской группы остается большой, как правило, объем «архивных» материалов (заполненные анкеты или кодировочные листы, распечатки с результатами математико-статистической обработки, библиографические указатели и т. п.). В зависимости от требований к проведению исследования или условий деятельности исследовательской группы подобные материалы либо уничтожаются, либо хранятся в полном объеме, либо переводятся в состояние банка социологических данных.

В целом следует признать, что перевод исходной информации в компьютерную или иную базу (банк) данных – достаточно сложная и серьезная проблема со своими принципами, правилами и алгоритмами.

Организационные вопросы и ресурсообеспечение. Организация социологического исследования решает следующие основные задачи:

· определение необходимых для реализации программы исследования видов работ и их последовательность;

· расчет необходимых материальных и финансовых ресурсов;

· анализ затрат времени на отдельные виды работ и исследование в целом;

· нормирование труда исполнителей;

· координацию взаимодействия исследовательского коллектива с целью наиболее эффективного использования имеющихся возможностей.

В перечень организационных вопросов включаются:

· разработка сетевого плана-графика;

· подготовка материально-технической базы исследования;

· подготовка поля исследования;

· подготовка исследовательской группы;

· проведение полевого исследования;

· организация обработки и анализа социологической информации.

Что касается вопроса о ресурсообеспечении социологического исследования, то здесь хотелось бы ограничиться следующими соображениями:

· существовавшие в прежние («дорыночные») времена рекомендации и даже нормативы по стоимости и трудозатратам в настоящее время «не работают»;

· совокупность ресурсозатрат определяется, как минимум, потенциалом (в первую очередь – профессионально-квалификационным) исследовательского коллектива, требованиями к проведению исследования (в первую очередь – время и сроки) и объемом материально-технического (в первую очередь – финансового) обеспечения;

· сокращение выделяемых сроков на проведение исследования, требования «конфиденциальности и эксклюзивности» его результатов неизбежно ведут к пропорциональному увеличению его стоимости;

· не калькулируется, но имеет существенное значение так называемый «концептуальный ресурс», включающий и его информационно-методическую составляющую.

Требования к отчетам по результатам работы. Если в процессе исследования социолог вынужден переводить исходные данные (например, ответы респондента) на «язык науки», то в процессе подготовки отчета он должен делать то же самое – только в переводе с «языка исследования» на язык читателя (пользователя, заказчика).

По форме и назначению различают три основных вида итоговых документов:

· отчет;

· научные публикации;

· публикации в средствах массовой информации.

Научный отчет адресован заказчику, научная статья – специалистам, а публикация в прессе – широкой публике.

Объем научного отчета в фундаментальном исследовании очень большой, а его структура повторяет в основных чертах программу исследования.

Объем заключительного отчета в прикладном исследовании обычно меньше, так как не включает теоретико-методологический раздел. Его структура также приближается к структуре программы прикладного исследования. Тот и другой наряду с полной формой имеют еще краткую. Краткая форма отчета о фундаментальном исследовании состоит из 22-24 страниц. Краткий вариант прикладного отчета не превышает 10 страниц.

Здесь можно сослаться на опыт Э. Ноэль, директора Института демоскопии (ФРГ). Она рекомендует придерживаться следующих правил при составлении отчета:

· имеющийся эмпирический материал необходимо заново перегруппировать независимо от анкет, последовательности вопросов в них и т. п.;

· не следует отражать в отчете все анкетные вопросы с результатами;

· после отбора основных результатов оставшаяся их часть размещается в отдельном приложении (диаграммы, гистограммы, графики, таблицы);

· лишние цифры и сокращения снижают качество таблиц;

· следует четко разделять графически результаты работы и предположения социолога;

· во введении или в приложении должны содержаться данные об инициаторах и исполнителях, сроке работы, числе занятых специалистов и интервьюеров, методах и характеристиках выборки, а также помешаться оригинал анкеты.

В качестве резюме Э. Ноэль констатирует, что отчет о результатах исследования тем лучше, чем он абстрактнее, чем он концентрированнее, чем более универсально сформулированы ответы на теоретические вопросы исследования, которые основаны на статически подкрепляемых и изложенных в отчете результатах, изложены в виде правил, которые дают объяснения и допускают прогноз.

В ставшей уже классической монографии отечественного социолога В.А. Ядова «Социологическое исследование: методология, программы, методы» формулируются рекомендации по логике и структуре итоговых отчетов. Для научной публикации наиболее целесообразно придерживаться такого порядка.

· Изложение целей и задач исследования. Формулировка проблемы. Краткая или более пространная характеристика литературы по вопросу.

· Основные идеи программы исследования и концептуальная схема. Уточнение исходных понятий.

· Описание основных процедур сбора первичных данных (методики, типы выборки).

· Изложение и анализ полученных данных по группам гипотез (задач или проблем).

· Теоретические и практические выводы из исследования. Сопоставление полученных данных с имеющимися в литературе.

· Постановка вопросов для дальнейшего изучения, выдвижения новых гипотез, которые не могли быть проверены в данном исследовании.

· Приложения: методики сбора первичных данных, сводные таблицы, основные статистические показатели по ведущим гипотезам (или задачам).

Применительно к отчету по результатам прикладного исследования предлагается следующая структура:

· Формулировка задач и указание заказчика.

· Информация о сроках, объектах, источниках информации.

· Основные выводы диагностического характера, снабженные необходимыми статистическими данными.

· Предлагаемые решения, их ожидаемый эффект, способы контроля и «субъекты исполнения».

· Полный отчет снабжается краткой аннотацией и приложениями к основному тексту.

Подводя итоги, отметим что структура, объем и содержание научного отчета ориентированы на своего потребителя – профессиональных коллег, менеджеров компании заказчика и т. д. Коллег больше интересует описание методики исследования, используемых понятий, способ их операционализации, репрезентативность данных и иные атрибуты академического исследования. Ничего такого администрации компании не нужно. Главное для них – простой и ясный язык изложения, хорошие и понятные иллюстрации, четкость и практическая эффективность рекомендаций.

 

Вопросы для повторения и обсуждения

1. В чем сходство и сущностные различия социологического исследования и научного познания в целом?
2. Охарактеризуйте виды социологических исследований и критерии их классификации.
3. Каковы методологические требования к построению программы, выборки и методам социологического исследования?
4. Каково соотношение технологии, методов, техники, методики и процедур в социологических исследованиях?
5. Из каких частей (разделов) состоит программа социологического исследования?
6. Что такое объект, предмет, цель и задачи социологического исследования и какова методика их выделения?
7. Что собой представляет интерпретация и операционализация понятий?
8. Как осуществляется предварительный системный анализ объекта?
9. Каковы виды, роль, формулировки исследовательских гипотез?
10. Каковы особенности построения процедурной части программы?
11. Что собой представляет выборочный метод?
12. Что такое выборка? Каковы способы построения выборки?
13. Приведите классификацию выборок.
14. В чем разница между единицей отбора и единицей наблюдения?
15. Охарактеризуйте процедуры формирования выборки.
16. Как определяются случайные и систематические ошибки выборки?
17. Как осуществляется контроль и ремонт выборки?
18. Что собой представляет измерение и шкалирование в социологии?
19. Каковы уровни измерения и виды шкал?
20. Какие методы анализа документов используются в социологических исследованиях?
21. Приведите классификацию видов наблюдения. Каковы преимущества и недостатки наблюдения?
22. Раскройте понятие и виды анкетного опроса.
23. Что представляет собой структура анкеты? В чем отличия туннельного и секционного подходов к проектированию вопросников?
24. Каковы функции и логическая структура вопросов анкеты? Приведите классификацию вопросов анкеты.
25. Каковы этапы работы над анкетой?
26. Приведите классификацию интервью. Каковы преимущества и недостатки метода интервью?
27. Каковы правила подготовки и проведения интервью?
28. Раскройте понятие и виды эксперимента. Каковы требования к эксперименту в социологии?
29. В чем выражается специфика подготовки и проведения эксперимента?
30. Дайте характеристику основных понятий и этапов статистического анализа.
31. Раскройте содержание этапов обработки данных с помощью компьютерной техники.
32. Каковы роль и содержание процессов описания и объяснения в социологии?
33. В чем состоит роль и технологическое содержание сравнительного анализа в социологии?
34. Каковы роль и технологические особенности методического анализа и пилотажных исследований?
35. Что собой представляет анализ и ремонт выборки?
36. В чем сущность анализа инструментария исследования?
37. В чем особенности анализа измерительных шкал?
38. Каковы требования к отчетам по результатам социологического исследования?