Методический анализ результатов

Если содержательные методы анализа (статистический, количественный и качественный) относятся к социологической информации, притом уже полученной, то методический анализ ориентирован на инструментарий исследования (в самом широком понимании – макет выборки, методы сбора и обработки данных) и может применяться как до, так и после полевого («собирательного») этапа исследования. Значение методического анализа можно выразить формулировкой: качество методического аппарата исследования (инструментария) предопределяет качество социологической информации; последнее, в свою очередь, предопределяет и качество результатов, теоретических и практических, самого проведенного исследования.

В социологической литературе считается, что методические исследования – самостоятельный вид научных разработок. Этого рода изыскания не подчинены непосредственно получению информации о социальных процессах, раскрытию их причинных механизмов, они направлены на изучение эмпирического метода, его технологии, процедурных аспектов.

К методическим можно отнести пилотажные (пробные, зондажные) исследования. Как отмечается, в ходе пилотажного исследования проверяются практически все элементы исследования основного – задачи, гипотезы, методические и организационные вопросы, формулировки вопросов и шкал инструментария, макеты выборки и т. д.

Если само проведение пилотажного исследования и считается необязательным, то место его в последовательности (структуре) исследовательского процесса зафиксировано вполне определенно. Оно проводится после окончания всей подготовки, а не после того или иного ее элемента. После переработки элементов подготовки в соответствии с результатами пробного исследования подготовительный этап полностью закончен. Созданы все условия для перехода к следующему этапу эмпирического социологического исследования. До сих пор исследование было только проектом.

В развитие и дополнение к пилотажному исследованию применим методический эксперимент, пример которого дается в монографии «Опросы населения: методический опыт». Предваряя свой массовый почтовый опрос, исследователи поставили задачу определить лучший вариант обращения к респондентам, размер анкеты, день рассылки и степень точности заполнения адреса и т. п. Все это было сделано на базе сформированной подвыборки – миниатюрной модели выборочной совокупности. Предполагалось при этом, что эксперимент позволит оценить степень возврата анкет. Далее в этой же работе делается вывод о том, что существующие методы планирования эксперимента позволяют на небольшом массиве проверить влияние сразу многих признаков. Представляется, что качество инструмента обследования и методика проведения опроса в очень большой степени зависят от того, в какой мере они основываются на результатах методических экспериментов.

Анализ и ремонт выборки. Терминология выборочных исследований имеет в своем арсенале понятие «планируемая и реальная выборка», которая прямо указывает на различия между проектируемыми и полученными параметрами эмпирической информации.

Источники таких смещений можно предусмотреть еще на проектной стадии исследования, и они зачастую находятся «вне» сферы соответствующих расчетов арифметического и иного характера. Практика применения выборочного метода знает, к сожалению, немало примеров, когда, несмотря на правильные принципы, положенные в основу проекта выборочного обследования, были получены нерепрезентативные данные в силу ошибок, допущенных при разработке плана организации опроса, не учитывающего в должной мере специфику предмета и объекта исследования.

Можно с известной условностью утверждать, что ошибки репрезентативности зависят от трех факторов: от степени однородности совокупности по изучаемому признаку, от объема той части совокупности, которая оказалась объектом непосредственного обследования, и от организации отбора.

Расхождения фактической выборки с плановой возникают по ряду причин. Наиболее важные из них связаны с организационными факторами; с наличием значительного числа лиц, отказывающихся участвовать в опросе; с выявленной неточностью исходной информации о генеральной совокупности.

Большинство вышеизложенных позиций – организационно-информационного характера, что допускает возможность их априорной методической корректировки.

Апостериори (когда информация уже получена и обнаружены чрезмерные смещения в выборке) методический анализ с соответствующей корректировкой идет по следующим направлениям:

· неоднородность сбора/массивов данных;

· смещения социально-демографических характеристик;

· резко выделяющиеся ответы;

· пропущенные ответы.

Каждое из этих направлений – самостоятельная методическая задача.

Анализ инструментария исследования. В силу большей распространенности анкетных опросов нагляднее всего рассмотреть данный вопрос именно на примере анкеты.

Существует достаточно большое, теоретически и практически обоснованное, количество требований, которым должен удовлетворять инструментарий опроса. Но даже если соблюсти все эти требования на этапе проектирования исследования и провести экспертизу разработанного опросного листа (анкеты), вряд ли возможно предусмотреть все последующие возможные просчеты. Попытаться минимизировать их – возможно.

Допустимо, конечно, приступить к содержательному анализу массива полученных и обработанных данных – хотя бы в силу уже упоминавшейся необязательности методического анализа. Однако исследователя должны если не насторожить, то, во всяком случае, привлечь внимание следующие обстоятельства:

· недостаточно полный (сравнительно с запланированным) возврат анкет;

· недостаточно полная заполняемость анкет (здесь важно зафиксировать, по каким именно вопросам);

· неравномерное использование предлагаемых альтернатив ответов (как содержательных, так и шкальных);

· логические, фактологические, смысловые и оценочные противоречия в каждой проверяемой анкете (до ее включения в массив для обработки).

Каждое из этих обстоятельств обязывает исследователя поставить вопросы: Почему? Можно ли полученный массив данных запускать в обработку? Можно ли воссоздать недополученные данные? Как избежать подобных недоработок в будущем? Вопросы эти следует не только поставить, но и ответить на них – полностью и обоснованно.

Анализ измерительных шкал. Основные требования к измерительным шкалам в социологии – правильность, устойчивость и обоснованность. В строгом смысле слова понятие надежности измерения правомерно относится именно к инструменту, с помощью которого производится измерение, но не к самим данным, подлежащим измерению. В социологической литературе параллельно (с некоторыми различающимися нюансами) существует несколько терминологических пояснений, которые целесообразно привести здесь.

Обоснованность шкалы заключается в том, что с ее помощью целенаправленно измеряют вполне определенное свойство или признак, не смешивая его с другими.

Устойчивость измерения выражается в однозначности информации, извлекаемой с помощью данной процедуры.

Точность и правильность измерения зависят от ряда факторов:

· степени устойчивости измеряемого объекта или свойства;

· чувствительности эталона измерения (дробности пунктов шкалы);

· отсутствия систематических ошибок измерения;

· устойчивости измерения.

После предварительных расчетов результатов шкалирования нетрудно определить степень «работоспособности» выбранной и примененной шкалы. На уровне внешних признаков фиксируется отсутствие разброса ответов по значениям шкалы, использование респондентами только части шкалы, неравномерное использование ее отдельных пунктов и др. Все эти смещения определяются с помощью соответствующего математического аппарата.

Способов и методов проверки шкал существует множество, и среди них можно упомянуть следующие:

· логическая самопроверка предлагаемой шкалы;

· пробное измерение на малой подвыборке;

· использование «дополнительно-параллельного» метода измерения;

· экспертное судейство предлагаемой шкалы;

· повторное измерение;

· испытание нескольких шкал разной дробности либо определение работающей части шкалы и т. д.

Применение проверочных методов осуществляется по усмотрению исследователя как до, так и после основного (полевого) этапа сбора данных.

Планирование, организация и отчетность

Если в предыдущих разделах пособия говорилось преимущественно о содержательной стороне исследовательского процесса, то здесь речь следует вести о его «технолого-процедурных» компонентах. Различные авторы по-разному трактуют «дробление» социологического исследования на этапы, фазы и процедуры. Если взять лишь несколько точек зрения в их хронологическом порядке, то получается следующая картина.

В коллективной работе немецких авторов «Процесс социального исследования» (1975) выделяются этапы:

· консультации;

· предварительное планирование;

· выработка концепции;

· основное планирование;

· отбор методов исследования;

· организация эмпирического обследования;

· статистическая обработка данных;

· теоретическая обработка;

· внедрение в практику.

В 1981 г., обобщая опыт изучения общественного мнения, группа ленинградских ученых обозначила следующие этапы:

· разработка заказа на исследование;

· разработка программы исследования;

· разработка полевых документов;

· разработка выборки;

· печать (тиражирование) полевых документов;

· сбор первичной информации;

· обработка информации;

· анализ результатов обработки данных и составление отчета;

· консервация (создание архива) материалов исследования.

В 1987 г. В.А. Ядов делит теоретико-прикладное исследование на следующие этапы:

· разработка теоретической концепции и программы (до 30% времени, отведенного на исследование);

· полевой этап, т.е. сбор первичных данных, с выделением фазы пробы (пилотажа) и основного обследования (примерно 20% времени);

· период обработки и анализа данных (около 40% времени);

· оформление итоговых отчетов и публикаций (около 10% времени).

Думается, что важнее здесь не количество этапов и их обозначение, а логика и последовательность выполняемых действий.

Рабочие документы исследования. Что относится к рабочим документам исследования и в чем их предназначение? Если считать, что программа исследования (включая проект выборки, инструментарий и макет обработки данных) – базовый, основной документ, то к вспомогательным можно и нужно отнести следующие.

Рабочий план исследования. Его предназначение – упорядочение и детализация процедур исследовательского процесса, их последовательность или параллельность, видов соответствующих им работ и фиксация промежуточных результатов. По своей форме рабочий план включает следующие компоненты (графы, если речь вести о его «табличном» виде): этап исследования – процедуры (мероприятия) – сроки исполнения – ответственный – (со-) исполнители – содержание (вид) работы – результаты.

Следующую группу рабочих документов образуют различные «технологические» инструкции. К ним следует отнести, к примеру, маршрутную карту для анкетеров и интервьюеров, «поведенческие рекомендации» для них же, макеты кодировки первичной информации и ее ввода в ЭВМ, табличные формы «выхода» обработанной информации.

После реализации этапов сбора и обработки информации в распоряжении исследовательской группы остается большой, как правило, объем «архивных» материалов (заполненные анкеты или кодировочные листы, распечатки с результатами математико-статистической обработки, библиографические указатели и т. п.). В зависимости от требований к проведению исследования или условий деятельности исследовательской группы подобные материалы либо уничтожаются, либо хранятся в полном объеме, либо переводятся в состояние банка социологических данных.

В целом следует признать, что перевод исходной информации в компьютерную или иную базу (банк) данных – достаточно сложная и серьезная проблема со своими принципами, правилами и алгоритмами.

Организационные вопросы и ресурсообеспечение. Организация социологического исследования решает следующие основные задачи:

· определение необходимых для реализации программы исследования видов работ и их последовательность;

· расчет необходимых материальных и финансовых ресурсов;

· анализ затрат времени на отдельные виды работ и исследование в целом;

· нормирование труда исполнителей;

· координацию взаимодействия исследовательского коллектива с целью наиболее эффективного использования имеющихся возможностей.

В перечень организационных вопросов включаются:

· разработка сетевого плана-графика;

· подготовка материально-технической базы исследования;

· подготовка поля исследования;

· подготовка исследовательской группы;

· проведение полевого исследования;

· организация обработки и анализа социологической информации.

Что касается вопроса о ресурсообеспечении социологического исследования, то здесь хотелось бы ограничиться следующими соображениями:

· существовавшие в прежние («дорыночные») времена рекомендации и даже нормативы по стоимости и трудозатратам в настоящее время «не работают»;

· совокупность ресурсозатрат определяется, как минимум, потенциалом (в первую очередь – профессионально-квалификационным) исследовательского коллектива, требованиями к проведению исследования (в первую очередь – время и сроки) и объемом материально-технического (в первую очередь – финансового) обеспечения;

· сокращение выделяемых сроков на проведение исследования, требования «конфиденциальности и эксклюзивности» его результатов неизбежно ведут к пропорциональному увеличению его стоимости;

· не калькулируется, но имеет существенное значение так называемый «концептуальный ресурс», включающий и его информационно-методическую составляющую.

Требования к отчетам по результатам работы. Если в процессе исследования социолог вынужден переводить исходные данные (например, ответы респондента) на «язык науки», то в процессе подготовки отчета он должен делать то же самое – только в переводе с «языка исследования» на язык читателя (пользователя, заказчика).

По форме и назначению различают три основных вида итоговых документов:

· отчет;

· научные публикации;

· публикации в средствах массовой информации.

Научный отчет адресован заказчику, научная статья – специалистам, а публикация в прессе – широкой публике.

Объем научного отчета в фундаментальном исследовании очень большой, а его структура повторяет в основных чертах программу исследования.

Объем заключительного отчета в прикладном исследовании обычно меньше, так как не включает теоретико-методологический раздел. Его структура также приближается к структуре программы прикладного исследования. Тот и другой наряду с полной формой имеют еще краткую. Краткая форма отчета о фундаментальном исследовании состоит из 22-24 страниц. Краткий вариант прикладного отчета не превышает 10 страниц.

Здесь можно сослаться на опыт Э. Ноэль, директора Института демоскопии (ФРГ). Она рекомендует придерживаться следующих правил при составлении отчета:

· имеющийся эмпирический материал необходимо заново перегруппировать независимо от анкет, последовательности вопросов в них и т. п.;

· не следует отражать в отчете все анкетные вопросы с результатами;

· после отбора основных результатов оставшаяся их часть размещается в отдельном приложении (диаграммы, гистограммы, графики, таблицы);

· лишние цифры и сокращения снижают качество таблиц;

· следует четко разделять графически результаты работы и предположения социолога;

· во введении или в приложении должны содержаться данные об инициаторах и исполнителях, сроке работы, числе занятых специалистов и интервьюеров, методах и характеристиках выборки, а также помешаться оригинал анкеты.

В качестве резюме Э. Ноэль констатирует, что отчет о результатах исследования тем лучше, чем он абстрактнее, чем он концентрированнее, чем более универсально сформулированы ответы на теоретические вопросы исследования, которые основаны на статически подкрепляемых и изложенных в отчете результатах, изложены в виде правил, которые дают объяснения и допускают прогноз.

В ставшей уже классической монографии отечественного социолога В.А. Ядова «Социологическое исследование: методология, программы, методы» формулируются рекомендации по логике и структуре итоговых отчетов. Для научной публикации наиболее целесообразно придерживаться такого порядка.

· Изложение целей и задач исследования. Формулировка проблемы. Краткая или более пространная характеристика литературы по вопросу.

· Основные идеи программы исследования и концептуальная схема. Уточнение исходных понятий.

· Описание основных процедур сбора первичных данных (методики, типы выборки).

· Изложение и анализ полученных данных по группам гипотез (задач или проблем).

· Теоретические и практические выводы из исследования. Сопоставление полученных данных с имеющимися в литературе.

· Постановка вопросов для дальнейшего изучения, выдвижения новых гипотез, которые не могли быть проверены в данном исследовании.

· Приложения: методики сбора первичных данных, сводные таблицы, основные статистические показатели по ведущим гипотезам (или задачам).

Применительно к отчету по результатам прикладного исследования предлагается следующая структура:

· Формулировка задач и указание заказчика.

· Информация о сроках, объектах, источниках информации.

· Основные выводы диагностического характера, снабженные необходимыми статистическими данными.

· Предлагаемые решения, их ожидаемый эффект, способы контроля и «субъекты исполнения».

· Полный отчет снабжается краткой аннотацией и приложениями к основному тексту.

Подводя итоги, отметим что структура, объем и содержание научного отчета ориентированы на своего потребителя – профессиональных коллег, менеджеров компании заказчика и т. д. Коллег больше интересует описание методики исследования, используемых понятий, способ их операционализации, репрезентативность данных и иные атрибуты академического исследования. Ничего такого администрации компании не нужно. Главное для них – простой и ясный язык изложения, хорошие и понятные иллюстрации, четкость и практическая эффективность рекомендаций.

 

Вопросы для повторения и обсуждения