Анализ данных повторных и сравнительных исследований

Различают несколько видов повторных и сравнительных эмпирических исследований [230, с. 250-254].

(1) Международные и межрегиональные, цель которых - выявление общего и специфического в изучаемых социальных процессах и явлениях, где последнее обусловлено особенностями социально-экономической природы, культуры, истории отдельных стран или особенностями условий и образа жизни населения различных регионов одной страны.

(2) Панельные повторные исследования, проводимые по единой программе на той же самой выборке обследуемых и с использованием единой методики и процедур анализа данных. Это наиболее формализованный вид сравнительных исследований с определенным временным интервалом, их цель - анализ динамики, изменений в изучаемых аспектах.

(3) Повторные когортные исследования - особая разновидность панельных, отличающиеся тем, что выборочный объект — возрастная группа, изучаемая на протяжении достаточно длительного времени. Термин "когорта" заимствован из демографии, им обозначают людей одного поколения (и более строго - одного года рождения), прослеживая, как с течением времени меняются условия и образ жизни данной когорты, их интересы и образ мыслей [258].

(4) Повторные трендовые исследования, которые проводятся на аналогичных выборках или в рамках единой генеральной совокупности с интервалом во времени и с соблюдением относительно единой системы процедур для того, чтобы установить тенденции (тренды) социальных изменений и развития.

Общие правила, предъявляемые к сравнительному и повторному исследованию. Все разновидности повторных и сравнительных исследованийпредполагают:

Во-первых, соблюдение требований сопоставимости двух и более разовых исследований, будь то сравнение данных по разным странам и регионам или выявление тенденций и сдвигов во времени при анализе одного или аналогичных социальных объектов.

Во-вторых, обоснование существенности или несущественности различий по сравниваемым показателям в качественном и количественном аспектах.

С формальной точки зрения при сравнении эмпирических данных должны соблюдаться следующие правила, необходимые в логике экспериментального анализа:

(1) два состояния одного процесса сопоставимы, если они содержат хотя бы одно общее свойство или показатель;

(2) ни один фактор не может быть признан причиной сравниваемых явлений, если в одном случае при регистрации изучаемого явления он имеет место, а в другом - нет (правило сходства по Миллю);

(3) вместе с тем данный фактор не может быть причиной изучаемого явления, если в одном случае (исследовании) он имеет место, а само явление не фиксируется, хотя в другом случае (исследовании) дело обстоит так, что регистрируются и явления и данный фактор (правило различия по Миллю);

(4) наконец, некий фактор (условие, обстоятельства…) никоим образом не может достоверно считаться определяющим в отношении изучаемого процесса, если в другом случае (в другом исследовании) наряду с ним изучаемому процессу сопутствуют другие факторы [324, с. 267].

Эти логические правила, напоминающие нам о строгости экспериментального вывода, нельзя игнорировать. Но проблемы сравнительного анализа никоим образом не сводятся к формальным процедурам. Это, прежде всего — область содержательного, качественного изучения и только затем — формально-количественного. В каких именно аспектах сопоставимы и в каких — несопоставимы изучаемые объекты, каковы ограничения сопоставимости по объективным условиям, по составу и выборке обследуемых, по выделенным показателям для сравнения?

Особые трудности возникают в международных сравнительных исследованиях, где даже при соблюдении всех формальных правил единства методик исследования и выборки возникают проблемы, связанные с различием образа жизни, культуры, восприятия и реакции людей на одни и те же "стимулы" (например, вопросы анкеты). В разных странах различны стандарты благосостояния, системы образования, социально-профессиональные "дистанции", а в странах, принадлежащих к разным общественно-экономическим формациям, различны социальная структура, характер социальных отношений, мировоззрение и идеология, весь уклад жизни.

При интерпретации данных межнациональных (международных) исследований воздействие социально-экономических и социально-культурных факторов, конечно, выдвигается на первый план [276]. Но в методическом аспекте такое воздействие может быть аккуратно фиксировано при условии, что уже в разработке инструментария исследования качественные различия между странами приняты во внимание и на стадии пилотажа методик были предприняты соответствующие коррекции всех инструментов исследования. С этой целью производят аккуратное сопоставление главных параметров выборок: отнесение к социальной группе, выравнивание по уровню образования, другим подобным показателям социального статуса, а затем осуществляют утомительную работу по идентификации методик, особенно опросных. В последнем случае социально-культурные различия респондентов могут радикальнейшим образом повлиять на сопоставимость результатов межнационального исследования.

В межрегиональных исследованиях, широко осуществляемых ныне в нашей стране, крайне важно принимать во внимание всю доступную из государственной статистики информацию об особенностях экономических и социальных условий жизнедеятельности населения в сравниваемых регионах; сведения о производственном потенциале и развернутости инфраструктуры, о "поясных" различиях в уровне заработной платы (Крайний Север и Дальний Восток, например), о положении с трудовыми ресурсами и сведения о миграционных потоках, национальном составе и общей плотности населения и т.д.

Так, в одном из исследований, где выяснялись региональные различия в отношении рабочих к труду с учетом особенностей условий и образа жизни (Ленинград-Иркутск, исследование В. Мартыновой), обнаружилось, что иркутские рабочие в общем более удовлетворены теми аспектами производственной ситуации, которыми ленинградцы менее довольны. Анализ конкретной социальной ситуации в двух городах убедил в том, что в Барнауле намного меньше возможности выбора места работы (отсюда меньше текучесть, больше "терпимость" к данным условиям труда на данном производстве), существенно выше ставки заработной платы, ниже показатели общей квалификации при выполнении аналогичных функций на рабочем месте; в общем, можно сказать, что притязания работников к условиям труда существенно более умеренны. При "прямом" же сравнении можно было заключить, что, судя по оценкам удовлетворенности, ленинградцы находятся в худшем положении, что, учитывая сказанное, сомнительно.

В повторных и сравнительных исследованиях любого типа возникает вопрос об идентичности или сопоставимости методик сбора первичных данных. В межнациональных и межрегиональных исследованиях обычно используют единую методику. Иногда для той или иной страны (региона) к ней добавляют "вкладыш", т.е. дополнительные пункты информации, связанные с особыми условиями деятельности в данном регионе и особыми научно-практическими интересами организаторов исследования, заинтересованных в дополнительных данных по '"своему" региону, своей стране.

В повторных исследованиях дело осложняется тем, что с течением времени возникают новые явления и процессы, новые социальные проблемы, которые заранее не могли быть предвидены. Следовательно, методики "базового", т.е. первого, обследования не могут полностью и без изменений использоваться в повторных. Но тогда неясно, можно ли сравнивать данные, полученные разными методами.

Решение проблемы состоит в том, что часть полевых документов полностью повторяет инструментарий базового обследования, а другая — вводится заново. Например, при повторном обследовании отношения молодых рабочих к труду мы полностью повторили все пункты информации базового обследования, добавив немало новых, связанных с особенностями быта, внепроизводственной активности рабочих, их целостного образа жизни. Устанавливая прямые связи между новыми показателями и показателями, имеющимися в обоих исследованиях, мы даем более широкую интерпретацию этим последним. Естественно, такая интерпретация правомерна применительно к повторному обследованию, но с определенным допущением ее можно распространить и на базовое. Правда, в этом случае нужны дополнительные аккуратные проверки и перепроверки устанавливаемых зависимостей, построение анализа по логике мысленного эксперимента.

Напомним, что, поскольку порядок вопросов в анкете влияет на характер ответов респондента, все пункты информации, копирующие базовую методику, должны располагаться в начале опросного листа повторного обследования, а новые - следом за ними. Таким путем сохраняется возможность прямого сопоставления данных, фиксированных единой процедурой.

Наилучшая сопоставимость данных достигается в случае, если уже при осуществлении первого исследования авторы планируют повторные. Так организовали свою работу новосибирские социологи [97, с. 121-129]. Заранее предполагается развитие общей концепции исследования и соответственно оставляются открытыми некоторые методические вопросы будущих обследований, используются не прямые сопоставления, но сравнения типологических структур, относительно инвариантных в разных обследованиях, пользуются не прямыми индикаторами, а составными показателями.

Не следует преувеличивать значение полной формальной идентичности содержания полевых документов. Важно, чтобы требования сопоставимости соблюдались в отношении ведущих показателей, отвечающих программным задачам повторного исследования. Индикаторы этих показателей могут быть разными, так как они должны соответствовать изменившимся условиям. Например, показатель высокой производственной активности в одном случае может фиксироваться индикаторами участия в соревновании, в рационализаторском движении и т.д. В повторном обследовании с учетом изменившихся социальных требований критерии высокой производственной активности, использованные ранее, могут оказаться недостаточными. Для прямого сопоставления к имеющимся индикаторам следует добавить новые, например участие в передовых починах за экономию сырья, энергии, высокое качество продукции и др.

Особый вопрос - определение интервала времени, в рамках которого целесообразны сравнительные исследования. Этот интервал определяется в "масштабе" изучаемых социальных процессов. В случае оценки организационных нововведений, повторное обследование проводится по схеме эксперимента "до - после" вскоре после реализации нововведения. В случае изучения социальных тенденций (трендовые исследования), "масштаб" сопоставления должен быть увеличен до нескольких лет в зависимости от проблематики исследования. Важно, однако, выдерживать более или менее единый интервал времени или же использовать неравные интервалы, но связанные с качественными изменениями в экономических и социальных условиях деятельности людей (например, переход на хозрасчетную организацию труда, введение новой системы школьного образования...).

Оценка существенности различий в сравнительном или повторном обследовании представляет собой довольно сложную и ответственную задачу методологического и методического характера. С методологической точки зрения она состоит в содержательном осмыслении и интерпретации "меры" различия изучаемых качественных процессов. Ведь философская категория меры относится к качественно-количественной определенности явлений. Накопление количественных изменений ведет к качественному сдвигу. Но где тот предел, за которым мы вправе говорить о существенном, качественном сдвиге?

В работах некоторых социологов можно часто встретить выражения: "Лишь столько-то процентов опрошенных сообщили, что..." или "Однако более чем столько-то процентов активно участвуют в такой-то деятельности". Слова "лишь" и "однако" указывают на социальную и нравственную позицию исследователя. Он тем самым дает понять, что в первом случае имеют место явления негативные, а во втором - позитивные. Между тем следует привести убедительные основания для оценки. В одном случае различие в 2—3% (если они статистически значимы) может быть существенно, в другом — и 20% расхождений практически еще не говорят о существенности сдвига. От каких факторов зависит оценка существенности различий?

(1) Прежде всего — от содержания изучаемых процессов, их "собственной", внутренней динамики, меры устойчивости и изменчивости данного процесса и явления. Такие формы и виды деятельности людей, как отношения в сфере труда, досуга, быта, т.е. в решающих компонентах их целостного образа жизни, обладают весьма высокой устойчивостью. Изменения в этих видах деятельности не могут происходить, что называется, ежечасно и ежедневно. Поэтому даже небольшие сдвиги и различия будут здесь важны и в принципе существенны для социального анализа. Изменения во взглядах и оценках, подверженные множеству случайных обстоятельств, должны оцениваться в ином "масштабе".

(2) Существенность различий зависит также от социальной значимости изучаемого явления. Чем больше значим данный процесс, тем более существенны даже малые изменения и различия, чем он менее значим для жизни общества или функционирования данного социального института, организации и т.д., тем шире будет диапазон вариаций, в рамках которых мы можем полагать явления существенно неразличающимися.

(3) С формально-статистической точки зрения существенность различий в фактических данных прямо зависит от численности сравниваемых подвыборок (чем меньше выборки, тем большие различия могут оказаться несущественными вследствие величины выборочной ошибки) и от величины ошибки фиксирования первичных данных.

Вспомним, что абсолютно точных измерений мы никогда не достигаем. Все данные фиксируются с определенной погрешностью, связанной и с природой изучаемого процесса, и с особенностями инструмента измерения, и с ошибкой выборки, и с субъективными ошибками исследователя. Значит, существенные различия сравниваемых в численном выражении данных должны непременно перекрывать величину ошибки, имевшей место при их первичной регистрации. Но, так как в сравнительных и повторных исследованиях мы имеем дело с удвоенной ошибкой измерения первичных характеристик (в одном и другом обследованиях), логично предположить, что существенный сдвиг фиксируется тогда, когда его величина перекрывает удвоенную ошибку первичной регистрации.

Предлагается (Г.И. Саганенко) следующая формула [220, с. 167-168], в которой учитывается l - абсолютный сдвиг (различие) в двух сопоставляемых состояниях одного показателя (например, удовлетворенности содержанием работы в двух интервальных обследованиях), Δ_i — мера устойчивости измерения данной характеристики в первом исследовании (или в одном из сравниваемых исследований), Δ_II - мера устойчивости измерения той же характеристики во втором (в другом) обследовании. Тогда существенным следует признать сдвиг (различие), отвечающий формуле:

где разность ошибок двух измерении должна быть выше нуля, т.е. перекрывать ошибки двух измерений.

Если в обоих исследованиях используется один и тот же инструмент и, если мы вполне основательно предполагаем, что ошибка измерения зависит главным образом от инструмента, то достаточно воспользоваться показателем ошибки регистрации данных в повторном (или в одном из двух) исследовании и преобразовать формулу следующим образом:

Приведем пример. В трехбалльной шкале мы фиксировали отношение рабочих к различным сторонам труда в 1962 и 1976 гг. Такой аспект производственной ситуации, как привлекательность работы, был зарегистрирован с ошибкой 0,3 балла, что вполне удовлетворительно, ибо составляет лишь 1/3 деления трехбалльной шкалы и не захватывает соседние ее градации.

Групповой, т.е. систематический, сдвиг в оценках одной из подвыборок обследованных (рабочие старших возрастов) составил в интервале 14 лет 0,7 балла, т.е. почти укладывается в пределы сдвоенной ошибки первого замера (0,3 X 2 = 0,6). Но аналогичные сдвиги по группам молодых рабочих оказались намного выше, различия в сдвигах отношения к привлекательности работы между молодыми и рабочими старших возрастов также были достаточно существенны. Значит, в истекший период в данном аспекте менялось отношение к работе молодежи 60-х годов (во втором обследовании это уже рабочие за 40 с лишним лет), но установки рабочих, которым 15 лет назад было больше 30, остались стабильными. (Кстати, это еще раз указывает на то, что в подобных аспектах жизнедеятельности сдвиги происходят медленнее, чем этого бы хотелось.)

Эти весьма строгие статистические критерии рекомендуется использовать в тех случаях, когда оценивается существенность различий в малых выборках или же сдвиги в индивидуальных состояниях обследуемых при панельных когортных и подобных исследованиях. На больших выборках, в трендовых исследованиях, где индивидуальные ошибки частично погашаются по закону больших чисел, предлагается расширить и критерий существенности различий, взяв лишь 1/2 ошибки первичной регистрации данных, т.е.

При отсутствии сведений об ошибке первичного измерения (это часто имеет место в сравнительных исследованиях, если мы используем данные других авторов) существенными можно полагать различия, где как минимум перекрываются ошибки выборки. Последние же рассчитываются по формулам выборочных ошибок.