Выборочный метод при работе с массовыми источниками

При работе с данными, содержащимися в любом источнике, перед исследователем встает проблема их представительности. Нет более распространенной ошибки, особенно свойственной дилетантам от истории, когда отдельные вырванные сведения и случайно выхваченные связи экстраполируются на более широкую ситуацию или служат основанием для более широких обобщений. Типичным примером является старая байка об англичанине, который однажды побывал в Кале и, встретив рыжую женщину, всю жизнь потом утверждал, что все француженки рыжие.

Обычно профессиональный историк решает проблему представительности путем умножения числа примеров, извлекаемых из источников и свидетельствующих о типичности и распространенности изучаемого им явления. Но и такой способ не гарантирует от ошибочных и искаженных представлений, сколь бы ни был широк круг привлекаемых архивных и других источников.

Обращение к массовым источникам позволяет поставить проблему представительности данных в более строгие и точные рамки, так как работа с ними органически связана с научным обоснованием репрезентативности используемых значений, признаков и показателей. По большому счету историк всегда работает с источниками, сведения которых никогда не бывают исчерпывающими, т. е. с выборочными данными. Даже переписи населения, направленные на полный его охват, не способны выполнить эту задачу и содержат определенный процент погрешности, который обычно считается несущественным и на практике игнорируется. Однако историк не должен забывать, что всегда остается элемент предположительности и неопределенности в его построениях и выводах. Более того, существование неполного предположительного (спекулятивного) знания в большей мере свойственно истории, чем другим наукам об обществе.

Сохранность массовых источников относительно прошлой жизни можно определить поговоркой «где пусто, а где густо». Можно назвать три типичные ситуации, с которыми на практике встречается исследователь.

Весьма типичной является ситуация, когда историку приходится иметь дело только с сохранившимися частями массовых источников и перед ним встает задача экстраполировать имеющиеся в его распоряжении данные на более широкий круг исследуемых явлений и процессов. И.Д. Ковальченко в свое время был поставлен вопрос о естественных выборках ³⁴⁹. К сожалению, этот крайне важный для историков вопрос не получил дальнейшей адекватной разработки.

И.Д. Ковальченко устанавливал зависимость использования имеющихся частичных данных от случайности их сохранения. Действительно, с точки зрения закономерностей отложения и закрепления информации о прошлом сохранность многих комплексов источников определяется случайными факторами. Исследователь, встречающийся с ними в публикациях или в архивных фондах, часто не в силах объяснить, почему одни данные сохранились, а другие — нет, почему существуют изъяны и пробелы, куда девалась та или другая часть комплекса, которая в теории вроде бы должна существовать. Однако по большей части утраты и пробелы в источниках имеют причинные объяснения. Одно из них — политика государства в области архивного дела, хотя и устанавливающая жесткие требования на сохранность тех или иных типов документов, но часто меняющая правила игры, т. е. архивного хранения. Но и самые жесткие требования не в силах предотвратить плохой организации делопроизводства, недостаточной квалификации работников, небрежения, головотяпства, порчи, потерь, пожаров, наводнений, разрушений и пр. Таким образом, вопрос о представительности сохранившихся источников историку каждый раз приходится решать индивидуально.

Вторая ситуация, с которой часто сталкивается историк новейшего времени, это необходимость работать с источниками, уже сформированными путем выборки. Их гораздо больше, чем принято считать. Статистика сельскохозяйственного производства, например изучение экономических и социальных процессов в деревне, долгое время велась выборочным способом (весенние и осенние опросы, «гнездовые», бюджетные обследования крестьянских хозяйств). Многие статистические экономические, социологические и иные данные в источниках по истории XX в. — выборочные, хотя историки, их использующие, не особенно задумываются об этом. Между тем от того, насколько правильной была методология сбора этих данных, зависит степень доверия к ним и их доказательности. С этой точки зрения ряд известных и широко используемых массовых источников не выдерживает сколько-нибудь серьезной научной критики. Такие источники должны рассматриваться как заведомо недостоверные, но об этом ниже.

Третья ситуация, чаще характерная для новейшей истории, когда комплексы массовых источников слишком объемны. Работа с ними не под силу не то что одному историку, а и большому коллективу исследователей. На помощь может прийти выборка — частичный отбор сведений из источника, позволяющий, тем не менее, оставаться на позициях научности и, с оговоренной степенью доверия (вероятности), судить об изучаемых явлениях и процессах. В математической статистике разработаны специальные приложения для расчета минимально необходимой выборки, устанавливающей достаточно высокие интервалы доверия для оценки значений признаков и показателей, включенных в выборку (выборочная совокупность), по отношению к объекту исследования в целом (генеральная совокупность), а также размеры возможных погрешностей. Наиболее разработаны методы оценки репрезентативности для количественных признаков, основанные, однако, на общих принципах применения классических математико-статистических методов, т. е. допущения случайности, равной возможности шансов попасть в выборку, нормальности, повторяемости, линейности связей изучаемых явлений и процессов. В связи с этим предлагаются различные способы случайного, механического (псевдослучайного), серийного, пропорционального (типического) или, наоборот, диспропорционального (полярного) отбора значений признаков и показателей. О необходимых для этого формульно-расчетных операциях можно найти сведения в любом пособии по математической статистике.

Поскольку в исторических исследованиях приходится устанавливать репрезентативность не одного, а многих признаков и показателей, и отбираются не признаки и показатели, а, как правило, носители информации, их содержащие, то для расчета объема выборки рекомендуется осуществление пробных или пилотажных (пилотных) исследований.

При проведении выборочной обработки массовых источников широко практикуется направленный отбор, т. е. по усмотрению исследователя, который доказывает его правомерность, исходя из своих теоретических представлений и обоснования типичности выборки, или же демонстрирует в этой связи косвенные аргументы для доказательства репрезентативности источника. Как правило, направленный отбор применяется в том случае, когда прямым путем выборку осуществить невозможно.

Разновидностью направленного отбора является обоснование выборки, содержащей такую же структуру признаков и показателей в отобранной совокупности единиц, что и в генеральной. Идея выборочного метода вообще напрямую связана с моделированием в истории, как на основе уменьшенного объекта сохранить все свойственные ему качества.

Хотя направленный отбор сопряжен с невозможностью полностью контролировать его с помощью количественных оценок, преимущества заключаются в значительной экономии сил и средств, затрачиваемых на обработку данных. В пользу такого способа отбора говорит и то, что для историка (на фоне решаемых им достаточно широких и разнообразных задач) отобранные совокупности данных могут иметь и самостоятельный, пусть даже промежуточный интерес, а устойчивость результатов при проведении повторных выборок того же типа является свидетельством правильности используемой методики.

Объем необходимой выборки при работе с массовыми источниками зависит от цели и задач исследования. Чем более широкими и многосторонними они являются, чем больше размеры генеральной совокупности, на которую экстраполируются выборочные данные, тем большим должен быть объем выборки. На практике эта задача решается комбинированием различных способов выборочной обработки массовых источников и осуществлением так называемой многоступенчатой выборки. Разнообразие выборок диктуется также спецификой исторического исследования. Историк не всегда строит выборку на основе типичности и распространенности явлений. Для него важны и специфические группы, и новые только-только зарождающиеся процессы, которые он обязан рассмотреть во всех деталях и подробностях, подобно тому, как пользуются лупой или микроскопом. Главное при этом, чтобы каждый последующий этап выборочного отбора опирался на предыдущий или же на уже известные параметры генеральной совокупности. Трудность, однако, состоит в том, что на практике историки часто имеют дело с так называемыми бесконечными генеральными совокупностями, существование которых можно лишь мысленно представить или вообразить. Выборочные исследования в этом случае приобретают постоянный и кумулятивный характер. Очень важно обращать внимание на сходство и расхождения результатов, достигаемых разными исследователями на основе разной методики выборочной обработки данных, избегать систематических ошибок при организации выборки.

Поиск и анализ взаимосвязей

Установление взаимосвязей признаков и показателей в массовых источниках является непременным условием их научной обработки, анализа и синтеза. Большинство явлений общественной жизни взаимосвязаны между собой, и наука, собственно, начинается с установления зависимостей между ними. Первый шаг — установление парных зависимостей переменных, последующие связаны с многомерным анализом. Предельные случаи — отсутствие зависимости и безусловная (функциональная) зависимость, т. е. когда одно событие обязательно влечет за собой наступление другого. Такие предельные случаи (в первом случае они обозначаются как 0, во втором — 1) в истории встречаются исключительно редко. Даже естественная зависимость между возрастом и стажем работы человека не является безусловной ввиду разного возраста начала трудовой деятельности, перерывов в работе и т. п.

Зависимости могут быть весьма сложными и опосредованными, иметь положительное или отрицательное влияние на характер исследуемого явления. В практике исследований обычно осознаются не все зависимости, что ведет к применению специальных статистических методов, позволяющих их обнаружить.

Современные методы поиска и анализа взаимосвязей хорошо приспособлены к обработке данных массовых источников. Они могут успешно применяться как при обработке первичных сведений, так и производных, находящихся на различных уровнях обобщения или агрегирования. Правда, нужно учитывать, что чем выше уровень такого агрегирования, тем больше возрастают численные значения коэффициентов связи. Это явление связывается с так называемой экологической ошибкой, имеющей системный характер, природа которой окончательно не выяснена.

Анализ взаимосвязей признаков еще не дает возможности интерпретировать установленные между ними зависимости в категориях реальных причинно-следственных отношений. Структура причинно-следственных связей определяется, как правило, в процессе теоретического анализа, а количественная оценка степени связи на основе фактического материала позволяет измерить лишь интенсивность причинно-следственных влияний и проверить существующие теоретические представления. Установление слабых связей может служить лишь основанием для исключения (дискриминации) признаков из дальнейшего анализа.

При конструировании системы взаимосвязей признаков и показателей исследователю обычно заранее известно, что в структуре общественных отношений различные признаки и показатели имеют неодинаковое значение. Но при статистическом измерении взаимосвязей он как бы абстрагируется от определяющего влияния отдельных из них, приводя их в равновероятное с остальными переменными состояние. Из-за этого некоторые результаты, полученные при анализе взаимосвязей, могут показаться самоочевидными и тривиальными. Например, зависимость между размерами земельных угодий и количеством рабочего скота или техники. Польза таких наблюдений, однако, заключается в том, что становятся реально зримыми и измеримыми количественные соотношения различных переменных.

Важным моментом в исследовании является установление уровня значимости выявленных зависимостей. Строгие критерии статистической значимости (коэффициент детерминации, статистика и др.) разработаны только для нормального и линейного распределения значений признаков со всеми вытекающими отсюда последствиями. Нужно иметь в виду, что для содержательной интерпретации критерии статистической значимости не имеют универсального характера. Это следует подчеркивать в историческом исследовании, основанном на измерении зависимостей. Попытки интерпретировать количественные оценки в терминах причинно-следственных связей легко могут оказаться ошибочными, так как не исключено, что статистически установленные зависимости характерны только для данного времени и места или окажутся отражением кумулятивного воздействия других причинно-следственных влияний. Таким образом, измерение взаимосвязей необходимо, дабы иметь возможность сравнивать структуры зависимостей, соотносить их с реальными причинно-следственными отношениями.

Для историка весьма актуальной является проблема измерения связи во временном масштабе. Обычно считается, что измерение связи между переменными будет правомерным и в пределах некоторого временного интервала, если тенденции развития событий устойчивы. Более того, измерение связи по отношению к диахронным рядам и сериям данных может служить мерой регулярности, стабильности и устойчивости (стационарности) процесса. Нарушение характера взаимодействия в данных позволяет привлечь внимание исследователя к причинам возникающих эксцессов.

Измерение связи во временном масштабе важно и для причинно-следственного анализа, так как отношение причины и следствия в общественных процессах проявляется чаще всего постепенно; следствие по отношению к причине может проявляться со значительным временным лагом, и чем больше отставание, тем больше возникает разного рода привходящих обстоятельств, тем менее детерминированными становятся отношения причины и следствия.

Наиболее известный в математической статистике способ измерения связи — корреляционный и регрессионный анализ, применимый к изучению связи количественных признаков и основанный на линейных отношениях зависимости. Построение на этой основе моделей причинно-следственных влияний получило название Р-анализа (path-analysis) — установления траекторий и направленности зависимостей их эмпирической проверки, и разрабатывалось в статистике с 1930-х годов. Недостатки метода связаны с теми ограничениями, которые накладываются на применение классических методов математической статистики. Тем не менее некоторые ученые до сих пор считают подобный причинный анализ наиболее мощным инструментом в руках исследователя.

Для измерения связи качественных признаков существует множество различных способов. В настоящее время их известно более сотни. Большинство из них основано на анализе плотности вероятностей совместного распределения значений пар изучаемых признаков. Получают распространение и некоторые способы причинного объяснения, основанные на установлении нелинейных зависимостей между переменными, например лог-линейный анализ, различные способы многомерного анализа.

Классификация и типология

Установление взаимосвязей и зависимостей переменных является необходимой предпосылкой для классификации и типологии исторических явлений и процессов (распознавания образов). Исторические общности и конгломераты обычно изучаются с разных сторон. Только в условиях производства в каждый конкретно-исторический момент действует такое множество факторов, влияющих на ход событий, что учесть их становится весьма сложной задачей.

Многомерная классификация призвана помочь исследователю, работающему с большим числом признаков и показателей, извлекаемых из массовых источников. При этом существует два пути: объединение признаков и выявление на этой основе скрытых факторов, определяющих их внутреннюю связь, и группировка объектов, обладающих сходными сочетаниями признаков. Основное направление многомерной классификации в настоящее время — ее комбинация с методами корреляционно-регрессионного анализа, связанного с обоснованием теоретического распределения и изучением количественных переменных. Как отдельные коэффициенты связи, так и получаемые корреляционные матрицы служат основой для многомерной классификации. Когда характер исследуемых явлений и процессов недостаточно известен — ситуация, привычная для историков, — математика рекомендует обращаться к методам факторного анализа. Он позволяет избавиться от избыточной информации, от тех признаков, которые однотипны или заведомо взаимосвязаны или же прямо не относятся к данному предмету исследования. На выявлении «сгустков» или «скоплений» объектов или признаков в общественном пространстве основаны принципы кластерного и дискриминантного анализа. В ряде наук получают развитие особые методы многомерного анализа, например многомерное шкалирование в политологии.

Трудности многомерной классификации связаны с тем, что классические ее методы разработаны для изучения количественных переменных. Кроме того, большинство методов основано на однозначном отнесении каждого объекта к тому или иному классу или типу. Однако для исторических явлений и процессов характерна многозначность внутриклассовых группировок и существование множества переходных состояний. Более того, часто возникают трудности в связи с расчленением содержания источника: границы между классами нередко бывают очень неопределенными, они исторически подвижны и преходящи, и переходные типы с точки зрения историка заслуживают особенно пристального изучения. Поэтому в истории находят все более широкое распространение методы, основанные на теории нечетких или размытых множеств ³⁵⁰.

При обращении к массовым источникам разрабатываются некоторые методы классификации и группировки, учитывающие особенности работы с качественными и разнотипными признаками, аналогичные методам факторного анализа. При этом как в первичном, так и в любом преобразованном виде сведения здесь предстают в табличной форме. Различные способы анализа таблиц сопряженности на основе их сложения, декомпозиции, объединения признаков, комбинирования, выявления скрытых факторов, стоящих за ними, и т. п. — бурно развивающаяся отрасль статистики, таящая в себе большие возможности. Большое внимание уделяется этим вопросам в социологии, где исследователям довольно часто приходится иметь дело с массовой информацией, аналогичной той, что содержится в массовых исторических источниках.