Уровни измерения. Ошибки измерения. Валидность и надежность данных.

В количественном исследовании мы говорим об измерении, т.е. числовом выражении свойств исследуемых объектов и случаев. В количественном исследовании мы должны обеспечить возможность с определенной степенью надежности распространять или переносить наши выводы, основанные на наблюдении некоторых частных случаев, на предполагаемое поведение всей генеральной совокупности – это свойство называется генерализуемостью.

Для этого мы должны разработать процедуру формирования репрезентативной выборки, т.е. выяснить, каковы те немногие представители огромного множества объектов, изучив которые, мы получим выводы, применимые ко всей совокупности. При этом мы должны решить, сколько объектов нужно изучить и как следует их отбирать.

В общем случае, совокупность – это любая группа людей, организаций, интересующих нас событий, относительно которых мы хотим сделать выводы, а случай, или объект, – любой элемент такой совокупности. Выборка – любая подгруппа совокупности случаев (объектов).

Тогда репрезентативная выборка – это такая выборка, в которой все основные признаки генеральной совокупности, из которой извлечена данная выборка, представлены приблизительно в той же пропорции или с той же частотой, с которой они присутствуют в этой генеральной совокупности.

В той степени, в какой выборка является репрезентативной, выводы, основанные на изучении этой выборки, можно без всяких опасений считать применимыми ко всей совокупности. Это распространение результатов и есть генерализуемость.

Выводы, полученные на нерепрезентативной выборке, могут при переносе их на всю совокупность привести к огромным ошибкам.

Ярче всего это может быть продемонстрировано на примере катастрофы, постигшей в 30-е годы журнал «Литэрари дайджест», который организовал опрос общественного мнения относительно результатов выборов. Журнал провел широкомасштабный общенациональный опрос, в ходе которого более чем миллиону человек по почте рассылались избирательные бюллетени с просьбой отметить, чья кандидатура на предстоящих президентских выборах для них предпочтительнее. В 1936 г. с большим перевесом голосов (60% к 40%) победа была предсказана кандидату от республиканской партии Альфу Ландону. На выборах Ландон проиграл Франклину Д. Рузвельту практически с тем же результатом, с которым должен был победить. Ошибку можно объяснить нерепрезентативностью выборки, несмотря на ее огромный размер: почтовые открытки рассылались людям, чьи имена были извлечены из двух источников - телефонных справочников и списков регистрации автомобилей (наиболее обеспеченная часть общества).

Как в социальных науках формируют репрезентативную выборку? Ведущий принцип – это принцип случайности. Случайная выборка должна быть построена таким образом, чтобы любой человек или объект в пределах совокупности имел равные возможности быть отобранным для анализа. Например, если у нас имеется совокупность, состоящая из 1000 человек, чье поведение мы хотим изучить, исследовав репрезентативную выборку, мы могли бы написать имена всех 1000 членов на листочках бумаги одинакового размера, сложить их в барабан, хорошо перемешать и отобрать 100 человек в нашу в выборку случайным образом.

Иногда используется экспертная выборка, когда исследователь просто выбирает те объекты, которые он по какой-то причине считает типичными или репрезентативными для той совокупности, из которой они извлечены. Необходимо, однако, помнить, что такого рода выборки не являются действительно репрезентативными (в самом деле, в противоположность случайным выборкам степень репрезентативности этих выборок неопределенна) и поэтому они менее предпочтительны.

Иногда полезной оказывается квотная выборка, когда члены совокупности классифицируются в соответствии с несколькими существенными с точки зрения исследователя характеристиками (такими, как пол, возраст, район, тип школы) и лица, обладающие такими свойствами, отбираются в количестве, пропорциональном их доле в совокупности.

Вопрос об установлении необходимого объема выборки в значительной степени требует привлечения сложных статистических понятий, которые выходят за рамки данного пособия. Однако на интуитивном уровне мы можем понять суть проблемы.

Чтобы установить необходимый объем выборки, следует учитывать несколько факторов.

1. Один из наиболее важных – гомогенность – степень близости друг к другу членов данной совокупности с точки зрения изучаемых нами характеристик. Если каждый объект в совокупности в точности такой же, как все остальные, то, выбрав всего лишь один объект, мы получим репрезентативную выборку. С другой стороны, если каждый объект в совокупности абсолютно не похож ни на какой другой, то здесь репрезентативная выборка будет совпадать со всей совокупностью. Разумеется, в реальных исследованиях мы располагаемся между этими двумя полюсами. И чем гомогенное наша совокупность, т.е. чем меньше различий между ее членами, тем меньшая по объему выборка необходима для ее представления.

2. Второй важный фактор заключается в «размерности объекта исследования»: чем больше признаков, параметров мы хотим исследовать, тем больше должна быть выборка. Это естественно, поскольку, увеличивая разнообразие и тонкость наших измерений, мы подчеркиваем гетерогенность исследуемой совокупности.

3. Третий фактор – требуемая в исследовании точность: чем большая точность нам требуется, тем больше должна быть наша выборка.

Каждая выборка дает нам некоторую оценку характеристик совокупности, однако вследствие того, что никакие две выборки не будут в точности одинаковы, эти оценки будут несколько отличаться одна от другой и от оценки совокупности в целом. Это последнее отличие есть так называемая ошибка выборки.

Следующая таблица демонстрирует нам, каким объемам выборок соответствуют те или иные требования точности (допустимые проценты ошибки выборки).

Табл.5

Необходимые объемы выборок для различных допустимых процентов ошибки выборки

Допустимый процент ошибки выборки:	Степень уверенности:
95%	99%
± 1%	10 000	22 500
± 2%	2 500	5 625
± 3%	1 111	2 500
± 4%		1 406
± 5%
± 10%		–

 

Число в левом столбце означает, что любое измерение, которое мы могли бы произвести в нашей выборке, отклоняется не более чем на это количество процентов вверх или вниз от истинного значения того же признака в более обширной совокупности. Во втором и третьем столбцах обозначены размеры необходимых выборок для 95% и 99% уровней уверенности.

Если, например, мы устанавливаем, что в проводимом исследовании 43% учителей сообщают о своей поддержке программы модернизации, мы можем считать, что в случае опроса всех учителей реальное количество приверженцев программы модернизации будет составлять 43% ± 4% или находиться в пределах приблизительно от 39 до 47% (с 99% уровнем уверенности). Для обеспечения такого уровня ошибки мы должны опросить не менее 1400 учителей.

Обратное использование таблицы: если мы опросили только 100 учителей, и получили 43%, то реальный интервал составит от 33 до 53% (с 95% уровнем уверенности).

К сожалению, важную роль в ограничении объема выборки играют ограничения на ресурсы. В педагогических исследованиях зачастую приходится работать с малыми по объему выборками.

Однако, анализируя небольшие выборки, мы должны помнить обо всем вышесказанном. Каждый раз после проведения выборочного исследования у исследователя появляется соблазн распространить свои выводы на все остальные объекты. Однако не всегда это возможно, очень важно понимать определяющую роль процесса отбора и его влияние на результаты исследования.

Уровни измерения

Измерение – это в целом процедура сравнения двух объектов, когда один выступает в роли эталона. С другой стороны, измерение - это алгоритмическая операция, которая данному наблюдаемому состоянию объекта ставит в соответствие определенное обозначение: число, номер или символ.

Таким образом, измерение в принципе может быть и нечисловым. Хотя некоторые авторы приводит более узкое определение: Измерение — это процедура, с помощью которой измеряемый объект сравнивается с некоторым эталоном и получает числовое выражение в определенном масштабе или шкале. Можно сказать, что любому символу можно сопоставить число, тогда второе и третье определения по сути тождественны. Существенно не то, символ или число сопоставлено, а то, какие операции с этими числами можно делать.

В педагогике проблема измерения вызывает дискуссии, поскольку «измеряются» сложные социальные явления (соответствующие достаточно абстрактным и не всегда однозначным понятиям), для которых готового эталона не существует. Что взять в качестве эталона? Идеал? Существующий стандарт? А если их нет? Часто «назначить» эталон может только сам исследователь, исходя из своих идеалов, методов.

Три составляющие потенциально определяют измерительную процедуру:

1. объект измерения – он обладает большей или меньшей определенностью и «сам диктует границы измерения». Какие-то свойства его поддаются количественному измерению, какие-то – могут быть оценены только качественно.

2. субъект измерения – в лице теоретика, сборщиков информации. Мы должны отдавать себе отчет об исключительно большом субъективизме в социальных науках. Методы понижения субъективизма - обращение к различной литературе, к различным экспертам, повторные эксперименты.

3. измерительные средства, т.е. метод сам по себе; уровень измерения; внешние условия измерения.

Процедуры измерения предоставляют средство категоризации и упорядочения явлений. Вместе с тем одни процедуры дают возможность выявить более тонкие и детальные различия между событиями, чем другие. Поэтому нам приходится констатировать различные уровни измерения. Основные уровни измерения носят название номинального, порядкового и интервального.

С понятием уровня измерения сопрягается понятие измерительной шкалы. Множество обозначений, используемых для регистрации состояний наблюдаемого объекта, называется измерительное шкалой.

Измерительные шкалы в зависимости от допустимых на них операций различаются по их силе (или по уровню измерения). По уровню измерения обычно рассматриваются шкалы следующих соответствующих уровням измерений типов: номинальные, порядковые, интервальные (иногда еще рассматриваются пропорциональные шкалы).

Номинальное измерение (номинальная шкала).

Номинальное измерение – это простое наименование объектов в соответствии с заранее заданной схемой классификации. Национальность обычно “измеряется” на номинальном уровне посредством классификации людей на англичан, швейцарцев, бразильцев и т. п. Это “измерение” не сообщает, насколько характеристика “национальность” свойственна разным людям, и не позволяет упорядочивать их. Использование номинального измерения всего лишь дает возможность объединить объекты в классы, обозначенные так, как это принято в классификационной схеме. По ним можно судить только об отношениях равенства и неравентсва.

Каждый элемент шкалы существует как бы сам по себе, и в целом шкала не упорядочена. Единственное условие состоит в том, что все элементы должны иметь единое основание для выделения.

Чтобы быть полезными, схемы номинального измерения должны основываться на множествах категорий, которые являются взаимоисключающими и исчерпывающими.

Номинальная шкала служит предпосылкой всех шкальных процедур. Она устанавливает отношения равенства между явлениями, которые включены в один класс. Пункты шкалы — эталоны качественной классификации свойств.

Операции с числами для номинальной шкалы следующие.

1. Нахождение частот распределения по пунктам шкалы с помощью процентирования или в натуральных единицах.

Подсчитывается численность каждой группы и отношение этой численности к общему ряду распределения.

2. Поиск средней тенденции по модальной частоте.

Модальной (Мо) называют группу с наибольшей численностью.

Чтобы повысить наглядность распределения социальных характеристик в количественных показателях, можно отобразить их в диаграммах (рис. 8).

 

 

Рис.8. Примеры диаграмм

 

Круговую (секторную диаграмму используют как правило в тех случаях, когда каждый объект попадает только в один класс, тогда площади секторов соответствуют процентному распределению. Столбиковая диаграмма позволяет отразить распределения, в которых сумма процентов может превышать 100, т. е. когда некоторые обследуемые могут попасть в несколько секций шкалы одновременно.

3. Установление взаимосвязи между рядами свойств, расположенных неупорядоченно, в данном случае является самым сильным способом количественного анализа.

С этой целью составляют перекрестные таблицы.

Табл.6.

Пример таблицы перекрестной классификации.

Распределение респондентов по роду занятий	Распределение по голосованию за различных кандидатов (на выборах)	Итог по строке
a	b	c	…	x	y	z
α	nαa	nαb	nαc	…	nαx	nαy	nαz	nα
β	nβa	nβb	nβc	…	nβx	nβy	nβz	nβ
γ	nγa	nγb	nγc	…	nγx	nγy	nγz	nγ
ω	nωa	nωb	nωc	…	nωx	nωy	nωz	nω
Итог по колонке	na	nb	nc	…	nx	ny	nz	N