Порядковое измерение, порядковая и ранговая шкала.

Порядковое измерение предоставляет больше информации, чем номинальное, так как дает возможность не только категоризовать, но и упорядочивать, или ранжировать, явления.

Располагая порядковым измерением, мы можем сказать, какие объекты характеризуются большим (или меньшим) количеством измеряемого свойства по сравнению с какими-то другими объектами; мы можем также расположить объекты по порядку в зависимости от количества того свойства, которое их характеризует.

Порядковая шкала устанавливает отношения равенства между явлениями в каждом классе и отношения последовательности в понятиях «больше» и «меньше» между всеми без исключения классами. Так, перечень профессий можно упорядочить по их сложности, по уровню квалификации, по разрядам и пр.

Порядковые шкалы часто употребляются в социологических исследованиях при опросах общественного мнения. Вот обычные наименования пунктов таких шкал: «вполне согласен», «пожалуй, согласен», «затрудняюсь ответить», «пожалуй, не согласен», «совершенно не согласен»; или: «уверен, что так», «думаю, что так», «затрудняюсь сказать», «думаю, что не так», «уверен, что не так» и т. п.

Ранговая, или порядковая, шкала устанавливает соотношение между выделенными признаками в соответствии с некоторым общим логическим основанием. Например, рассмотрим следующий фрагмент анкеты:

"Скажите, пожалуйста, помогло ли вам обучение на подготовительном отделении поступить в институт? "

· Да, подготовительное отделение дает хорошую подготовку и благодаря ему я поступил(а) в институт - 1

· Подготовительное отделение, безусловно, дает знания, но не очень хорошие, и их недостаточно для поступления в институт - 2

· В целом подготовительное отделение не дает хорошей подготовки, можно было поступить и без него - 3

Коды, проставленные справа, одновременно представляют собой ранги позиций вопроса альтернатив. С точки зрения эффективности подготовительного отделения для поступления в институт первая позиция более значима, чем вторая, а вторая более значима, чем третья. Но числовое обозначение альтернатив не позволяет нам утверждать, что первая позиция по крайней мере на треть значительнее, чем вторая, и на две трети, чем третья.

Хотя мы приписали позициям числовые коды – «1», «2» и «3», на самом деле с этими числами не все математические операции допустимы. Интервалы между позициями «на самом деле не равны».

Порядковое измерение не основано ни на какой стандартной для данной переменной единице и не позволяет установить, насколько далеко в терминах этой переменной отстоят друг от друга разные объекты. Оно лишь позволяет говорить, что у одних объектов данная переменная имеет большее или меньшее значение, чем у других.

Некоторые авторы выделяют следующие разновидности порядкового шкалирования (измерения):

· ранжирование (в ряд),

· группировка (ранжирование по группам),

· парное сравнение,

· метод рейтинга,

· метод полярных профилей.

Ранжирование.

Часто употребляемая разновидность шкал порядкового типа — ранговые, которые предполагают полное упорядочение каких-то объектов: они располагаются в ряд по степени выраженности какого-либо качества.

Задание на ранжирование респонденту часто формулируется так: «Из перечисленных ниже суждений выберите самое для Вас предпочтительное, затем — наименее предпочтительное, а остальные расположите от первого к последнему».

При обработке данных шкала в цифровом выражении может быть «перевернута» в обратном порядке, т. е. последнему, низшему рангу можно приписать наименьшее числовое значение — 1, а первому — наибольшее.

Следует помнить, что численность объектов для ранжирования не может быть слишком большой, скажем — 15. В противном случае данные ранжирования крайне неустойчивы. При этом всегда более устойчивы первые и последние ранги (при повторных опросах опытных групп они обычно приписываются тем же объектам), а срединная зона, как правило, менее устойчива

Иногда необходимо ранжировать множество объектов, существенно больше 15. В таком случае можно прибегнуть к более трудоемкой для анализа, но более простой для респондента и более надежной процедуре ранжирования методом парных сравнений.

Ранжирование методом парных сравнений состоит в том, что предлагается попарно сопоставить предпочтительность объектов путем всех возможных их парных комбинаций.

Допустим, что у нас имеется 25 объектов, которые надо ранжировать по какому-то свойству. Сделать это непосредственно - психологически почти невыполнимая задача. Тогда предлагается рассматривать все возможные комбинации пар, и из каждой пары выбирать более предпочтительный объект, приписывая ему, например, балл +1. Затем все объекты ранжируются в соответствии с набранной суммой баллов. Естественно, может случиться, что одинаковые значения получат несколько объектов. Доказано, что результаты такого ранжирования весьма устойчивы.

Таким способом мы можем сопоставлять учащихся друг с другом по какому-то качеству. Например, если учащиеся признаются одинаковыми в отношении рассматриваемого свойства, то каждый получает по баллу. Если у одного этого качества больше, чем у другого, первый получает два балла, второй - 0 (как при спортивных играх по круговой системе). Суммируя полученные каждым баллы, получаем количественное выражение уровня развития данного качества у каждого учащегося (его ранг). В результате сравнения получается таблица следующего типа (табл.7.):

Табл.7.

Таблица ранжирования методом парных сравнений

	Иванов	Петров	Сидоров	Общий балл (ранг)
Иванов	-
Петров		-
Сидоров			-

 

Следующим способом ранжирования является группировка всей совокупности объектов наблюдения в несколько рангов, достаточно ясно отличающихся друг от друга по степени измеряемого признака. Примеры: разделение учащихся согласно пятибалльной системе на отличников, хорошистов и т. д.; разбиение респондентов в результате анкетирования на группы «абсолютно согласных» с каким-либо утверждением, «скорее согласных», «скорее не согласных» и «категорически не согласных».

Частными случаями ранжирования являются методы рейтинга и метод полярных профилей. В первом приеме оценка объекта производится путем усреднения оценочных суждений группы компетентных экспертов. Имея общие критерии оценки (в порядковой шкале, в баллах), эксперты независимо друг от друга (в устной или письменной форме) выносят свои суждения. Усредненный результат экспертной оценки является достаточно объективным и называется рейтингом.

Метод полярных профилей предполагает применение для оценки условной шкалы, крайними точными которой являются противоположные значения признака (например, добрый - злой, теплый - холодный и т. п.). Промежуток между полюсами делится на произвольное количество частей (баллов). Например, оценка различных качеств учителя учениками дается в полярной шкале:

(Строгий) 10 - 9 - 8 - 7 - 6 - 5 - 4 - 3 - 2 - 1 (Совсем не строгий)

 

Операции с числами для порядковой шкалы следующие.

1. Числа поддаются монотонным преобразованиям: их можно заменить другими с сохранением прежнего порядка (поэтому ранговые шкалы являются порядковыми).

Так, вместо ранжирования от 1 до 5 можно упорядочить тот же ряд в числах от 2 до 10 или от (—1) до (+1). Отношения между рангами останутся неизменными. Это свойство важно в тех случаях, когда данные, измеренные шкалами с различным числом интервалов, приходится приводить к «общему знаменателю», т. е. выражать в одной шкале с постоянной величиной заданных интервалов. При этом с уммарные оценки по ряду ранговых шкал - допустимый и хороший способ измерять одно и то же свойство по набору различных индикаторов.

2. Для работы с материалом, собранным по упорядоченной шкале, можно использовать, помимо модальных показателей, поиск средней тенденции с помощью медианы (Me), которая делит ранжированный ряд пополам.

3. Наиболее сильный показатель для ранговых (порядковых) таких шкал — корреляция рангов (по Спирмену или по Кендаллу).

Ранговые корреляции указывают на потенциальное наличие или отсутствие связей в двух рядах признаков, измеренных ранговыми (порядковыми) шкалами.

Интервальное измерение предоставляет исследователю больше информации, чем порядковое или номинальное. Оно основано на представлении о существовании некоторой стандартной единицы измеряемого свойства.

Оно несет информацию о “расстоянии” между ними. Хороший пример такого рода – переменная доход (или возраст).

Если измерять возраст с помощью порядкового измерения, разделяя людей по их возрасту на такие категории, как моложе 20 лет, от 20 до 40 лет и т.д., мы сможем сказать, что у человека 1-й категории возраст меньше, чем у человека 2 категории и т.д., при этом «расстояние» между категориями мы выбрали в 20 лет и на самом деле не сможем сказать точно, насколько эти люди различаются по возрасту, так как не знаем, где именно находится человек внутри своей категории. То есть разницу в соотношении ответов в близких интервалах не всегда можно квалифицировать как содержательное различие.

Таким образом, шкала интервалов (иногда ее называют метрическая шкала равных интервалов) представляет собой полностью упорядоченный ряд с одинаковыми интервалами между пунктами, причем отсчет начинается с произвольно избранной величины (нет «естественного нуля» на шкале). Она позволяет проводить более строгие математические операции с получаемой информацией. Главная трудность в построении таких шкал — обоснование равенства или разности дистанций между пунктами.

Чаще всего интервальную шкалу используют для снятия информации по четко фиксируемым количественными методами социальным характеристикам, например, по возрасту, зарплате, образованию, стажу работу и пр. Однако всегда возникает проблема, например, при оценке возраста, брать в качестве «цены» деления 5 или десять лет и т.п.

В целом, метрические шкалы в социально-педагогических исследованиях используются гораздо реже, чем порядковые.

Следует заметить, что неопытные исследователи принимают иногда за интервальную шкалу шкалы балльных оценок. Но это псевдометрическая шкала. Так, один из вариантов псевдошкалы с равными интервалами — «термометр общественного мнения». Это шкала, например, в 100 делений, где крайние точки (100 и 0) словесно интерпретируются как минимальное и максимальное одобрение. Например, «если вы категорически согласны с приведенным суждением, укажите свое положение на термометре как 100°», «если вы категорически не согласны, укажите 0°».

В действительности, нет оснований полагать, что лица, отметившие по термометру 35° и 42°, столь же различаются в своих оценках, как отметившие, скажем, 45° и 52°. Одни люди обладают высокой способностью дифференцировать свои оценки, а другие вовсе не могут различать нюансы. Данная шкала измеряет не что иное, как ранги, т.е. является упорядоченной номинальной или ранговой шкалой.

Числа в таких шкалах допускают линейные преобразования: у=ах+b.

Появляются новые возможности корреляционно­го и регрессионного анализа. Вместо рангового коэффи­циента можно использовать более чувствительный ко­эффициент парной корреляции по Пирсону и коэф­фициенты множественной корреляции.

Наконец, существует шкала пропорциональных оценок (идеальная метрическая), которая напоминает шкалу равных интервалов, но с одним преимуществом: отсчет в этой шкале начинается не с произвольной точки, а с экспериментально установленного нулевого пункта.

Для таких шкал применимы решительно все операции с числами, так как можно определить, на сколько или во сколько данный пункт на шкале превышает другой. Подобные шкалы приняты в точных науках, где нулевой пункт экспериментально зафиксирован. Идеальные метрические шкалы успешно применяются для измерения некоторых физиологических и психических свойств человека. Точка отсчета определяется в этих случаях как порог восприятия и порог насыщения. Известно, например, что существует среднестатистический порог восприятия звуковых колебаний. То же относится и к некоторым психическим реакциям людей (например, порог различения сходных фигур).

В социально-педагогических исследованийх шкалы такого рода имеют весьма ограниченное применение. Ими пользуются для измерения протяженностей во времени и пространстве, для отсчета натуральных единиц (денежных единиц, продуктов деятельности, поступков). Во всех этих случаях нулевой пункт четко фиксируется.

Операции с числами для идеальных шкал не имеют никаких ограничений. Можно использовать все доступные математике операции с натуральными числами.

 

Когда речь идет о сравнении явлений, измерения номинального уровня – наименее полезный тип измерения.

Наша задача состоит в том, чтобы там, где это возможно и удобно, стремиться к операционализациям, позволяющим осуществлять измерение интервального уровня.

Естественно, не следует довольствоваться операционализацией, дающей номинальное измерение, когда теоретически оправданно и технически возможно порядковое или интервальное измерение.

Для этого на этапе построения теории мы должны прежде всего спросить себя, лежит ли в основе различий, наблюдаемых в отдельных случаях, некий континуум. Если да, то мы можем предложить для данного понятия порядковое или даже интервальное измерение, в противном случае в качестве измерения может выступать лишь номинальная шкала.

Восприятие шкал имеет свои особенности, которые надо учитывать исследователю.

Во-первых, размышляя о том, давать или не давать словесные наименования каждому элементу шкалы, надо помнить, что представление шкалы без наименований в общем неверно, поскольку респондент все равно осознанно или неосознанно переводит "голую" шкалу в шкалу с наименованиями, придавая то или иное словесное выражение ее элементам. Само по себе число не имеет содержательного значения. Оно существует в сознании человека только в некоторой смысловой определенности и находит выражение в конкретном контексте.

Во-вторых, большое значение имеет длина шкалы. В быту мы чаще всего оперируем трехбалльной шкалой. «Нравится ли Вам мой новый костюм?» - спрашиваем мы у приятеля, и, как правило, ответ легко укладывается в такую градацию: «понравился», «не очень понравился», «не понравился». Иногда добавляются две крайние позиции «очень понравился» или «очень не понравился». И только специалист-модельер может привести более дробные градации.

Применение той или иной шкалы имеет прежде всего содержательное, а не формальное значение. Иначе говоря, чем богаче содержание того или иного явления, тем тоньше должна быть шкала, тем больше градаций в ней должно заключаться. В школе при существующей пятибалльной системе оценок учителя фактически используют восьми-десятибалльную систему, вводя "нелегально" к оценкам плюсы и минусы и тем самым увеличивая общее количество баллов.

Необходимо учитывать также, насколько конкретный респондент способен воспринять многомерную шкалу. Восприятие зависит и от его общей культуры, и от уровня образования, и от умения аналитически мыслить, и от степени информированности, порога чувствительности и т.п.

В вопросах об оценках того или иного явления, в определении согласия с каким-то мнением и т.д. (наиболее распространенные вопросы в социально-педагогических опросах) наиболее хорошо себя зарекомендовали пятибалльные шкалы. Например, для ответа на вопрос: «Скажите, пожалуйста, насколько Вы устаете на занятиях в институте?» - лучше предлагать пятибалльную шкалу: «очень устаю»; «устаю, но не очень»; «немного устаю»; «практически не устаю»; «совсем не устаю».

При очень дробной шкале, когда респондент не может достаточно тонко оценить какое-то явление или определить отношение, происходит огрубление предлагаемой шкалы. Например, в десятибалльной шкале по изучению дружеских отношений в коллективе разница между девятой и десятой позициями редко воспринимается респондентами как существенная, также как и разница между первой и второй. Нередко респондент обводит общим кружком и первую, и вторую позиции или девятую и десятую, показывая тем самым, что не видит особых различий между ними.

Можно дать несколько общих советов по выбору измерительных шкал.

1) Приступая к разработке шкалирования, следует продумать, какие явления, свойства и объекты реально варьируют по их интенсивности, распространенности, состояниям выраженности, а какие могут быть фиксированы лишь на качественном уровне.

2) Определяя тип шкалы, нужно соизмерять его не только с природой объекта, но и с целями исследования и возможностями последующего количественного анализа: излишняя квантификация — напрасная трата усилий, недостаточная — упущенные возможности более обстоятельного изучения объекта.

3) Лучше опираться на достоверные и менее детальные сведения, чем на детальные и малодостоверные: отсюда — указания к выбору приемлемого типа шкал и дробности их метрики.

4) Самое главное состоит в том, что количественный анализ не самоцель, но лишь средство качественного: качественный анализ предшествует квантификации, качественным анализом завершается изучение количественных распределений и связей.

Количественный анализ данных может вводить в заблуждение, если ему не предшествовала тщательная проверка валидности и надежности разработанного инструментария.

Ошибки появляются при измерении всегда, но большое их число может привести в конце концов к ошибочным выводам.

Существует несколько основных источников ошибок измерения:

1) Если характер ответов сильно зависит, скажем, от интеллектуального уровня респондента или от его осведомленности в определенных вопросах.

2) Если ответы на вопросы зависят от настроения или состояния здоровья отвечающего.

3) Если вопросы сформулированы неоднозначно, и респонденты могут дать им разные интерпретации

4) Различия в условиях проведения измерения (например, может влиять пол и возраст интервьюера и т.п.)

5) Ошибки и неоднозначности в инструкциях по применению конкретного инструмента.

6) Ошибки кодировки, ввода данных в компьютер.

Различные ошибки, происходящие из перечисленных источников, обычно подразделяются на систематические и случайные. Систематические ошибки – это ошибки, которые появляются каждый раз, когда используется данный инструмент, и постоянно сопутствуют объектам и исследованиям, в которых используется данное измерение.

Случайные ошибки обусловлены преходящими характеристиками объектов, ситуационными различиями, ошибками в проведении измерения и обработке данных и другими факторами.

Как же избежать такого потенциально разрушительного воздействия на наши результаты ошибок измерения, чтобы оно не превратилось в бесполезное или ошибочное? Чтобы ответить на этот вопрос, необходимо рассмотреть такие понятия как валидность и надежность измерения и обсудить проблемы их обеспечения.

Термин валидность используется для обозначения степени соответствия измерений понятиям, которые эти измерения должны отражать. Интересоваться валидностью измерения – то же самое, что интересоваться, действительно ли с помощью данного измерения мы измеряем то, что предполагали измерять. Обеспечение валидности - одна из основных проблем, связанных с измерениями в социально-педагогических исследованиях.

Чтобы быть валидным, измерение должно быть исчерпывающим и полным. Обеспечение этих свойств происходит на этапе операционализации основных понятий: именно на этом этапе надо позаботиться о полноте. Получение уместных и относительно полных операционализаций зависит как от хорошего знания объекта нашего исследования, так и от осуществления тщательного логического анализа альтернативных операционализаций.

Процесс оценки валидности измерений называется валидизацией.

Существует несколько видов валидизации:

1) в прагматической валидизации мы сверяем результаты, полученные с использованием нашего инструментария, с результатами, полученными путем использования какого-то другого показателя, признанного в качестве валидного измерения соответствующего понятия;

2) внутренняя конструктная валидизация предполагает соотнесение нашего показателя с несколькими другими показателями для того же самого понятия, использующего множественные показатели;

3) внешняя валидизация заключается в соотнесении нашего показателя с показателями для других понятий, с которыми измеряемое понятие теоретически должно быть связано.

Все данные способы валидизации имеют один «маленький недостаток»: проверить валидность наших измерений можно лишь после того, как собраны данные.

С одной стороны, это говорит о необходимости специальных «пилотных» исследований до проведения основного эксперимента, целью которых должна быть апробация разрабатываемого исследовательского инструментария, определение его валидности и надежности.

С другой стороны, поскольку в педагогических исследованиях часто мы не располагаем возможностью проводить такие специальные исследования, особую значимость приобретает так называемая «очевидная валидизация» - признание валидности, исходя из непосредственной очевидности показателя. По сути она сводится к теоретическому обоснованию, к убеждению научного сообщества в том, что это валидный показатель для рассматриваемого понятия.

Когда говорят о надежности измерения, имеют в виду устойчивость получаемых с его помощью значений (воспроизводимость результатов при повторном наблюдении или на другой аналогичной выборке).

Если при неоднократном применении некоторого измерения один и тот же объект не получает одного и того же значения, это измерение является ненадежным показателем соответствующего понятия.

 

Заметим, что измерение может быть надежным, не будучи валидным, но не может быть валидным, не будучи надежным. Если измерение валидно, оно должно быть надежно.

Чтобы предотвратить угрозу ненадежности, следует продумывать реальный процесс измерения и проводить предварительное тестирование инструментов измерения для выявления возможных причин случайных ошибок.

Существует три типа методов установления надежности измерений:

1) метод неоднократного тестирования;

2) одно и то же измерение применяется к разным группам объектов;

3) метод подвыборки. Этот метод заключается в том, что, сформировав выборку из объектов, мы делим ее на несколько подвыборок таким образом, чтобы все они были похожи друг на друга. Затем мы применяем одно и то же измерение ко всем подвыборкам и используем сходство или различие результатов для подвыборок как показатель надежности измерения.

 

Надежность измерений, как и валидность, важно установить до того, как будет начат основной эксперимент. Это требует предварительного тестирования измерения посредством сбора данных, предназначенных исключительно для оценки инструментов, которые будут использоваться в самом исследовании. Предварительное тестирование валидности и надежности измерения не обязательно только в том случае, если в исследовании используются измерения, которые были где-то убедительно валидизированы, что отражено в соответствующих публикациях.

 

 

Задания и вопросы.

1. Рассмотрите приведенные ниже примеры вопросов и установите для каждого тип использованной шкалы. Предложите, где возможно, преобразования, переводящие шкалы на «более высокий уровень».

 

Пример1:

1. Какую литературу Вы чаще всего читаете?

2. Учебную, специальную

3. Научно-популярную

4. Художественную

5. Политическую

6. Социально-экономическую

 

Пример2.

1. К какой группе профессий Вашего завода Вы относите себя:

2. рабочие ручного труда, не требующего специальной подготовки;

3. рабочие ручного труда высокой квалификации;

4. рабочие, занятые на механизированном оборудовании, средней квалификации;

5. рабочие механизированного труда высокой квалификации;

6. автоматчики без навыков наладки;

7. пультовики-наладчики.

 

Пример 3.

1. По какой причине Вы уводились с работы?

2. не устраивал заработок;

3. неудобная сменность;

4. плохие гигиенические условия труда;

5. неинтересная работа.

 

2. Обоснуйте размер той выборки, на которой Вы собираетесь проводить эксперимент. Какова должна быть численность экспериментальной и контрольной группы, чтобы прогнозируемые Вами различия были статистически достоверны?

 

3. Найдите в литературе, в интернете минимально достаточные сведения о понятиях нулевой гипотезы, достоверности различий в экспериментальной и контрольной группах, статистических критериях для определения достоверности различий.

 

4. Как Вы собираетесь проверять валидность и надежность инструментов количественного измерения? Какое пилотное исследование будет необходимо Вам спланировать?

 

5. Как Вы думаете собирать и обрабатывать данные (вручную, на компьютере, с использованием каких программ, с помощью специалистов и т.п.)?