Вопрос 7. Метод ранжирования

Другое название этого метода — метод качественного упорядочи­вания. Оно говорит само за себя; испытуемый упорядочивает по данно­му признаку предъявленное число образцов. Так получают один ранго­вый порядок. Одни и те же образцы упорядочиваются несколько раз, обычно разными наблюдателями и для каждого образца подсчитывается средний ранг. Этот метод очень удобен, когда мы имеем дело с большим количеством образцов. Обычно несколько образцов предъявляют одновре­менно и позволяют испытуемому выбирать один ранговый порядок так долго, как он пожелает. Когда много образцов, его могут попросить гру­бо рассортировать их по качествам (классам) до того, как он приступит к окончательному ранжированию.

Одной из первых работ, связанных с методом ранжирования, была работа Кэттелла с уточнениями и дополнениями его учеников (Самнера, Торндайка, и т. д.). Тем временем Спирман показал, как использовать порядковые ряды при измерениях кор­реляции — важный вклад в метод.

Кэттелл воспользовался методом ранжирования для определения лидеров любой естественной науки в оценке их коллег. Он предложил 10 психологам проранжировать 200 американцев, которые претендовали на звание психолога. Десять судей работали самостоятельно, независимо друг от друга. Затем Кэттелл подсчитал среднее всех 10 рангов, определен­ных для каждого психолога. Он опубликовал перечень самых высоких средних рангов в 1903 г. и открыл имена людей в 1933 г. Наша таблица включает в себя 51 имя и их порядок. Некоторые из людей были скорее философами, чем психологами; некоторые лица, стоящие вблизи или на некотором расстоянии от конца таблицы, были молодыми людьми, кото­рых еще рано было посвящать в рыцари. Что касается значимости такого списка, то мы не можем сделать ничего лучшего, чем привести цитату из оригинала — статьи Кэттелла: «Следует четко отметить, что эти оценки дают только то, что они открыто могут дать, а именно, результирующее мнение 10 компетентных судей. Они показывают репутацию человека у экспертов, но совсем не обязательно его способности или вклад (в науку). Не исключены постоянные ошибки, которые происходят из-за того, что он известен больше или меньше. Однако нет других критериев для оценки деятельности человека помимо той, которая получена от большинства ком­петентных судей».

Мы имеем здесь нечто подобное нормальному распределению; мы имеем только верхнюю четверть такого распределения, четверть, которая сама является выделенной группой женщин и мужчин, уже получивших степень и положение учителя. Мы не можем использовать эти данные для создания шкалы превосходства или репутации, имеющей в основании аб­солютный нуль. Мы можем несколько улучшить шкалу, взяв человека, занявшего верхнее место на шкале в качестве отсчетной точки и спросить, кто вдвое менее хорош, чем Вильям Джемс. Но это будет уже другой экс­перимент. Что можно получить от средних рангов кроме их положения?

Средние ранги ведущих американских психологов 1903 г.

1.0. Вильям Джемс 3.7. Дж. Мак Кин Кэттелл

4.1. Хьюго Мюнстерберг

4.4. Г. Стенли Халл

7.5. Дж. Марк Болдуин

7.5. Эдвард Б. Титченер

7.6. Ионна Ройс

9.2. Георг Т. Лэдд 9.6. Джон Девэй

11.6. Иозеф Ястров 12.3. Эдмонд К. Сэнфорд

16.8. Мэри В. Калкинс 17.1. Вильям Л. Бриан

17.9. Георг С. Фаллертон

18.7. Георг М. Страттон

19.3. Эдвард Л. Торндайк 19.6. Эдмонд В. Делабарре 21.6. Эдвард В. Скрипчер

Давайте посмотрим, насколько сходятся вместе средние ранги у ос­нования таблицы. Допустим, что мы имеем 10 весов, каждый из них очень хорошо отличается от другого, и просим дюжину наблюдателей упорядо­чить их. Каждый наблюдатель упорядочивает их одним и тем же образом, и средними рангами будут 1, 2, 3,.. 9, 10. Но допустим, что мы проводим тот же эксперимент с 10 равными весами: каждый наблюдатель упорядо­чивает их в свой, отличающийся от других, ряд, и все средние ранги бу­дут приблизительно одними и теми же (одинаковыми). Теперь пусть веса немного отличаются друг от друга так, что каждый наблюдатель будет склонен сделать несколько ошибок: средние ранги будут лежать между двумя упомянутыми экстремумами и они будут точно соответствовать ряду объективных весов.

В этом заложен полезный принцип. Предлагая достаточному числу компетентных судей ранжировать некоторые образцы, получаем почти равные средние ранги там, где образцы почти равны, и сильно отличаю­щиеся, когда образцы заметно не равны; короче, средние ранги будут правильно соответствовать образцам и в порядке, и в пространстве.

Из списка психологов мы извлекаем, что номера 2, 3, 4 примерно одинаковы по психологической ценности, насколько это показало время; то же самое можно сказать о трех следующих людях и о последних двенад­цати. Мы можем сделать вывод, что точный порядок, как утверждает Кэт­телл, очень неопределенен в том случае, когда средние ранги примерно равны.

Для более полного использования этого метода должно быть опре­деленное число образцов; все они классифицируются каждым из испы­туемых. Тогда можно, как показано в первом издании этой книги, изме­рить количество согласий и несогласий среди судей. Мы покажем, как один и тот же вид шкалы можно получить из ранжирования и парных сравнений. Ранжирование можно свести к частотам выбора (С) и затем к величинам p и z.

 

Вопрос 8. Парное сравнение

Существуют, по крайней мере, два метода шкалирования — шкали­рование отношений возвращает к работе Фехнера — пионера в области эк­спериментальной эстетики и его методу выбора. Этот устаревший метод был использован Фехнером при изучении эстетической оценки различных вари­антов прямоугольников. Он изготавливал картонные ящички, стороны ко­торых изменялись в пределах от квадрата до узкого прямоугольника и раз­брасывал их в случайном порядке на столе. Фехнер проводил эксперимент с несколькими сотнями людей, предлагая каждому выбрать наиболее и наи­менее приятные формы фигурок, разбросанных на столе. Затем он мог ис­пользовать относительную частоту выбора в качестве показателя и таким способом определял эстетическую ценность каждого прямоугольника. Бла­гоприятные выборы падают, в основном, на середину серии (около золотой серединки), а неблагоприятные — в экстремальных направлениях.

Две наиболее совершенные формы выбора известны как метод ранжи­рования и метод парных сравнений. Если бы Фехнер попросил распределить все приятные прямоугольники в одном конце, а неприятные — в другом, то такое категоричное распоряжение дало бы больше дополнительной ин­формации. Если бы показывал он только два прямоугольника одновремен­но и просил бы испытуемого выбрать наиболее приятный, то, проделывая то же самое со всеми парами, Фехнер опять-таки мог бы получить больше информации, чем методом выбора. Или он мог бы взять определенный пря­моугольник в качестве стандарта. Предъявляя стандарт в паре со сравнива­емыми, он получил бы оценку сравниваемого как более или менее прият­ного, чем стандартный, подобно тому, как это делается методом постоянных раздражителей. Это последнее предположение недостаточно обосновано пси­хологически в изучении эстетических или других величин потому, что ис­пытуемый как бы пресыщается стандартными стимулами. Однако мы уви­дим, что с точки зрения логики и математики метод парных сравнений является сокращенным методом постоянных раздражителей. Кроме того, метод ранжирования сводится к методу парных сравнений.

Метод парных сравнений введен Коном¹ при изучении предпочитаемости цветов. Его часто признают в качестве наиболее адекватного способа получения надежных оценок. Задача испытуемого в любой момент уп­рощается до предела, потому что перед ним только два образца. Он срав­нивает их в определенном отношении, переходит к другой паре и так до тех пор, пока не оценит всех образцов. Если каждый образец сочетается с каж­дым другим, то количество пар равно …, что составляет 45 пар из 10 образцов или 190 из 20. «Работа» может иногда сокращаться: можно раз­делить серию образцов на две или более частных серий. Предъявляя все пары стимулов в случайной последовательности, экспериментатор может избавиться от временной и пространственной ошибок, помещая каждый образец первым в одной паре и вторым в другой. В индивидуальных экс­периментах он может приготовить бланк регистрации в форме таблицы (см. табл. 1). Каждый образец представлен в строчке и колонке. Если, на­пример, испытуемый предпочитает G букве В, то буква G записывается на пересечении колонки G и строчки В. Когда все выборы уже сделаны, экс­периментатор подсчитывает все G, занесенные в таблицу в строчке G или колонке G и записывает количества под колонкой G. Таким образом, экс­периментатор узнает частоты выборов (С-частоты). Когда перед наблюда­телем 10 образцов, каждый сравнивается с оставшимися девятью; чтобы получить процентное или вероятностное выражение, каждое значение С делится на 9 или в общем виде на (п-1). Возможна определенная провер­ка: сумма показателей С-частот должна быть равна ^п(" ~ 1), средняя вели­чина р должна быть равна 0,50. ²