Исследование с целью отбора контролеров

 

Давайте рассмотрим искусственный пример, как можно применить корреляционное исследование в практических целях. Существует предприятие, которое сталкивается с серьезной проблемой контроля за качеством сложных механических агрегатов. Большинство контролеров, принимающих агрегаты, пропускают дефекты. Когда их просят работать тщательнее, они теряют уверенность в себе и начинают отбраковывать агрегаты, которые при последующей проверке оказываются вполне удовлетворительными. Эти контролеры неглупы и хорошо мотивированы, но кажется, что им не хватает какой-то специфической способности.

 

Решить проблему, просто нанимая много контролеров и оставляя только тех, которые работают удовлетворительно, нельзя. Во-первых, это слишком невыгодно с экономической точки зрения — ибо многие окажутся непригодными для работы. Во-вторых, отвергнутые контролеры будут лишены ценного опыта, который за это время они могли бы приобрести на какой-нибудь другой работе. Проблема исчезла бы, если бы 80 процентов принятых на работу контролеров оправлялись с ней успешно.

 

Такая задача поставлена перед начальником отдела кадров, который имеет опыт обращения с тестами на способности. Он узнает, что может за плату приобрести подходящий тест. Последний состоит из чертежей, на которых детали соединены различным образом. В каждом наборе есть один чертеж, на котором какой-нибудь угол между деталями или узел соединения отличается от стандартного чертежа. Задача состоит в том, чтобы найти ошибку в неверном чертеже. Оценки могут распределяться от 0 до 85. Фактически лишь немногие получают оценку ниже 40 или выше 80.

Методика

 

Людям, согласным на любую работу, сообщают, что они могут получить желаемую работу контролера; если же они не справятся, то перейдут на другую работу. В целом через тест на способности проводится 60.кандидатов. Затем все они половину времени работают контролерами, а оставшуюся половину — на другой должности. После того как они проработали в таком режиме 3 месяца, в течение четвертого месяца производится оценка их работы в качестве контролеров. Для этого регистрируется число блоков, которые они проверили, и процент сделанных ими ошибок. Возможны два типа ошибок. Во-первых, пропуск дефекта на любой из 40 дефектных деталей агрегата. Во-вторых, обнаружение дефекта на других 40 исправных деталях. Все испытуемые знают, что их работа будет оцениваться. Итоговая оценка каждого испытуемого означала число деталей, проверенных в течение последних 20 дней, минус учетверенное количество ошибок. Так, контролер, который проверил 800 деталей с 5% ошибок, получает оценку 640, т. е. 800—4X800X0,05. Удовлетворительными считаются оценки выше 675.

 

Результаты

 

Оценки каждого испытуемого по тесту на способности и по качеству работы могут быть представлены на диаграмме разброса (рис. 9.3(а)). Каждое число на диаграмме обозначает количество испытуемых, которые имеют данную комбинацию тестовой оценки (ось абсцисс) и оценки работы (ось ординат). Например, число «1», обведенное кружком, означает, что существует только один испытуемый, у которого тестовая оценка находится между 75 и 79, а оценка качества работы — между 750 и 774.

 

В общем, все оценки охватываются овалом, который вытянут слева направо и вверх. Это значит, что оценки положительно коррелируют. Величину корреляции можно вычислить. Метод вычисления описывается в статистическом приложении в конце этой главы. Для диаграммы разброса, приведенной на рис. 9.3(а), величина коэффициента корреляции, характеризующего степень связи тестовых и рабочих оценок, равна 0,60, или, если быть пунктуальным, +0,60. В практических задачах мы не должны серьезно рассматривать возможность отрицательной корреляции. Если диаграмму на рис. 9.3(а) повернуть слева направо, то мы получим значение корреляции, равное -0,60. Отрицательные корреляции, когда они обнаруживаются, чаше всего настолько невелики, что могут считаться следствием случайной флюктуации «истинного» нулевого значения. Когда же они достаточно велики, они чаще всего связаны с характером шкалы на одной из осей. Так, например, число правильных ответов по одному тесту может иметь отрицательную корреляцию с числом ошибок по другому тесту.

 

Как это видно из диаграммы, корреляция 0,60 отражает довольно хорошее соответствие между тестовыми и рабочими оценками, хотя, конечно; это соответствие далеко не идеально. Некоторые испытуемые, имеющие высокую тестовую оценку, оказались в качестве контролеров хуже, чем те, у которых тестовая оценка была ниже. На рис. 9.3(б) показано абсолютное соответствие между тестовыми и рабочими оценками (реально невозможное). Если один испытуемый имеет оценку по тесту на какую-то величину больше, чем другой испытуемый, то на столько же больше у него будет и рабочая оценка — если обе оценки, конечно, прошкалированы одинаково. Вычисление коэффициента корреляции для данных на рис. 9.3(б) даст величину, равную +1.

 

 

Тем не менее корреляция 0,60 показывает лучшее соответствие, чем то, которое представлено на рис. 9.3(в). В этом последнем случае есть только некоторая тенденция к совпадению высоких тестовых оценок с высокими рабочими оценками, но не больше. Вычисление коэффициента корреляции здесь дает величину +0,30. Но даже эта низкая корреляция оказывается выше, чем представленная на рис. 9.3(г), где коэффициент корреляции равен 0. Здесь нет совершенно никакой тенденции к соответствию.

 

Назначение претендентов на должность. Возвращаясь к рис. 9.3(а), мы поймем теперь, как начальник отдела кадров может воспользоваться результатами исследования для отбора претендентов на работу в качестве контролеров. Горизонтальная линия отделяет удовлетворительную работу от неудовлетворительной. Напомним, что удовлетворительной считается оценка от 675 и выше. Если посчитать число лиц над этой линией, то их окажется 24 из 60, т. е. 40%. Вертикальная линия проведена чуть левее тестовой оценки 70, через точку, которая называется секущей оценкой. Справа от нее оказывается 14 человек. Из них только 12 показали удовлетворительную работу. Это дает 86% (от 14), что несколько лучше требуемых 80%. Если же секущую оценку сдвинуть влево до 65, то справа окажется 24 человека, из которых 17 будут удовлетворительно работающими. Таким образом, процент удовлетворительных работников снизится до 71, что значительно меньше требуемых 80%. Итак, начальник отдела кадров может сделать вывод, что на работу контролера должны назначаться только претенденты, получившие тестовую оценку 70 и выше. При этом предполагается, что связь между тестовой оценкой и качеством работы, выявленная на данных испытуемых, сохранится и для будущих претендентов.

 

В случае абсолютной корреляции, показанной на рис. 9.3(б), вопрос о проценте удовлетворительно работающих лиц просто не возникает. Здесь нельзя сделать ошибки. Все 24 лица с тестовой оценкой 65 и выше будут работать качественно. И в будущем начальник отдела кадров с нулевым риском может принимать на работу всякого, кто получит оценку 65 и выше.

 

Однако в случае (в), где корреляция равна только 0,30, видно, что даже если вертикальная разделяющая линия будет сдвинута к оценке 75, начальник отдела кадров не достигнет цели: из 8 лиц, у которых тестовая оценка равна 75 и более, подходят только 6, что составляет 75%, а не 80%. Значит, в будущем на работу могут быть приняты только те претенденты, у которых тестовая оценка (секущая) составит 80 и выше.

 

Теперь вы понимаете, что происходит при изменении величины корреляции. Чем выше корреляция, тем больше людей может быть отобрано при данном правиле решения. В нашем случае правило решения означало, что 80% из выбранных должны оказаться удовлетворительно работающими. На практике для целей отбора не пользуются перемещением линий на полученной диаграмме разброса, поскольку в ней безусловно содержится множество случайных отклонений. Вместо этого используют таблицы предсказаний. Они основаны на идеализированных диаграммах разброса, представляющих различные корреляции между тестовой и рабочей оценками (Тайлор и Рассел, 1939).

 

Предсказание качества индивидуальной работы. Давайте теперь посмотрим на всю ситуацию рабочей оценки, которую он вероятнее всего получит. (Между прочим, он может также узнать, насколько такое предсказание может оказаться ошибочным.)

 

Наклонная линия, проведенная на рис. 9.3(а), соединяет средине рабочие оценки для различных тестовых оценок. Например, для лиц, находящихся по тесту между значениями 55 и 59, средняя рабочая оценка падает на интервал от 625 до 649. Для тестовых оценок 70 — 74 средняя рабочая оценка приходится на интервал 675 — 679. Линия, соединяющая средние рабочие оценки для этих тестовых оценок, точно так же как и для всех остальных тестовых оценок, может быть использована в качестве линии предсказания. Любой очередной претендент, будучи проведен через тест на способности, может посмотреть на диаграмму разброса с такой наклонной линией и по ней предсказать, как он будет справляться с работой контролера. Кроме того, он заметит, что такое предсказание чревато некоторой ошибкой. Например, лица, получившие тестовую оценку в интервале 70 — 74, могут иметь и высокую рабочую оценку — от 725 до 749, и низкую — от 600 до 624, тогда как предсказываемая оценка находится в пределах 675 — 699.

 

В случае абсолютной корреляции (см. рис. 9.3(б)) предсказание будет безошибочным. Каждая тестовая оценка дает однозначное предсказание рабочей оценки. В случае же низкой корреляции — 0,30 (см. рис. 9.3(в)) — лица с тестовой оценкой от 70 до 74 могут иметь как высокую рабочую оценку — 750 — 774, так и низкую — 550 — 574 (при предсказываемой рабочей оценке порядка 675). По сравнению с более высокой корреляцией в случае (а) здесь ошибка предсказания больше. Для случая нулевой корреляции (г) предсказываемая рабочая оценка всегда равна 660, независимо от тестовой оценки. Овал, имевший место на рис. 9.3(а), здесь превращается в круг, что означает очень большую ошибку предсказания.

 

Вы уже наверное заметили, что чем выше корреляция, тем больше наклон линии предсказаний. Положение линии меняется от горизонтального при нулевой корреляции до наклона с угловым коэффициентом, равным 1 (45°) при абсолютной корреляции. Нулевая корреляция означает нулевой наклон, корреляция, равная единице, означает наклон с угловым коэффициентом 1, если тестовые и рабочие оценки прошкалированы в равных единицах. Таким образом, чем выше корреляция, тем больше достоверность рабочих оценок, представленных линией предсказания. И снова эмпирически полученная диаграмма разброса с ее случайными колебаниями не может использоваться для предсказания рабочих оценок или для определения величины ожидаемой ошибки предсказания. Для этого на основании идеализированной диаграммы разброса следует составить таблицу для определенного значения коэффициента корреляции. На самом деле, такое предсказание можно сделать и но простой формуле (9.3), как это показано в статистическом приложении к данной главе.

 

Что обеспечивает предсказывающее исследование?

 

Используя найденный коэффициент корреляции, можно делать довольно точные предсказания. Из корреляции между тестовой оценкой и рабочей оценкой можно вывести секущую оценку, которая должна обеспечить заданный процент удовлетворительно работающих лиц. Мы можем также установить для каждой тестовой оценки будущих претендентов наиболее вероятную рабочую оценку, а также величину ошибки предсказания.

 

В данном примере один вид поведения использовался для предсказания другого вида поведения. Возможно, что в основе корреляции лежало то, что измерявшиеся способности, как и предполагалось, были существенны для данного вида работы. Однако возможно и многое другое. Например, может быть, все дело было во внимательности или в количестве усилий, которое данный человек готов был затратить. В практических ситуациях нас не интересуют объяснения: нужны только результаты. При высокой корреляции предсказание будет хорошим, при низкой корреляции — плохим.

 

Надежность и валидность тестов

 

Термины надежность и валидность применительно к тестам несколько отличаются от аналогичных терминов, которые уже использовались в этой книге. Тест называется надежным, если мы можем рассчитывать, что одно и то же лицо каждый раз, при повторных испытаниях, получит примерно ту же самую оценку (относительно других). Как известно, существует много причин непоследовательности поведения, включая факторы времени, которые мы не можем контролировать.

 

Однако влияние этого непостоянства можно уменьшить, используя достаточно продолжительный тест, конечно, соответствующего уровня трудности.

 

Один из способов выявления надежности теста заключается в том, чтобы дать один и тот же тест (или очень близкие варианты, если это необходимо) дважды той же самой группе испытуемых. Если коэффициент корреляции между результатами двух применений теста высокий (например, 0,90), то тест считается надежным. Однако все еще остается вопрос о надежности самого исследования. Это означает, что через тест нужно провести большое число испытуемых. Иными словами, надежность теста должна основываться на достаточной надежности самого исследования.

 

Тест называется валидным всегда по отношению к некоторой другой оценке, например оценке качества работы, — если он высоко коррелирует с этой оценкой (например, 0,60). И снова, чтобы узнать, является ли данное заключение валидным, т. е. следует ли оно из надежного исследования, нужно использовать достаточное число испытуемых.