Инкрементная валидность инструментов дистанционной оценки

Особую важность в такого рода проектах имеет вопрос о том, не являются ли использован­ные инструменты избыточными [Lievens et al., 2008]. Этот вопрос имеет прямое отношение к максимальной результативности оценочного проекта (минимум стоимости, максимум эффекта). Для эмпирического ответа на него нами исследовались показатели инкрементной валидности инструментов, включенных в дистанционную оценку. Прежде всего, важно было исследовать инкрементную валидность «Электронного инбаскета» (способность к пред­сказанию профессиональной успешности помимо той доли информации, которая объясня­ется другими инструментами, проводившимися одновременно с «Электронным инбаске­том»), поскольку введение в общий оценочный «пакет» такой длительной и громоздкой процедуры требует не только теоретического (экспертного), но и эмпирического обоснова­ния. Соответствующие показатели приведены в табл. 2.

Таблица 2. Инкрементная валидность «Электронного инбаскета»

По отношению к:	Коэффициент детерминации R2*
«Профтест», «Кейс-тест», КТО (первый шаг иерархической регрессии)	«Электронный инбаскет» (второй шаг иерархической регрессии)
Суммарная оценка наблюдателями в ЦО	.20	.63
Оценка руководителя	.03	.22
Фактический коэффициент квартального премирования	.08	.26
* Использовалась иерархическая множественная регрессия. На первом шаге в модель вводились показатели «Профтеста», «Кейс- теста» и КТО-2, на втором шаге – пункты упражнения «Электронный инбаскет». Рост значений в коэффициенте детерминации от первого шага ко второму выражает степень «прироста» в доле дисперсии, которую «Электронный инбаскет» объясняет в том или ином критерии, помимо того, что уже объясняется тремя другими инструментами.

Основной вывод, который можно сделать по результатам данных табл. 2, таков: «Электронный инбаскет» действительно привносит важную долю информации в пред­сказание успешности деятельности кандидата, следовательно, является важной частью общей процедуры оценки. Умение принимать решения на основе разрозненной информа­ции и планировать реализацию управленческих задач оказывается неотъемлемой частью комплексной диагностики управленческого потенциала. В наибольшей степени это очевидно по отношению к суммарной оценке наблюдателями в ЦО (прирост в коэффициенте детерми­нации от 0.2 до 0.63), однако заметно выражено и для других показателей.

Особый интерес представляла также инкрементная валидность «Кейс-теста» по отношению к КТО-2. В исследованиях, в том числе в метааналитических, показано, что кейсовые инструменты обладают некоторой инкрементной валидностью по отношению как к тестам интеллекта, так и к личностным опросникам. В частности, инкрементная валид­ность по отношению к тестам интеллекта для кейсовых методик составляет от 0.03 до 0.05 ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2012. Т. 2. №1 www.orgpsyjournal.hse.ru 38

[McDaniel et al., 2007]. Это небольшая величина, однако исследователи признают ее важной и интерпретируют как свидетельство того, что кейсовые методики предоставляют важную информацию помимо общего интеллектуального уровня кандидата.

Итак, в качестве предикторов использовались балл по тесту КТО-2 (вводился в иерар­хическое регрессионное уравнение первым шагом) и 13 пунктов-ситуаций «Кейс-теста» (вводились в регрессионное уравнение вторым шагом). Результат: коэффициент детермина­ции в предсказании критерия для КТО-2 составляет 0.072, коэффициент детерминации при введении в иерархическое уравнение на втором шаге пунктов-ситуаций управленческого «Кейс-теста» составляет 0.249. Таким образом, по отношению к данному критерию инкре­ментная валидность теста составляет 0.177 и превышает данные, приведенные в научной литературе.

Впрочем, при использовании в регрессионном уравнении не 13 отдельных ситуаций, а суммарного балла по «Кейс-тесту» показатели инкрементной валидности снижаются. Коэффициент детерминации в предсказании критерия для КТО-2 в этом случае составляет 0.053, коэффициент детерминации при введении в иерархическое уравнение на втором шаге суммарного балла по «Кейс-тесту» равен 0.054.

Как можно проинтерпретировать такой результат? С одной стороны, инкрементная валидность суммарного балла по «Кейс-тесту» по отношению к общим интеллектуальным способностям (КТО-2) низка – она составляет 0.01. С другой стороны, соответствующие показатели в западных исследованиях также невысоки (0.03–0.05), однако интерпретиру­ются как важные и значимые [McDaniel et al., 2007]. На текущем этапе исследования может быть предложена следующая трактовка результатов: неявные знания в области управления бизнес-задачами и организации работы с клиентами, измеряемые «Кейс-тестом», связаны с успешностью деятельности не напрямую, а через опосредующее звено – управленческие компетенции. Другими словами, чтобы влиять на успешность решения профессиональных задач, неявное должно, вероятно, стать проявленным поведением. С этой точки зрения использование «Кейс-теста» в качестве промежуточного этапа перед проведением ЦО в нашем проекте представляется правильным.

Впрочем, как уже было сказано, инкрементная валидность «Кейс-теста» возрастает при использовании не суммарного балла, а 13 отдельных ситуаций, входящих в его состав. Мультиконструктность, присущая кейс-тестам [Lievens et al., 2008], позволяет предполагать, что этот факт может являться не просто статистическим феноменом, но и иметь осмыслен­ное объяснение с точки зрения теории. Различные стороны и аспекты неявных знаний в сфере управления могут вносить разный вклад в успешность деятельности. Однако нахож­дение этого объяснения – дело дальнейших самостоятельных исследований. В любом случае на настоящий момент можно утверждать, что результаты исследования инкрементной валидности «Кейс-теста» по отношению к внешним критериям успешности деятельности (доступным в данном проекте) могут использоваться лишь в сугубо исследовательских целях для изучения потенциала «Кейс-теста» в прогнозе такого рода критериев.

Выводы

1. Задачи дистанционной оценки были достигнуты. По результатам психометрического исследования есть основания утверждать, что данные разработанной комплексной батареи методик (особенно «Электронный инбаскет», КТО-2 и «Кейс-тест») досто­верно прогнозируют уровень развития управленческих компетенций, оцениваемых в Центрах оценки. Сама дистанционная оценка в предложенной компоновке инстру­ментов может использоваться как способ отсева кандидатов перед более дорогосто­ящими этапами оценки. ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2012. Т. 2. №1 www.orgpsyjournal.hse.ru 39

2. Результаты дистанционной оценки обладают прогностическим потенциалом по отношению к таким показателям результативности отдельно взятых сотрудников, как оценка руководителя и фактический коэффициент квартального премирова­ния. Вместе с тем есть основания полагать, что этот потенциал может быть выше, если усовершенствовать статистические характеристики показателей результатив­ности, а также использовать будущую результативность вместо текущей.

3. На уровне усредненных данных (рейтинг подразделений) прогностический потенциал инструментов дистанционной оценки может быть назван высоким. На общем фоне особенно выделяются результаты классического теста способностей (КТО-2), корреляция которых с финансовыми результатами региональных подраз­делений является еще одним доказательством значимости подобных инструментов в дистанционной оценке персонала.

4. Один из ключевых параметров – корреляция общего оценочного рейтинга (ЦО) с показателями результативности – в данном исследовании не оценивался по причине недостаточности данных.

Кроме того, результаты проекта приводят к нескольким важным соображениям, отно­сящимся ко всем оценочным проектам, преследующим задачу формирования кадрового резерва.

1. Важность послепроектного сопровождения в такого рода исследованиях трудно переоценить. Под послепроектным сопровождением понимается: а) отслежива­ние профессиональной результативности и карьерного развития сотрудников, прошедших оценку; б) периодический пересмотр эмпирических ключей и обнов­ление норм; в) накопление эмпирических данных, которые бы позволили более комплексно оценить место управленческого потенциала в прогнозе успешно­сти деятельности предприятия. Ни одно измерение не является идеальным, но в известной мере присущие измерению погрешности можно «победить», реализуя комплексную исследовательскую программу.

2. Не менее важны поиск и разработка надежных и достоверных показателей результа­тивности деятельности сотрудников. С сожалением приходится констатировать, что практика сбора подобных критериальных мер развита в России слабо (как в среде специалистов-консультантов, так и в HR-сообществе). Полагаем, что для всесторон­них исследований и для мониторинга качества использования результатов оценки персонала необходимо применять показатели результативности на уровне как отдельных работников, так и структурных подразделений. Причем в обоих случаях необходима комплексная оценка. На уровне отдельных работников речь может идти об объединении экспертных оценок (например, оценка руководителями) и объек­тивных показателей результативности. Однако и одно, и другое теряет свой психо­метрический и исследовательский смысл, если является недискриминативным. Следовательно, психологам необходимы регулярные статистические исследования самих показателей результативности предприятия. На уровне структурных подраз­делений речь может идти об общей прибыли за определенный промежуток времени.

Список литературы

Куприянов Е.А. Стоит ли игра свеч: Валидность Центров оценки [Электронный ресурс] // Организационная психология. 2011. Т. 1. №1. С. 50–58. URL: http://orgpsyjournal.hse.ru (дата обращения: 01.02.2012).ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2012. Т. 2. №1 www.orgpsyjournal.hse.ru 40

Малыхин П.А. Ассессмент-Центр – дорогое удовольствие? // Персонал-Микс. 2004. №7. С. 45–48.

Сергиенко С.К. Групповые технологии решения организационно-психологических задач: Автореф. дисс. … докт. психол. наук. М.: ГУУ, 2000.

Фер М., Бакарак В. Психометрика: введение / Пер. с англ. под ред. Н.А. Батурина, Е.В. Эйдмана. Челябинск: Издательский центр ЮУрГУ, 2010.

Хермелин И., Лайвенс Ф., Робертсон А. Прогностическая валидность Центра оценки: мета- анализ / пер. с англ. Е. Лурье, В. Тихомирова [Электронный ресурс] // Организационная психология. 2011. Т. 1. №1. С. 39–49. URL: http://orgpsyjournal.hse.ru (дата обращения: 01.02.2012).

Bartram D. The Great Eight Competencies: A criterion-centric approach to validation // Journal of Applied Psychology. 2005. Vol. 90. Is. 6. P. 1185–1203.

Bray G.W., Grant D.L. The Assessment Center in the Measurement of Potential for Business Management // Psychological Monographs: General and Applied. 1966. Vol. 80. Is. 17. P. 1–27.

Boudreau J.W., Ramstad P.M. Strategic I/O Psychology and the Role of Utility Analysis Models [Электронный ресурс] // CAHRS Working Paper Series. Paper 57. 2002. URL: http:// digitalcommons.ilr.cornell.edu/cahrswp/57 (дата обращения: 19.02.2012).

Christian M.S., Edwards, B.D., Bradley J.C. Situational Judgment Tests: Constructs Assessed and a Meta-analysis of their Criterion-related Validities // Personnel Psychology. 2010. Vol. 63. Is. 1. P. 83–117.

Cohen J. Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Mahwah, NJ: Lawrence Erlbaum Associates, 1988.

Guidelines and Ethical Considerations for Assessment Center Operations // International Journal of Selection and Assessment. 2009. Vol. 17. Is. 3. P. 243–253.

Holling H. Utility Analysis of Personnel Selection: An Overview and Empirical Study Based on Objective Performance Measures // Methods of Psychological Research Online. 1998. Vol. 3. Is. 1. P. 5–24.

Lievens F., Anseel F. Creating alternate in-basket forms through cloning: Some preliminary results // International Journal of Selection and Assessment. 2007. Vol. 15. Is. 4. P. 405–411.

Lievens F., Peeters H., Schollaert E. Situational Judgment Tests: A Review of Recent Research // Personnel Review. 2008. Vol. 37. Is. 4. P. 426–441.

Lievens F., Tett R.P., Schleicher D.J. Assessment Centers at the Crossroads: Toward a Reconceptualization of Assessment Center Exercises // J.J. Martocchio, H. Liao (eds.). Research in Personnel and Human resources Management. 2009. Bingley: JAI Press. P. 99–152.

Lievens F., Van Keer E., Volckaert E. Gathering Behavioral Samples Through a Computerized and Standardized Assessment Center Exercise: Yes, It Is Possible // Journal of Personnel Psychology. 2010. Vol. 9. Is. 2. P. 94–98.

McDaniel M.A., Hartman N.S., Whetzel D.L., Grubb W.L. Situational Judgment Tests, Response Instructions, and Validity: a Meta-analysis // Personnel Psychology. 2007. Vol. 60. Is. 1. P. 63–91.

Picard R.R., Cook R.D. Cross-Validation of Regression models // Journal of the American Statistical Association. 1984. Vol. 79. Is. 387. P. 575–583.

Schmidt F.L., Hunter J.E. The Validity and Utility of Selection Methods in Personnel Psychology: Practical and theoretical implications of 85 years of research findings // Psychological Bulletin. 1998. Vol. 124. Is. 2. P. 262–274.

Schippmann J.S., Prien E.P., Katz J.A. Reliability and Validity of In-Basket Performance Measures // Personnel Psychology. 1990. Vol. 43. Is. 4. P. 837–859.

Shadish W.R., Cook T.D., Campbell D.T. Experimental and Quasi-experimental Designs for Generalized Causal Inference. Boston, MA: Houghton-Mifflin, 2002. ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2012. Т. 2. №1 www.orgpsyjournal.hse.ru 41

Smith M. Calculating the Sterling Value of Selection // Guidance and Assessment Review. 1988. Vol. 4. Is. 1. P. 6–8.

Tabachnick B.G., Fidell L.S. Using Multivariate Statistics. Fifth Edition. Pearson International Edition, 2007.

Thornton III G.C., Rupp D.E. Assessment centers in human resource management: strategies for prediction, diagnosis and development. Lawrence Erlbaum Associates, 2006.

Wagner R.K., Sternberg R.J. Tacit Knowledge: Its Uses in Identifying, Assessing, and Developing Managerial Talent // Applying Psychology in Business: The Manager’s Handbook / Ed. by J. Jones, B. Steffy, D. Bray. New York: Human Sciences Press, 1991. P. 333–344.

 

ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2012. Т. 2. №1. С. 42–57

www.orgpsyjournal.hse.ru