Параметры оценивания ответов

(1) Объективность versus субъективность оценивания. Этот момент касается в основном тех тестов, в которых используются задания на самооценку. Будет ли ответ испытуемого оцениваться так, как это предполагается инструкцией или каким-либо неизвестным для него образом? В этом нет никакого обмана для испытуемых. Например, объективным тестом является тест критических оценок (Critical Evaluations Test, Т8, Cattell и Warburton (1967)). В нем испытуемых просят указать, является ли определенная производительность труда, – например, если у официантки уходит десять минут на то, чтобы принести шесть порций на столик, – очень хорошей, хорошей, плохой, очень плохой. А в этом тесте между прочим определяется количество критических оценок. Субъективное содержание заданий не имеет отношения к оценке. Таким образом, этот тест, внешне напоминающий опросник, является, фактически, полностью объективным, как это и определено в начале данной главы. Разумеется, все те тесты, которые будут обсуждаться в этой главе, являются объективными в смысле этого первого параметра.

(2) Целостное поведение (весь организм) versus физиологическая реакция (часть организма). Типичной физиологической реакцией может быть покраснение от смущения или тремор.

(3) Измерение одного возможного ответа versus классификация разнообразных ответов (параметрическое оценивание versus непараметрическое). Параметрически измеряются такие особенности ответа: время, количество ошибок, повторений. Непараметрически раскрывается количество и разнообразие классов ответов. В этом смысле многие тесты на креативность оцениваются непараметрически.

(4) Общее количество ответов versus часть, соответствующая некоторому критерию. Это пересекается с описанным выше третьим параметром, поскольку, как указывают Cattell и Warburton, различные оценки могут быть любой из указанных здесь категорий.

(5) Единый однородный показатель versus разнотипные относительные показатели. Определить единый показатель можно только тогда, когда тест оценивается в целом, как в случае личностных опросников. Разнотипные относительные показатели могут определяться в следующих формах: различия во времени выполнения первой и второй частей теста; запоминание материала при обычных условиях и при отвлекающих обстоятельствах. И, наконец, Cattell и Warburton добавили шестой параметр: (6) Нормативное оценивание versus ипсативное (личностное). Однако этот параметр, по-видимому, представляет совершенно иной тип классификации, чем та, о которой шла речь выше, так как он оказывает влияние на все тесты и более правильно было бы отнести его к области стандартизации, а не конструирования тестов. Если мы примем в рассмотрение и этот параметр, у нас получится 2⁶ возможных типов оценивания ответов.

Таким образом, выделенные параметры, связанные со стимульно-инструктивной ситуацией и оцениванием ответов, позволят нам конструировать тесты любого типа. Однако, такой подход, хотя и является полезным, все же не может помочь нам в том, что касается содержания объективных тестов. Кроме того, показано, что потенциальное количество типов объективных тестов действительно огромно: 2¹³x2⁶, что значительно больше 50000. Многие из них, однако, нежизнеспособны, но даже при этом их количество все еще слишком велико. Выделенные параметры указывают, до какой степени могут различаться задания каждого возможного типа объективных тестов, которые проходили испытания. Мы никогда не будем испытывать недостатка в заданиях!

Для использования в практике конструирования объективных тестов эта классификационная схема должна быть сокращена. Кэттелл и Уорбертон подчеркивают, что особую важность имеют шестьдесят четыре варианта, полученные из трех наиболее важных ситуаций и параметров оценивания, генерирующих по восемь возможных вариантов. Огромное количество тестов в их сборнике не покрыло все шестьдесят четыре типа, так что такая краткая версия таксономии тестов также еще оставляет пространство деятельности для творческого разработчика тестов. Такая таксономия, основывающаяся на характеристиках тестов, может помочь разработчику создавать разнообразные тесты, но есть одна основная трудность: как мы узнаем, что созданные средства измерения будут измерять, например, переменные темперамента, а не другие? Иными словами, как нам получить тест для измерения темперамента, а не, например, способностей? Данная таксономия в этом помочь не может, и разработчику тестов нужна дальнейшая информация.

Различия между объективными тестами способностей, темперамента и динамики (мотивов)

Один из методов определения того, что же измеряют объективные тесты, – подвергнуть их факторному анализу вместе с хорошо известными отличительными переменными (маркерами) этих трех модальностей (способностей, темперамента, мотивов). С помощью факторного анализа будет выяснено, переменные какой модальности измеряет данный тест. Однако, хотя это и эффективная процедура, необходимая до реального использования любого объективного теста, она не указывает нам, как можно сконструировать тест нужного нам типа. Это лишь адекватное средство проверки, но не руководство для конструирования тестов.

Cattell и Warburton (1967) посвятили обсуждению этой проблемы довольно много места, а здесь мы лишь кратко подытожим их рассуждения, поскольку они обеспечивают некоторое рациональное основание для выбора содержания заданий (в дополнение к таксономии, призванной помочь в выборе формы тестов).

(1) Различаются два вида ситуаций (ситуационализм, фактически, не является противоположностью психологии черт): побуждающие (incentives) и связанные с осуществлением действия (complexities).

(2) При изменении побудителей (incentives) изменяются показатели динамических тестов. При изменении деятельностей (complexities) изменяются также показатели тестов способностей. Тесты темперамента включают все остальные ситуации.

(3) Определение побудителей (incentives): побудители порождают стремление к некоторой цели и являются символом цели или удовлетворения от достижения цели, что само по себе может быть выявлено только анализом этого процесса. Это статистический анализ последовательности поведения во времени. Данная последовательность является набором действий, ведущих к достижению цели. Побуждающая ситуация, таким образом, распознается по ее отношению к цели (то есть по общим колебаниям в силе стремления и постоянству доминирования). Kline и Grindley (1974) действительно показали именно такие флуктуации между динамическими измерениями и ситуациями.

(4) Определение деятельностей (complexities). Когда побудители в данных обстоятельствах уже распознаны, можно определить и деятельность: это все то, что не является побудителем.

(5) Конечно, на практике это означает, что измерение динамики и способностей тесно взаимосвязано. Однако, могут быть получены относительно "чистые" средства измерения для каждой из этих областей. Например, если бы у нас были очень простые средства измерения способностей, то различия в показателях отражали бы не способности, а динамику (например, насколько испытуемые старательно выполняют задание). Таким образом, можно так управлять уровнями деятельностей и побудителей, что объективные тесты могут стать практически ''чистыми" средствами измерения каждой модальности.

(6) Нет необходимости говорить, что все тесты, сконструированные таким образом, должны быть подвергнуты проверке при помощи факторного анализа. Нужно убедиться, что то, что они измеряют, соответствует тому, что от них ожидали. Все тесты, предположительно измеряющие способности, должны дать близкие результаты, то же касается измерения мотивационных, динамических переменных.

С этим логическим обоснованием, с различиями между побудителями и деятельностями, у разработчика объективных тестов уже есть некоторое руководство, по крайней мере относительно выявления того, что его тесты измеряют, хотя все они по-прежнему должны подвергаться последующей проверке факторным анализом.

Однако, как сейчас должно быть очевидно читателю, эти принципы и таксономии интересны и, возможно, могут явиться стимулом к работе, но, вероятно, слишком абстрактны для практического использования при конструировании реальных тестов. Cattell и Warburton (1967), осознавая это, в своей работе чистосердечно признают, что при конструировании объективных тестов им помогало лишь интуитивное предвидение, основанное на значительном опыте исследований в этой области. Это мы сейчас кратко и обсудим.

Практические советы для разработки объективных тестов личности и мотивов

Следует избегать следующих пяти ошибок, которые Cattell и War-burton (1967) у поминают как распространенные среди любителей, и о которых необходимо знать, прежде чем приступать к работе по конструированию объективных тестов.

(1) Не останавливайтесь на очевидно валидных заданиях из опросников.

(2) Не применяйте задач или заданий-головоломок (загадок). С их помощью вы скорее всего будете измерять факторы способностей.

(3) Не возлагайте слишком большие надежды на "стрессовую ситуацию". Как утверждают Cattell и Warburton (1967), это может сработать для выявления агрессии или страха, но ведь есть еще и другие эмоции.

(4) Эстетические и стилистические предпочтения могут эффективно выявить лишь некоторые аспекты личности. Однако, будет абсурдом ожидать, что такие тесты выявят все возможные аспекты. Нужно учитывать тот очевидный факт, что на ответы по этим тестам влияют уровень образования и культуры.

(5) Избегайте упрощенных способов использования проективных тестов. Wenig (1952) показал, что такие тесты диагностируют весьма широкий комплекс параметров, требующий факторно-аналитического исследования.

(6) Используйте задания-вопросы, точно соответствующие определенным типам поведения.

Вышесказанное является основой для создания эффективных объективных тестов.

Решение некоторых общих проблем, связанных с объективными тестами

Существует ряд проблем, из-за которых интерпретация показателей любого теста (не только объективного) может стать сомнительной, и их следует учитывать при конструировании объективных тестов. Подробное обсуждение этих проблем, к которому можно отослать читателей, представлено в книге Cattell и Warburton (1967). Кратко подытожим те положения, о которых идет речь в этой работе.