Нормативно- и критериально-ориентированные тесты. Стандартизация. Стратификация выборки.

В основе разделения тестов на КОрТ (критериально-ориентированные) и НОрТ (нормативно-ориентированные) лежит двоякое понимание нормы. В первом случае норма определяется "априорно", то есть до проведения исследования. Такая норма задаётся внешними критериями, представлениями о том, что должен знать и уметь испытуемый. Во втором случае норма определяется эмпирически, то есть после проведения исследования. Получая распределение результатов, исследователь распределяет их по категориям: "норма", "выше нормы", "ниже нормы" и т.п.

Критериально ориентированные тесты предназначены в основном для работы с индивидуальным клиентом, так будто других в выборке нет. Здесь не ставятся цели посмотреть лучше или хуже результаты данного испытуемого, добился он или нет каких-то конкретных успехов.

Нормативно ориентированные тесты предназначены в основном для работы с группами испытуемых, в котором важно сравнить их между собой.

Обычно разного рода тесты способностей строго делятся на КОрТ и НОрТ. При их разработке используются разные технологии. Но иногда КОрТ можно использовать как НОрТ, особенно если результаты исследований показывают нормальное (колоколообразное) распределение.

Относительность норм и выборка стандартизации. Тестовых норм, пригодных для интерпретации результатов всех учащихся по лю­бым тестам; не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью ис­пытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент созда­ния теста и подлежат систематическому, обновлению и перепро­верке.

К нормам предъявляют следующие требования:

- нормы должны быть дифференцированными. Например, тес­ты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего полу­чатся, скорее всего, существенно различающиеся нормы;

- нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из со­временной ситуации в образовании;

- нормы должны быть репрезентативными, поэтому они все­гда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной – для ЕГЭ, муниципальной – для аттестации школ, внутришкольной – для аттестации учащихся в школе).

«Норма» – относительное понятие, тесно связанное с каче­ством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стан­дартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные –объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

Стратификация выборки. Для равномерного представления раз­личных групп учащихся в популяции испытуемых используют спе­циальный процесс – стратификацию. Стратификация – расслое­ние выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности учащихся [38]. Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с переменной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где рас­положена школа, ее принадлежность к числу сельских или город­ских школ и т.д.

Наличие многих факторов стратификации, необходимость ана­лиза пропорций генеральной совокупности испытуемых, прове­дение апробационного тестирования для определения норм дела­ют работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нор­мами с помощью IRT, банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.