Нормативно-ориентированный подход.

стандартизация теста

В рамках первого, нормативно-ориентированного, подхода раз­рабатываются тесты для сравнения учеников по уровню учебных достижений. Сравнимость достигается путем сопоставления ре­зультата каждого учащегося с результатами других, выполнявших тот же самый тест. Сообразно двум подходам к интерпретации ре­зультатов тестирования выстраиваются два подхода к созданию педагогических тестов. Оба они перспективны и важны, имеют свою сферу применения, свои преимущества и недостатки.

В нормативно-ориентированном подходе при интерпретации результатов возникают определенные трудности, так как от­носительная позиция испытуемого может быть неточно или даже неправильно определена. Очевидно, что испытуемый будет выг­лядеть лучше на фоне более слабой, чем более сильной группы. Например, можно высоко оценить знания ученика, выполнивше­го правильно в тесте всего 30 заданий из 60 в том случае, если груп­па слабая и 70%, а то и 80% испытуемых группы сделали меньшее число заданий теста. Тот же самый результат ученика, но в дру­гой, сильной группе будет отнесен к категории довольно низких, если только 10—20% испытуемых группы сделали правильно 30 заданий, а все остальные значительно превысили этот результат. В этой связи возникает вопрос об истинной оценке результата каждого учащегося, выполнившего тест.

Многолетние попытки получить ответ на этот вопрос привели к идее установления норм, т. е. системы показателей, отражающих результаты выполнения теста большой группой (выборкой) испы­туемых [5]. Нормы нельзя придумать или задать априорно, они ус­танавливаются эмпирически. Например, для школьных итоговых тестов нормы выбирают сообразно тому, как выполняет тест пред­ставительная выборка учеников. К числу наиболее важных показа­телей обычно относят средний уровень выполнения и вариатив­ность результатов выборки.

Процесс определения норм называется стандартизацией теста. Стандартизация осуществляется на представительной или, как го­ворят специалисты, репрезентативной выборке испытуемых, про­цесс формирования которой является обязательным моментом при определении норм теста. По окончании стандартизации у педагога появляется возможность сравнить тестовый балл каждого испыту­емого с установленными нормами и таким образом оценить место результата каждого ученика в распределении баллов нормативной выборки по тесту. Подсчет показателей достаточно прост. При на­личии определенных навыков и репрезентативной группы учени­ков определение норм либо их уточнение может быть осуществле­но любым разработчиком или пользователем теста. (Примеры подсчета показателей будут рассмотрены дальше в гл. 5.)

В процессе сравнения индивидуальных баллов учеников с нор­мами выполнения теста первичный результат каждого испытуемого обычно переводится в некий относительный, производный показа­тель, позволяющий несколько расширить возможности интерпре­тации результатов выполнения теста.

Таким путем можно повысить сопоставимость баллов и сделать выводы о достижениях испытуемых по набору тестов, имеющих разные нормы их выполнения. Однако здесь легко допустить ошиб­ку. Относительная позиция испытуемого в тестах по различным дисциплинам может быть неверно интерпретирована из-за несо­поставимости тестовых норм, возникающей при стандартизации тестов на различных по подготовке выборках. Например, ошибоч­ным будет результат сравнения оценок ученика по курсу химии и по математике, если один из этих тестов проходил стандартизацию на выборке московских школьников, а другой — на выборке школь­ников Краснодара либо на любой другой по подготовке выборке школьников той же Москвы.

Понятно, что разные выборки дают разные нормы, и потому при сравнении результатов ученика по разным тестам легко полу­чить неправильный ответ. Таким образом, сопоставимость резуль­татов испытуемого по различным тестам или групп испытуемых достигается далеко не всегда, а только в том случае, если для стан­дартизации тестов использовались сходные нормативные выбор­ки, обеспечивающие сопоставимость норм различных тестов.

Стандартизация предполагает единообразие не только оценок, но и всей процедуры выполнения теста. Помимо норм разработ­чик должен дать точные указания относительно формы предъяв­ления теста, оптимального времени его выполнения, устных инст­рукций и ряда других деталей, влияющих на результаты выполнения теста. Необходимо указать состав выборки стандартизации и ее осо­бенности, смещающие представления о нормативных результатах в сторону завышения или занижения.

При этом следует иметь в виду, что тестовых норм, пригодных для интерпретации результатов всех учеников, не существует вооб­ще. Область применимости любой нормы ограничивается конкрет­ной совокупностью испытуемых, для которых она вырабатывалась. Поэтому нормы никоим образом не абсолютны и не постоянны. Они просто отражают результаты выполнения теста испытуемыми из выборки стандартизации на момент создания теста и подлежат сис­тематическому обновлению и перепроверке.

При разработке и применении тестовых норм особое внимание обращается на выборку стандартизации. Для обеспечения стабиль­ности значений норм выборка должна быть достаточно большой и представительной. Например, если хотят установить нормы выпол­нения теста по химии для школьников Москвы и Московской об­ласти, то нужно протестировать не менее 200-300 учащихся в каж­дой из нескольких школ, расположенных как в Москве, так и в области, а затем объединить в равных пропорциях все результаты. При этом другая выборка из учащихся этих же школ не должна при­водить к нормам, заметно отличным от предыдущих. Некоторые различия норм, без сомнения, будут существовать, однако они не должны быть слишком велики. В противном случае объем выбор­ки необходимо увеличивать и определять новые нормы до тех пор, пока не наступит их стабилизация.

С точки зрения интерпретации результатов каждого испытуемого нормы мало чего стоят, если они неустойчивы и определены с большой выборочной ошибкой. Поэтому процесс увеличения объема выборки и переопределения норм необходим, и только по его завер­шении есть основания считать, что разработчиком создан стандар­тизованный тест в рамках нормативно-ориентированного подхода. Процесс установления норм занимает довольно длительное время, иногда до нескольких лет. Особенно в тех случаях, когда содержание теста ориентировано на какие-либо специальные знания, степень владения которыми можно проверить одновременно у очень неболь­шой группы учеников.