Эмпирические методы валидизации заданий теста

Тестолога, в отличие от педагога, обычно интересуют иные ас­пекты анализа результатов выполнения теста. Как правило, он стремится к определенным выводам, расставляющим акценты и намечающим приоритеты в работе по созданию и совершенство­ванию теста. Несомненно, работа начинается с подготовки зада­ний, содержание которых по возможности ориентировано на оценку значений концептуально выделенной переменной изме­рения. В большинстве своем задания бывают валидными, особен­но в том случае, когда к их разработке привлекались опытные пе­дагоги с большим стажем работы в школе. Однако, как бы то ни было, валидность следует доказать эмпирически на репрезента­тивной выборке учеников.

По результатам статистической проверки выявляются несос­тоятельные профили ответов на задания и производится удаление из теста невалидных заданий. Если удаление носит не единичный и случайный, а продуманный и закономерный характер, то в це­лом качество теста повышается; Происходит консолидация систе­мы тестовых заданий, постепенно нарастает ее внутренняя связ­ность и целостность, повышается интегративность содержания системы заданий с точки зрения их соответствия концептуально вы­деленной переменной измерения.

От того, насколько хорошо проделана работа по консолидации системы заданий, во многом зависит успех дальнейшего продви­жения к этапу использования теста для оценки знаний учеников. И теория, и практика говорят о том, что после завершения работы над тестом большинство профилей учеников будут правильными либо почти правильными, т.е. инвертированными в незначитель­ной степени. Однако и по готовым тестам отдельные ученики, зна­ния которых слабо структурированы, могут показать явно несос­тоятельные тестовые результаты, которые в любом случае не дают оснований для достоверных выводов об истинных баллах этих от­дельных учеников.

Выявление в инвертированных профилях ответов стоящих не на своих местах элементов образует информационную и мотивационную основы для реализации обучающей функции тестового контроля. Благодаря тестам преподаватель получает объективную информацию, столь необходимую для индивидуализации процес­са обучения. В зависимости от характера и меры инвертированности профилей ответов учеников принимается решение о необхо­димости проведения дополнительных занятий и консультаций, о характере помощи неуспевающим ученикам для улучшения каче­ства их знаний. Таким образом, обучение становится эффективным не на словах, а на деле.

Однако эти формальные рассуждения относятся исключительно к ситуации, когда работа над тестом завершена и педагога интересу­ют только результаты учеников при выполнении теста. В процессе разработки теста нет смысла удерживать в числе результатов несос­тоятельные профили ответов учеников, поскольку они могут внести серьезные искажения при оценке валидности заданий теста. Конеч­но, хорошо, когда несостоятельных профилей встречается не более одного-двух на 50—100 человек в группе тестируемых учеников. В противном случае исключение инвертированных профилей без вся­ких ограничений может негативно отразиться на репрезентативности группы учеников. Поэтому обычно, чтобы избежать различных осложнений с размерами выборки учеников, стараются исключить не более 5% несостоятельных профилей, а все оставшиеся использо­вать при создании теста.

Нередко кажется, что реализовать определенную последова­тельность действий в работе с профилями достаточно сложно из-за их взаимной связи и влияния друг на друга. Действительно, из­менение состава выборки учеников неизбежно отражается и на изменении меры инвертированности профилей ответов на задания теста. И наоборот, любое удаление невалидных заданий может при­вести к возникновению новых несостоятельных профилей учени­ков. Однако трудности эти кажущиеся и носят скорее искусствен­ный, чем явный характер. В основном они порождены попыткой обособленного рассмотрения наблюдаемых результатов выполне­ния теста, когда профили учеников и заданий анализируются в от­рыве друг от друга. На деле профили тесно связаны и проистекают из общего источника, поскольку и профили учеников, и профили заданий являются результатом взаимодействия двух множеств, одно из которых — множество испытуемых, а другое — множество зада­ний теста.

По мнению Б. Д. Райт (B. D. Wright), взаимодействие множеств является наиболее существенным фактором, лежащим в основе правильного понимания идеи тестовых измерений. В результате взаимодействия появляются те наблюдаемые единицы и нули, по которым оцениваются параметры испытуемых и заданий теста. Идея взаимодействия удачно иллюстрируется с помощью рис. 2.8.

По горизонтальной оси откладываются устойчивые оценки па­раметра трудности заданий теста, по вертикальной — истинные баллы тестируемых учеников. Взаимодействие между i-м испытуемым с баллом Q_i и j-м заданием с трудностью b_i порождает наблю­даемый ответ Х _ij который при дихотомической оценке принимает одно из двух значений

 

 

:

 

	1, если ответ i-го ученика на j-е задание правильный
	0, если ответ i-го ученика на j-е задание неправильный