Разделение процесса тестирования на 2 этапа

В соответствии с концепцией, предложенной проф.В.Васильевым, процедура оценивания уровня учебных достижений осуществляется в два этапа.

На первом этапе в результате тестирования происходит разделение испытуемых на классы, т.е. определяется класс обученности (образ) каждого студента. Этот этап носит название классификации. Количество классов обычно равно 3, в соответствии с полученными оценками: «удовлетворительно», «хорошо», «отлично». Студенты, не попавшие ни в один из классов, получают оценку «неудовлетворительно». Здесь тестируемым предъявляются тестовые задания различной меры трудности и осуществляется структурная адаптация тестирующих воздействий. В зависимости от принятой в учебном заведении системы оценивания количество классов может быть другим. Но при этом необходимо отметить, что с увеличением количества классов понижается точность оценивания. На этапе классификации устанавливается исходный уровень обученности каждого образа.

На втором этапе – рациональной аттестации - вычисляется действительный уровень учебных достижений студента, т.е. происходит уточнение состояния обученности студента. В процессе тестирования на данном этапе испытуемому предъявляются только те задания, которые соответствуют его исходному уровню знаний, полученному в результате классификации (на первом этапе).

В результате разделения процесса тестирования на два этапа повышается верность оценивания.

Рекомендуется эти два этапа разносить во времени, так как известно, что с увеличением времени работы (а для испытуемого тестирование пока еще остается работой в экстремальных условиях с повышенной психоэмоциональной нагрузкой) у тестируемого накапливается усталость, обуславливающая появление ошибок и как следствие, снижается верность оценивания уровня учебных достижений.

Еще одним преимущество такого подхода к организации процесса тестирования заключается в том, что при использовании адаптивных алгоритмов тестирования точнее достигается заданная валидность теста. Большинство алгоритмов КАТ основываются на IRT-теории, которая допускает, что вся информация, необходимая для отбора заданий, представлена от одного до трех параметров, описывающих трудность задания для индивидов с различными уровнями достижений. В некоторых случаях при адаптивном тестировании не уделяется должного внимания ровному (включения заданий всех уровней трудностей) прохождению по всем темам или умениям. Устранить этот недостаток КАТ позволяет разбиение процесса тестирования на два этапа.

Существенными отличительными чертами компьютерного адаптивного тестирования (КАТ) являются: идеализация объекта измерений (студента) с представлением его в виде некоторой математической модели (Раша или Бернбаума) и оценка числовых значений параметров этой модели. При дидактических измерениях уровня достижений следует различать три вида ошибок: ошибку моделирования объекта, ошибку обработки заключений тестируемого на требование тестовых заданий, ошибки при установлении экспертами меры трудности тестовых заданий.

Ошибки моделирования объекта измерений состоят в том, что принимаемая модель неполностью отображает состояние обученности тестируемого. Мы будем полагать, что принятая в системе КАТ модель Раша полностью описывает процесс оценивания уровня достижений.

Ошибки, допускаемые при конструировании тестовых заданий преподавателями должны быть устранены экспертами на этапе сертификации и также исключаются нами из рассмотрения. Заметим, что в системе КАТ этот вид ошибок автоматически корректируется системой в процессе параметрической адаптации (на этапе рациональной аттестации).

Ошибки, порождаемые поведением тестируемых, присутствуют во всех видах дидактических измерений, носят случайный характер и делятся на две категории: нормальные и аномальные. Нормальные ошибки возникают под воздействием на тестируемого многих факторов, а их распределение в силу действия предельной теоремы для сумм близко к нормальному. Следует помнить, что в соответствии с теорией IRT мера трудности тестовых заданий должна соответствовать уровню обученности тестируемого. В противном случае возникают аномальные ошибки, которые могут принимать большие значения и искажать результаты тестовых испытаний.

Для исключения аномальных ошибок в системах КАТ применяются структурная адаптация, когда мера трудности тестирующих воздействий приспосабливается системой к качеству заключений каждого объекта. При этом в тестирующей системе формируется модель конкретного объекта, которая и характеризует исходный уровень достижений индивида. Это и есть этап классификации объектов, когда каждый из них относится системой КАТ к заданному образу (отличников, хорошистов, троечников).

На этапе классификации тесты формируются из тестовых заданий различной меры трудности (допускается использование не только адаптивных алгоритмов, но и апробированных тестов, формируемых в строгой последовательности заданий, случайным образом, по возрастанию меры трудности), а число предъявляемых тестовых заданий должно быть не менее 100. Задания должны проектироваться в виде кратких суждений, причем среднее время формирования тестируемым заключения на одно тестовое утверждение не должно превышать 1,5 минут. Оценка достижений тестируемого отображается на 100-бальной шкале.

Процедура классификации соответствует проведению текущих (модульных, рубежных) проверок и может осуществляться в локальной или глобальной вычислительной сети без участия преподавателя. При использовании адаптивных алгоритмов испытуемый работает в свободном режиме со свойственной только ему траекторией построения собственной модели (исходного класса обученности).

Второй этап тестовых испытаний (рациональная аттестация) необходим для установления действительного уровня учебных достижений каждого конкретного испытуемого. Поскольку исходный уровень обученности был установлен на первом этапе тестовых проверок, система будет предъявлять испытуемому тестовые задания, мера трудности которых строго соответствует его уровню обученности. Этот этап соответствует процедуре проведения промежуточных проверок – семестровых экзаменов. Число заданий в тесте для испытуемого с различным исходным уровнем обученности должно быть не менее 80. Оценка достижений испытуемого отображается на 100-бальной шкале. Верность полученной оценки при выполнении указанных выше условий составит величину 0,85. Для увеличения верности отображения состояния обученности испытуемого необходимо увеличивать число заданий в тесте.

Рациональная аттестация испытуемых проводится в локальной вычислительной сети в присутствии преподавателя или администратора или лаборанта.

Шкала оценивания устанавливается априорно и не изменяется в течение учебного года. Это позволяет объективно сравнивать уровень учебных достижений студентов на различных факультетах или в различных группах.

После проведения текущей и промежуточной проверок результаты тестовых испытаний выводятся на печать. Ошибочные заключения каждого тестируемого на требования тестовых заданий хранятся в системе КАТ не менее пяти лет.

 

Порядок разработки тестов

1. Формулировка цели создания теста и выбор результата проверки (на какой стадии педагогического контроля будет использоваться, будет основным средством контроля или вспомогательным, каков уровень освоения информации будет оцениваться, необходимость тестирования интеллектуального фона и т.д.).

Организационные мероприятия:

• Принятие решения о создании программно-дидактических тестов по конкретному курсу обучения, отдельно взятой дисциплине. В решении Ученого Совета института должна быть зафиксирована информация: цели создания семейства тестов, курс обучения.
• Создание авторского коллектива по разработке тестовых материалов.
• В том случае, когда в составе авторского коллектива отсутствуют специалисты, знакомые с основами компьютерного тестирования, необходимо организовать курсы по обучению участников авторского коллектива основам составления тестов и тестовых заданий.
• Создание Экспертной комиссии по оценке качества тестовых материалов. В состав комиссии должны входит профессионалы предметной области.

2. Структурирование учебного материала в соответствии с поставленными целями тестирования.

3. Разработка спецификации банка тестовых заданий.

4. Разработка авторским коллективом тестовых заданий (или подбор материала из готовых заданий). Количество разрабатываемых заданий должно превышать предполагаемую длину теста (планируемое количество заданий в тесте) как минимум в 10 раз. При проектировании заданий необходимо учитывать равномерное распределение заданий по структуре, трудности и важности материала.

5. Разработка композиции теста и оценка его валидности.

6. Экспертиза теста и тестовых заданий. Выработка рекомендаций по доработке тестовых материалов или принятие решения о готовности тестовых материалов для дальнейшей работы (ввода заданий в автоматизированный банк данных).

7. Формирование и заполнение банка тестовых заданий.

8. Тщательная проверка правильности ввода информации. При необходимости выполнить коррекцию.

9. Задание параметров генерации теста, исходя из целей тестирования. На основе одного банка тестовых заданий может быть сформировано несколько тестов, отличающихся не только составом заданий, но и параметрами тестирования (временные ограничения, длина теста, способ оценивания результата, включение материала различной направленности и т.д.). Задать предварительную шкалу оценивания.

10. Экспериментальная проверка теста и анализ результатов тестирования с целью предварительной оценки качества заданий и коррекции шкалы оценивания результатов тестирования. Экспериментальное тестирование рекомендуется проводить на среднестатистической (по уровню успеваемости) группе студентов.

11. На основании результатов экспериментального тестирования выполнить:

• модификацию заданий (коррекция содержательной части задания);
• изменить (если возникает необходимсоть) шкалу оценивания;
• коррекцию параметров генерации теста.

12. Сертификация тестовых материалов

 

Особенности АСТ

Банк тестовых заданий может быть структурирован по нескольким критериям:

• Принадлежность к теме
• По признаку проверяемых знаний.

Требования к структуре Банка тестовых заданий (БТЗ)

· БТЗ должен быть структурирован по тематике. Структура БТЗ может быть многоуровневой. Каждое тестовое задание может иметь маркировку только одного элемента каждого уровня структуры.

· Тематическая структура БТЗ должна строго соответствовать своему назначению и отвечать заданной величине содержательной валидности.

Пример 1.

Английский язык

1. Grammer

1.1 Глагол to be

1.2 глагол have

1.3 глагол do

1.4 Местоимения (притяжательные и личные в объектном падеже.

1.5 Вопросительные предложения и способы ответа на них.

1.6 Безличные предложения

1.7 местоимения some, any и их производные.

1.8 способы выражения отрицания

1.9 Степени сравнения прилагательных

1.10 Построение отрицательных предложений

1.11 построение вопросительных предложений.

2. Vocabluary

2.1 подбор английских лексических соответствий русским словам

2.2 подбор русских лексических соответствий английским словам

2.3 подбор нужного лексического элемента в контексте

2.4 выбор соответствующего предлога в контексте

Пример 2.

Физика

I. Молекулярная физика. Тепловые явления

I.1. Основы молекулярно-кинетической теории

I.2. Тепловые явления

I.3. Жидкости и твердые тела

II. Основы электродинамики

II.1. Электростатика

II.2. Законы постоянного тока

II.3. Магнитное поле. Электромагнитная индукция

III. Колебания и волны

III.1. Механические колебания и волны

III.2. Электромагнитные колебания и волны

III.3. Оптика

III.4. Элементы специальной теории относительности

IV. Квантовая физика

IV.1. Световые кванты

IV.2. Атом и атомное ядро