Creating a web Platform for Adaptive Testing of students in mathematical disciplines

 

       Abstract: Currently, the process of digitalization affects all spheres of public life, in particular, education. This paper discusses the use of adaptive testing systems to assess the level of knowledge of students, also presents a mathematical model for the implementation of this technology and a description of the system being developed.

       Key words: adaptive testing, distance education, digitalization, assessment, IRT.

 

       В условиях пандемии и перехода большинства образовательных процессов в дистанционный формат вопросы онлайн-образования приобрели существенную актуальность. Одним из важнейших аспектов образовательной деятельности выделяется процесс оценки и контроля уровня знаний обучающихся. На данный момент существует множество способов проверки уровня знаний, однако они имеют как свои преимущества, так и недостатки. Например, такой вид оценки уровня знаний, как проведение письменных контрольных работ предполагает большие временные затраты на их составление, проведение и последующую обработку результатов. Кроме того, в случае проверки работ преподавателем значимую роль играет человеческий фактор. Данный процесс возможно автоматизировать с помощью систем тестирования, но такие системы и, в частности, технологии тестирования зачастую несовершенны.

       Классическая теория тестирования, которая сейчас применяется при составлении большинства стандартизированных тестов, основана на предположении, что индивидуальный балл тестируемого является суммой его истинного балла и некоторой независимой ошибки. Классический подход при составлении тестов и оценивании результатов достаточно прост и в этом его основное достоинство. Однако существует множество недостатков, в частности, зависимость истинного балла тестируемого от трудности теста, ошибка измерения зачастую принимается одинаковой для всех тестируемых. Соответственно классический подход приводит к тому, что тесты являются недостаточно информативными, а полученные оценки – необъективны и зависят от конкретного теста. [1]

       Исследования показывают, что результаты прохождение стандартизированных тестов у учащихся распределены нормально. [1] Классическая теория тестирования основана как раз на этом предположении. Но в случае малых групп учащихся распределение результатов прохождения испытаний может и не подчиняться нормальному закону, в таком случае данные искусственно нормализуются, чтобы качественно применить методы классического подхода, что дополнительно снижает точность оценивания уровня знаний студентов.

       В связи с этим появилась необходимость в создании нового подхода, и в 50-х годах прошлого века была разработана современная теория тестирования (Item Response Theory, IRT) – набор методов, позволяющих оценить вероятность правильного ответа испытуемых на заданиях разной сложности. Теория используется для того, чтобы задания в тесте адекватно оценивали тестируемые параметры.

       Основным допущением IRT является тот факт, что на правильность решения задания влияют латентные параметры, которые напрямую измерить невозможно. Но измеряемые параметры позволяют с высокой точностью оценить латентные. [4]

       В IRT уровень знаний тестируемого и сложность задания помещаются на одну шкалу, и чем меньше между ними разница, тем информативнее будет задание. [2]

       При использовании современной теории тестирования при составлении тестов, а также при последующей интерпретации результатов, повышается объективность тестирования. Но для этого длина теста должна быть достаточно велика, а при использовании стандартизированных тестов велика вероятность снижения точности оценивания, если сложность задания существенно отличается от уровня способностей ученика. [3] В связи с чем в 80х годах начинает развиваться теория компьютерного адаптивного тестирования. [6] При адаптивном подходе каждое задание в тесте подбирается так, чтобы соответствовать уровню способностей тестируемого, благодаря чему не только повышается качество и точность оценивания, но и существенно снижается необходимая длина теста. Процесс адаптивного тестирования схож с устным экспертным опросом, где уровень знаний обучающегося определяется его ответами на последовательность вопросов, подбираемых экспертом таким образом, что каждый следующий вопрос зависит от ответа обучающегося на предыдущий. Другими словами, эксперт оценивает уровень знаний обучающегося, исходя из его ответа на вопрос конкретной темы и конкретной сложности. Однако экспертный опрос является субъективным и трудозатратным процессом оценки уровня знаний обучающегося, кроме того, повсеместная компьютеризация и цифровизация задает тренд перехода к автоматизированным системам. Из этого можно сделать вывод, что система адаптивного тестирования позволяет со стороны оценивающего исключить человеческий фактор как элемент, играющий огромную роль в процессе проведения устного опроса, а также уменьшить временные затраты на процесс оценки уровня знаний как со стороны оцениваемого, так и со стороны оценивающего. В последнее время технология адаптивного тестирования как система оценивания вызывает всё больший интерес.

       На данный момент во всем мире существует не так много систем, реализующих подобную технологию. Был проведен сравнительный анализ всех доступных на данный момент систем (прил.1) и сделаны следующие выводы:

1. В Российской Федерации отсутствует сервис, который может предоставить подобную технологию тестирования. Сервисы, разработанные в Российской Федерации (Stepik и StudyX) имеют простой алгоритм подборки заданий, а вычисление параметров и сложности заданий в них вовсе не предусмотрено, что снижает точность полученных оценок уровня знаний обучающихся. В то же время, данные платформы имеют удобный и интуитивно понятный интеРФейс, что позволяет составителям тестов без проблем составить нужный банк заданий.

2. Зарубежные разработки предоставляют сложные алгоритмы и мощную статистико-аналитическую базу. Тем не менее, в многих системах отсутствует возможность создать свой банк заданий, вместо этого предлагается использовать уже готовые банки заданий с рассчитанными статистиками. Данный подход удобен с точки зрения уменьшения временных затрат на составление собственного банка заданий, однако задания могут не подходить под программы дисциплин, имеющиеся в конкретном учебном заведении. Также платформы, предоставляющие готовые тесты, по большей части ориентированы на психологические исследования. Доля тестов, предоставляющих возможность оценки уровня знаний, минимальна.

       В данной работе мы рассматриваем математическую модель системы компьютерного адаптивного тестирования по математическим дисциплинам, в основе которой лежит двухпараметрическая модель Бирнбаума:

Где b_i – оценка сложности задания, θ – оценка уровня способностей испытуемого, а i – номер задания,  – вероятность решения учеником со способностями θ задания i. К оценке сложности задания и способностей тестируемого добавляется оценка разрешающей способности задания. Параметр, который определяет способность задания дифференцировать тестируемых с разными уровнями способности. Соответственно, чем выше разрешающая способность задания, тем быстрее получится достаточно точно оценить уровень способности тестируемого и отделить более способных учащихся, от менее способных. [5]

       Если посмотреть на вид функции, то можно увидеть, что при стремлении разницы между оценкой уровня знаний студентов и сложностью задания к нулю вероятность решения студентом этого задания стремится к 0,5. Т.е. именно в этом случае сложнее всего определить решит ли студент задание. А значит, именно такое задание подойдет для проверки уровня знаний студента. Если разница будет велика, то можно с большой уверенностью утверждать решит или не решит студент такое задание, соответственно информативность такого задания существенно снижается.

       Математические дисциплины были выбраны по нескольким причинам. Основной является простота формы вопроса и записи ответа, а кроме этого, относительная относительно остальных дисциплин легкость в экспертном установлении уровня сложности, которое потребуется на начальном этапе запуска платформы.

       Эффективность системы адаптивного тестирования зависит не только от качества математической модели, которую мы рассмотрим в данной работе, но и от наполненности и упорядоченности банка заданий. Мы выбрали следующий подход в наполнении банка: преподаватель загружает задания, которые хочет дать студентам в качестве домашнего задания, определяет для них тему и подтему, экспертно оценивает сложность заданий и балл за всю работу. После того, как по каждому заданию будет собрано достаточно статистики, можно рассчитать их сложность уже более точно и добавить в банк. [4]

       В банке у каждого задания должны быть оценены сложность и разрешающая способность. Данная процедура проводится итерационно методом максимального правдоподобия. Для того чтобы оценить параметры заданий следует провести ряд предварительных тестов, на начальных этапах это могут быть работы, написанные студентами до внедрения платформы, после – результаты домашних линейных тестов. Полученные матрицы ответов будут использованы при применении метода максимального правдоподобия.

       Рассматриваемая система будет иметь три уровня доступа: ученик, преподаватель и администратор. Ученик, заходя через свой личный кабинет, будет иметь возможность проходить тесты из разделов домашних заданий и контрольных работ. Домашние задания будут составляться преподавателем, это тестирование будет проводиться без привлечения адаптивного подхода, для наполнения банка заданий. Контрольные работы будут проводиться адаптивно, из банка с рассчитанными параметрами сложности и разрешающей способности. В личном кабинете преподавателя будет возможность добавить задание для домашнего теста, через интеРФейсную загрузку, а также дать обучающимся доступ к адаптивной контрольной работе по необходимой теме. В функции администратора входит наполнение банка заданий для адаптивного тестирования: когда по заданиям, которые давались учащимся в качестве домашнего теста, набирается достаточное количество статистика, администратор принимает решение о добавлении этих заданий в адаптивный банк и отправляет задания на расчет параметров. Такой подход к наполнению банка обеспечит достаточное количество заданий, их постоянное обновление, а контроль со стороны администратора станет залогом отсутствия повторяющихся и не соответствующих теме заданий.

       Данное исследование открывает широкие горизонты для развития образования в целом. Такая система может быть в дальнейшем внедрена в единую платформу непрерывного образования, что обеспечит индивидуальный подход к оценке уровня знаний на всех ступенях образовательного процесса человека, тем самым делая переход от одной ступени к другой более гибким. 

 

       Список литературы:

1. Нейман Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Нейман Ю.М., Хлебников В.А. - Москва: Прометей, 2000. - 168 с.

2. Irina N. Maslyakova ITEM RESPONSE THEORY AND DEVELOPING SCALES FOR E-LEARNING // International Conference on Education Development and Studies (ICEDS 2020). С. 14-17.

3. Maksim Babushkin, Ekaterina Troneva CREATING A MODEL OF ASSESSMENT OF MATHEMATICAL EDUCATION QUALITY ON THE EXAMPLE OF PLEKHANOV RUSSIAN UNIVERSITY OF ECONOMICS // International Conference on Education Development and Studies (ICEDS 2020). С. 27-30.

4. Margaret Wu Educational Measurement for Applied Researchers Theory into Practice // Margaret Wu, Hak Ping Tam, Tsung-Hau Jen. - Springer, 2016 - 312 c.

5. TOM E. TRABIN DAVID J. WEISS The Person Response Curve: Fit of Individuals to Item Response Theory Models // NEW HORIZONS IN TESTING Latent Trait Test Theory and Computerized Adaptive Testing - Minnesota 1983

6. Wim J. van der Linden Elements of Adaptive Testing / Wim J. van der Linden, Cees A.W. Glas (Eds.) - Springer, 2010 - 433 с.

 

Приложение 1. Сравнительная характеристика цифровых образовательных систем.

Название	ИнтеРФейс ввода заданий	IRT	Доступ к исходному коду	Коммерческая/открытая	Доступна в РФ
Concerto	Да	Да	Да	Открытая	Демо-версия
Assess.ai	Нет	Да	Нет	Коммерческая	Нет
FastTest	Нет	Да	Нет	Коммерческая	Нет
EvalGround	Нет	Да	Нет	Коммерческая	Нет
StudyX	Да	Нет	Нет	Коммерческая	Да
Stepik	Да	Нет	Нет	Коммерческая	Да
McCann College Success	Нет	Да	Нет	Коммерческая	Нет

 

Рыленков Д.А

Научный руководитель : Карпов Д.С

РЭУ им. Г. В. Плеханова