Движение вниз по иерархии ЕК

Если испытуемый не ответил на вопрос currentQ, то задается вопрос с целью выяснения причины такого исхода: либо испытуемый не владеет текущей ЕК, либо – одной из нижележащих ЕК. Поэтому следующий вопрос выбирается среди вопросов, которые ассоциированы с дочерними ЕК (не имеющими никаких пометок) по отношению к ЕК currentC. Как результат из вопросов, ассоциированных с дочерними ЕК, формируется множество SampleQ.

С целью более точного определения причины неудачного ответа на родительский вопрос currentQ из множества SampleQ необходимо выбрать только те вопросы, которые связаны с ним по контексту. Для связанности двух вопросов по контексту предлагается использовать теги. Они могут иметь различную природу; применительно к предметной области «программирование на языке высокого уровня Си» можно использовать ключевые слова языка программирования. Таким образом, в множество SampleQ попадают только те вопросы, которые имеют наибольшее пересечение по тегам с родительским вопросом.

Далее среди вопросов SampleQ выбирается вопрос, уровень сложности которого меньше уровня сложности предыдущего вопроса, т. е. принадлежит интервалу [currentQ.Difficulty + high,currentQ.Difficulty - low], где low и high – минимальная и максимальная убыль сложности вопроса. Если ограничение по уровню сложности не выполняется, то выбирается вопрос, уровень сложности которого наиболее близко соответствует ограничению.

Как результат выбирается очередной вопрос currentQ (и ассоциированная с ним ЕК currentC), который соответствует ЕК более низкого уровня иерархии и который, как правило, характеризуется меньшей сложностью.

Ответ на тестовый вопрос записывается в траекторию тестирования Student.TestTrack. Если ответ оценивается отрицательно, то ЕК currentC и все непомеченные вышележащие ЕК помечаются как неподтвержденные; и продолжается движение вниз по иерархии ЕК до листьев. Тем самым продолжается поиск причины неудачных исходов. При этом может возникнуть ситуация, когда базовая ЕК и все ее родительские ЕК уже помечены, следовательно, движение вверх-вниз по иерархии ЕК невозможно. Однако в иерархии ЕК могут оставаться еще непомеченные ЕК. В этом случае требуется поиск еще непомеченных ЕК, не связанных с текущей.

Если ответ оценен положительно, то ЕК currentC и все нижележащие непомеченные ЕК оцениваются как подтвержденные. В этом случае возникает ситуация, когда родительская ЕК не подтверждена, а дочерняя – подтверждена, следовательно, движение вверх-вниз по иерархии ЕК невозможно и требуется переход к несвязанной ЕК.

Рассмотрим на примере движение вниз по иерархии ЕК. Испытуемый ранее неудачно ответил на вопрос currentQ = Q₅ (currentC = C₄). Формируем множество вопросов, ассоциированных с дочерними (непомеченными) ЕК по отношению к C₄, получаем SampleQ ={Q₂}. Так как найден только один вопрос, то поиск по тегам и уровню сложности не имеет значения, следовательно, currentQ = Q₂ и currentC = С₆ (см. рис. 3).

Предположим, что испытуемый ответил на вопрос Q₂ неверно, тогда помечаем ЕК C₆, а также вышележащую непомеченную ЕК C₂, как неподтвержденные (см. рис. 3). В этом случае движение вверх-вниз по иерархии ЕК не-возможно, а так как не все ЕК помечены, то требуется переход к несвязанной ЕК.

 

Переход к несвязанной ЕК

В некоторых ситуациях движение вверх-вниз по иерархии ЕК невозможно, однако в иерархии ЕК еще могут присутствовать непомеченные ЕК.

Поиск таких ЕК выполняется обходом ациклического графа в ширину, начиная с родительской ЕК по отношению к currentC. Если такие ЕК не найдены, то поиск возобновляется с ЕК более верхнего уровня (и т. д.) вплоть доbцелевой ЕК.

Пусть в результате обхода сформировано множество еще непомеченных ЕК SampleC и известна их общая родительская ЕК parentC.

Если испытуемый уже отвечал на вопрос, ассоциированный с parentC, то выбор вопроса (единицы компетенции) осуществляется по тем же принципам, что и при движении вниз по иерархии ЕК.

Если испытуемый еще не отвечал на вопрос, ассоциированный с parentC, то из вопросов, ассоциированных с дочерними ЕК для parentC, формируется множество SampleQ. Среди вопросов SampleQ выбирается вопрос, уровень сложности которого равен последнему вопросу, на который был получен правильный ответ. Если ограничение по уровню сложности не выполняется, то выбирается вопрос, уровень сложности которого наиболее близко соответствует ограничению.

Ответ на тестовый вопрос записывается в траекторию тестирования Student.TestTrack.

Если ответ оценивается отрицательно, то ЕК currentC и все непомеченные вышележащие ЕК помечаются как неподтвержденные, и продолжается движение вниз по иерархии ЕК до листьев.

Если ответ оценен положительно, то осуществляется переход к следующей несвязанной ЕК, пока имеются непомеченные вершины.

Рассмотрим на примере переход к несвязанной ЕК. Испытуемый последний раз неудачно ответил на вопрос currentQ = Q₂ (currentC = С₆). ЕК С₆ является базовой, поэтому движение вниз по иерархии невозможно; движение вверх также невозможно, так как родительская ЕК уже помечена. В этом случае необходим поиск оставшихся непомеченных ЕК. Путем обхода графа находим множество непомеченных ЕК SampleC = {C₃} с общим родителем parentC = C₁ и формируем множество связанных с ними вопросов – SampleQ = {Q₃}.

Так как вопрос только один, то задаем его вне зависимости от уровня сложности; следовательно, currentQ = Q₃ и currentC = С₃ (см. рис. 3).

Предположим, что испытуемый ответил на вопрос Q₃ верно, тогда помечаем ЕК С₃ как подтвержденную (см. рис. 3). Так как все ЕК помечены, то тестирование завершается.

 

Учет нескольких целевых ЕК

В иерархии ЕК в общем случае может быть несколько целевых ЕК. Однако задачу обхода ациклического графа с несколькими целевыми ЕК можно свести к задаче обхода циклического графа с одной целевой ЕК. Для этого из графа выделяется подграф с одной целевой ЕК и выполняется его обход. При этом распространение пометок владеет/не владеет для ЕК выполняется на весь граф. Далее выделяется подграф с другой целевой ЕК и выполняется его обход с учетом пометок ЕК, полученных при предыдущем обходе. Так продолжается для всех целевых ЕК.

В рассмотренном примере ациклический граф включает две целевые ЕК – C₁ и C₂. Сначала исследуется целевая ЕК C₁; связанный с ней подграф включает в себя все узлы, кроме C₂. В результате исследования целевой ЕК C₁ помечаются все ЕК в иерархии (в том числе, целевая ЕК C₂). Следовательно, дальнейшее тестирование не требуется.

В настоящее время применяются различные алгоритмы организации адаптивного тестирования, однако все они в той или иной степени основываются на применении моделей современной теории конструирования адаптивных тестов – IRT (Item Response Theory). На рисунке 2 представлены вариации индивидуальных траекторий испытуемых, наглядно иллюстрирующие результаты адаптивного тестирования учащихся низкого (нижний график), высокого (средний график) и среднего (верхний график) уровней обученности. В соответствии с алгоритмом, после выполнения учащимся очередного задания осуществляется пересчет текущей оценки его уровня обученности для выбора последующего задания адаптивного теста. Выходом из тестирования выступает достижение либо требуемой точности измерения уровня обученности студента, либо определенного количества выполненных заданий.

 

Рис. 2.Визуализация индивидуальных траекторий испытуемых: в кружках – номера заданий

 

Рассмотренный подход помогает выявить уровень обученности испытуемого, обусловленный его способностью выполнять задания теста определенной сложности, однако не дает возможности определить структуру знаний учащегося на уровне выявления у него «пробелов» в освоении элементарных дидактических единиц, что, на наш взгляд, является существенным недостатком данной методики.

Давайте рассмотрим алгоритм проведения адаптивного тестирования, который позволяет оценить уровень обученности каждого студента.

Тестирование начинается с предъявления испытуемому вопроса 2-го уровня сложности из первой темы раздела. Освоение вопросов данного уровня соответствует основным навыкам и умениям, формирование которых отвечает нормам, установленным государственным образовательным стандартом.

В случае правильного ответа на первый вопрос

учащемуся предлагается вопрос того же уровня сложности из следующей темы. При неправильном ответе учащемуся дается вопрос 1-го уровня сложности из текущей темы, в случае успешного ответа испытуемый также переходит к вопросу 2-го уровня сложности следующей темы. Если же на вопрос 1-го уровня сложности получен неверный ответ, учащемуся представляется возможность освоить текущую тему на минимальном уровне – с помощью подсказки в виде наводящего вопроса или поясняющего рисунка, – иначе тема считается полностью не освоенной. Выявление уровня усвоения тематического материала по текущему разделу на основе описанного алгоритма осуществляется до конца теста. По окончании тестирования, в случае достижения студентом 75 %-го освоения вопросов 2-го уровня сложности, ему дается возможность ответить на вопросы 3-го уровня сложности по успешно освоенным темам и, соответственно, набрать дополнительные баллы (такую возможность обычно получают сильные студенты, успешно справляющиеся с заданиями базового уровня).

Завершение тестирования сопровождается объявлением всем участникам количества набранных ими баллов (в т. ч. дополнительных), а также списка тем, по которым у них зафиксированы «пробелы» в знаниях. Баллы за выполнение задания теста соответствуют уровню его сложности: например, за успешное выполнение задания 1-го уровня сложности начисляется 1 балл. Однако в случае использования подсказки «цена» задания снижается до 0,5 балла. Итоговая оценка выставляется в общей сумме баллов и по пятибалльной системе, исходя из процента правильных ответов на задания 1-го и 2-го уровней сложности: меньше 30 % – оценка «2»; 30 % – 50 % – оценка «3»; 50 % – 75 % – оценка «4»; более 75 % – оценка «5».