Модель теста, ориентированного на ЕК

Тест представляет собой базу вопросов QВ, в которой с каждым вопросом ассоциируется одна или несколько ЕК:

Test = {QB, CN, SA}, (1)

где QВ − база тестовых вопросов; CN – единицы компетенции, которыми должен владеть испытуемый (представляется ациклическим графом, см. ниже); SA − отношения ассоциации между единицей компетенции и вопросами; наличие отношения ассоциации A_k между единицей компетенции C_i и вопросом Q_j указывает, что для успешного ответа на вопрос Q_j необходимо владеть единицей компетенции C_i.

Единицы компетенции, которыми должен владеть испытуемый, составляют иерархию и могут быть представлены ациклическим графом:

CN = {SC,SS}, (2)

где SC − множество единиц компетентности; SS − направленные отношения декомпозиции-агрегации между единицей компетентности.

Отношение декомпозиции-агрегации S_m =(C_i,C_j) указывает, что для владения единиц компетентности C_i необходимо владеть ЕК C_j. ЕК C_i будет называть родительской по отношению к ЕК C_j и, наоборот, считать дочерней по отношению к ЕК C_i.

На рис.2 представлен пример иерархии ЕК и связанных с ней вопросов для предметной области «программирование на языке высокого уровня Си».

В иерархии можно выделить ЕК трех типов: целевые, базовые и промежуточные.

Целевые ЕК – это комплексные знания и умения, которыми должны обладать все испытуемые в рамках оцениваемого раздела предметной области; они представляются в ациклическом графе вершинами с полу степенью захода, равной 0 (в примере ЕК С₁ и С₂).

Базовые ЕК – это знаниям и умениям, которые считаются неделимыми; они соответствуют листьям ациклического графа (в примере ЕК С₅ и С₆).

Остальные ЕК соответствуют знаниям и умениям, которые обеспечивают ЕК более высокого уровня и одновременно сами поддерживаются низко-уровневыми ЕК (в примере ЕК С₃ и С₄).

 

Необходимо отметить, что владение всеми дочерними ЕК (например, ЕК С₃ и С₄) зачастую не означает владение родительской ЕК (например, ЕК С₁). Это обусловлено тем, что родительская ЕК требует от испытуемого уме-ние комбинировать дочерние ЕК и применять их в соответствии с контекстом.

Отдельная ЕК представляется кортежем:

C= {Name, Mark}, (3)

где Name − наименование ЕК (оно должно быть уникальным среди всех ЕК и задаваться автором теста); Mark − пометка, определяющая, владеет ли испытуемый данной ЕК. Изначально ЕК не помечена, но в процессе тестирования ей присваивается значение либо владеет, либо не владеет.

 

База QВ содержит множество тестовых во-просов, где каждый вопрос представляется кортежем:

Q = {Content, Difficulty, Tags}, (4)

где Content – тип («вопрос с открытым ответом», «вопрос с закрытым ответом» и т. д.) и формулировка вопроса, варианты правильных ответов; задается автором теста; Difficulty − статистическая сложность вопроса – это доля не справившихся с вопросом участников из группы испытуемых(шкала измерения от 0 до 100 %.); задается либо экспертным путем, либо вычисляется на основе статистической выборки из предыдущих попыток тестирования;

Tags − список классификационных при-знаков, характеризующих контент вопроса Content; признаки задаются автором теста и используются для поиска связанных вопросов по контенту.

Ниже приведен пример тестового вопроса.

Вопрос

Q₁

Content = Тип: «вопрос с закрытым ответом»

Формулировка:

Укажите типы данных, относящиеся к скалярным:

– char

– unsigned char

– unsigned int

– unsigned long int

– – char *

Варианты правильных ответов:

– char

– unsigned char

– unsigned int

– unsigned long int

Difficulty = 50

Tags = { char, unsigned char, unsigned int, unsigned long int}.

Рис. 2. Пример иерархии ЕК и ассоциированных с ней вопросов

 

Модель испытуемого

Модель испытуемого содержит информацию, необходимую для начала тестирования, а также результаты тестирования:

Student = {Name, Level, TestTrack}, (4)

где Name − имя испытуемого; Level – уровень испытуемого в диапазоне [0; 100]; испытуемый обладает уровнем равным Level, если он ответит со100 %-й вероятностью (без учета опечаток) на любой вопрос, сложность Difficulty которого меньше или равна Level; уровень задается либо экспертным путем перед началом тестирования, либо вычисляется на основе предыдущих попыток тестирования испытуемого; TestTrack − траектория тестирования.

Траектория описывает, какие тестовые во-просы были заданы и как на них отвечал испытуемый:

TestTrack = {qIndex Answer Grade cIndex}, (5)

где qIndex − индекс вопроса в базе QВ; Answer − ответ испытуемого на тестовый вопрос (например, строка, если ответ в открытой форме); Grade − оценка ответа в процентах [0; 100]; cIndex − индекс ЕК в иерархии CN, которая ассоциируется с вопросом.