Достоинства и недостатки тестов

Понятие тестов

На сегодняшний момент широко применяется тестирование, которое приобрело популярность благодаря тому, что охватывает большой объём программы, значительно сокращает время проверки знаний, позволяет дать объективную количественную оценку качества подготовки обучаемого и повышает производительность труда преподавателя.

В науку слово «тест» попало из английского языка, где означает «испытание, проба, проверка». По словарю, тест – это стандартизированное, часто ограниченное во времени испытание, предназначенное для установления количественных и качественных индивидуально – психологических различий. Этот термин был введён Рэймондом Кэттеллом, а первый тест создал выдающийся английский учёный Френсис Гальтон.

Преобладание тестовых заданий с текстовым содержанием формулировок или с дополнительными элементами статической графики объясняется простотой в их технологическом исполнении.

Сегодня разработка тестовых заданий рассматриваемых форматов, как правило, осуществляется с помощью либо встроенных в конструкторы тестов редакторов, либо с помощью других текстовых редакторов (например, MS Word и т.п.) и не вызывает особых затруднений. Разработка же объектов динамической графики и аудио- объектов, используемых в содержании тестовых заданий, представляется задачей, требующей от разработчиков не только дополнительных знаний по основам работы в графических, мультимедиа, видео- и аудио- редакторах (Photoshop, Flash, 3D Max и т.п.) но и дополнительных материальных затрат, связанных с их приобретением.

Традиционно для разработки тестового материала используются автоматизированные методы, в которых содержание и форма тестовых заданий определяются автором «вручную», а затем фиксируются на электронном носителе с помощью редакторов (например, Блокнот, MS Word, Paint, Photoshop и т.п.).

Сферы применения тестов

Тесты применяются в достаточно широком спектре сфер:

§ тестирование используется в тех структурах, которые призваны делать квалифицированные консультации по продолжению образования, выбору профессии обратившимся из числа молодежи, затрудняющимся принять самостоятельное решение, временно незанятым и другим категориям населения;

§ объектом тестирования являются школьники и иные категории учащихся. В этом случае тесты должны способствовать отбору наиболее способных испытуемых и применяются при селекции для перехода из одного типа школ в другой (например, из средней - в гимназию), при допуске к выпускным или приемным экзаменам;

§ тесты используются в учебных структурах для контроля успеваемости, причем в данном случае они должны заменить "неточные и ненадежные" оценки, которые были бы сравнимы в разных городах, странах, школах и классах;

§ в исследовательской работе и психотерапевтических мероприятиях, прежде всего в процедуре диагностики;

§ на предприятиях и в организациях с целью осуществления работы с персоналом.

 

При отборе поступающих на работу выделяют три основные ситуации, в которых при постановке различных задач применяется психологическое тестирование:

1) в наличии имеется несколько свободных мест и есть только один претендент. Поступающий должен пойти на то место, которое ему больше всего подходит;

2) количество вакантных мест и число претендентов одинаковы. Необходимо добиться оптимального распределения;

3) свободно только одно место, а в наличии имеется несколько претендентов, из которых необходимо найти наиболее подходящего.

 

 

Требования, предъявляемые к тестам

Содержательная валидность – соответствие содержания теста проверяемому материалу.

Уровневая валидность – соответствие уровня задания проверяемому уровню.

Определенность – обеспечение общепонятности формулировок заданий всеми учащимися.

Однозначность – создание эталона ответа, соответствующего полному и правильному решению заданий.

Ограниченность – определенные временные рамки на выполнение заданий.

Пригодность для быстрой обработки результатов.

Пригодность для широкого практического использования.

В рамках компьютерного тестирования можно выделить адаптивные тесты – такие, в которых можно изменять параметры тестирования, адаптируя (приспосабливая) тест к разным условиям. В адаптивной системе тестирования (АСТ), есть возможность изменять алгоритм предъявления заданий (строго последовательный, случайного выбора или по возрастанию сложности), изменять время, отводимое на каждое задание или весь тест, изменять способы оценивания и шкалу отметок в зависимости от процента выполненных заданий, изменять количество заданий в самом тесте.

Поскольку дистанционное обучение имеет свою специфику, то реализовать требования к эффективности, включающие минимизацию времени контроля, числа заданий измерителя в условиях роста надежности и валидности получаемых оценок с учетом индивидуальных особенностей обучаемых, возможно лишь на основе адаптивного тестирования.

 

В современных компьютерных адаптивных системах тестирования наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

Некоторые авторы дают более подробную классификацию – выделяя всего два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества.

 

Рис. 1. Типы и виды тестовых заданий

 

 

Рассмотрим подробнее каждый из них.

Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

Основное преимущество этих заданий – невозможность угадать ответ, а главная трудность при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям – наличия однозначного правильного ответа.

 

Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа.

 

2.1. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

 

2.2. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

 

2.3. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям.

Задания на установление соответствия особенно полезны для ассоциирования физических, математических и других формул со сферами их практического применения.

Обычно задание соответствия состоит из двух столбцов: в первом – вопросы, утверждения, факты, понятия и т. д., во втором идет список утверждений или свойств, объектов, которые надо поставить в соответствие.

 

2.4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние и т.д.

Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события. Для технологий это может быть порядок технологических операций, для гуманитарных дисциплин – восстановление временных последовательностей событий, для точных наук – алгоритмы решения задач и др.

 

В целом адаптивное тестирование можно определить как научно обоснованный метод педагогического контроля, реализуемый с помощью автоматизированных процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов. Он обеспечивает эффективность педагогических измерений по сравнению с традиционным тестированием фиксированной длины и времени за счет оптимального подбора характеристик заданий (трудности и дифференцирующей способности), их количества, последовательности и скорости предъявления применительно к уровню подготовленности каждого испытуемого.

Адаптивное тестирование обладает рядом преимуществ, поскольку обеспечивает:

̶ индивидуализацию темпа тестирования, достигаемую адаптивными алгоритмами и соответствующим программным обеспечением;

̶ создание ситуации успеха за счет исключения предъявления слабо подготовленным учащимся излишне трудных заданий, вызывающих рост тревожности и чувство страха;

̶ высокий уровень секретности, практически исключающий возможность списывания, подсказок и других нежелательных эффектов в процессе выполнения тестовых заданий;

̶ незамедлительное сообщение результата в интервальной шкале тестовых баллов каждому тестируемому сразу после окончания его работы над индивидуально подобранным набором заданий;

̶ минимизацию числа заданий, времени тестирования в условиях, когда ошибка измерения не выше (либо равна, либо ниже) той, которая получается в аналогичных по содержанию традиционных тестах;

̶ исключение временных, организационных и финансовых затрат на стандартизацию для установления норм тестов в силу отсутствия стандартизированных тестов фиксированной длины.

 

Порядок задания вопросов в известных алгоритмах адаптивного тестирования определяется

статической сложностью вопросов. Сначала задается вопрос среднего уровня сложности или того уровня, который соответствует уровню испытуемого. Если испытуемый дает правильный ответ, то сложность очередного вопроса повышается, в противном случае – понижается.

Тестирование завершается в случае:

̶ если испытуемый ответил на самый сложный вопрос;

̶ испытуемый не ответил на самый легкий вопрос;

̶ испытуемый многократно ответил на вопросы некоторого уровня сложности, но не смог ответить на более сложные вопросы.

Такой подход хорошо применим к нормативно-ориентированному тесту, однако не всегда – для критериально-ориентированного теста, который выявляет степень усвоения испытуемым определенного раздела в заданной предметной области. Существующий подход адаптивного тестирования не гарантирует, что будут заданы вопросы, соответствующие всем единицам компетенции (ЕК) некоторого раздела предметной области. Под ЕК будем понимать любую сторону или составляющую компетенции, которую с точки зрения тестирования целесообразно учитывать и специфицировать в самостоятельном качестве. Под компетенцией понимается набор качеств (знаний, навыков, мотивов, установок), способствующих успешному решению определенной задачи.

Актуальной задачей является расширение адаптивного подхода за счет использования иерархии ЕК для определения очередного задаваемого вопроса. В этом случае порядок задаваемых вопросов будет определяться в первую очередь движением по сети ЕК и только во вторую – повышением или понижением уровня сложности тестовых вопросов. Такой подход позволит задавать вопросы по всем интересующим нас ЕК и определять те ЕК, которыми не владеет испытуемый.

 

Модель испытуемого

Модель испытуемого содержит информацию, необходимую для начала тестирования, а также результаты тестирования:

Student = {Name, Level, TestTrack}, (4)

где Name − имя испытуемого; Level – уровень испытуемого в диапазоне [0; 100]; испытуемый обладает уровнем равным Level, если он ответит со100 %-й вероятностью (без учета опечаток) на любой вопрос, сложность Difficulty которого меньше или равна Level; уровень задается либо экспертным путем перед началом тестирования, либо вычисляется на основе предыдущих попыток тестирования испытуемого; TestTrack − траектория тестирования.

Траектория описывает, какие тестовые во-просы были заданы и как на них отвечал испытуемый:

TestTrack = {qIndex Answer Grade cIndex}, (5)

где qIndex − индекс вопроса в базе QВ; Answer − ответ испытуемого на тестовый вопрос (например, строка, если ответ в открытой форме); Grade − оценка ответа в процентах [0; 100]; cIndex − индекс ЕК в иерархии CN, которая ассоциируется с вопросом.

 

Выбор первого вопроса

(единицы компетенции)

Для того чтобы первый вопрос соответствовал по сложности уровню знаний испытуемого, из базы QВ выбираются вопросы, наиболее близкие по сложности Q.Difficulty к уровню знаний Student.Level, и формируется выборка SampleQ. Чтобы минимизировать общее количество задаваемых вопросов, из SampleQ выбираются только те вопросы, которые ассоциированы с ЕК, находящимися ближе всего к целевой ЕК, т. е. с ЕК SampleC. Чтобы определить множество SampleC, достаточно подсчитать длину пути от целевой ЕК до каждой ЕК, ассоциированной с вопросом из SampleQ, и выбрать ЕКс минимальной длиной пути. Как результат определяется первый тестовый вопрос currentQ и ассоциированная с ним ЕК currentC.

Таким образом, первым задается вопрос, на который испытуемый предположительно должен ответить успешно, и он соответствует ЕК с максимально высоким уровнем иерархии.

Ответ на первый тестовый вопрос записывается в траекторию тестирования. Student.TestTrack. Если ответ оценивается положительно, то в иерархии CN ЕК currentC и все нижележащие ЕК помечаются как подтвержденные, т. е. Mark = владеет, и далее выполняется движение вверх по иерархии ЕК. Если ответ оценивается отрицательно, то ЕК currentC и все вышележащие ЕК помечаются как неподтвержденные, т. е. Mark = не владеет, и далее выполняется движение вниз по иерархий ЕК.

 

Рассмотрим на примере выбор первого во-проса(единицы компетенции). Пусть уровень знаний испытуемого составляет Student.Level = 50, тогда наиболее близким по уровню сложности будет вопрос Q₁, т.е. SampleQ = {Q₁}.

В данном случае наблюдается безальтернативный вариант выбора вопроса; соответственно получаем currentQ = Q₁ и current = C₅ (рис. 3).

Предположим, что испытуемый ответил на вопрос Q₁ правильно, тогда помечаем ЕК C₅ как подтвержденную и переходим по иерархии ЕК вверх (рис. 3).

Рис. 3. Пример обхода иерархии ЕК при критериально-ориентированном тестировании

 

Номера соответствуют порядку действий при тестировании. Номера: 1, 4, 7, 10 обозначают выбор вопроса; номера: 2, 5, 8, 11 – ответ на вопрос и присвоение пометок ЕК; номе-ра3, 6, 9 – переход между единицами компетенции.

 

Переход к несвязанной ЕК

В некоторых ситуациях движение вверх-вниз по иерархии ЕК невозможно, однако в иерархии ЕК еще могут присутствовать непомеченные ЕК.

Поиск таких ЕК выполняется обходом ациклического графа в ширину, начиная с родительской ЕК по отношению к currentC. Если такие ЕК не найдены, то поиск возобновляется с ЕК более верхнего уровня (и т. д.) вплоть доbцелевой ЕК.

Пусть в результате обхода сформировано множество еще непомеченных ЕК SampleC и известна их общая родительская ЕК parentC.

Если испытуемый уже отвечал на вопрос, ассоциированный с parentC, то выбор вопроса (единицы компетенции) осуществляется по тем же принципам, что и при движении вниз по иерархии ЕК.

Если испытуемый еще не отвечал на вопрос, ассоциированный с parentC, то из вопросов, ассоциированных с дочерними ЕК для parentC, формируется множество SampleQ. Среди вопросов SampleQ выбирается вопрос, уровень сложности которого равен последнему вопросу, на который был получен правильный ответ. Если ограничение по уровню сложности не выполняется, то выбирается вопрос, уровень сложности которого наиболее близко соответствует ограничению.

Ответ на тестовый вопрос записывается в траекторию тестирования Student.TestTrack.

Если ответ оценивается отрицательно, то ЕК currentC и все непомеченные вышележащие ЕК помечаются как неподтвержденные, и продолжается движение вниз по иерархии ЕК до листьев.

Если ответ оценен положительно, то осуществляется переход к следующей несвязанной ЕК, пока имеются непомеченные вершины.

Рассмотрим на примере переход к несвязанной ЕК. Испытуемый последний раз неудачно ответил на вопрос currentQ = Q₂ (currentC = С₆). ЕК С₆ является базовой, поэтому движение вниз по иерархии невозможно; движение вверх также невозможно, так как родительская ЕК уже помечена. В этом случае необходим поиск оставшихся непомеченных ЕК. Путем обхода графа находим множество непомеченных ЕК SampleC = {C₃} с общим родителем parentC = C₁ и формируем множество связанных с ними вопросов – SampleQ = {Q₃}.

Так как вопрос только один, то задаем его вне зависимости от уровня сложности; следовательно, currentQ = Q₃ и currentC = С₃ (см. рис. 3).

Предположим, что испытуемый ответил на вопрос Q₃ верно, тогда помечаем ЕК С₃ как подтвержденную (см. рис. 3). Так как все ЕК помечены, то тестирование завершается.

 

Учет нескольких целевых ЕК

В иерархии ЕК в общем случае может быть несколько целевых ЕК. Однако задачу обхода ациклического графа с несколькими целевыми ЕК можно свести к задаче обхода циклического графа с одной целевой ЕК. Для этого из графа выделяется подграф с одной целевой ЕК и выполняется его обход. При этом распространение пометок владеет/не владеет для ЕК выполняется на весь граф. Далее выделяется подграф с другой целевой ЕК и выполняется его обход с учетом пометок ЕК, полученных при предыдущем обходе. Так продолжается для всех целевых ЕК.

В рассмотренном примере ациклический граф включает две целевые ЕК – C₁ и C₂. Сначала исследуется целевая ЕК C₁; связанный с ней подграф включает в себя все узлы, кроме C₂. В результате исследования целевой ЕК C₁ помечаются все ЕК в иерархии (в том числе, целевая ЕК C₂). Следовательно, дальнейшее тестирование не требуется.

В настоящее время применяются различные алгоритмы организации адаптивного тестирования, однако все они в той или иной степени основываются на применении моделей современной теории конструирования адаптивных тестов – IRT (Item Response Theory). На рисунке 2 представлены вариации индивидуальных траекторий испытуемых, наглядно иллюстрирующие результаты адаптивного тестирования учащихся низкого (нижний график), высокого (средний график) и среднего (верхний график) уровней обученности. В соответствии с алгоритмом, после выполнения учащимся очередного задания осуществляется пересчет текущей оценки его уровня обученности для выбора последующего задания адаптивного теста. Выходом из тестирования выступает достижение либо требуемой точности измерения уровня обученности студента, либо определенного количества выполненных заданий.

 

Рис. 2.Визуализация индивидуальных траекторий испытуемых: в кружках – номера заданий

 

Рассмотренный подход помогает выявить уровень обученности испытуемого, обусловленный его способностью выполнять задания теста определенной сложности, однако не дает возможности определить структуру знаний учащегося на уровне выявления у него «пробелов» в освоении элементарных дидактических единиц, что, на наш взгляд, является существенным недостатком данной методики.

Давайте рассмотрим алгоритм проведения адаптивного тестирования, который позволяет оценить уровень обученности каждого студента.

Тестирование начинается с предъявления испытуемому вопроса 2-го уровня сложности из первой темы раздела. Освоение вопросов данного уровня соответствует основным навыкам и умениям, формирование которых отвечает нормам, установленным государственным образовательным стандартом.

В случае правильного ответа на первый вопрос

учащемуся предлагается вопрос того же уровня сложности из следующей темы. При неправильном ответе учащемуся дается вопрос 1-го уровня сложности из текущей темы, в случае успешного ответа испытуемый также переходит к вопросу 2-го уровня сложности следующей темы. Если же на вопрос 1-го уровня сложности получен неверный ответ, учащемуся представляется возможность освоить текущую тему на минимальном уровне – с помощью подсказки в виде наводящего вопроса или поясняющего рисунка, – иначе тема считается полностью не освоенной. Выявление уровня усвоения тематического материала по текущему разделу на основе описанного алгоритма осуществляется до конца теста. По окончании тестирования, в случае достижения студентом 75 %-го освоения вопросов 2-го уровня сложности, ему дается возможность ответить на вопросы 3-го уровня сложности по успешно освоенным темам и, соответственно, набрать дополнительные баллы (такую возможность обычно получают сильные студенты, успешно справляющиеся с заданиями базового уровня).

Завершение тестирования сопровождается объявлением всем участникам количества набранных ими баллов (в т. ч. дополнительных), а также списка тем, по которым у них зафиксированы «пробелы» в знаниях. Баллы за выполнение задания теста соответствуют уровню его сложности: например, за успешное выполнение задания 1-го уровня сложности начисляется 1 балл. Однако в случае использования подсказки «цена» задания снижается до 0,5 балла. Итоговая оценка выставляется в общей сумме баллов и по пятибалльной системе, исходя из процента правильных ответов на задания 1-го и 2-го уровней сложности: меньше 30 % – оценка «2»; 30 % – 50 % – оценка «3»; 50 % – 75 % – оценка «4»; более 75 % – оценка «5».

Понятие тестов

На сегодняшний момент широко применяется тестирование, которое приобрело популярность благодаря тому, что охватывает большой объём программы, значительно сокращает время проверки знаний, позволяет дать объективную количественную оценку качества подготовки обучаемого и повышает производительность труда преподавателя.

В науку слово «тест» попало из английского языка, где означает «испытание, проба, проверка». По словарю, тест – это стандартизированное, часто ограниченное во времени испытание, предназначенное для установления количественных и качественных индивидуально – психологических различий. Этот термин был введён Рэймондом Кэттеллом, а первый тест создал выдающийся английский учёный Френсис Гальтон.

Преобладание тестовых заданий с текстовым содержанием формулировок или с дополнительными элементами статической графики объясняется простотой в их технологическом исполнении.

Сегодня разработка тестовых заданий рассматриваемых форматов, как правило, осуществляется с помощью либо встроенных в конструкторы тестов редакторов, либо с помощью других текстовых редакторов (например, MS Word и т.п.) и не вызывает особых затруднений. Разработка же объектов динамической графики и аудио- объектов, используемых в содержании тестовых заданий, представляется задачей, требующей от разработчиков не только дополнительных знаний по основам работы в графических, мультимедиа, видео- и аудио- редакторах (Photoshop, Flash, 3D Max и т.п.) но и дополнительных материальных затрат, связанных с их приобретением.

Традиционно для разработки тестового материала используются автоматизированные методы, в которых содержание и форма тестовых заданий определяются автором «вручную», а затем фиксируются на электронном носителе с помощью редакторов (например, Блокнот, MS Word, Paint, Photoshop и т.п.).

Достоинства и недостатки тестов

Достоинства тестирования:

§ Во–первых, тесты оказываются значительно более качественным и объективным способом оценивания, так как стандартизирована процедура их проведения.

§ Во–вторых, тесты – более ёмкий инструмент – показатели тестов ориентированы на измерения степени, определения уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков, а не на констатацию наличия у учащихся определённой совокупности усвоенных знаний.

§ В-третьих, это более мягкий инструмент. Тестирование ставит всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

§ В–четвёртых, с точки зрения интервала оценивания тест – широкий инструмент. Если провести аналогию с прыжками в высоту, то традиционная контрольная работа представит собой палочку, на которой нанесены метки: 2,3,4,5. В случае выполнения учеником всех заданий он получает отметку отлично. При этом совершенно не ясно, перепрыгнул он нашу палочку с запасом в два раза или пролетел прямо над ней. То же можно сказать и про нижнюю отметку.

§ В–пятых, необходимо отметить гуманизм тестирования, который заключается в тои, что всем предоставляются равные возможности, широта теста даёт возможность ученику показать свои достижения на широком поле материала.

 

Недостатки тестирования:

§ Разработка качественного тестового инструментария — длительный, трудоемкий и дорогостоящий процесс.

§ Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.

§ Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.

§ Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений.

§ В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

 

Сферы применения тестов

Тесты применяются в достаточно широком спектре сфер:

§ тестирование используется в тех структурах, которые призваны делать квалифицированные консультации по продолжению образования, выбору профессии обратившимся из числа молодежи, затрудняющимся принять самостоятельное решение, временно незанятым и другим категориям населения;

§ объектом тестирования являются школьники и иные категории учащихся. В этом случае тесты должны способствовать отбору наиболее способных испытуемых и применяются при селекции для перехода из одного типа школ в другой (например, из средней - в гимназию), при допуске к выпускным или приемным экзаменам;

§ тесты используются в учебных структурах для контроля успеваемости, причем в данном случае они должны заменить "неточные и ненадежные" оценки, которые были бы сравнимы в разных городах, странах, школах и классах;

§ в исследовательской работе и психотерапевтических мероприятиях, прежде всего в процедуре диагностики;

§ на предприятиях и в организациях с целью осуществления работы с персоналом.

 

При отборе поступающих на работу выделяют три основные ситуации, в которых при постановке различных задач применяется психологическое тестирование:

1) в наличии имеется несколько свободных мест и есть только один претендент. Поступающий должен пойти на то место, которое ему больше всего подходит;

2) количество вакантных мест и число претендентов одинаковы. Необходимо добиться оптимального распределения;

3) свободно только одно место, а в наличии имеется несколько претендентов, из которых необходимо найти наиболее подходящего.

 

 

Требования, предъявляемые к тестам

Содержательная валидность – соответствие содержания теста проверяемому материалу.

Уровневая валидность – соответствие уровня задания проверяемому уровню.

Определенность – обеспечение общепонятности формулировок заданий всеми учащимися.

Однозначность – создание эталона ответа, соответствующего полному и правильному решению заданий.

Ограниченность – определенные временные рамки на выполнение заданий.

Пригодность для быстрой обработки результатов.

Пригодность для широкого практического использования.

В рамках компьютерного тестирования можно выделить адаптивные тесты – такие, в которых можно изменять параметры тестирования, адаптируя (приспосабливая) тест к разным условиям. В адаптивной системе тестирования (АСТ), есть возможность изменять алгоритм предъявления заданий (строго последовательный, случайного выбора или по возрастанию сложности), изменять время, отводимое на каждое задание или весь тест, изменять способы оценивания и шкалу отметок в зависимости от процента выполненных заданий, изменять количество заданий в самом тесте.

Поскольку дистанционное обучение имеет свою специфику, то реализовать требования к эффективности, включающие минимизацию времени контроля, числа заданий измерителя в условиях роста надежности и валидности получаемых оценок с учетом индивидуальных особенностей обучаемых, возможно лишь на основе адаптивного тестирования.

 

В современных компьютерных адаптивных системах тестирования наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

Некоторые авторы дают более подробную классификацию – выделяя всего два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества.

 

Рис. 1. Типы и виды тестовых заданий

 

 

Рассмотрим подробнее каждый из них.

Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

Основное преимущество этих заданий – невозможность угадать ответ, а главная трудность при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям – наличия однозначного правильного ответа.

 

Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа – предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа.

 

2.1. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – «да – нет», «правильно – неправильно» и пр.

 

2.2. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

 

2.3. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям.

Задания на установление соответствия особенно полезны для ассоциирования физических, математических и других формул со сферами их практического применения.