Технологии и системы тестирования.

Проблема автоматизированного проектирования педагогических тестов, видимо, в ближайшее время не может быть корректно и достаточно полно разрешенной, в частности, из-за ситуационного многообразия и отсутствия четких критериев автоматизации такой плохо формализуемой проблемы. Тем не менее, попытаемся изложить основные принципы автоматизированной разработки тестов и тестирования.

Технология компьютеризированного тестирования должна обладать основными характеристиками:

1. наличие интерактивной инструментальной среды;

2. мультипредметное применение;

3. адекватное отражение конструируемой модели предметной области в процессе тестирования;

4. возможность выбора алгоритма тестирования;

5. интегрируемость в различные образовательные технологии;

6. профилируемость;

7. масштабируемость;

8. доступность;

9. дружественность пользовательского интерфейса;

10. ведение базы тестовых многоуровневых заданий;

11. настраиваемое планирование и управление;

12. нацеленность на достижение более высоких результатов и повышение мотивации.

 Компьютерные тесты обладают рядом преимуществ по сравнению с традиционными тестами:

Отмечу особенности компьютерного тестирования, которые невозможно реализовать при бланковом тестировании.

· Повышается интенсивность обучения. Стала возможна проверка большого объема учебного материала.

· Обеспечивается высокая объективность оценивания результатов.

· Усиливается доля самостоятельной работы.

· Работа за компьютером приучает к точности.

· Компьютерные тесты обеспечивают быструю и качественную обратную связь. Результаты работы сразу становятся известны: сколько заданий верно, оценка. Ученик сразу увидит ошибки и может их исправить.

Компьютерное тестирование обладает также рядом преимуществ, которые позволяют:

· Применять новые адаптивные алгоритмы тестового контроля;

· Использовать в тестах мультимедийные возможности компьютеров;

· Уменьшить объем бумажной работы и ускорить подсчет результатов;

· Упростить администрирование и проводить тестирование круглый год;

· Обеспечить комфортные условия работы для каждого тестируемого;

· Повысить секретность и оперативность передаваемой информации, снизить затраты на организацию и проведение тестирования.

   При составлении программы тестирования учтены общие требования к составлению тестов: вариативность содержания, однозначность ответа, краткость заданий. Последовательность тестовых заданий определяется по принципу: от более простого к сложному.

В разработке использованы разные тестовые формы: тесты на установление соответствия, задания с кратким ответом. Конечно, в последнее время предпочтение отдается открытой форме заданий, в которых вероятность отгадывания равна нулю. Но это не значит, что остальные формы не позволяют сделать хороший тест.

При подготовке к экзамену, рекомендуется проводить компьютерное тестирование систематически. Провести тренировочный тест.

В обучающих системах используют два принципа контроля знаний:

1. оценка действий обучаемого и определение уровня его знаний по знаниям о предметной области и правилам оценки действий обучаемого;

2. стандартизированный контроль знаний по выборке специальных заданий и по его ответам на них (тестовый).

Современное тестирование характеризуется интенсивной заменой классических тестов и классического тестирования так называемыми "адаптивными тестами" или "тестами с изменяющейся структурой".

Адаптивное тестирование определяется М.Б.Челышковой как "совокупность процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов, обеспечивающая прирост эффективности измерений по сравнению с традиционным тестированием благодаря оптимизации подбора характеристик заданий, их количества, последовательности и скорости предъявления применительно к особенностям подготовки тестируемых".

Автоматизированная система тестирования – интегрированный программно-технический комплекс для тестирования в автоматизированном (человеко-машинном) режиме.

Адаптивное тестирование – вариант автоматизированной системы тестирования, в которой априори известны параметры трудности и дифференцирующая способность каждого задания.

Адаптивное тестирование должно удовлетворять следующим требованиям:

1. Регулируемость пропорций предъявляемых легких, средних и трудных заданий в зависимости от числа правильных ответов тестируемого.

2. Регулируемость пропорций предъявляемых различных тематических разделов учебной программы в тесте.

3. Регулируемость уровня сложности предъявляемых тестов с учетом семантической компетенции тестируемого.

4. Включение адаптивного механизма перевода на более высокий уровень заданий на одном и том же уровне предъявляемых заданий

5. Каждое задание более высокого уровня оценивается более высокими баллами.

Немалую роль в этом сыграло и развитие дистанционного обучения, WWW-ориентированное обучение (WBE – Web-Based Education или WBT – Web-Based Training). WWW-тестирование (часто называемое Интернет-тестированием) используется не только для обучения, но и для самообучения (самотестирования) в онлайновом обучении и контроле (on line – дословно "на линии").

Основные принципы, которые должны быть присущи веб-тестированию:

1. гуманистичность;

2. приоритетность педагогического подхода;

3. адекватность выбора контента;

4. обеспечение безопасности и конфиденциальности;

5. тренинг, компьютерная грамотность;

6. адекватность технологии и информационной модели предметной области;

7. мобильность;

8. гибкость;

9. массовость;

10. рентабельность и др.

Различны и технологии поддержки, причем от них и зависит степень поддержки, в частности, форма хранения тестов – статическая (например, HTML-код) или динамическая (например, CGI-скрипты, Java-машина или GUI – специализированное графическое представление вопроса).

Различаются они и по форме генерации заданий:

1. по простому статическому шаблону;

2. простым непараметризованным выбором из банка;

3. генерацией по поисковому образцу из базы;

4. параметризованным выбором из базы с помощью метода данных задания (теста) – тип, ключевые слова, раздел, сложность.

Наиболее перспективный подход – адаптивная генерация заданий.

Такие системы генерируют задания, наиболее адаптированные к уровню достижений обучающегося.

К сожалению, Web–обучение имеет и отрицательные стороны, так как оно оторвано от обычного человеческого общения.

В последнее время активно развивается m-Learning ("Мобильное обучение", точнее, "Обучение на основе мобильных технологий и средств" – карманных компьютеров (КПК), смартфонов (сотовых телефонов с расширенным набором функций), ноутбуков или других устройств с минимальными ресурсами с минимальной необходимостью использования "специального" места обучаемого и "специального" времени для обучения).

В частности, в рамках программы Европейской комиссии "Leonardo da Vinci" (программа профессионального обучения в течение всей активной жизни) при поддержке компании Ericsson и некоторых европейских университетов дистанционного обучения в 2003 году реализован проект "From e-Learning to m-Learning" ("От электронного обучения – к мобильному"). Разработана специальная система mLMS (Mobile Learning Management System) для управления мобильным обучением (с помощью карманных компьютеров, мобильных телефонов).

Другой проект Евросоюза "m-Learning" (Великобритания, Италия, Швеция) ориентирован на молодежь с высоким фактором риска социального неравенства и разрабатывает систему LMS обеспечивающую доступ к интерактивным учебным материалам.

В Институте точной механики и оптики (С-Петербург) разработана система тестирования на основе карманных персональных компьютеров пользователей и удаленного сервера базы данных (тестов).

Принципы m-Learning используются активно за рубежом и начали использоваться и в нашей стране (например, в Интернет-университете информационных технологий).

Хотя возможности m-Learning и ограничены (трудно использовать страницы, рисунки, таблицы и меню большой разрешающей способности и размера, всплывающие диалоговые окна и др.), оно имеет большую инновационную привлекательность.

Инструментальные системы учебного назначения обычно предназначены для настройки на любую предметную область.

Существует множество автоматизированных систем обучения и контроля. Наиболее часто встречаются так называемые обучающие программы, разработанные на основе эмпирического подхода, определенный педагогический опыт и здравый смысл (системы "от учебного предмета"). Как правило, у них низкая дидактическая эффективность (по зарубежным оценкам, эффективными являются не более 10% таких программ, а число непригодных – около 90%).

Рассмотрим некоторые системы.

1. Lotus Learning Space – средство разработки обучающих мультимедиа-курсов. Пакет Learning Space поддерживает три способа обучения: самостоятельное и пошаговое, без тьютора и контроля (материалы на веб-сервере, в базе данных или на носителе).

2. ToolBook – средство создания мультимедиа–приложений обучающего характера. Позволяет создавать тесты, встраивать их в контент и проводить тестирование. Имеется также набор стандартных видов тестов, которые легко встраиваются в создаваемый контент.

3. WebCT – интегрированная среда разработки и использования сетевых курсов. Тестирующая система WebCT позволяет использовать основные типы тестовых заданий, включая и развернутый ответ.

4. eLearning Office – система разработки мультимедиа-приложений: электронных каталогов, энциклопедий, учебников, презентаций, поисковых систем и других. Включает систему интерактивного тестирования для самопроверки знаний учащегося с заданиями, которые могут быть трех типов (с вариантами выбора ответов, с вводом строки ответа и на соответствие ответа) и включать аудио- и видео-фрагменты, а также графические объекты. Есть режим контроля результатов тестирования. Преподаватель может выставлять оценки обучаемым автоматически или самостоятельно, контролируя неправильные ответы.

5. tTester – разработка, которая позволяет создавать тесты, объединять тесты в один тест, редактировать тесты, создавать "бумажные" версии тестов и их печать и др.

6. АСТ-Тест – инструментальная среда для разработки педагогических тестов и адаптивного тестирования с использованием OLE-технологии и мультимедиа. Имеет модули "Конструктор тестов", "Система тестирования".

7. АИССТ – Автоматизированная Интерактивная Система Сетевого Тестирования для проведения контроля знаний обучающихся, создания и настройке предметного материала, администрирования работы системы.

8. Гефест – сетевая адаптивная информационно-обучающая система, использующая методы теории автоматов и марковских процессов. В модель адаптивного управления обучением включены объекты "Устройство адаптивного обучения (формирование вопросов и задач, контроль ответов и оценка знаний)", "Модель обучающегося".

9. LERSUS – программная система (редактор) для быстрой разработки и стандартизации электронных (в том числе, веб-контента с использованием видео, аудио, Java, Flash) или печатных учебных материалов в виде интерактивного веб-контента без непосредственного (процедурного) программирования и дизайнерских усилий, организует интерфейсную поддержку и импорт-экспорт при разработке тестов.

10. М-Тест – инструментальная среда для поддержки адаптивного тестирования и аттестации сотрудников. Позволяет конструировать мультимедийные задания основных форм, используя технологию связывания объектов OLE, создавать банки таких заданий, визуализировать результаты тестирования (протоколирование), вести статистику.

11. IRT–технология (методология) адаптивного тестирования, получившая название "Тест интеллектуального потенциала" для экспресс-диагностики интеллектуальных способностей людей различных возрастных групп.

Есть и другие аналогичные системы.

Стоит отметить, что системы обучения и контроля должны иметь критерии адекватности.

Отметим следующие критерии адекватности образовательных WWW-ресурсов:

1. качество закрепления материала (в частности, для тестирующих систем);

2. качество и структурированность учебного материала (для электронных учебников);

3. актуализация структурированного знания (для поисковых систем);

4. эффективная обратная связь (для образовательных телеконференций);

5. визуализация (для визуальных сред программирования);

6. виртуализация (для моделирующих сред);

7. создание новых операционных возможностей или актуализация "старых" новыми структурами (для микромиров);

8. связность нового и старого знания (для когнитивных сред);

9. обеспечение перехода на новый продуктивный уровень деятельности обучаемых (для креативных средств и сред);

10. снижение стоимости и времени (для CASE-систем);

11. повышение интеллектуальной поддержки процесса принятия решений (для нейросистем);

12. качество обеспечения коммуникативности (для интрасетей и экстрасетей) и др.

Образовательная система должна реагировать на наблюдаемые несоответствия и скачки в окружении, в обществе, адаптируясь и извлекая уроки из критических ситуаций.

Необходим переход от парадигмы обучения к парадигме учения, от парадигмы обучения функционирующим изолированным системам. Необходима парадигма актуализации, усиления и изучения системно-синергетических связей открытой системы и его окружения, изучения и предвидения эволюции систем. Особенно важно такое предвидение в образовательных системах, так как в них достаточно большой цикл эволюции.

 

 

1.4.   Технология проектирования компьютерных тестов предметной области.

Экспертами чаще используется метод нисходящего проектирования модели знаний (технология “сверху - вниз”). Вначале строится генеральное содержание предметной области с разбивкой на укрупненные модули (разделы). Затем проводится детализация модулей на элементарные подмодули, которые, в свою очередь, наполняются педагогическим содержанием.

Другой метод проектирования “снизу - вверх” (от частного к общему) в большинстве случаев реализуется группой экспертов для разработки модели знаний сложной и объемной предметной области или для нескольких, близких по структуре и содержанию, предметных областей.

Каждый модуль предполагает входящую информацию, состоящую из набора необходимых понятий из других модулей и предметных областей, а на выходе создает совокупность новых понятий, знаний, описанных в данном модуле.

Модуль может содержать подмодули. Элементарный подмодуль - неделимый элемент знания - может быть представлен в виде базы данных, базы знаний, информационной модели. Понятия и отношения между ними представляют семантический граф.

Модульное представление знаний помогает:

• организовать четкую систему контроля с помощью компьютерного тестирования, поскольку допускает промежуточный контроль (тестирование) каждого модуля, итоговый контроль по всем модулям и их взаимосвязям, а также эффективно использовать методику “черного ящика”;

• осуществлять наполнение каждого модуля педагогическим содержанием;

• выявить и учитывать семантические связи модулей и их отношения с другими предметными областями.

Проектирование модели знаний играет важную роль. для образовательного процесса. От этого в конечном счете зависит обучающая среда: учитель с его квалификацией и опытом, средства и технологии обучения, а главное - контроль обучения.

Модульный принцип построения модели знаний позволяет использовать принцип исчерпывающего контроля - полный перебор всех тестовых заданий для заданной предметной области, что характерно для итоговых измерений уровня обученности.

Можно выделить два принципиальных способа контроля (тестирования) некоторой системы:

1) метод “белого ящика” - принцип тестирования экспертной модели знаний;

2) метод “черного ящика” - тестирование некоторой сложной системы по принципу контроля входных и выходных данных (наиболее подходит к компьютерному тестированию).

Типы компьютерных тестов.

В соответствии с моделью знаний выделим три класса компьютерных тестов на знания, умения и навыки. Отметим, что типы компьютерных тестовых заданий определяются способами однозначного распознавания ответных действий тестируемого.

   1. Типы тестовых заданий по блоку “знания”:

• вопросы альтернативные (требуют ответа да - нет);

• вопросы с выбором (ответ из набора вариантов);

• вопросы информативные на знание фактов (где, когда, сколько);

• вопросы на знание фактов, имеющих формализованную структуру (в виде информационной модели или схемы знаний);

• вопросы по темам, где имеются однозначные общепринятые знаковые модели; математические формулы, законы, предикатные представления, таблицы;

• вопросы, ответы на которые можно контролировать по набору ключевых слов;

• вопросы, ответы на которые можно распознавать каким-либо методом однозначно.

2. Типы тестовых заданий по блоку “навыки” (распознание деятельности: манипуляции с клавиатурой; по конечному результату):

• задания на стандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);

• выполнение действия.

3. Типы тестовых заданий по блоку “умения”. Те же самые, что навыки, но использующие нестандартные алгоритмы и задачи предметной области при контроле времени их решения:

• задания на нестандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);

• выполнение действия.

Выбор типов тестов определяется:

• особенностями инструментальных тестовых программ (тестовыми оболочками);

• особенностями предметной области;

• опытом и мастерством экспертов.