Разработка заданий тестов достижений

Содержание тестовых заданий

При создании эффективного теста главное – разработка заданий. Тест не может быть лучше включенных в него заданий, хотя возможно обратное, когда он плохо стандартизирован или когда процедуры отбора и оценивания заданий и валидизации выполнены неверно. Для тестов достижений наиболее важным является усвоение конкретного материала, который соответствует учебной дисциплине, т.е. в них важнейшей составляющей является содержание. С целью его оценивания используются различные типы заданий. В то время как объем того или иного теста достижений определяется учебным предметом, для усвоения которого он разработан, его конкретные задания определяются суммой тех знаний, учений и навыков, которые необходимы в данном предмете.

Содержание заданий. На первой этапе разработки теста достижений должны быть сформулированы цели учебных кур­сов, и показана релевантность заданий по отноше­нию к этим целям. Чтобы обеспечить адекватность содержания теста обычно привлекается ряд экспертов, которые указывают, что именно должны знать учащиеся по данному предмету. В зарубежной практике образования наибольшее распространение получила классификация целей обучения по видам знаний Б.С.Блума. В его класси­фикации выделяются такие виды знаний как: 1) знание названий, имен, фактов; 2) фактуальные знания; 3) знание определений и понимание их смысла; 4) сравнительные, сопоставительные знания; 5) классификационные знания; 6) знание противоположностей, противоречий, синонимичных и антонимичных объектов; 7) ассоциативные знания; 8) причинные знания; 9) алгоритмические, процедурные знания; 10) обобщенные, системные знания; 11) оценочные знания; 12) процессуальные знания; 13) абстрактные знания; 14) структурные знания; 15) методологические знания [Bloom В. S. et al., 1956].

В отечественной педагогике разработана другая система (см. [Челышкова М.Б., 2002]). Здесь результа­ты обучения, в отношении которых проводится тестирование, сгруппированы в зависимости от уровней учебной деятельности. Так, первый уровень связан с непосредственным воспроизведени­ем по памяти содержания изученного материала и его узнаванием. Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу (выполнение действий с четко обо­значенными правилами). Третий уровень включает применение знаний в незнакомой ситуации.

При более подробном описании этих уровней указываются конкретные требования к учащимся. На первом уровне им необходимо знать терминологию, специфические факты даты, события, имена людей, категории, критерии, методы, принципы, законы, тео­рии и т.д. Уровень владения проверяется с помощью заданий, в которых учащемуся необходимо дать определение, называть, формули­ровать, описывать, установить соответ­ствие (между термином и определени­ем), показывать (находить), распозна­вать (находить), пересказывать, пере­числять (особенности), выбирать и т.д. На втором уровне необходимо понимать факты, зако­ны, принципы, крите­рии, теории; понимать прочитанный текст. Применять знания для объяснения, сравнения, для решения качествен­ных и количественных задач; правильно ис­пользовать методы, алго­ритмы, процедуры; стро­ить графики, диаграм­мы, таблицы и др. От учащегося требуется объяснять, соотносить, характеризо­вать, сравнивать, устанавливать (различие, зависимость, причины), выделять существенные признаки, рассчитывать (определить по формулам или алго­ритму), решить, составить что-то по готовой схеме, выполнить в соответст­вии с правилами, продемонстрировать, измерить, продолжить (предложение), вставить пропущенные слова (буквы) и т.д. Наконец, на третьем уровне необходимо интегрировать знания из разных разделов для решения различных про­блем, анализировать, обобщать, оценивать, конструировать, плани­ровать деятельность, эксперимент. От учащегося требуется составить устный или письменный ответ на проблемный вопрос, написать сочинение, проводить исследование, формулировать гипотезу (выводы), обосновать свою точку зрения или точ­ку зрения автора, предсказывать по­следствия, отличать факты от мнений (суждений), факты от гипотез, выводы от положений, анализировать инфор­мацию, находить ошибку, высказывать суждение, свое мнение, суждения о соответствии выводов и фактов, давать отзыв или рецензию, высказывать суж­дение о значении (роли) идей, о точно­сти (измерений), высказывать сужде­ние о качестве (точности, эффективно­сти, экономичности) проделанной ра­боты, о выбранном способе решения или используемых методах, строить модель (изменять модель), реконст­руировать, составить план эксперимен­та, рассказа, решения, изменить план и т.д.

Анализ сформированности данных уровней учебной деятельности возможен не только за счет варьирования содержания тестовых заданий, но и за счет использования различных форм тестовых заданий.

 

Формы тестовых заданий

Общие требования. Существует ряд общих требований к созданию тестовых заданий в тестах достижений, которые должны выполнятся при использовании всех форм тестовых заданий. Это следующие требования:

- каждое задание имеет свой порядковый номер;

- каждое задание имеет только один правильный от­вет;

- в задании все элементы располагаются на местах, фиксированных в рамках выбранной фор­мы;

- задания одной формы группируются вместе и предваряются стандар­тной инструкцией;

- для каждого задания разрабатывается правило выставления дихотомической или политомической оценки;

- задание должно быть достаточно кратким по форме предъявления и по времени выполнения, которое обычно не превышает 3-5 мин.

Инструкция. Инструкция для испытуемых, выполняющих тест, должна быть предельно простой и понятной, иначе некоторые испытуемые не смогут ее понять и из-за этого получат плохие результаты.

Инструкция должна быть:

- предельно крат­кой;

- сформулирована предельно просто, в частности, с использованием простых предложений без уточня­ющих придаточных предложений;

- иметь примеры, поясняющие алгоритм прохождения теста.

Виды заданий. По своей форме тестовые задания могут быть нескольких видов. К наиболее употребительным относятся следующие:

1) задания закрытой формы с множественным выбором, в ко­торых учащиеся выбирают правильный ответ из набора от­ветов;

2) задания открытой формы на дополнение, требующие от учащегося самостоятельного формулирования ответа;

3) задания с множественным вы­бором на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

4) задания на установление правильной последовательности, в которых от учащегося требуется указать порядок действий или про­цессов, перечисленных в задании.

В целом выбор формы зависит от содержания курса и от целей контроля. Обычно предпочтение отдается заданиям в зак­рытой форме в силу их наибольшей стандартизации. Их основные преимущества связаны с быстротой тестирования, с простотой подсчета итоговых баллов учеников. С их помощью мож­но более полно охватить содержание учебной дисцип­лины и, следовательно, повысить обоснованность итоговых оце­нок учащихся. К недостаткам заданий в закрытой форме относится, прежде всего, эффект угадывания, характерный для слабо подготовленных учеников при ответах на трудные задания теста. Но можно нивелировать эффект угадыва­ния с помощью различных приемов.

Задания закрытой формы с множественным выбором. Такое задание состоит из двух частей: основной части, которая содержит вопрос (или утверждение), и вариантов ответа, из которых испытуемые должны избрать правильный. Таких вариантов обычно четыре или пять. Задания такой формы сопровождаются инструкцией: «Обведите номер правильного ответа». При компьютерной выдаче заданий инструкция может иметь вид: «Для ответа нажмите клавишу с номером правильного ответа».Каж­дый ответ сравнивается с ключевым для выявления правильных от­ветов, после чего подсчитывается суммарный балл.

Рассмотрим несколько примеров, взятых из курса «Общая психология».

 

Примеры тестовых форм

1. Выберите правильный вариант ответа.

Зрительный анализатор - вид анализатора, работающий на основе превращения в зрительные ощущения энергии электромагнитного излучения светового диапазона в пределах от:

а) 30 до 100 нанометров, б) 100 до 300 нанометров, в) 300 до 1000 нанометров, г) 3000 до 10000 нанометров

Ответ: в

2. Выберите правильный вариант ответа.

«Метод зрительного предпочтения», основанный на предположении, что дети проявляют свой интерес в том, что рассматривают какой-то один какой-то признак дольше, чем другой, разработал.

а) Дж.Гибсон, б) Р.Франц, в) Ж.Пиаже, г) Р.Грегори

Ответ: б

3. Выберите правильный вариант ответа.

Вид анализатора, за счет работы которого осуществляется анализ и синтез сигналов, идущих от органов движения, называется:

а) кинестезическим, б) соместетическим, в) ноцицептивным, г) висцеральным

Ответ: а

 

При создании заданий такой формы следует руководствоваться следующими рекомендациями.

1. Задание должно быть записано настолько просто, насколько это возможно для его точного понимания. В тексте задания должна быть устранена всякая двусмыслен­ность и неясность формулировок. Нежелательно чтобы на результаты оказывали влияние уровень словарного запаса испытуемого или его общие способности.

2. Основная часть задания формулируется кратко и включает, как правило, одно предложение из семи-восьми слов. В сравнении с вариантами ответов в сам вопрос следует включать как можно боль­ше слов, оставляя для ответов не более двух-трех наиболее важных слов.

3. Только один вариант из предложенных выборов должен соответствовать правильному ответу.

4. Все ответы к одному заданию должны быть приблизительно одной длины. Из ответов исключаются все повторяющиеся сло­ва путем ввода их в текст вопроса.

5. Частота выбора одного и того же порядкового номера для правиль­ного ответа в различных заданиях теста должна быть примерно оди­накова либо этот номер выбирается в слу­чайном порядке. Все неверные варианты ответов (дистракторы) к каждому заданию должны быть равнове­роятно привлекательными для испытуемых, не знающих пра­вильного ответа - в идеале каждый дистрактор должен в равной мере использоваться всеми испытуемыми, не выполнившими данное задание правильно. Ни один из дистракторов не должен являться частично пра­вильным ответом, превращающимся при дополни­тельных условиях в правильный ответ.

6. Ответ на один вопрос не должен давать ключа к ответам на другие. В частности, не следует использовать дистракторы из одного задания в перечне других.

7. Следует как можно реже использовать отрицания в основной части вопроса, т.к. часто это приводит к противоречиям при чтении задания.

8. Использование выражений «ни один из перечисленных» или «все перечисленные» является нежелательным. В целом, в ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда» и т. п., так как иногда они способствуют угадыванию правильного ответа.

При увеличении числа дистракторов уменьшается вероятность угадывания правильного ответа. В силу трудности разработки их число редко бывает больше пяти, но чтобы снизить эффект угадывания рекомендуется использовать все же не менее четырех вариантов ответов. Один из методов получе­ния правдоподобных дистракторов — предъявление группе испытуемых заданий в открытой форме и последующий анализ типичных ошибок учащихся в состав­ленных ими ответах. Мера их привлекательности оценивается после первой эмпири­ческой проверки на любой репрезентативной выборке с помощью подсчета долей учеников, выбравших каждый из дистракторов в ка­честве правильного ответа. Эти доли должны быть одинаковыми для каждого дикстрактора. Если на вопрос с пятью вариантами ответов 12 учащихся ответили неверно, то каждый из четырех дист­ракторов должны выбрать 3 учени­ка. При существенном смещении одной из долей в сторо­ну уменьшения или увеличения задание теста подлежит переработ­ке.

Случайное угадывание правильного ответа. Слу­чайное угадывание искажает показатели по тес­ту. В таком случае требуется следующее:

1. Ввести требование угадывать ответы: «Не пропускайте ответы на воп­росы. Если вы не знаете ответа или не уверены в его правильности, попытайтесь угадать правильное решение».

2. Перед подсчетом показателей по тесту тестолог может ответить на все пропущенные испытуемыми вопросы произвольным образом, что будет эквивалентно случайному угадыванию.

Если будут выполнены действия (1) и (2), все показатели будут искажены случайным угадыванием.

Преимущества. Задания с несколькими вариантами выбора являются наиболее широко используемым типом заданий в тестах достижений, поскольку, по сравнению с заданиями других типов имеют целый ряд преимуществ:

1. Каждое задание может быть сделано высоко надежным. Поскольку возможен только один правильный ответ, отсутствуют факторы снижения надежности, связанные с субъективными оценками лиц, проводящих обследование. Это свойство, по определению, присуще и другим объективным заданиям.

2. Для таких заданий очень легко вычислять показатели. Это очень важно, особенно в больших по размерам тестах, а величина тестов влияет на их надежность. Они не только более надежны, но в тестах достижений и способностей позволяют охватить большие области, чем тесты с небольшим количест­вом заданий.

Задания с двумя ответами, или альтернативные задания. Одним из подвидов заданий закрытой формы с множественным выбором являются задания с выбором из двух вариантов. Это форма задания, которое обычно содержит некоторое утверждение, которое испытуемый должен оценить как истинное или ложное («да» или «нет»). Однако в заданиях такого типа существует ряд сложностей, из-за чего их использование очень ограничено:

1. Вероятность случайного угадывания правильного ответа составляет 50%, что, конечно же, влияет на показатели по тесту, если этоттест не является предельно длинным.

2. Довольно трудно формулировать утверждения, на которые можно дать недвусмысленный ответ «да» или «нет».

3. То, что истинно или ложно, может оказаться три­виальным. Таким образом, задания, адекватные с точки зрения пси­хометрии, могут оказаться содержательно слабыми.

В силу этого, альтернативные задания не представляются как полез­ные. Основной недостаток - случайное угадывание правильных ответов. Обычно могут быть сформулированы сравнимые с ними и более эффективные задания типа выбора вариантов. Однако, благодаря простоте, с которой данная форма заданий может быть применена для опроса понимания учебного материала, они за­суживают использования в рамках самотестирования или экспресс-диагностики.

Задания открытой формы на дополнение. В заданиях на дополнение готовые ответы не даются, их дол­жен ввести сам учащийся. К заданиям такого типа прилагается стандартная инструкция: «вставьте слово или словосочетание».

Два примера из «Общей психологии»:

Примеры тестовых форм

1. Вставьте пропущенное слово.

(…) периоды развития - возрастные интервалы индивидуального развития, при прохождении которых внутренние структуры наиболее чувствительны к специфическим влияниям окружающего мира.

Ответ: Сензитивные

2. Вставьте пропущенное слово.

(…) - воспроизведение спустя некоторое время после запоминания того, что при непосредственном воспроизведении было недоступно.

Ответ: реминисценция

Задания на дополнение бывают двух видов. Первый — с ограничениями, налагаемыми на ответы. Отличительная особенность заданий с ограничениями на до­полняемые ответы заключается в том, что они должны порождать только один, запланированный разработчиком правильный ответ. Второй — задания со свободно конструируемыми ответами, в которых учащиеся долж­ны составить развернутый ответ в виде полного решения задачи с пояснениями или дать ответ в виде микросочинения — эссе. В заданиях с ограничениями заранее определяется, что од­нозначно считается правильным ответом, и задается степень пол­ноты представления ответа. Обычно он бывает достаточно крат­ким — одно слово, число, символ и т.д. При этом регламен­тированная краткость ответов выдвигает определенные требования к сфере применения, поэтому задания первого вида в основном ис­пользуются для оценки достаточно узкого круга умений учеников. Обычно с их помощью проверяют умения воспроизводить и при­менять знания в знакомой ситуации, а также выявляют уровень по­нимания изученного материала.

Задания с множественным вы­бором на установление соответствия. Это третья категория заданий, в которой испытуемому предлагается восстановить соответствие между элементами двух списков. В заданиях на соответствие проверяется знания связей между элементами двух множеств. Слева обычно приводятся элементы задающего множества, содержащие постановку пробле­мы, справа — элементы, подлежащие выбору. К заданиям прилагается стандартная инструкция: «установите соответствие».

Два примера из «Общей психологии»:

Примеры тестовых форм

1. Установите соответствия между метрической шкалой и ее свойствами

1. Номинальная шкала	а) допускает операции: установления равенства – неравенства, больше – меньше, равенства – неравенства интервалов и равенства – неравенства отношений
2. Порядковая шкала	б) элементы группируются в отдельные классы в соответствии с выраженностью признака, при этом используется единица измерения, в качестве точки отсчета рассматривается 0
3. Интервальная шкала	в) допускает операции: установления равенства – неравенства, больше – меньше и равенства – неравенства интервалов
4. Шкала отношений	г) элементы группируются в отдельные классы, которые получают номера или названия, не имеющие количественного выражения
	д) допускает лишь операцию установления равенства – неравенства
	е) элементы группируются в отдельные классы в соответствии с выраженностью признака, при этом используется единица измерения, но точка отсчета выбирается достаточно произвольно
	ж) допускает операции: установления равенства – неравенства и больше – меньше, т.е. позволяет ранжировать элементы
	з) элементы группируются в отдельные классы в соответствии с выраженностью признака, но при этом не используется единица измерения

Ответ: 1 г 1д 2з 2ж 3е 3в 4б 4а

2. Установите соответствия между теорией цветового зрения и ее особенностями

1. Теория Юнга и Г.Гельмгольца	а) цветоразличение объяснялось процессами диссимиляции и ассимиляции, происходящими в трех типах клеток сетчатки, ответственных за восприятие трех качеств (красное-зеленое, желтое-синее, затем была добавлена оппозиция белое-черное)
2. Теория Э.Геринга	б) в ней предполагается, что в зрительной сетчатке существуют три вида рецепторов (колбочек), избирательно реагирующих или только на красный цвет, или только на зеленый, или только на синий
	в) трехкомпонентная теория
	г) теория оппонентских цветов

Ответ: 1в 1б 2г 2а

 

Фактически данная форма заданий является модификацией задания закрытой формы с множественным выбором, где количество выборов сокращается по мере установления связей. При этом может быть использованы две системы оценивания правильности ответов на соответствия. В одном случае, оценивается каждая правильно установленная пара, в другом – лишь абсолютно правильно сделанное задание (когда все пары установлены правильно).

Задания на установление правильной последовательности. Тестовые задания четвертой формы предназначены для оцен­ки уровня владения последовательностью действий, процессов и т.п. В заданиях приводятся в случайном порядке действия, процессы, элементы, связанные с определенной задачей. Ученик должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально отведенном для этого месте. Стандартная инструкция к заданиям четвертой формы имеет вид: «Установите правильную последовательность».

Задания на установление правильной последовательности до­вольно специфичны — содержание большинства дисциплин под­дается с трудом, а то и не поддается вовсе переводу в четвер­тую форму.

Рекомендации. Хотя в одном тесте достижений может быть собрано несколько различных форм заданий, лучше, когда в тесте используется лишь одна форма. Так, это желательно при итоговом контроле, когда на первый план выходят вопросы достижения точ­ности и сопоставимости оценок. В противном случае приходится использовать специальные методы выравнивания вкладов заданий разных форм в итоговый балл учеников при подведении итогов по тесту.

При выборе формы заданий следует учитывать ряд моментов.

1. Специфические факторы. При принятии решения, какой тип задания использовать, следует помнить о влиянии специфических факторов. Если тест состоит из заданий одного типа, возникает опасность влияния некоторого специфического фактора, связанного с этой частной формой задания. Таким образом, разнообразие типов заданий желательно.

2. Утомление. Источником ошибок при тестировании часто является утомление, особенно в тестах, в работе с которыми необходимы усилия по концентрации, сосредоточению внимания. Разнообразие заданий, вероятно, сделает тест менее монотонным для испытуемых.

3. Эффективность заданий. Основные моменты в конструирова­нии заданий могут быть сформулированы следующим образом:

а) Тип задания с вариантами выбо­ра является стандартным заданием, которое подходит к большинству учебных дисциплин.

б) Для получения подробной фактической информации, связан­ной с содержанием заданий (когда интере­сует большое количество подробной информации), тест включает в себя задания на установление соответствия и альтер­нативные задания (да-нет).

в) Для тестирования понимания материала, представленного в вопросе, полезны альтернативные задания.

г) Имеет смысл разрабатывать тест с заданиями всех типов, хотя и нет необходимости иметь одинаковое количество заданий каждого типа.

4. Упорядочивание заданий теста. Есть несколько правил для упорядочения заданий при испытаниях теста.

а) Располагайте задания каждого типа вместе, чтобы дать возможность испытуемым приспособиться к данному типу заданий.

б) Располагайте задания в порядке трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит слишком много времени на задания, которые он не может решить и, таким образом, лишает себя возможности попытаться выполнить другие, по которым он мог бы получить баллы.

в) Располагайте материал настолько случайно, насколько это возможно. Это снижает монотонность и связанное с ней утомление.

г) Не комплектуйте вместе такое количество заданий, что среднему испытуемому для их выполнения потребуется более полутора часов (для взрослых). Для детей период сосредоточения в тестах способностей должен быть еще более ограниченным.