Современные виды аутентичного оценивания

Сегодня, в современных условиях идет обсуждение, апробация, различных подходов к оцениванию. Аутентичное оценивание - «подлинное или оценивание реальных достижений обучающихся», - базируется на стандартах обучения, построено на концепции компетентности и на конечных результатах образования.

Одним из самых значительных и компетентных интернациональных исследований результатов современного образования абсолютным большинством экспертов признаётся ПИЗА. Исследование выявляет и использует разные способы аутентичного оценивания.

ПИЗА - это интернациональная программа исследований достижений или результатов школьного обучения. (Program for International Student Assesment), которая является частью программы ИНЕС (indukators of Edukanional System) организации экономического сотрудничества и развития (ОСРР).

Основная цель ПИЗА - предоставить в распоряжение стран-членов ОСРР данные о знаниях, способностях и умениях пятнадцатилетних учащихся в области чтения, математики и естествознания, исследовать основные (базовых, ключевых, надпредметных) компетентности, относящиеся к учению («cross curricular competencies»).

В программе ПИЗА используется самый широкий спектр разного рода текстов. Например, такие как - литературные тексты, тексты-аргументации, тексты-комментарии, а также кар­тинки, диаграммы, графики, карты, таблицы, схемы, модели и т.д.. Общим для всех заданий ПИЗА яв­ляется то, что они не требуют простого воспроизведения полученных зна­ний. Для их выполнения нужна та или иная дополнительная мыслительная, логиче­ская работа, способность соотнести свои знания с реалиями, с которыми мы имеем дело в современной жизни. В этом и проявляется компетентностный характер таких заданий. Неслучайно сборник статей, где рассматриваются различные аспекты ПИ­ЗА получил название «Учение для жизни».

Исследование предполагает уточнение индикаторов качества школы, выявление корреляции педагогической среды школы, культуры учения, удовлетворенности учеников своей школой и их учебных достижений.

ПИЗА ориентирует на то, что важно на современном этапе проверять у молодого поколения, для качественной подготовки специалистов в будущем. Объявленная цель проекта ПИЗА предполагает разработать и представить в распоряжение правительств стран-участниц индикато­ры, которые могли бы быть использованы для улучшения системы образования. ПИЗА, по мнению специалистов, будет определять климат систем образования в XXI веке. Поэтому Россия, планирующая вхож­дение в мировое сообщество развитых государств, во все большей мере ориентируется на мировые требования к качеству и уровню образования, на аутентичное оценивание его результатов.

Однако следует уберечь себя от унифицированности, от представле­ний о возможности создания и использования одного способа, который позволил бы полностью решить проблему объективности оценки результатов образовательной деятельности. Одни способы оценивания позволяют судить о результатах одних видов деятельности, дру­гие о других. Рассмотрим некоторые из них.

 

Педагогическое тестирование

Теория педагогических тестов рассматривается как часть педагогической квалиметрии. Одна из важных задач квалиметрии - быстрая и надежная оценка знаний человека.

Применение диагностических тестов в зарубежных школах имеет давнюю историю. Практические потребности изучения способностей были сформулированы тогда в виде важной для педагогики и психологии проблемы исследования индивидуальных различий. Исследование этой проблемы и дало импульс к появлению первых тестов.

Родоначальником тестового движения можно назвать известного английского ученого Френсиса Гальтона. В 1884–85 годах он проводил серию испытаний для посетителей своей лаборатории. Туда приходили дети и взрослые, возраст испытуемых варьировал от 5 до 80 лет. За небольшую плату там определялись быстрота реакции, вес, жизненная емкость легких, сила кисти (сжимание известного каждому ручного динамометра - изобретение Ф. Гальтона), сила удара кулаком, становая сила, рост, острота зрения. Кроме того, оценивались способности запоминать буквы и различать цвета, ряд физиологических возможностей организма и некоторые психические свойства. По полной программе было обследовано 9337 человек. Гальтон отмечал, что методически упорядоченное тестирование требует определенных условий эксперимента. Это был существенный отход от тысячелетней практики испытаний и проверок, основанных на интуиции. Хотя не все испытания Гальтона можно назвать тестами с позиции сегодняшнего дня, он сделал первый шаг на пути создания объективных методов оценки способностей и свойств личности.

Дж. Кэттелл первым увидел в тестах средство измерения, казалось бы, не измеряемых свойств личности. В работе, опубликованной в 1890 г., он дал список 50 лабораторных тестов, к которым имелась стандартная инструкция. В той же работе подчеркивался научно-лабораторный характер испытаний. В частности, указывалось, что лабораторию следует хорошо оборудовать, во время тестирования в нее не допускаются зрители; все испытуемые одинаково инструктируются, они должны хорошо усвоить, что и как нужно им делать. Кроме того, делались рекомендации по подсчету баллов.

Большинство заданий Кэттелла и Гальтона можно сейчас назвать психомоторными заданиями, потому что их тестам явно не доставало стандартизации процедуры тестирования и правил интерпретации результатов.

К концу ХIХ века в Европе сложились две традиции в контроле знаний. В одной (ее можно условно назвать немецкой) упор делался на устные формы экзамена, в присутствии комиссии, состоявшей по меньшей мере, из двух человек. На экзамене давались один (редко два) сравнительно объемных вопроса, ответ на которые должен был свидетельствовать об уровне знаний всего курса. Другая традиция, которую можно назвать английской, – это письменная форма контроля, во время которого испытуемым давалось десять–двенадцать коротких заданий из разных тем. Можно сказать, что Россия конца XIX века позаимствовала в основном немецкий вариант проверки знаний.

Начиная с первого десятилетия XX века обыденное представление о тесте и его научное определение стали заметно отличаться друг от друга. Хотя всякий тест включает в себя задания как элементы испытаний, он не сводится только к этому, ибо сейчас это и метод научного исследования, включающий в себя ряд требований измерения. На каждом этапе развития науки менялись требования к тестам и сами тесты. Игнорирование этого диалектического момента нередко приводило к упрощенчеству в оценках тестов. Упрощенчество проявлялось, главным образом, во взглядах на тест как на средство, совпадающее с другими распространенными формами оценки знаний – такими, как, например, зачет, экзамен. Но это неверно. Тест является средством педагогического измерения, что выгодно отличает его от всех остальных форм педагогического контроля.

Признанный авторитет в области педагогического тестирования Э.Торндайк (1874-1949) выделяет три этапа внедрения тестирования в практику американской школы:

1. Период поисков (1900-1915 гг.). На этом этапе происходило осознание и первоначальное внедрение тестов памяти, внимания, восприятия и других, предложенных французским психологом А.Бинэ. Разрабатываются и проверяются тесты интеллекта, позволяющие определять коэффициент умственного развития.

2. Последующие 15 лет - годы "бума" в развитии школьного тестирования, когда было разработано и внедрено множество тестов. Это привело к окончательному осмыслению роли и места тестирования, возможностей и ограничений.

3. С 1931 г. начинается современный этап развития школьного тестирования. Поиски специалистов направляются на повышение объективности тестов, создание непрерывной (сквозной) системы тестовой диагностики, подчиненной единой идее и общим принципам, созданию новых, более совершенных средств предъявления и обработки тестов, накопления и эффективного использования диагностической информации.

Педология, развившаяся в России в начале XX века, безоговорочно приняла тестовую основу объективного школьного контроля. Однако, после известного постановления ЦК ВКП(б) "О педологических извращениях в системе Наркомпроса" (1936 г.) были ликвидированы не только интеллектуальные, но и безобидные тесты успеваемости. Попытки возродить их в 70-х годах ни к чему не привели. В этой области наша наука и практика значительно отстали от зарубежной.

В образовательных учреждениях других стран внедрение и совершенствование тестов шло быстрыми темпами. Широкое распространение получили диагностические тесты школьной успеваемости, использующие форму альтернативного выбора правильного ответа из нескольких правдоподобных, написания очень краткого ответа (заполнения пропусков), дописывания букв, цифр, слов, частей формул и т.п. С помощью этих несложных заданий накапливался значительный статистический материал, который подвергался математической обработке, что давало возможность получить объективные выводы.

На современном этапе развития российского образования тестирование широко используется в практике учебных заведений:

- для тренировочного, промежуточного и итогового контроля знаний;- для обучения и самоподготовки учащихся;- для оценки качества преподавания;- для оценки самих испытательных материалов.Каждый тест имеет несколько составных частей: - тестовую тетрадь с заданиями, - руководство по работе с тестом, - стимульный материал или аппаратуру (по необходимости),- лист ответов (для бланковых методик), - шаблоны для обработки данных.

Тесты обученности применяются на всех этапах дидактического процесса. С их помощью эффективно обеспечивается предварительный, текущий, тематический и итоговый контроль знаний, умений, учет успеваемости, академических достижений. Тесты обученности все больше проникают в массовую практику. Ныне кратковременный опрос всех учащихся на каждом уроке с помощью тестов используют почти все педагоги. Преимущество такой проверки в том, что одновременно занят и продуктивно работает весь класс и за несколько минут можно получить срез обученности всех учащихся. Это вынуждает их готовиться к каждому уроку, работать систематически, чем и решается проблема эффективности и необходимой прочности знаний. При проверке определяются прежде всего пробелы в знаниях, что очень важно для продуктивного самообучения. Индивидуальная и дифференцированная работа с обучаемыми по предупреждению неуспеваемости также основывается на текущем тестировании.

Для диагностики успешности обучения разрабатываются специальные методы, которые разными авторами называются тестами учебных достижений, тестами успешности, дидактическими тестами и даже тестами учителя (под последними могут также подразумеваться тесты, предназначенные для диагностики профессиональных качеств педагогов). Как утверждает А.Анастази, по численности тесты учебных достижений занимают первое место. В литературе встречается следующее определение тестов достижений:• тесты - это достаточно краткие, стандартизированные или не стандартизированные пробы, испытания, позволяющие за сравнительно короткие промежутки времени оценить преподавателями и обучающимися результативность познавательной деятельности, т.е. оценить степень и качество достижения каждым целей обучения (целей изучения);• тесты достижений предназначены для того, чтобы оценить успешность овладения конкретными знаниями и даже отдельными разделами учебных дисциплин, и являются более объективным показателем обученности, чем оценка;• тесты достижений отличаются от психологических тестов (способностей, интеллекта). Их отличие от тестов способностей состоит в том, что с их помощью изучают успешность овладения конкретным учебным материалом. На формирование способностей (например, пространственных) влияние обучения также сказывается, но оно не является единственным фактором, определяющим уровень их развития. Отличие от психологических тестов определяется разными целями применения. Тесты достижений применяются для оценки успешности овладения конкретным учебным курсом с целью определения эффективности программ, учебников, методов обучения, особенностей работы отдельных педагогов, педагогических коллективов и т.д.. Таким образом, тесты достижений диагностируют прошлый опыт, результат усвоения тех или иных дисциплин или их разделов.

Обычно тесты достижений включают несколько десятков заданий. Естественно, что это позволяет более полно охватить все основные разделы курса. Предъявляемые задания обычно выполняются в письменном виде. При этом используются два вида заданий:

а) требующие от учащихся самостоятельного составления ответа (задания с конструктивным типом ответа) – открытая форма теста;

б) задания с выборочным типом ответа – закрытые тесты. В последнем случае учащийся выбирает из числа предъявленных ответ, который он считает правильным.

Старательный ученик, обладающий хорошей памятью, без труда может найти правильные ответы в заданиях закрытого теста достижений. А.Г.Молибог считает, что предложение в заданиях закрытой формы готовых ответов на выбор снижает самостоятельность и творчество обучающихся, из - за того, что гораздо легче выбрать готовый ответ, чем самому его сформулировать. Поэтому метод выбора ответов может быть использован лишь при изучении описательного и ознакомительного материала. Для учёта этой погрешности в зарубежной литературе предлагаются формулы коррекции баллов, призванные повысить обоснованность каждого тестового результата. Сама же формула коррекции построенная на основе вероятностных соображений, приводится повсеместно (347 и мн. др.). В качестве приема, существенно уменьшающего вероятность случайного угадывания правильного ответа в заданиях закрытой формы, с выбором ответа, Н.М.Розенберг предлагает представлять задание двумя (или более) частями; каждый такой "подвопрос" сопровождается серией ответов, причем лишь совпадение правильных ответов на все "подвопросы" позволяет считать соответствующий материал усвоенным. По его мнению, дидактическая ценность сдвоенного вопроса состоит еще и в том, что первая часть задания требует от обучаемого лишь выбора одного из предлагаемых ответов, а вторая - обоснования справедливости выбора.Многими учёными отмечается недостаток тестов открытого типа, который состоит в необъективности их оценок. Так, разные экзаменаторы и нередко даже один и тот же экзаменатор ставят разные оценки за один и тот же ответ. Кроме того, чем больше свободы в ответе у учащихся, тем больше и вариантов оценки преподавателей.Вместе с тем нельзя отрицать, что тесты достижений также могут в определенной степени предсказывать темпы продвижения учащегося в той или иной дисциплине, поскольку имеющийся на момент тестирования высокий или невысокий уровень овладения знаниями не может не отразиться на дальнейшем процессе обучения.Поскольку тесты достижений предназначены для оценки эффективности обучения по конкретным предметам, то обязательным участником формулирования отдельных заданий должен стать преподаватель. При подготовке материалов для тестового контроля необходимо придерживаться следующих основных правил:

• нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися;

• неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными;

• правильные ответы среди всех предлагаемых ответов должны размещаться в случайном порядке;

• вопросы не должны повторять формулировки учебника;

• ответы на одни вопросы не должны быть подсказками для ответов на другие;

• вопросы не должны содержать "ловушки".

Тесты печатаются в виде сборников, прилагаются к учебникам, распространяются на электронных носителях.

Наряду с тестами достижений, предназначенными для оценки усвоения знаний по конкретным дисциплинам или их циклам, разрабатываются и более широко ориентированные тесты. Это, например, тесты на оценку отдельных навыков. Еще более широко ориентированными являются тесты для изучения умений, которые могут пригодиться при овладении рядом дисциплин, например, навыки работы с учебником, математическими таблицами, энциклопедиями и словарями. Существуют также тесты, направленные на оценку влияния обучения на формирование логического мышления, способности рассуждать, строить выводы на основе анализа определенного круга данных и т.д. Эти тесты в наибольшей степени приближаются по своему содержанию к тестам интеллекта и высоко коррелируют с последними.

Помимо разработки теста и оценки его качества, процесс тестового контроля предполагает применение тестов. В англо-американской литературе эта часть контроля называется Test Administration. Задачи этой деятельности имеют слишком мало общего с содержанием теории тестов. По сути, мы имеем здесь дело с необходимостью организации той части процесса, которая занимается применением тестов.

Тестирование – это специально разработанная процедура, позволяющая оценить уровень достижений обучающихся и выразить результат рейтингом, характеризующийся следующими параметрами:

- объект проверки;

- количество заданий;

- рейтинг.

В западной литературе выделяется шесть задач, решаемых Test Administration:

1. Организация тестового контроля в соответствии с инструкциями разработчиков теста;

2. Подготовка испытуемых к тестированию, работа с ними во время контроля и после него;

3. Создание необходимых материально-технических условий для качественной организации тестового контроля: подготовка места, техники, приборов, программно - методического обеспечения;

4. Создание благоприятных психологических условий для положительного отношения к тестированию;

5. Осуществление таких форм предъявления теста испытуемым, которые обеспечивают эффективный и качественный сбор данных, как в режиме индивидуального, так и группового контроля;

6. Разработка оптимальной системы подсчета баллов, методов интерпретации и представления данных.

По форме проведения тесты могут быть индивидуальными и групповыми, устными и письменными, бланковыми, предметными, аппаратурными и компьютерными, вербальными и невербальными. Форму теста Г.С.Костюк определял как способ предложения заданий испытуемым и связанный с ним способ заполнения теста.Каждая форма тестов имеет свои достоинства и недостатки. Преимуществом групповых тестов является возможность охвата больших групп испытуемых одновременно (до нескольких сот человек), упрощение функций экспериментатора (чтение инструкций, точное соблюдение времени), более единообразные условия проведения, возможность обработки данных на ЭВМ и др. Основным недостатком групповых тестов является снижение возможностей у экспериментатора добиться взаимопонимания с испытуемыми, заинтересовать их. Кроме того, при групповом тестировании затруднен контроль за функциональным состоянием испытуемых, таким, как тревожность, утомление и др. Иногда для того, чтобы понять причины низких результатов по тесту какого-либо обучающегося, следует провести дополнительное индивидуальное собеседование. Индивидуальные тесты лишены этих недостатков.В автоматизированных системах обучения и контроля рассматриваются задания трех форм - закрытой формы, открытой, и задания на соответствия. В настоящее время в автоматизированных системах наиболее часто используются следующие варианты тестовых контрольных мероприятий: "автоматический", когда обучаемый выполняет задание в непосредственном диалоге с ЭВМ, результаты сразу переносятся в блок обработки; “полуавтоматический”, когда задания выполняются письменно, а ответы со специальных бланков вводятся в ЭВМ (решения не проверяются); “автоматизированный”, когда задания выполняются письменно, решения проверяются преподавателем, а в ЭВМ вводятся результаты проверки.Особенностью первых двух является отстраненность преподавателя от проверки результатов испытаний. В этом случае, казалось бы, их объективность повышается. Однако при этом утрачивается значительная часть информации, которую можно было бы получить при анализе результатов тестирования с использованием человеческого фактора.В “автоматическом” режиме такой потери можно избежать. Но при использовании такого метода на сегодняшний день возможно появление некоторых специфических проблем:- отсутствие достаточного парка ЭВМ. Не все учебные заведения могут позволить себе оснастить классы дорогостоящим компьютерным оборудованием в достаточном количестве;- отсутствие навыков пользователя компьютером у обучаемых;- сложность и дороговизна разработки программного обеспечения;- существует проблема распознания ответов произвольной формы в открытых текстовых заданиях.В “автоматизированном” варианте система тестирования включает в себя испытательный материал - в качестве инструмента измерений, преподавателя - проверяющего - в качестве независимого эксперта и компьютерную оболочку, выполняющую функции обработки результатов и учета ошибок измерения, выявления статистических закономерностей, сравнения результатов испытаний с прогнозируемыми, среднестатистическими, а также между собой. В качестве аргументов в пользу компьютерного тестирования можно сказать следующее:

- как известно, одним из важных педагогических аспектов подготовки является развитие качественных, интуитивных, образных представлений, причём, чем более сложным и специальным является изучаемый курс, тем большую роль играют “наглядно – компьютерные” подходы. Они помогают обучающемуся от уровня “выучил и после ответа забыл” перейти к уровню “понимаю, представляю, всегда смогу использовать”;

- в тестах возможно применение различных способов представления вопроса – графическое (схема, таблица, фотография и т.д.), видеоизображение, анимация, звук, текст.

К исследованиям последних лет в направлении педагогического тестирования относятся труды B.C.Аванесова, В.П.Беспалько, Л.В.Макаровой, В.И.Михеева, Б.У.Родионова, А.О.Татура, В.С.Черепанова, М.Б.Челышковой и других учёных.

В начале 90-х годов в практику российских высших учебных заведений стали внедряться вступительные испытания в виде тестов. Технология этого вида тестирования следующая: абитуриенту выдаётся вариант задания, в котором обозначены вопросы и несколько вариантов ответов. Правильный ответ, выбранный абитуриентом, отмечается знаком «Х» в специально отведённом месте бланка. Бланк с ответами сканируется, оценка выставляется компьютером и зависит от числа правильно решённых заданий. Время тестирования ограничено.

В настоящее время в России проводится эксперимент по введению единого государственного экзамена (ЕГЭ), где педагогическое тестирование применяется как один из методов, способствующих решению проблемы доступности образования в масштабах российского образовательного пространства. ЕГЭ проводится на основании Положения о проведении ЕГЭ, утверждённого приказом Министерства образования Российской Федерации от 09.04.2002 № 1306. Проведение ЕГЭ осуществляется под руководством государственной экзаменационной комиссии субъекта РФ. Организационно-технологическое обеспечение проведения ЕГЭ осуществляется Центром тестирования Министерства образования Российской Федерации и уполномоченными организациями в субъектах РФ. Центр тестирования принимает участие в подготовке материалов, разработке процедуры тестирования, содействует органу управления образованием субъекта Федерации в проведении обучения и инструктажа организаторов ЕГЭ. Центр тестирования предоставляет в региональные центры обработки информации на магнитных носителях соответствующие программные средства, которые тиражируются и распределяются по пунктам проведения ЕГЭ. ЕГЭ проводится по общеобразовательным предметам, определённым Минобразованием России по согласованию с органами управления образованием субъекта Федерации, советами ректоров вузов и директоров ссузов. ЕГЭ может проводиться по русскому языку, математике, физике, химии, биологии, истории, обществознанию, географии, английскому, немецкому, французскому, испанскому языкам и литературе.

По каждому предмету выпускникам предлагаются:

- контрольные измерительные материалы со стандартизированными формами тестовых заданий типов «А», «В», «С» и инструкций к ним. Задания типа «А» предполагают выбор ответов из нескольких предлагаемых вариантов. Задания типа «В» предполагают запись в виде последовательных символов: букв, цифр, тире или запятой, образующих краткий ответ. Задания типа «С» содержат задачи, требующие развёрнутые ответы в виде записи решения или коротких текстов;

- бланк регистрации;

- бланк черновика;

- бланки ответов. Бланк ответов № 1 предназначен для записи информации об ответах выпускников на задания типов «А» и «В» с выбором ответа и на задания с кратким ответом. Бланк ответов № 2 предназначен для записи развёрнутых ответов на задания типа «С».

Все бланки, заполненные выпускниками, подлежат обработке. Обработка бланков ЕГЭ осуществляется в соответствии с требованиями Центра тестирования и включает в себя следующие процедуры:

- сканирование, с использованием предоставленных аппаратно-программных средств;

- распознавание образов с бланков ЕГЭ;

- верификация (проверка правильности) результатов распознавания;

- создание файлов, содержащих информацию, занесённую на бланки ЕГЭ;

- передача готовых файлов для дальнейшей обработки;

- запись отсканированных изображений на внешние носители;

- хранение электронных файлов, содержащих результаты первичной обработки бланков ЕГЭ.

Обработка материалов ЕГЭ проводится в пункте первичной обработки (бланки регистрации), в региональном центре обработки информации (бланки ответов № 1 и 2), в Центре тестирования (анализ статистических результатов проведения). Организация проверки ответов выпускников на бланке № 2 осуществляется с привлечением экспертов соответствующих предметных комиссий. Результаты обработки отправляются в Центр тестирования. Процедура выставления балла по стобалльной шкале осуществляется только после получения Центром достаточного количества информации с результатами обработки всех бланков ЕГЭ. Протоколы с баллами в стобалльной и пятибалльной шкалах передаются в субъекты Федерации после издания распоряжения Минобразования России, устанавливающего их соответствие через закрытые разделы технического сайта.

Несомненно, что тестирование, как вид аутентичного оценивания, имеет положительные качества. К ним следует отнести:- исключение воздействия на результаты оценивания таких факторов как настроение, уровень квалификации и другие характеристики конкретного преподавателя;- многофункциональность;- ориентированность на современные технические средства, на использование в среде компьютерных (автоматизированных) обучающих систем;- универсальность, охват всех стадий процесса обучения.Среди недостатков педагогического тестирования: встречающийся субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль, от структуры включенных в тестовое задание вопросов и т.д. Одним из недостатков тестового метода контроля является то, что создание тестов, их унификация и анализ - это большая кропотливая работа.

Естественно, что не все образовательные результаты педагогического процесса можно оценить средствами тестирования. Это значит, что тестирование должно обязательно сочетаться с другими формами, средствами, методами, технологиями оценивания.