Объективность и субъективность оценивания

Чтобы провести процедуру оценивания проекта, нужно выработать критерии оценивания, составить сами экспертные карты и подобрать экспертов. В каждой из этих задач есть свои «подводные камни». Критерии, например, должны быть понятными и интерпретироваться однозначно. Шкалы в экспертных картах не должны быть слишком свободными, чтобы за одну и ту же работу нельзя было поставить слишком разные оценки, но и не слишком закрытыми, чтобы не осталось неучтенных случаев. К выбору экспертов также необходимо подходить ответственно и, возможно, дифференцированно: решить, нужно ли, чтобы эксперт был погружен в содержание работы, или наоборот, был от него дистанцирован, должен ли он иметь педагогический опыт, и так далее.

Одним из ключевых показателей качества метода оценки принято называть его объективность, то есть независимость от экспертов, участников и каких бы то ни было других внешних факторов. Одним из примеров попытки построить абсолютно объективную систему оценки является система оценивания, принятая в ЕГЭ. Подчеркнем, что эта система оценки не имеет отношения к нашим задачам и приведена только в качестве иллюстрации подхода к оцениванию. Большую часть заданий ЕГЭ проверяет компьютер, задания составлены таким образом, что правильность или неправильность ответа чаще всего не вызывает никаких сомнений. Часть заданий, проверяемая экспертом, как правило, имеет достаточно четкие и легко интерпретируемые критерии.

Такая система дает объективную оценку, но попытка применить ее к более сложным объектам, к примеру, компетенциям, оказывается неудачной. Компетенции могут быть проявлены слишком по-разному, их тяжело оценить по системе «правильно – неправильно», и возникает множество случаев, когда изначально выстроенная схема не позволяет оценить то или иное действие, потому что оно просто не было предугадано и учтено. Следовательно, эксперт должен быть вооружен более тонким инструментом – инструментом для наблюдений, который бы давал ему несколько большую свободу.

Примером другой крайности может служить экспертная карта вида «оцените работу по шкале от 0 до 100». Если нет дополнительных комментариев, критериев и других уточнений, это максимально субъективная карта из возможных. Однако, она позволяет использовать очень мелкую градацию, учитывать разницу (правда, исключительно на основе субъективных впечатлений) даже между самыми близкими работами, которую не уловила бы более строгая экспертная карта. Таким образом, мы всегда находимся в ситуации выбора между грубой, но объективной моделью, и адекватной, но субъективной.

Объективность оценки напрямую зависит от того, сколько усилий прикладывает эксперт, чтобы ее провести. Если эксперту нужно поставить или не поставить галочку напротив некоторого наблюдаемого действия – оценка будет однозначной и объективной. Открытая шкала – это простор для субъективности. Чем меньше эксперт думает – тем объективнее оценка. Открытая шкала представлена на рисунке 9.

Рисунок 9. Открытая шкала

 

Однако абсолютная объективность не всегда является конечной целью построения системы оценивания. В первую очередь, в силу своей недостижимости. Для построения абсолютно объективной системы из нее необходимо полностью исключить человеческий фактор (экспертов), а этого не удается сделать даже для оценки знаний по предметам, не говоря уже о метапредметных умениях. Следовательно, в первую очередь мы должны честно признаться себе в том, что система оценивания, которую мы проектируем, является отчасти субъективной.

Субъективность – не всегда плохо. Качество оценки в этом случае зависит от субъекта, который ее проводит. Если субъект достаточно авторитетен, его оценка может вызывать даже меньше сомнений, чем псевдообъективная, проведенная по сложной экспертной карте человеком, малознакомым с содержательным полем экспертируемой работы. Например, если при оценивании исследовательских работ удалось привлечь в качестве эксперта действующего ученого, погруженного в предмет исследования, его мнение и аргументы также можно использовать в качестве оснований для проведения оценки. Однако, вряд ли следует пытаться заставить его работать по экспертной карте и оценивать работу по шкале от 0 до 100 по разным критериям.

С одной стороны, не всегда имеет смысл загружать эксперта всей системой оценивания. Например, если при оценивании групповых проектов необходимо выявить трех победителей, необязательно вводить критерии и стобалльную шкалу, а затем составлять рейтинг. Достаточно бывает дать экспертам задачу выделить три команды, показавшие, с их точки зрения, наиболее качественный результат. В этом случае качество оценки достигается не за счет объективности системы, а за счет авторитета эксперта. А преимущество авторитетных экспертов в том, что они, в отличие от объективных систем оценивания, реально существуют. С другой стороны, такой подход работает только при достаточном доверии к экспертам – как со стороны организаторов, так и со стороны участников. Если есть сомнения – лучше дать экспертам максимально простой инструмент объективизации, например, попросить каждого из экспертов расставить свои приоритеты, а затем выявить победителей уже математически, или дать простейшие экспертные карты, опираясь на которые они смогут принять решение.

Эволюция экспертных карт

Рассмотрим несколько вариантов экспертных карт и поразмышляем над областью их применения. Мы уже говорили о крайнем случае, когда критериев нет, и эксперт должен просто выставить оценку по некоторой шкале, например, от 0 до 100. Открытость данного варианта позволяет учесть любые действия участников, которые могут быть позитивно оценены, но повышает риски, связанные с субъективностью и требует доверия к эксперту.

Рассмотрим теперь чуть более строгий вариант карты, представленный в таблице 70, предполагающий несколько критериев (в данном случае – пять) и заданную шкалу по каждому из них.

 

Таблица 70. Экспертная карта

Критерий	Баллы
Новаторство и креативность	0-10
Экономическая эффективность	0-10
Проявление социальной и гражданской ответственности	0-10
Схема преемственности	0-5
Использование СМИ	0-5

 

Экспертная карта по-прежнему остается достаточно абстрактной, а значит, многие проявления деятельности участников могут быть «притянуты» к какому-либо из критериев. В то же время карта уже может служить опорой для эксперта, рекомендацией «куда смотреть».

Приведенный выше вариант – выдуманная карта, которая похожа на большинство карт, используемых в оценке учебных проектов. Критерии имеют разные веса, охватывают разные стороны проекта, дают возможность получить за работу от 0 до 40 баллов. Казалось бы, работать по этой карте довольно легко – пяти- и десятибалльная шкала являются интуитивными, все стороны проекта охвачены. Однако, при более детальном рассмотрении работа с такой картой вызывает некоторые трудности.

Во-первых, надо иметь в виду, что эксперт оценивает проекты последовательно и должен запоминать каждый из них, чтобы иметь возможность сравнивать их между собой. Эта операция усложняется по мере увеличения количества критериев – увеличивается число операций сравнения.

Во-вторых, карта содержит немало абстрактных терминов – и это имеет обратную сторону. Понимание некоторых из них может разниться у разных людей. Это значит, что экспертам необходим инструктаж, цель которого – обеспечить, чтобы все эксперты понимали каждый из критериев одинаково. Практика показывает, что такая «одинаковость» редко, когда удается. Чем глубже содержание и абстрактнее критерии, тем сложнее это делать, и тем дальше мы уходим от объективности.

Отдельного внимания заслуживает использование разных шкал в одной карте. Очевидно, что это необязательное усложнение работы эксперта. Для достижения аналогичного результата можно проводить оценку по десятибалльной шкале по всем критериям, а затем оценки по двум последним делить пополам. К тому же, эта карта вызывает еще и содержательные вопросы. Например, пять по критерию «использование СМИ» – это равнозначно пяти по «Новаторству»? Почему вообще критерии имеют разный вес? Если проект хорош, но недобрал по одному из критериев, можно ли поставить больше по другим? Эксперт начинает думать, – выше было сказано, что это препятствует объективности.

Продвигаемся дальше по растяжке «открытость – объективность». Если продукты, которые необходимо оценивать, становятся более предсказуемы и можно хотя бы частично предугадать, какие действия продемонстрируют участники (или мы точно знаем, какие из них нам важны), можно начинать отходить от абстрактных критериев в сторону более подробных индикаторных форм, которые менее требовательны к экспертам, более надежны с точки зрения объективности и дают результаты, близкие к адекватным даже при независимом оценивании.

Приведем более подробный вариант рассмотренной выше экспертной карты. Она близка к тем, которые используются в международной программе SAGE и представлена в таблице 71.

 

Таблица 71. Экспертная карта (подробная)

Критерий	Высокие баллы	Средние баллы	Низкие баллы	Балл
Новаторство и креативность	Проект содержит большое количество элементов, которые, будучи добавленными в другие проекты, улучшили бы их	Проект содержит несколько элементов, которые, будучи добавленными в другие проекты, улучшили бы их	Проект содержит мало (или вовсе не содержит) элементов, которые, будучи добавленными в другие проекты, улучшили бы их
	Возможные баллы: 10 / 9 / 8	Возможные баллы: 7 / 6 / 5 / 4	Возможные баллы: 3 / 2 / 1
Экономическая эффективность	Проект приносит высокую прибыль, и выработанная стратегия гарантирует получение прибыли	Проект приносит среднюю прибыль, и выработанная стратегия гарантирует получение прибыли	Проект не приносит прибыль, и выработанная стратегия не гарантирует получение прибыли
	Возможные баллы: 10 / 9 / 8	Возможные баллы: 7 / 6 / 5 / 4	Возможные баллы: 3 / 2 / 1
Проявление социальной и гражданской ответственности	Команда твердо осознает свою ответственность перед окружающей средой и заботится о ней через свои продукты / услуги или общественную деятельность	Команда не в полной мере осознает свою ответственность перед окружающей средой и косвенно заботится о ней через свои продукты / услуги или общественную деятельность	Команда не осознает свою ответственность перед окружающей средой и не заботится о ней через свои продукты / услуги или общественную деятельность
	Возможные баллы: 10 / 9 / 8	Возможные баллы: 7 / 6 / 5 / 4	Возможные баллы: 3 / 2 / 1
Схема преемственности	Команда четко объясняет, как проект будет развиваться в дальнейшем. Проект может быть расширен и воспроизведен в новых условиях	Проект в действии в настоящий момент, но команда не вполне четко объясняет, как проект будет развиваться в дальнейшем. Возможно, что проект может быть расширен и воспроизведен в новых условиях	Команда не объясняет, как проект будет развиваться в дальнейшем. Маловероятно, что проект может быть расширен или воспроизведен в новых условиях
	Возможные баллы: 5	Возможные баллы: 4 / 3 / 2	Возможные баллы: 1
Использование СМИ	Команда активно использует средства массовой информации и социальные сети, чтобы пропагандировать свою деятельность, о чем свидетельствуют частые публикации в печатных изданиях / Интернет и сюжеты ТВ	Команда время от времени использует средства массовой информации и социальные сети, чтобы пропагандировать свою деятельность, о чем свидетельствуют публикации в печатных изданиях / Интернет и сюжеты ТВ	Команда не использует средства массовой информации и социальные сети, чтобы пропагандировать свою деятельность посредством публикаций в печатных изданиях / Интернет и сюжетов ТВ
	Возможные баллы: 5	Возможные баллы: 4 / 3 / 2	Возможные баллы: 1

 

Как видно, эта карта гораздо более подробна и содержит в себе интерпретацию критериев. Эксперту даже без инструктажа понятно, за что сколько баллов выставлять.

Хотя стоит обратить внимание, что критерии по-прежнему имеют разный вес, и оценка определяется неоднозначно, – карта хоть и позволяет эксперту ранжировать проекты более подробно, но и оставляет простор для неоправданного завышения или занижения баллов и при неадекватном заполнении может доставить массу хлопот.

Наиболее подробный вариант экспертной карты (в данном случае – применительно к задаче, связанной с измерениями объекта) представлен в таблице 72.

 

Таблица 72. Экспертная карта (фрагмент)

1	Дано определение измеряемого объекта • Определение включает в себя признаки измеримости – 3. • Определение дано без указания признаков измеримости – 2. • Не дано определение, но заданы существенные признаки – 1.
2	Задана шкала измерений • Есть точка отсчета (задан ноль). Обоснованно задана единица измерения. Определены границы применимости метода – 3. • Единицы измерения заданы искусственно, не обоснованно – 2. • Задана качественная шкала, единицы измерения не заданы. Определены уровни, степени ответственности. Заданный способ позволяет сравнивать, но не позволяет измерять – 1.

 

Приведена только часть карты, поскольку остальные критерии зависят от условий задачи и имеют аналогичный вид. Способ оценки по этой карте максимально прост. У эксперта даже нет необходимости соотносить увиденное со шкалой – каждому проявлению соответствует количество баллов, которое следует поставить. Даже значения баллов из этой карты можно было бы убрать – просто оставить индикаторы, напротив которых эксперт ставил бы галочки.

Содержание, связанное с предметностью финансовой грамотности, требует дополнительных критериев. Один из вариантов их формирования – это анализ предметных составляющих – представлен в таблице 73.

 

Таблица 73. Анализ предметных составляющих

Предмет	Критерий
Математика	Последовательность и правильность расчетов. Использование корректных математических моделей.
Обществознание	Понимание роли финансовых отношений в жизни общества.
Экономика	Понимание функционирование кредитных, страховых и других финансовых систем.

 

Однозначного рецепта «правильной» экспертной карты не существует. Для того, чтобы составить карту, наиболее пригодную для конкретного события, необходимо ответить на ряд вопросов. Какого характера продукты или действия будут оцениваться? Насколько они предсказуемы? Велика ли вероятность творческих проявлений участников, которые невозможно учесть заранее? Доверяем ли мы нашим экспертам? Доверяют ли экспертам участники? И так далее.

 Наблюдаемые действия

Одним из ключевых вопросов процедуры оценивания является предмет наблюдения. Куда должен смотреть эксперт? По каким феноменам можно определить проявление тех или иных компетенций? На эти вопросы пока нет однозначного ответа, они являются предметом для экспериментов. Но так же как и с картами есть некоторые рекомендации относительно того, в каком направлении работать.

Прежде всего, остановимся на содержании (объекте) оценивания и оценивающих экспертах.

В образовательном событии всегда существует два параллельно идущих слоя. Первый – содержание работы. Оно может быть предметным, если речь идет об исследовательской или конструкторской деятельности, может быть метапредметным, проектным, предпринимательским, но это всегда некоторая предметная (в широком смысле) область. Второй слой связан с проявлением компетенций и УУД. Это коммуникация между участниками и аудиторией, работа с конфликтами, распределение ролей в команде, и другие составляющие события, не зависящие от его содержания.

Соответственно, каждый из этих слоев имеет смысл оценивать по-разному, по меньшей мере, по разным картам, а лучше, разными экспертами и в разных режимах. Оценивание разных составляющих работы требует от самих экспертов разных знаний, компетенций, подготовки и уровня включенности в содержание. Эксперт, оценивающий содержательную часть, вполне может быть оторван от системы образования, но погружен в предметность тематики события – это бизнесмены, ученые, профессионалы в своих областях. Их ключевой задачей может быть удерживание экспертной позиции, оценка реальной ценности продукта, в том числе и в отрыве от факта, что его делали дети. Для этой категории экспертов, опять же, важен момент авторитета – у участников не должно быть сомнений в том, что оценка их работы будет адекватной.

Эксперт, оценивающий УУД, должен обладать в первую очередь наблюдательностью. Любая фраза, жест или другое действие участника может служить индикатором, который нужно зафиксировать. Карта оценивания для такого эксперта обычно является очень объемной и подробной, и состоит из конкретных феноменов. Пример такой карты представлен в таблице 74.

 

Таблица 74. Карта оценивания для эксперта по УУД

Действие	V
При презентации использованы визуальные средства (схема, плакат, модель и пр.)
Устная презентация звучит достаточно громко, внятно, логично.
Выступающие от группы не перебивают и не исправляют друг друга
Выступающие от группы дополняют и уточняют друг друга
Выступающие от группы понимают заданные вопросы и содержательно отвечают на них
Члены группы задают содержательные вопросы к решениям / презентациям других групп
Участники группы высказывают рефлексивные или оценочные суждения о ходе своей работы

 

Работа эксперта по УУД не зависит от содержания задачи. Он может одинаково хорошо работать как в проектных задачах, так и в исследовательских, экономических и любых других предметностях.

Далее акцентируем вопрос наблюдаемого и интерпретируемого при оценивании.

Процесс наблюдения и интерпретации должен быть осознанным и раздельным. Прежде всего, важно понимать, что зафиксировать и измерить целостное проявление компетенции само по себе невозможно, – о нем можно только догадаться по косвенным признакам. Это означает, что и в экспертной карте о компетенциях лучше не упоминать, чтобы не вводить эксперта в заблуждение.

Обратимся к примерам интерпретации наблюдаемых действий, представленным в таблице 75.

 

Таблица 75. Интерпретация наблюдаемых действий

Наблюдаемое действие	Интерпретация
Участник задает вопрос к докладу	Участник проявил коммуникационную компетенцию
Участник использует текст условий в процессе решения задачи	Участник умеет работать с текстом
Участники проговорили распределение ролей в команде	Участники распределили роли в команде

 

Следует обратить внимание на то, что в данной карте в правой колонке приведены действия-оценки. Их наличие среди индикаторов в экспертной карте может привести к ошибкам. Не любая коммуникация является проявлением соответствующей компетенции, умение работать с текстом должно быть подтверждено реальными аналитическими действиями со стороны участников, а роли в команде могут быть распределены естественным образом, что так же не является проявлением умения их распределять сообразно задаче.

Выявление наблюдаемых действий, по которым можно осуществлять оценивание, является предметом рефлексии самих экспертов. Можно проводить экспериментальные мероприятия с этой целью, анализировать видеозаписи выступлений и командной работы участников, выявлять содержательные ходы и пополнять копилку индикаторов. Это долгая, кропотливая, но необходимая работа. И если образовательная организация заинтересована в разворачивании деятельности проектирования и обеспечении необходимых для этого условий, она будет в этом направлении продвигаться.