Разработка оценочных средств для оценки освоения обучающимися общепрофессиональных компетенций

 

Разработка оценочных средств независимой оценки качества подготовки обучающихся с учетом этапности формирования ОПК, учитывающих вариативность оценочных процедур для разных направлений подготовки и специальностей и преемственность поколений ФГОС, осуществляется в несколько этапов.

Этапы разработки оценочных средств:

1. определение предмета измерения – перечня ОПК по направлениям подготовки бакалавриата, специалитета, относящихся к разным областям образования (Инженерное дело, технологии и технические науки; Здравоохранение и медицинские науки; Сельское хозяйство и сельскохозяйственные науки; Науки об обществе; Образование и педагогические науки; Искусство и культура);

2. формирование команды разработчиков–экспертов для каждого ФОС по ОПК (не менее 3-х экспертов).

В числе разработчиков–экспертов могут быть представители образовательных организаций, имеющих ученую степень и (или) ученое звание, профиль которого соответствует направлению подготовки, специальности, опыт научно-педагогической деятельности по профилю направления подготовки, специальности, опыт участия не менее чем в 2-х мероприятиях по разработке оценочных средств для проведения процедур контроля и оценки качества образования;

3. обучение разработчиков–экспертов разработке оценочных средств в формате вебинара с использованием инструктивных, обучающих материалов;

4. разработка оценочных средств на основе собранных фондов оценочных средств, используемых при проведении промежуточных и итоговых аттестаций обучающихся, по определенным направлениям подготовки в ОО ВО, имеющих государственную аккредитацию по соответствующим образовательным программам:

- определение перечня дисциплин, формирующих ОПК с указанием периодов (курс, семестр) их формирования;

- разработка кодификатора индикаторов освоения ОПК;

- разработка структуры измерителя с наименованием блоков измерителя, дисциплин, разделов и тем, формирующих определенные ОПК;

- разработка спецификации измерителя с указанием количества и типов заданий на оцениваемые индикаторы достижения ОПК, с указанием времени выполнения заданий по каждому из трех блоков измерителя, общего времени выполнения всех заданий;

- разработка тестовых заданий и кейс-заданий разных типов;

- формирование ФОС по каждой ОПК, включающий не менее 20 вариантов заданий, не менее чем 20 заданий в каждом;

5. анализ, коррекция разработанных оценочных средств в соответствии с методическими и тестологическими требованиями;

6. вычитка текстов разработанных оценочных средств литературным редактором и их последующая правка;

7. рецензирование оценочных средств ФУМО по соответствующим укрупненным группам специальностей и направлений подготовки;

8. коррекция, редакция разработанных оценочных средств по замечаниям и предложениям рецензентов – членов и представителей ФУМО по соответствующим укрупненным группам специальностей и направлений подготовки;

9. заливка отредактированных оценочных средств в систему для предварительной вычитки заданий разработчиками–экспертами с экрана;

10. итоговая правка заданий, окончательная подготовка ФОС к проведению НОКО для проведения оценки освоения обучающимися ОПК.

Принципы и механизмы обеспечения объективности НОКО. Принципы оценки образовательной деятельности образовательной организации на основании полученных результатов

Используемые в рамках НОКО оценочные средства, технологии и механизмы должны обеспечивать объективность проведения процедуры оценивания качества подготовки обучающихся и результатов оценки.

Для обеспечения соблюдения данного требования в ходе проведения НОКО используются единые банки ФОС, разработанные преподавателями ведущих вузов, прошедшие процедуру сертификации и соответствующие Необходимо соответствие ФОС принципам объективности, валидности, надежности и др.

Предотвращение утечки информации о содержании ПИМ обеспечивается соблюдением разработчиками ПИМ договора о неразглашении информации, а также хранением ФОС на серверах в защищенном режиме. Обучающиеся получают доступ к материалам для независимого оценивания только в момент проведения сеанса тестирования.

Процедуры контроля и оценки качества знаний проводятся в электронной форме через онлайн-тестирование посредством сети Интернет. Разрабатываемая технология наиболее эффективна при проведении экзамена непосредственно на территории ОО – участников НОКО. В соответствии с предлагаемой технологией экзамен проводится с применением технологии прокторинга, позволяющей идентифицировать личность тестируемого и исключить нарушение экзаменуемыми правил поведения во время проведения процедур контроля.

Основные форматы проведения прокторинга:

— очный прокторинг («живой» прокторинг), который проводится в центре тестирования; при этом за тестируемым через монитор наблюдает живой человек (проктор), контролируя поведение на экзамене, а выполненные задания оцениваются отдельно;

— онлайн-прокторинг, предполагающий дистанционное тестирование с использованием интернета.

При проведении онлайн-экзамена используются следующие типовые режимы:

— синхронный прокторинг (система «проктор – человек»), когда проктор непосредственно во время экзамена следит за студентом;

— асинхронный прокторинг (система «проктор – компьютер»), при котором действия тестируемого фиксируется программным обеспечением (запись веб-камеры и рабочего стола), анализ записи прокторы производят позднее;

— автоматический прокторинг (система «человек и компьютер»), когда анализ изображений и принятие решения о нарушениях принимается не человеком-проктором, а специализированным алгоритмом или системой.

НОКО проводится с использованием прокторинга в смешанном режиме (сочетание синхронного и асинхронного прокторинга), позволяющего контролировать процесс проведения экзамена в онлайн-режиме через передачу видеоинформации о процессе тестирования. При этом обеспечивается получение достоверной и полной информации о процедуре проведения контрольных акций с верификацией личности тестируемого. Наблюдение за тестируемыми проводится дистанционно, для чего аудитории для проведения экзамена обеспечиваются видеокамерами и компьютерным оборудованием, отвечающими предъявляемым техническим требованиям. Видеотрансляция ведется непрерывно с момента начала экзаменационного сеанса до его окончания, в том числе на портале, и, кроме того, сохраняется в архиве. В течение экзаменационного сеанса прокторы ведут непосредственное наблюдение, а после окончания экзаменационного сеанса получают доступ к архивным записям.

Надежность и объективность процедуры обеспечиваются также случайной рассадкой обучающихся по местам в аудиториях; прохождением тестирования по индивидуальному набору заданий сертифицированного банка; восстановлением сеанса тестирования с сохраненными ответами и оставшимся временем в случае технического сбоя; отказоустойчивостью как на аппаратном, так и на программном уровне, в том числе при помощи репликации данных между основным и резервным серверами.

Проверка результатов НОКО проводится на основании единой модели оценивания, не только обеспечивающей объективность и прозрачность процедуры, но и позволяющей сравнивать индивидуальный уровень знания каждого обучающегося с требованиями ФГОС и результатами других обучающихся.

Разработка ФОС исключительно для автоматической проверки с помощью компьютера устраняет риски влияния субъективного фактора на результаты оценивания, имеющие место при ручной проверке правильности решения заданий. Кроме того, автоматизированная проверка результатов экзамена гарантирует экономию времени при проведении массовой оценки результатов обучения, широкий охват тестируемых в сочетании с индивидуальностью проведения процедуры контроля.

После окончания экзамена результаты автоматически выводятся на экран компьютера и размещаются в личных кабинетах обучающихся. По итогам процедуры НОКО образовательным организациям предоставляется доступ к рейтинг-листам обучающихся, а также для каждой ОО – участницы НОКО может быть сформирован развернутый отчет в форме педагогического анализа результатов, в котором рассмотрены количественные и качественные показатели участия в интернет-тестировании. Полученный ОО педагогический анализ может быть использован для принятия организационных и управленческих решений с целью повышения качества образования. При ежегодном участии в НОКО ОО получит возможность использовать результаты экзамена для проведения мониторинга качества подготовки обучающихся. Кроме того, по итогам успешного участия в НОКО ОО может получить сертификат качества, подтверждающий соответствие уровня обучения студентов требованиям ФГОС.

 

Таким образом, разрабатываемая система проведения НОКО должна обеспечить объективность и достоверность процедуры в условиях массового контроля при дистанционном оценивании уровня подготовки обучающихся в соответствии с требованиями ФГОС ВО и предполагает проведение тестирования в любой точке доступа к сети Интернет, использование единого сертифицированного банка ПИМ, широкий охват тестируемых в сочетании с индивидуальностью проведения процедуры контроля, реализацию единого подхода к оценке результатов, экономию времени при проведении массовой оценки результатов обучения, оперативность статистической обработки информации, доступность и прозрачность информации о результатах.

Технология проведения мероприятий по независимой оценке качества подготовки обучающихся

 

Технология проведения организационно-технических мероприятий НОКО разработана в полном соответствии с принципами и механизмами обеспечения объективности независимой оценки качества подготовки обучающихся.

Реализация модели НОКО предполагает строгую алгоритмизацию взаимодействия различных групп пользователей онлайн-платформы. Проведение независимой оценки качества подготовки обучающихся в части оценивания сформированности ОПК включает несколько этапов: организационный – со стороны оператора и участников НОКО; проведение компьютерного тестирования; обработка и анализ результатов проведения независимой оценки.

 

1. Организационно-техническое сопровождение процесса независимой оценки качества подготовки обучающихся со стороны оператора

 

В рамках подготовки к проведению НОКО организацией, осуществляющей процедуру независимой оценки качества подготовки обучающихся, должны быть выполнены следующие виды работ:

● составление плана проведения НОКО;

● организация технической инфраструктуры для проведения независимой оценки качества подготовки обучающихся;

● размещение на едином портале информации о технологии и методике проведения НОКО;

● организация регистрации ОО ВО;

● консультационно-методическое сопровождение участников.

 

План проведения процедуры НОКО должен включать перечень технологических процессов с распределением функционала среди участников мероприятий независимой оценки. В него должны быть включены этапы организации и непосредственного проведения онлайн-тестирования.

Организация, осуществляющая НОКО, создает онлайн-платформу, на которой должна быть размещена подробная информация о технологии и методике проведения всех этапов проведения независимой оценки. Для реализации модели НОКО организация, осуществляющая процедуру независимой оценки, размещает сертифицированные ФОС на подготовленной онлайн-платформе. Доступ к платформе должен быть непрерывным и осуществляться круглосуточно.

Регистрация ОО ВО – участниц проводится на едином портале организации, осуществляющей НОКО. Ответственно лицо ОО заполняет предоставленную форму и подает посредством факса или электронной почты заявку на участие в мероприятиях независимой оценки качества подготовки обучающихся. После обработки заявки организацией, осуществляющей НОКО, ОО – участнице предоставляются данные (логин и пароль) для создания личного кабинета на едином портале.

Организацией, осуществляющей НОКО, должно быть проведено обучение организаторов мероприятий по независимой оценке в формате вебинара с целью информирования участников об особенностях этапов и обеспечения структурированной работы.

Во время организации и проведения НОКО на протяжении всего периода реализации модели должно осуществляется консультационно-методическое сопровождение участников по проведению мероприятий независимой оценки качества подготовки обучающихся. Для консультационно-методического сопровождения организуется служба поддержки из 2-х операторов, находящихся на рабочем месте 8 часов в сутки, обеспечивающих прием и обработку поступающих запросов, включая обращения по электронной почте. Консультационно-методическое сопровождение осуществляется по будням в рабочие часы организации, осуществляющей НОКО, по телефону «горячей линии» и электронной почте. Телефон «горячей линии» предоставляется организацией, осуществляющей НОКО.

 

2. Организационно-техническое сопровождение процесса независимой оценки качества подготовки обучающихся со стороны ОО – участника НОКО

Процедура проведения НОКО предусматривает разделение полномочий участников. Со стороны ОО в НОКО участвуют следующие категории пользователей, наделенные различным функционалом. Для проведения процедуры независимой оценки качества подготовки обучающихся в форме онлайн-тестирования ОО – участницы создают рабочие группы, в состав которых помимо организатора тестирования войдут администратор (не менее одного в каждой аудитории) и технический специалист. Задачами рабочей группы станут организация и контролирование процесса подготовки к экзамену, проведение экзаменационного сеанса.

Организатор тестирования после прохождения регистрации на специально подготовленной для проведения НОКО онлайн-платформе входит в личный кабинет ОО по логину и паролю, предоставленным организацией, осуществляющей независимую оценку качества подготовки обучающихся. Ответственный за организацию проведения НОКО в ОО обеспечивает создание базы редакторов, в которую включены сотрудники ОО, отвечающие за актуализацию базы обучающихся. Организатор тестирования генерирует и передает редакторам индивидуальные логины и пароли для входа в личный кабинет.

Редакторы и организатор тестирования наделены полномочиями по созданию базы студентов, которые в дальнейшем пройдут процедуру НОКО. В специальном разделе личного кабинета ОО необходимо внести соответствующие данные по тестируемым. При формировании групп обучающихся для участия в процедурах НОКО ОО должна учитывать завершающий уровень сформированности компетенций студентов в соответствии с образовательными программами и учебными планами.

Ответственному за проведение процедуры НОКО в ОО необходимо заполнить план тестирования в личном кабинете на онлайн-платформе. Тестирование в рамках независимой оценки качества подготовки обучающихся по каждой представленной ОПК будет проведено в соответствии с предварительно утвержденным графиком. ОО самостоятельно определяет контингент тестируемых, формируя его из уже созданной ранее базы студентов. ОО – участница реализации модели НОКО при заполнении плана тестирования определяет перечень компетенций из представленных в соответствии с собственным учебным планом.

В плане тестирования организатор также заполняет информацию об аудиториях, которые будут использованы для проведения НОКО. В представленной форме указывается номер аудитории, количество рабочих мест, количество камер в аудитории, адрес.

После заполнения всех данных в плане тестирования организатору будет предоставлена информация с напоминанием о дате проведения независимой оценки по выбранной компетенции и продолжительности тестирования.

3. Технология проведения онлайн-тестирования в рамках независимой оценки качества подготовки обучающихся

Доступ студентов, принимающих участие в процедуре НОКО, к компьютерному тестированию на подготовленной онлайн-платформе осуществляется посредством одноразовых логинов и паролей, которые генерируются организатором. Ответственный за проведение тестирования предоставляет файл с данными тестируемых.

Независимая оценка ОПК обучающихся проводится в форме компьютерного тестирования, в связи с этим ОО должна обеспечить персональным компьютером каждого обучающегося, проходящего процедуру НОКО.

Обучающийся на этапе подготовки к тестированию получит возможность ознакомиться с перечнем компетенций, программами по соответствующим компетенциям. Информация о предстоящем сеансе тестирования, правилах поведения на экзамене, а по окончании экзамена о его результатах будет размещена в личном кабинете обучающегося. Для знакомства с принципами организации, особенностями и процедурой проведения ОО предоставляется доступ к демонстрационному режиму.

В установленный день проведения онлайн-тестирования по компетенции технический специалист ОО должен заблаговременно осуществить подключение видеокамер на заранее определенной платформе и запустить видеотрансляцию для проверки качества передачи сигнала.

В назначенное время студенты занимают рабочие места. Перед проведением тестирования организатор или администратор передает каждому тестируемому индивидуальный одноразовый логин и пароль для входа в систему тестирования. Организатор тестирования в ОО или администратор должен проинформировать студентов об общей продолжительности теста без учета времени инструктажа. Также администратор должен ознакомить обучающихся с правилами поведения во время прохождения компьютерного тестирования.

Вход в тестирование осуществляется через подготовленную онлайн-платформу. Ответственный специалист заблаговременно может подготовить рабочее место для студентов и открыть на каждом компьютере предоставленную организацией, осуществляющей НОКО, ссылку для входа в систему тестирования, или тестируемые вводят ссылку самостоятельно. Используя предоставленные каждому логины и пароли, студенты переходят на страницу теста и знакомятся с общей информацией о предстоящем тесте. Далее обучающиеся приступают к выполнению оценочных заданий. Диалоговое окно сеанса тестирования должно отражать все необходимые показатели: общее количество заданий, количество данных ответов, оставшееся время, структуру теста и др.

В состав оценочных средств, используемых в рамках реализации модели НОКО, входит комплект контрольно-оценочных материалов (тестов, кейсов), предназначенных для оценивания уровня сформированности ОПК в результате освоения образовательных программ. Инструментарий оценивания сформированности ОПК обучающихся в рамках компьютерного тестирования предоставляется организацией, осуществляющей НОКО.

При необходимости тестируемые могут выходить из аудитории. Студент должен оповестить администратора, который в свою очередь фиксирует выход и нажимает кнопку «Выход из аудитории» для остановки времени отсчета продолжительности сеанса тестирования. После возвращения студента администратор активирует тест.

Сеанс тестирования студента завершается после нажатия им кнопки «Завершить тестирование». Во время проведения тестирования ответственный специалист от ОО контролирует ход проведения теста. После завершения тестирования он должен убедиться, что все студенты отправили свои ответы и получили подтверждение от электронной образовательной платформы о завершении тестирования.

Во время проведения компьютерного тестирования ведется видеонаблюдение (со звуком). В случае, когда ОО не может обеспечить видеотрансляцию, к контролю за проведением тестирования привлекаются независимые (сторонние) наблюдатели, не являющиеся сотрудниками ОО. Видеонаблюдение и привлечение наблюдателей осуществляется с целью максимально объективной оценки обучающихся, исключив возможное списывание, использование мобильных телефонов или других вспомогательных устройств, помощь третьих лиц: педагогов, сокурсников и др.

Онлайн-трансляция осуществляется на сайте в сети Интернет, предоставленном организацией, осуществляющей НОКО, в режиме ограниченного доступа. К видео образовательной организации имеют доступ: сама ОО; технический специалист организации, осуществляющей НОКО; независимый эксперт, участвующий в НОКО. При желании ОО может также транслировать проведение НОКО в публичном доступе (например, на сайте ОО ВО).

Независимые наблюдатели со стороны организации, осуществляющей НОКО, дистанционно через специализированную закрытую платформу обеспечивают контроль за проведением онлайн-тестирования и дают экспертную оценку результатов оценивания обучающихся, не вмешиваясь в процедуру оценивания.

 

4. Анализ результатов независимой оценки качества подготовки обучающихся

Обработка результатов оценивания выполняется в соответствии с требованиями Федерального закона от 27.07.2006 № 152-ФЗ «О персональных данных». Организация, осуществляющая НОКО, обеспечивает проведение сбора данных независимой оценки качества подготовки обучающихся.

С помощью электронного ресурса, предоставленного организацией, осуществляющей НОКО, проводится сбор информации путем заполнения электронных форм сбора данных. По итогам обработки информации формируются итоговые таблицы по результатам анализа, а также графики (диаграммы) и аналитические отчеты.

По окончании студентом сеанса тестирования по компетенции результаты выполнения заданий автоматически выводятся на экран и размещаются в личном кабинете обучающегося.

Результаты каждой ОО – участника передаются ответственным за проведение НОКО в ОО. Хранение результатов НОКО осуществляется в личном кабинете ОО, что позволяет обращаться к данным в любое удобное время, создавать копии и печатать необходимое количество экземпляров, сопоставлять данные разных периодов, вести внутреннюю статистику. Сведения о результатах всех сеансов тестирования по ОПК в рамках проведения НОКО содержатся в личном кабинете ОО в разделе «Рейтинг-листы». Для удобства работы с рейтинг-листами должны быть предусмотрены функции сортировки и фильтрации данных.

На основе рейтинг-листов итоговые результаты проведения НОКО оформляются в виде отчета в форме педагогического анализа, который включает в себя обработку первичных результатов тестирования студентов на основе разнообразных методов интеграции. По итогам успешного прохождения процедуры НОКО ОО предоставляется сертификат качества, подтверждающий соответствие уровня обучения студентов требованиям ФГОС.

Для представления результатов независимой оценки качества подготовки обучающихся могут быть использованы следующие формы:

● данные в электронном виде, подготовленные на основании данных, собранных в ходе проведения НОКО;

● аналитические материалы (в том числе текстовые, графические, инфографика);

● статьи, аналитические обзоры, аналитические справки;

● презентационные материалы (в формате Microsoft Power Point, в том числе для представления результатов независимой оценки качества подготовки обучающихся на различных мероприятиях).

Методические рекомендации по реализации модели НОКО