Стандарт 3: оценка резидентов

Методы оценки

3.1.1 Медицинская организация образования должна сформулировать и внедрить политику оценки резидентов, должна определить, утвердить и опубликовать принципы, цели, методы и практику, для оценки резидентов, включая квалификационные экзамены специалиста и гарантировать, что оценка охватывает знания, навыки и профессиональное поведение в стационаре.

Оценка учебных достижений обучающихся проводится с помощью критериев, положений и процедур, разработанных в соответствии с поставленными целями и задачами для реализации образовательных программ и присваиваемых квалификаций в рамках действующей балльно-рейтинговой системы и контроля учебного процесса в соответствии с директивными, нормативными и внутренними документами:

- Закон Республики Казахстан «Об образовании» от 27 июля 2007 года № 319-III

ЗРК (с внесенными изменениями и дополнениями Законами РК на 04.12.15 г.)

- Типовые правила деятельности организаций, реализующих образовательные программы высшего профессионального образования, утвержденные постановлением Правительства Республики Казахстан от 2 марта 2005 года № 195;

- Государственный общеобязательный стандарт образования РК, Астана, 2009 г.;

- Государственный общеобязательный стандарт образования РК, приложение, Астана, 2015 г.;

- Государственный общеобязательный стандарт образования РК. Система образования Республики Казахстан. Контроль и оценка знаний в высших учебных заведениях. Основные положения. Астана, 2006 г.;

- Государственный общеобязательный стандарт образования РК. Система образования Республики Казахстан. Учебная работа и педагогическая нагрузка. Основные положения. Астана, 2006 г.;

- Правила кредитной системы обучения в организациях образования, дающих высшее профессиональное образование, утвержденные приказом Министерства образования и науки Республики Казахстан от 9 декабря 2003 года № 753;

- Правила проведения текущего контроля успеваемости, промежуточной и итоговой государственной аттестации обучающихся в организациях образования, утвержденные приказом Министерства образования и науки Республики Казахстан от 2008 года № 125;

- Инструктивные письма МЗ РК №2 «Об организации учебной и методической работы на кафедрах высших медицинских учебных заведений Республики Казахстан», №4 «Тестовая форма промежуточной и итоговой аттестации обучающихся в медицинских вузах Республики Казахстан» и №6 «По разработке учебно-методической документации на кафедрах медицинских и фармацевтических вузов и медицинских факультетов университетов РК к ГОСО 2006»;

- Приказ Министра образования и науки Республики Казахстан от 1 ноября 2010 года № 506 О внесении изменений в приказ Министра образования и науки Республики Казахстан от 18 марта 2008 года № 125 «Об утверждении Типовых правил проведения текущего контроля успеваемости, промежуточной и итоговой аттестации обучающихся»

- Правила организации учебного процесса КазНМУ им. С.Д. Асфендиярова.

КазНМУ придерживается требований учебных программ по дисциплинам, где отражены формы и методы контроля знаний обучающихся, включающие тестирование, устный опрос, собеседование, сдача практических навыков. Университет самостоятелен в выборе форм, порядка и периодичности проведения текущего контроля успеваемости обучающихся согласно статьи 28, пункта 7 Закона Республики Казахстан «Об образовании».

Общая политика, принципы, методы, используемые для оценки обучающихся в Казахском Национальном медицинском университете им. С.Д.Асфендиярова, ежегодно отражаются в «Правилах организации учебного процесса КазНМУ имени С.Д. Асфендиярова», а также в рабочих программах и силлабусах каждой дисциплины, выдаваемых обучающимся. Система контроля учебных достижений обучающихся в КазНМУ включает: текущий и рубежный контроль успеваемости, промежуточную аттестацию обучающихся и итоговую государственную аттестацию.

Оценка учебных достижений обучающихся осуществляется на основе измерителей уровня сформированности компетенций, разрабатываемых кафедрами/модулями в различных видах: контрольные вопросы, задания в тестовой форме (MCQs, задания с несколькими вариантами правильных ответов), перечень практических навыков, ситуационные задачи, клинические ситуации, задания для лабораторных и других работ.

На первом занятии по дисциплинам преподаватели доводят до сведения резидентов критерии оценки индивидуальных учебных достижений. Формы проведения всех видов текущего контроля отображены в УМКД. Электронные версии УМКД раздается резидентам по всем специальностям и доступны в библиотеке. Информация о балльно-рейтинговой системе оценки размещена на веб-сайте www.kaznmu.kz. В учебных журналах предусмотрен лист ознакомления резидентов с политикой кафедры/модуля и критериями оценки компетенций.

Контрольно-измерительные средства разрабатываются по всем темам учебной программы, имеют лаконичную формулировку, сущностное содержание и тематический признак:

· Текущий - оценка по чек-листу (семинар, отчет и чек-лист по дежурству, разбор тематического пациента, прямое наблюдение, чек-лист по ведению истории болезни с акцентом на обоснование диагноза, отражение динамики болезни в дневниках, качество ведения и заполнения листа назначений и т.п.). Все виды текущего контроля (практические занятия, семинарские занятия, СРРП, СРР) и рубежный контроль высчитывается из 100 баллов.

· Экзамен проводится в конце каждой дисциплины в 2 этапа: теоретический вопрос, практическое задание.

· Промежуточная аттестация – выводится средний балл экзаменов по пройденным дисциплинам;

· Государственная итоговая аттестация проводится в 2 этапа: комплексное тестирование (по всем дисциплинам) и практический экзамен в ЦПН с использованием медицинских симуляций и стандартизованных пациентов (сценарии по всем дисциплинам).

Текущая оценка за занятие складывается из оценок по компетенциям:

· Когнитивный компетенция (знания), предполагает обладание базовыми и специальными теоретическими знаниями, необходимыми для осуществления эффективной профессиональной деятельности: во время собеседования, решения ситуационных задач, оформления медицинской документации, разбора больных, участия в консультациях и консилиумах, подготовки презентаций – максимальная оценка 100 баллов;

· Коммуникативная компетенция (максимальная оценка 100 баллов по чек-листу) – предполагает умение эффективно сотрудничать с другими людьми: выстраивать эффективные коммуникации, сотрудничать с коллегами и поддерживать благоприятную атмосферу в коллективе для достижения профессиональных задач, устанавливать максимально доверительные отношения с пациентом и его родственниками: умение работать в команде во время занятий, коммуникации во время курации больных, общения с медицинским персоналом, ППС, родственниками больного, руководством клиники максимальная;

· Операциональная компетенция (навыки) – предполагает эффективное использование полученных знаний в будущей профессиональной деятельности или в дальнейшем обучении и определяется набором конкретных практических врачебных умений и навыков: обладание навыками клинического мышления, обладание практическими навыками для осуществления эффективной лечебной деятельности, умение осуществлять эффективные профилактические мероприятия для предупреждения заболеваний: навыки объективного осмотра больных, доклада о состоянии больного, навыки интепретации лабораторно-инструментального обследования, навыки отчета по ночному дежурству, навыки презентации доклада на конференциях, навыки оформления медицинской документации, навыки постановки диагноза, назначения плана обследования, назаначения лечения, – максимальная оценка 100 баллов;

· Правовая компетенция (максимальная оценка 100 баллов по чек-листу) – предусматривает знание нормативно-правовой базы организации и осуществления врачебной деятельности в Республике Казахстан в области здравоохранения и фармации: при оформлении медицинской документации, формы отчетности, при общениии с больными и его родственниками, заполнение информированного согласия больного на лечение, на диагностические инвазивные процедуры, на инвазивные методы лечения, соблюдение требований безопасности пациента, соблюдение врачебной тайны и др.;

· Постоянное самосовершенствование – готовность конструировать и осуществлять собственную образовательную траекторию на протяжении всей жизни, обеспечивая успешность и конкурентоспособность: навыки презентации, устного выступления, поиски и использование при подготовке к занятиям дополнительной литературы, интернета, участие в научной работе кафедры, выступления с докладами на НПК, конкурсах молодых ученых, оформление публикации (минимум по одному), посещение лекций профессоров из дальнего и ближнего зарубежья, участие в работе конференций в ближнем и дальнем зарубежье, публикации, сбор и качество документов в портфолио, участие в организационной работе при подготовки кафедральных мероприятий: конференций, снятие видеофильмов, пополнение и участие в сборе электронной бибилиотеки – максимальная оценка 100 баллов.

Окончательный результат текущего контроля успеваемости подводится расчетом средней арифметической суммы всех оценок, полученных в течение академического периода. Оценка за экзамен, годовую и итоговую аттестациям выводится как средняя из оценок двух этапов (теоретического и практического). Результаты достижения обучающихся выставляются в учебные журналы, в, экзаменационные и зачетные ведомости и зачетные книжки резидентов.

Резиденту, выполнившему программу курса в полном объеме, но не набравшему минимальный переводной балл, с целью повышения среднего балла успеваемости предоставляется возможность повторно изучить отдельные дисциплины в летнем семестре на платной основе и повторно сдать по ним экзамены.

Ответственность за исполнение политики по оценке учебных достижений резидентов несут профессорско-преподавательский состав кафедр, заведующие кафедрами (модулей), деканат интернатуры и резидентуры, ДУМР, служба офис регистратора.

3.1.2 Медицинская организация образования должна использовать дополнительный набор методов и форматов оценки, в соответствии их применимостью, которые включают сочетание валидности, надежности, влияния на обучение, приемлемости и эффективности методов и форматов оценки в отношении установленных конечных результатов обучения.

В Университете используются дополнительные методы оценки резидентов, такие, как портфолио, оценка научной деятельности.

Резидент в течение всего периода обучения формирует портфолио, который соответствует конечным целям программы и содержит единые надежные и валидные критерии оценки деятельности обучающегося:. Портфолио резидента травматолога-ортопеда состоит из отчета резидента; чек-листов с оценкой практической деятельности, семинаров, дежурств и т.д.; характеристики куратора; информация о достижениях в период обучения в резидентуре при их наличии (награды, сертификаты, программы конференций, тезисы публикаций, видеоматериалы, благодарственные письма, отзывы пациентов и др.). СРР содержит задания, требующими от резидента ежедневной самостоятельной работы, которые формируют портфолио обучающегося, и является основой для оценки компетенции «саморазвитие». Формы контроля и оценки данной компетенции определяется кафедрой и утверждается на заседании КОП. Формы проведения СРР разнообразны (презентации, заполнение истории болезни, анализ историй родов и т.д.).

В отчете резидента отражается дисциплина и сроки обучения согласно индивидуальному плану, в каком подразделении медицинской организации проходил обучение.

Оценка семинаров, презентаций, практических навыков и т. д. проводится по чек-листам, разработанных сотрудниками кафедр, реализующих программу резидентуры по травматологии и ортопедии.

Резиденты каждый год обучения занимаются научно-исследовательской работой, которая в обязательном порядке должна завершиться публикацией научной статьи или докладом на научно-практических конференциях. Оценка научной работы также влияет на общую оценку по дисциплине.

3.1.3 Медицинская организация образования должна сформулировать критерии для сдачи экзаменов или другие виды оценки, в том числе количество разрешенных пересдач

К полугодовой, годовой и итоговой аттестациям допускаются резиденты, завершившие образовательный процесс в соответствии с требованиями индивидуального учебного плана. Рейтинг допуска равен средней арифметической текущего и рубежного контроля. Резидент считается допущенным к экзамену по дисциплине, если его рейтинг допуска (семестровая оценка) больше или равен 50 баллам. Расписание экзаменов составляется ОПиКУП, утверждается проректором по УМиСР. Деканат данную информацию доводит до сведения преподавателей и резидентов не позднее, чем за месяц до первого экзамена.

Количество экзаменов на каждом курсе регламентировано типовым учебным планом, являющимся составной частью ГОСО РК по специальности «Акушерство и гинекология, в том числе и детская». Формы проведения определяются решением Совета факультета и Ученого совета КазНМУ. Содержание экзаменов регулируется КОП по хирургии для соблюдения оптимального баланса и осуществления интегрированной оценки сформированности компетенций у резидентов.

Итоговый контроль достижений резидентов проводится в соответствии с утвержденными «Правилами оценки учебных достижений обучающихся в РГП «КазНМУ имени С.Д. Асфендиярова» (11.11.2015) и включает 2 этапа:

1. Интегрированное компьютерное тестирование для определения уровня теоретической подготовки, где включены тесты по всем пройденным дисциплинам за весь период обучения в резидентуре,

2. Оценка уровня освоения практических навыков по методике ОСКЭ по разработанным сценариям в центре практических навыков на специально обученных стандартизированных пациентах. Оценка согласно разработанных чек листов.

Экзаменационная комиссия создается по приказу ректора, и включает доцентов, профессоров, врачей из практического здравоохранения со стажем работы по специальности более 5 лет.

Перевод обучающегося (достигшего установленного переводного балла) с курса на курс оформляется приказом руководителя организации. Резиденты, не набравшие минимальный переводной балл исключаются с резидентуры.

Резидентам, завершившим обучение по образовательной программе резидентуры и сдавшим Итоговую государственную аттестацию, присваивается квалификация врача специалиста по соответствующей специальности и выдается документ государственного образца. Если резидент отчислен из КазНМУ, то ему выписывается Справка.

3.1.4 Медицинская организация образования должна изучать и документировать надежность, валидность и справедливость методов оценки

Методы оценки текущей успеваемости, рубежного, промежуточного и итогового контроля по дисциплинам рабочего учебного плана разрабатываются кафедрами. Метод оценивания выбирается исходя из определенных в силлабусе конечных результатов обучения.

Тестовые задания, перечень практических и коммуникативных навыков, станции ОСКЭ разрабатываются кафедрами соответственно рабочей программе по дисциплине. Кафедрами ежегодно обновляются задания в тестовой форме для проведения текущего, рубежного и итогового контроля. Для текущего контроля составляются тестовые задания с множественными вариантами ответов (MCQ). Процедура планирования, организации, мониторинга и анализа методов оценки в КазНМУ обеспечивает надежность и валидность этих методов. Разработка новых контрольно-измерительных средств поводится кафедральными сотрудниками посредством изучения мирового опыта в оценке знаний на постдипломном образовании, затем внедряется на кафедре. При положительной оценке со стороны резидентов и ППС, а также положительных оценках на итоговом контроле информация представляются на КОП, где материал заслушивают, обсуждают и утверждают. Соответствие контрольно-измерительных средств методам обучения и специфике учебной программы мониторируется профильным КОП. Проводится проверка готовности УМКД к началу нового учебного года, а также систематический контроль в течение учебного года.

С 2012-2013 учебного года в КазНМУ Центре образовательных технологий им. В.С.Аванесова работает группа экспертов-тестологов для проверки качества экзаменационных тестов. В КОП функционирует секция разработки и оценки инструментов контроля, в состав которого входят опытные методисты и эксперты-тестологи, прошедшие неоднократное обучение в Центре образовательных технологий им. В.С. Аванесова. Состав секции утверждается на заседании КОП, где избирается председатель секции. Секция имеет план работы, в течение учебного года помогает кафедрам разрабатывать инструменты оценки.

Экспертиза заданий в тестовой форме на соответствие ТУП специальности осуществляется внутренними и внешними рецензентами. Расчет количества подготовленных заданий в тестовой форме тестов берется из соотношения на 1 задание на 1 академический час дисциплины. Задания в тестовой форме проходят поверку на соответствие требованиям обученными, в том числе за рубежом, методике составления тестовых заданий тестологами из числа ППС. Для обучающихся резудентуры тестовые задания усложнены, большая часть их составляется на базе клинических ситуаций, что соответствуют уровню понимания, применения, синтеза, анализа и оценки. Такие задания в значительной мере позволяют оценить уровень клинического мышления выпускника. Центр тестирования КазНМУ для проведения контроля знаний обучающихся использует специализированное программное обеспечение - Редактор тестов. При снижении успеваемости обучающихся и недостаточной надежности применяемых методов проводят анализ причин и принимаются решения о необходимых мерах по переработке тестовых заданий, контрольных вопросов, ситуационных задач и других измерительных средств.

После каждого экзамена проводится анкетирование резидентов для изучения их мнения о качестве преподавания дисциплины, процедуре экзамена, которые анализируются кафедрой и обсуждаются на Совете факультета интернатуры и резидентуры КазНМУ, затем составляется план мероприятий для устранения выявленных недостатков по учебному процессу.

С целью объективизации процесса оценивания, для оценки уровня сформированности операционального компонента компетенций резидентов привлекаются независимые эксперты (как внутренние, так и внешние). При проведении итоговой государственной аттестации для оценки учебных достижений резидентов в состав комиссии включаются специалисты практического здравоохранения по профилю специализации, привлекаются внешние экзаменаторы, а также специалисты смежных дисциплин.

Для оценки усвоения практических и коммуникативных навыков обучающимися, на клинических дисциплинах расширена область применения методики объективного структурированного клинического экзамена, разрабатываются сценарии в Центре практических навыков им.К.Кожаканова, кроме того принимается мини-клинический экзамен. Для повышения надежности и валидности ОСКЭ, перед его проведением осуществляется пилотирование станций ОСКЭ, что позволяет оценивать качество методического обеспечения станций и внести необходимые изменения.

Служба офис регистратора использует в своей работе программу автоматизации учебного процесса, позволяющую формировать ведомости успеваемости, сводные отчеты по успеваемости и регистрировать все учебные достижения обучающихся.

В университете функционирует Школа педагогического мастерства им.Х.С.Насыбуллиной, которая систематически организовывает семинары, тренинги, мастер-классы по инновационным методам обучения и оценки в медицинском образовании для ППС, что также оказывает положительное влияние на совершенствование методов оценки. Все выше изложенное обеспечивает надежность и валидность используемых методов оценки.

3.1.5 Медицинской организации образования следует использовать систему апелляции результатов оценки на основе принципов справедливости и через соблюдение правого процесса

Возможность апелляции по результатам промежуточной и итоговой аттестации резидентов определяется Положением об апелляционной комиссии (приказ №88 от 15.06.2012 г), в котором соблюдены правовые и этические принципы. Порядок подачи апелляции прописан в ежегодных приказах «О проведении экзаменационной сессии». Резидент, не согласный с результатом итогового контроля, подает апелляцию не позднее следующего рабочего дня после проведения экзамена. Для проведения апелляции по дисциплинам, к работе в составе апелляционной комиссии дополнительно привлекаются преподаватели, квалификация которых соответствует профилю апеллируемых дисциплин. Результаты апелляции оформляются протоколом. При этом составляется индивидуальная экзаменационная ведомость на резидента и прилагается к основной экзаменационной ведомости. Апелляционная комиссия имеет право привлекать для рассмотрения заявления обучающегося заведующего кафедрой, профессора, заведующего учебной работой кафедры, доцентов, ответственного за данную дисциплину. Результаты апелляции в тот же день передаются в деканат интернатуры и резидентуры для учета при назначении стипендии, анализа сессии, перевода с курса на курс.

3.1.6 Медицинской организации образования следует содействовать привлечению внешних экзаменаторов, внедрять новые методы оценки в случае необходимости

Методы оценки, используемые в КазНМУ, доступны для экспертизы со стороны внешних независимых экспертов и отражаются в отчетах председателей ГАК.

На период проведения экзаменационной сессии создаются комиссии из числа руководителей структурных подразделений, ответственных за образовательный процесс (представители деканата, УД, КОП). В целях объективизации и обеспечения прозрачности проведения 1 этапа экзамена (тестирование), в Центре тестирования установлены видеокамеры, транслирующие экзамен в режиме on-line.

Во время Итоговой государственной аттестации (ИГА), в качестве председателей и членов ГАК, привлекаются ведущие специалисты из практического здравоохранения. Предложения исходят от решения кафедрального собрания, утверждения на КОП и Ученом совете Университета. С экзаменаторами кафедральные сотрудники проводят предварительный тренинг по оценке знаний на экзамене у резидентов. За последние 5 лет в качестве членов ГАК привлекались заместители главных врачей родовспомогательных учреждений и врачи высшей категории.

По итогам ИГА проводится анкетирование независимых экзаменаторов. Результаты обратной связи используются для формирования плана корректирующих мероприятий.

В состав Комитета образовательных программ входят заведующие кафедр университета, опытные методисты из сотрудников кафедр. Прежде чем утвердить на КОПе политику и новые методы оценки, создаются рабочие комиссии, которые утверждаются ректором КазНМУ по изучению этого вопроса и подготовке документов. Состав этих комиссий предлагается решением КОП и деканата интернатуры и резидентуры, и обычно состоит из заведующих кафедр, профессоров и доцентов - опытных методистов, отвечающих за резидентов на кафедрах.

3.1.7 Медицинской организации образования следует вести запись различных типов и этапов обучения в учебном журнале или протоколах.

Результаты учебных достижений обучающихся заносятся в учебные журналы, экзаменационные ведомости. Учебные журналы адаптированы к компетентностно-ориентированной Модели медицинского образования КазНМУ. Критерии оценки уровня сформированности компетенций отражены в оценочных рубриках. Формируются портфолио учебных достижений резидентов. Учебный журнал заполняется в соответствии с календарно тематическим планом который составляется ежегодно в соответствии с расписанием.

Ежедневно выставляются оценки по когнитивной компетенции в виде процентной оценки от 50 до 100%. При отсутствии резидента выставляется 0%. Присутствие и не готов к занятию 49%. Остальные проценты согласно участию резидента в собеседовании, подготовке презентации, оформление медицинской документации, активности в тематическом разборе пациента, клиническом разборе, патолого-анатомической конференции, отчету о дежурстве и др., те области, где резидент демонстрирует свои знания по теме занятия.

Оценка за практические навыки выставляется согласно перечню практических навыков, который прописывается в силлабусе. Резидент ведет индивидуальный журнал «Специальные навыки, которыми должен овладеть резидент-стажер во время обучения в резидентуре», где каждый проведенный навыки визируется тем врачом, в присутствии которого этот навык был проведен. За весь период обучения количество проведенных навыков соответствует требованиям типовой учебной программы. На итоговом экзамене дисциплины во время ответа по билетам резидент демонстрирует практический навык и навык применения интерпретации лабораторно-инструментальных методов диагностики и т.д.. С учетом экзаменационной оценки и заполненного журнала выполненных практических навыков выставляется оценка по практическим навыкам на отдельной странице в отдельной графе практические навыки с указанием наименования навыка.

Правовая компетенция оценивается по чек-листу, оценка выставляется в конце изучения дисциплины, на отдельной странице журнала, при этом учитывается отсутствие замечания со стороны администрации по ведению медицинской документации резидентом.

Коммуникативные навыки оценивается по чек-листу, результаты выставляются на отдельной странице журнала в конце изучения дисциплины перед экзаменом, оцениваются по итогам работы с коллективом кафедры, клинической базы, деканата, пациентов, между коллегами резидентами: умение работать в команде, умение работать в конфликтных ситуациях, разрешать конфликт, проявлять эмпатию к пациентам и медперсоналу, соблюдение принципов врачебной этики и деонтологии.

Самосовершенствование: оценка выставляется на отдельной странице журнала в конце изучения дисциплины перед экзаменом, оценка складывается из наличия научной статьи, уровня публикации или доклада (Международный, республиканский или местный), оценивается индивидуальное участие резидента в подготовке научного материала, оформленного портфолио, качества подготовленных презентаций, качества проведения тренингов по практическим навыкам в ЦПН для интернов, наличие благодарности от пациентов на имя администрации клинической базы, или благодарности врачей за работу резидента в их отделении, наличие жалобы на работу резидентов со стороны.

В конце журнала заполняется рейтинг допуска к экзамену путем суммации средне-арифметических оценок по всем компетенциям: по методике приведенной выше.

Оценка за I и отдельно за II этап экзамена.

итоговая оценка по дисциплине определяется по следующей формуле:

I = Rд х 0,6 + (Е1 × 0,25 + Е2 × 0,15)

Эквиваленты оценки выставляется традиционно по схеме описанной выше.

Отчет по успеваемости резидентов рассматривается и утверждается на кафедральном собрании с учетом обратной связи в виде анализа анкет резидентов и индивидуальных отчетов резидентов за год.

Для обеспечения прозрачности оценки во время проведения 2 этапа экзамена в Центре практических навыков, процедура экзамена объективно документируется: записывается на видео, оценивается экспертами в режиме реального времени. Результаты экзамена фиксируются в соответствующих оценочных рубриках и подвергается разбору специально созданной экзаменационной комиссией.