Педагогический контроль в современном учебном процессе

1.1.Педагогический контроль. Предмет и объект контроля

1.2.Виды педагогического контроля 

1.3.Функции педагогического контроля

1.4.Принципы контроля

Основы теории педагогических измерений

2.1.Классификация педагогических тестов

2.2.Основные определения

2.3.Педагогические измерения и тесты

2.4.Основные этапы конструирования педагогического теста

Содержание теста

3.1. Целеполагание на этапе планирования содержания теста

3.2.Планирование содержания теста

3.3.Экспертиза качества содержания теста

3.4.Общие принципы отбора содержания теста

Приложение 3.1. Таксономии когнитивных и аффективных

учебных целей (по М.В. Кларину)

Приложение 3.2. Результаты экспертизы содержания заданий

Формы предтестовых заданий

4.1.Общие требования

4.2.Закрытая форма предтестовых заданий

4.3.Задания на дополнение

4.4.Задания на установление соответствия

4.5.Задания на установление правильной последовательности

4.6.Сравнительная характеристика форм предтестовых

заданий

Статистическое обоснование качества теста

5.1. Сбор эмпирических результатов тестирования   

5.2.Математико-статистическая обработка эмпирических данных. Интерпретация результатов обработки

5.3.                                                                Методы обработки данных в рамках современной теории создания тестов

5.4.Характеристики тестовых заданий

5.5.Надежность и валидность гомогенного теста

Приложение 5.1. Инструкция TIMSS

Приложение 5.2. Инструкция для самооценки знаний

с помощью теста по

Приложение 5.3. Формулы для вычисления дисперсии      

Приложение 5.4. Расчетная формула для вычисления

коэффициента корреляции Пирсона

Приложение 5.5. Переход от r _ху к ф - коэффициенту    

Приложение 5.6. Составление системы уравнений для вычисления оценки наибольшего правдоподобия

параметров испытуемых

Приложение 5.7. Информационная функция задания для однопараметрической модели Г. Раша

Сотрудничество преподавателей и учеников

В процессе контроля

6.1. Основные положения педагогического сотрудничества

6.2. Пути организации контроля учебной деятельности

в условиях сотрудничества

Методы шкалирование и интерпретации результатов тестирования

7.1.Стандартизация и нормы

7.2.Основные типы шкал в педагогических измерениях

7.3.Шкалирование результатов тестовых измерений   

7.4.Шкалы стандартных оценок, полученных при преобразованиях Z-шкалы

7.5.Шкалы станайнов и стенов

7.6.Одиннадцати балльная шкала

7.7.Шкала логитов 

8. Основные подходы к оценке качества подготовки

8.1.    Качество подготовки обучаемых как предмет

обсуждения

8.2.Уровни анализа информации о качестве подготовки обучаемых

8.3.Традиционные подходы к оценке учебных достижений

8.4.Современные подходы к оценке качества подготовки обучаемых

8.5.Международные исследования по оценке качества образования Библиографический список

ПРЕДИСЛОВИЕ

Настоящее учебное пособие предназначено для учителей школ, преподавателей высших и других профессиональных учебных заведе­ний, заинтересованных в овладении современными методами тести­рования и их использовании в учебном процессе для контроля и оцен­ки уровня подготовки обучаемых.

Пособие посвящено методам конструирования и применения толь­ко одного, но зато самого распространенного вида педагогических те­стов, получивших название гомогенных, т.е. предназначенных для кон­троля знаний по одному предмету или дисциплине. В целом учебное пособие представляет собой своего рода введение в проблематику тес­тирования и, шире, в теорию и практику педагогических измерений.

Если о тестах в той или иной мере осведомлены все педагоги, то знания в области научных основ педагогических измерений распрост­ранены у нас недостаточно. Главная причина кроется в том, что эта сравнительно новая область педагогической науки, получившая при­знание только к середине XX века, весьма скептически оценивалась в советский период. Тем не менее российские ученые очень много сде­лали для развития теории и практики педагогических измерений, что позволило адаптировать применительно к отечественным реалиям методы и технологии, созданные в других социально-культурных ус­ловиях и иных традициях в области образования.

Чем же интересны для нас сегодня педагогические тесты и техно­логии тестирования?

Дело в том, что тесты представляют собой особую совокупность зада­ний, которые позволяют дать объективную, сопоставимую и даже количе­ ственную оценку качества подготовки обучаемого в заданной образователь­ ной области. В свою очередь, объективность и измеримость качества образования открывают широчайшие возможности для управления учеб­ным процессом — от корректировки содержания образовательных стан­дартов и программ до совершенствования методов преподавания и по­вышения эффективности стимулирования самостоятельных занятий учащихся и студентов. Особенно важно, что использование методов тес­тирования позволяет еще в раннем возрасте выявить одаренных детей и подростков и организовать с ними индивидуальную учебную работу. Нельзя не упомянуть и о большом социальном значении тестирования как инструмента, гарантирующего повышение объективности конкурс­ного отбора поступающих в высшие и другие учебные заведения.

Разумеется, тестирование не заменяет и не отменяет традицион­ных форм педагогического контроля, основанных на непосредствен­ном общении учителя с учеником и преподавателя со студентом. Та­кой контроль выполняет важные обучающие функции, он вооружает педагогов информацией об уровне знаний их питомцев, о пробелах в их подготовке и даже об эмоционально-психологическом состоянии класса или студенческой группы. Другое дело, что традиционные фор­мы педагогического контроля носят во многом субъективный харак­тер и не позволяют получить сопоставимые данные, столь необходи­мые для управления процессом образования в масштабах учебного заведения, района, области, края, страны. А задачи такого плана дав­но уже встали перед обществом и государством.

Развитию теории и практики педагогических измерений в извест­ной мере препятствует фигура умолчания, утвердившаяся в нашей пе­дагогической мысли. Замалчивание достижений в области современ­ных методов и средств педагогического контроля характерно для большинства трудов и учебных изданий в области общей педагогики и методики обучения. Хотелось бы надеяться, что настоящее учебное пособие будет способствовать преодолению этого во многом искусст­венно созданного пробела в нашей педагогической культуре.

Как и все технологии, основанные на достижениях науки, тести­рование требует серьезной подготовки со стороны тех, кто намерен всерьез заняться созданием и использованием педагогических тестов. Прежде всего необходимо глубокое овладение строгими правилами и математическим аппаратом, применяемыми в области педагогических измерений. Никаких обходных путей тестирование не признает: не­ряшливо разработанные, не прошедшие апробации тесты способны давать лишь ошибочные результаты, поэтому их использование ста­нет шагом назад, а не вперед.

В заключение хочу пожелать читателям успехов в освоении совре­менной теории и практики педагогических измерений. Труд педагога сложен, но благодарен. И если каждый из нас привнесет в него боль­ше знаний, больше строгих методов и, конечно, больше души и серд­ца, то дело обучения подрастающего поколения ощутимо выиграет. А это именно тот результат, к которому стремится автор настоящего по­собия.

 

ВВЕДЕНИЕ

Эта книга написана для преподавателей общеобразовательных учреждений, для всех тех, кто в своей работе планирует создавать или применять педагогические тесты. Материал пособия, за исключе­нием нескольких разделов, содержащих информацию углубленного характера, рассчитан на преподавателей, впервые приступающих к созданию педагогических тестов для оценки знаний учащихся по одной из дисциплин. В теории такие тесты получили название го­могенных в отличие от гетерогенных педагогических тестов, содер­жащих междисциплинарные задания и предназначенных для комп­лексной оценки знаний учеников.

Разработка качественных гомогенных тестов требует исполь­зования научных методов отбора содержания, теории педагогических измерений, современных математико-статистических методов, при­меняемых для проверки соответствия теста определенным научно обоснованным критериям качества. Эта целевая установка на перс­пективный научный подход накладывает соответствующий отпеча­ток на материал пособия. По ходу изложения материала возникает необходимость обращения к современному отечественному и зару­бежному научному аппарату, к новым научным результатам. Наряду с классическими, в пособии обсуждаются современные методы со­здания тестов посредством применения математических моделей те­ории латентно-структурного анализа. В этой связи в пособии не все­гда оказалось возможным дифференцировать уровень изложения в зависимости от уровня математической подготовки будущего разра­ботчика тестов. Для облегчения восприятия материала в отдельных случаях устоявшаяся традиция целостного изложения сознательно на­рушалась: часть необходимых формул выносилась в специальные при­ложения. С этой же целью максимально использовались таблицы, под­робное описание вычислений, многочисленные примеры и графики.

Современное положение в сфере тестового контроля ослож­няется тем, что у подавляющего большинства преподавателей нет специальной подготовки по методике разработки и применения пе­дагогических тестов, как нет и специальной науки, ответственной за развитие тестового педагогического контроля, аналогичной суще­ствующей за рубежом теории педагогических измерений. Та педагогика, которая утвердилась в нашей стране, довольно прохладно относится к этому крайне важному для повышения качества образо­вания направлению. Широко распространено мнение, что теория педагогических измерений вообще не имеет собственного содержа­ния — не существует материала, который можно было бы выделить как содержание науки об измерениях в педагогике. В учебниках по педагогике, как правило, разделы по тестовому контролю представ­лены крайне фрагментарно либо не представлены вообще.

Существующая на протяжении десятилетий ситуация в сфере теории не могла не сказаться на практике. Среди преподавателей-практиков бытует расхожее мнение, что главное — хорошо изло­жить материал, а хорошо контролировать вовсе необязательно, и уж тем более необязательно использовать для этого педагогичес­кие тесты. Отдельные случаи неприятия тестов могут быть связаны с незнанием возможностей тестовых методов, непониманием их сильных и слабых сторон.

Материал пособия в определенной степени призван восполнить наметившиеся пробелы в теории и помочь в сфере практики тем, кто решил сам разрабатывать педагогические тесты. В этой связи представленный материал довольно разнообразен. В нем освеща­ются теоретические вопросы обоснования метод и к разработки пе­дагогических тестов, приводятся подробные сведения практичес­кого характера о процедурах их разработки, содержатся справочные и инструктивные материалы по применению тестов.

В один из разделов пособия включены основные сведения по пе­дагогическому контролю, необходимые для целей изложения и ори­ентированные на современные тестовые средства. Благодаря нестан­дартной ориентации содержания раздела у читателей возникает возможность переосмыслить некоторые, ставшие давно привычны­ми положения дидактики, вернее, той ее части, которая затрагивает вопросы контроля знаний учеников, лучше понять достоинства тес­товых методов, а главное — принять определенные новшества и пе­рестроить соответственно собственную работу.

В процессе изложения материала ситуации текущего и итого­вого контроля нередко разделяются, что вполне оправдано не толь­ко различиями в методике, целях и задачах, но и психологическими особенностями поведения учеников. В ситуации текущего контроля ученик нередко обращается за помощью к преподавателю, охотно идет на сотрудничество с педагогом, старается выполнить инструк­ции преподавателя как можно более точно, не имея сознательных намерений приукрасить или фальсифицировать свои результаты. При итоговом контроле главная цель обучаемого — хорошая оценка, и поэтому он старается выполнить все контрольные задания как можно лучше. При этом он вполне осознанно контролирует свое поведение и свои ответы, с тем чтобы выглядеть в максимально выигрышном свете даже тогда, когда это абсолютно не соответству­ет реальному уровню его подготовки.

Отмеченные различия накладывают определенный отпечаток на средства контроля, в частности и на педагогические тесты. Раз­рабатываемые для целей итогового контроля тесты должны в пол­ной мере отвечать всему набору требований, выдвигаемых профес­сионалами. И это вполне понятно, так как в ситуации итогового контроля на первый план выходят точность оценок, их сопостави­мость и объективность — словом, все то, что в немалой степени за­висит от качества используемых для контроля тестов.

К тестам для текущего контроля предъявляются менее жесткие требования. В принципе, в этом случае любой набор заданий, зак­рывающий определенный раздел содержания и стандартизованный по форме, может быть назван тестом, правда, с одной оговоркой, поскольку и здесь есть свои проблемы. В ситуации текущего конт­роля неизмеримо возрастает потребность в сбалансированном под­боре трудности заданий вследствие сознательной стратегии, ори­ентированной на реализацию развивающей функции контроля в условиях сотрудничества педагога и учеников. В этой связи в мате­риал пособия включен специальный раздел, посвященный пробле­мам сотрудничества преподавателя и учеников в процессе текуще­го контроля, однако решение проблем их сотрудничества имеет нетрадиционный характер. Оно строится на сочетании отдельных достижений психологов отечественной школы и авторов современ­ной зарубежной теории латентно-структурного анализа.

Кроме различных аспектов методики, нацеленной на разра­ботку тестов, в пособии рассматриваются некоторые общие по­ложения теории педагогических измерений, даются основные оп­ределения и понятия педагогической теории тестов, излагаются подходы к отбору содержания теста. Отдельный раздел посвящен вопросам формы тестовых заданий. В нем приводятся основные требования к формам, анализируются типичные ошибки разра­ботчиков. Анализ сопровождается многочисленными примерами заданий с характерными недостатками. Задания, как удачные, так и неудачные, не придуманы авторами книги. Они накоплены в ре­зультате многолетнего опыта обучения преподавателей вузов, техникумов и школ методике разработки педагогических тестов. Закрепление излагаемых положений обеспечивается многочис­ленными упражнениями для самостоятельного выполнения.

Таким образом, в пособии предлагается система знаний, не­обходимая для начинающего разработчика педагогических тестов, с надеждой на возможный в дальнейшем переход к уровню про­фессионала. Отсюда и необходимость концентрации внимания на представлении о тесте как о научно обоснованном методе оценки знаний учащихся. Вопросы научного обоснования затрагивают три взаимодополняющих друг друга направления работы. Первое свя­зано с обоснованием отбора содержания теста, второе — с дове­дением формы заданий до уровня требований тестовой технологии, а третье нацелено на выявление системообразующих свойств зада­ний на основе анализа результатов обработки эмпирических дан­ных тестирования.

Необходимость такого анализа часто подвергается сомнению неопытными разработчиками. При этом они совершенно забывают, что достоинства тестовых методов — объективный характер оце­нок, сопоставимость и возможность их перепроверки — обеспечи­ваются не автоматически, а благодаря выполнению определенных требований к качеству заданий и теста в целом. Если эти требова­ния не выполнены, то использование тестов не менее субъектив­ная процедура, чем обычный экзамен. В некоторых случаях эта процедура может оказаться даже хуже экзамена, позволяющего скорректировать впечатления о знаниях испытуемого в процессе общения с помощью дополнительных вопросов.

В отличие от экзамена тесты такой возможности не предоставляют. Плохой тест, не отвечающий по тем или иным характеристикам оп­ределенным критериям качества, может послужить источником ис­каженного впечатления о знаниях учеников. Причем скорректиро­вать это впечатление в процессе тестирования никак нельзя, если, конечно, процесс тестирования носит массовый характер, а не орга­низован в адаптивном режиме. Отсюда проистекает необходимость научного обоснования качества тестовых материалов и обращения в этой связи в материалах пособия к вопросам математико-статистической обработки тестовых результатов учащихся.

Предлагаемые в пособии методики разработки педагогических тестов, равно как и их теоретические обоснования, носят инвари­антный характер и поэтому подходят для использования всеми пре­подавателями, вне зависимости от специфики содержания учебного курса. По этой же причине для расширения круга заинтересован­ных читателей в пособии собраны многочисленные примеры по самым разным дисциплинам, преподаваемым в школе.

Один из разделов пособия посвящен вопросам шкалирования те­стовых результатов для повышения сопоставимости баллов, полученных по различным тестам. В разделе рассматриваются подходы к шкалированию разного уровня сложности. Вниманию читателя предлагаются как порядковые, так и интервальные шкалы, обеспе­чивающие интерпретацию разности тестовых баллов учеников.

Несмотря на большой объем пособия, для успешного создания тестов и повсеместного внедрения их в практику обучения просто­го ознакомления с его материалами явно недостаточно. Необходи­мо также наладить соответствующий процесс, началом которого должно стать массовое обучение преподавателей школ методике разработки и применения педагогических тестов.

ПЕДАГОГИЧЕСКИЙ КОНТРОЛЬ

В СОВРЕМЕННОМ УЧЕБНОМ ПРОЦЕССЕ

1.1. педагогический контроль. предмет и объект контроля

Контроль — это одновременно и объект теоретических иссле­дований, и сфера практической деятельности педагога. С помощью контроля можно выявить достоинства и недостатки новых мето­дов обучения, установить взаимосвязь между планируемыми, реа­лизуемыми и достигнутыми уровнями образования, сравнить ра­боту различных преподавателей, оценить достижения ученика и выявить пробелы в его знаниях, дать руководителю учебного заве­дения объективную информацию для принятия управленческих решений и выполнить ряд других не менее важных задач.

Понятие «педагогический контроль» применительно к учеб­ному процессу имеет несколько толкований. С одной стороны, пе­дагогический контроль представляет собой единую дидактическую и методическую систему проверочной деятельности. Эта взаимо­связанная совместная деятельность преподавателей и учащихся при руководящей и организующей роли педагогов направлена на вы­явление результатов учебного процесса и на повышение его эффек­тивности. С другой стороны, применительно к повседневному учеб­ному процессу под контролем понимают выявление и оценку результатов учебной деятельности школьников или студентов.

По установившейся традиции в учебном процессе слову «оцен­ка» придается оттенок, сводящий его к некоторому результату. Од­нако в данном контексте оно используется в несколько непривыч­ном смысле, поскольку имеется в виду не только конечный результат, но и процесс формирования оценки. Такая ситуация ти­пична для многих отглагольных существительных, например, сло­во «образование» обозначает одновременно процесс и результат процесса.

Педагогические оценки нередко ошибочно отождествляют с отметками, которые служат для установления численных аналогов оценочных суждений. Например, по установившейся в нашей стра­не традиции удовлетворительные знания оцениваются «тройкой», отличные — «пятеркой». На самом деле эти баллы не имеют четкого педагогического смысла и не дают количественной характерис­тики ответа ученика. Они не лишены субъективизма в том случае, когда контроль проводится традиционными методами, поскольку при их выставлении преподаватель сравнивает все достижения уче­ников со своими мерками.

Действительно, несмотря на рекомендуемые общие критерии оценки уровень требований различных преподавателей совершен­но индивидуален. У каждого имеется свое понимание принципов требовательности и справедливости, свои критерии качества зна­ний. На оценку преподавателя влияют и предыдущий процесс об­щения с обучаемым, и его личностные установки по отношению к оцениваемому ученику. Определенное внушающее воздействие оказывают внешний вид контролируемого и приобретенное им уме­ние ясно излагать свои мысли, а также ряд других факторов, услов­но называемых «эмоциональной составляющей».

В отличие от субъективных оценок и отметок измерение пред­полагает проведение объективного количественного сопоставления оцениваемого свойства ученика с некоторым эталоном, принятым в качестве единицы измерения. При педагогическом измерении роль оцениваемого свойства отводится знаниям, умениям или на­выкам ученика, а вместо единицы измерения используются конт­рольные задания или части заданий по проверяемому содержанию предмета.

Разработка проблемы измерений предполагает решение трех взаимосвязанных задач: для чего, что и чем измерять. Ответ на пер­вый вопрос достаточно прост. Он непосредственно связан с поста­новкой целей контроля. Если цель — оценка достижений учащих­ся, то главное внимание уделяется проверке и выявлению объема освоенных знаний или умений. Установленный объем обычно трак­туется как уровень подготовки по предмету.

При диагностике центр внимания преподавателя смещается на задачи управления процессом усвоения знаний путем организации систематического контроля за уровнем овладения материалом, за наметившимися пробелами в подготовке учеников. В последнем случае контроль обеспечивает обратную связь от учащегося к пре­подавателю и помогает следить за ходом процесса усвоения зна­ний у каждого обучаемого в целях своевременной коррекции этого процесса. Таким образом, основная цель диагностического конт­роля — оказывать формирующее влияние на текущий процесс обу­чения за счет установления обратной связи от ученика к педагогу.

Ответ на второй вопрос сопряжен с решением ряда проблем, обусловленных спецификой измерений в педагогике. При педагогическом измерении нет явно заданного предмета измерения, нет средства, готовой единицы, нет нулевой точки отсчета. Поэтому приходится начинать с теоретического анализа проблем и, главным образом, с определения предмета измерения, для чего необходимо преодолеть некоторые концептуальные трудности и ввести систе­му взаимосвязанных понятий, ассоциируемых с предметом.

При оценке достижений учащихся в качестве предмета изме­рения обычно выделяют уровень и качество подготовки. Что каса­ется уровня подготовки, то с его определением дело обстоит доста­точно просто. Обычно полагают, что это совокупность знаний, умений, навыков и представлений, освоенных учеником. Как и многие другие трудно детерминируемые понятия общественных наук, предмет можно определить с помощью метода, используе­мого для измерения знаний. Отсюда возникает прагматическое оп­ределение уровня подготовки, когда учащийся выполняет правиль­но то или иное количество заданий по выбранным разделам дисциплины.

Гораздо сложнее определить качество подготовки. Обобщение результатов ряда научных и методических работ позволяет говорить о разных подходах при решении этого вопроса. Среди точек зре­ния теоретиков и практиков нет не только единства, но и сходства. В одних случаях категорию качества отождествляют с полнотой зна­ний и их глубиной. В других случаях на первый план выходят кон­кретность и обобщенность знаний, их осознанность или прочность либо логичность изложения материала, рациональность способов и приемов решения учебных задач [24]. Есть и неудачные трактов­ки, когда качество знаний понимается как превышение некоторой степени обученное™, а степень обученное™ в свою очередь опре­деляется как совокупность знаний, умений и навыков, усвоенных учеником.

Однако чаще всего встречается упрощенное восприятие этого по­нятия: знания ученика считают качественными, если он выполняет задания повышенной трудности. Между тем отсутствие единой, обо­снованной точки зрения по этому вопросу значительно затрудняет, если не снимает полностью, возможность оценки качества подготов­ки учеников. Несмотря на требования Закона РФ «Об образовании», все усилия практиков направлены в основном на оценку уровня, а не качества подготовки. Возможность согласования различных подходов к трактовке понятия качества подготовки возникает только с появле­нием определения, которое призвано по возможности обобщить су­ществующие точки зрения теоретиков и практиков. (Попытка введе­ния такого определения предпринята в гл. 8.). Идея общего определения непосредственно увязывается с от­ветом на вопрос о том, для чего нужна категория качества в про­цессе контроля. Проводить оценку качества подготовки учащихся с различным уровнем достижений, по-видимому, не имеет смыс­ла, поскольку они уже отличаются по объему усвоенных знаний, умений и навыков. Зато вполне правомерно одинаковому уровню подготовки поставить в соответствие различное качество. Отсюда остается один шаг до обобщенного определения, когда качество подготовки трактуется как совокупность существенных характери­стик знаний, умений и навыков, способствующих дифференциа­ции учащихся с одинаковым уровнем подготовки [35].

В дополнение к определению необходимо конкретизировать представление о существенных характеристиках знаний, умений и навыков учащихся. В процессе конкретизации возникает пробле­ма выбора, когда приходится отдать предпочтение тем или иным характеристикам, но каким? Несомненно, привлекательно выгля­дят такие характеристики, как прочность, осознанность, обобщен­ность знаний. Они представляют особую ценность как для разви­тия личности учащегося, так и для пополнения интеллектуального потенциала вузов за счет абитуриентов с высоким качеством зна­ний. Однако несмотря на привлекательность они обладают суще­ственным недостатком, поскольку не поддаются никаким объек­тивным методам измерения.

Решение проблемы конкретизации базируется на тех возмож­ностях, которые открывают в сфере измерений педагогические тес­ты. В отличие от традиционных средств контроля тесты при опреде­ленных условиях позволяют выявить не только уровень подготовки, но и структуру знаний учащихся, вернее, степень ее отклонения от идеальной структуры, планируемой педагогом на момент начала обу­чения.

Элементарное представление о степени отклонения позволяет составить анализ профиля ответов учащегося на различные зада­ния теста. Так как один и тот же уровень подготовки может быть получен при ответах на различные по трудности задания, то можно сравнить ответы учащихся с одинаковым уровнем подготовки.

Если задания ранжированы по нарастанию трудности и отра­жают по содержанию и порядку расположения идеальную, плани­руемую структуру знаний, то общий вывод о качестве подготовки учащихся сделать довольно просто: чем меньше пробелов в ответах ученика на задания теста, тем лучше структура его знаний, тем выше качество его подготовки в группе других учеников, имеющих оди­наковый с ним уровень учебных достижений. Для характеристики степени отклонения рядом зарубежных исследователей был введен специальный индекс структурированности знаний, подсчет значе­ния которого основан на анализе числа пробелов в ответах испытуе­мых на задания теста [47].

Есть и другие, более сложные подходы, когда оценки качества структуры знаний учащихся базируются на методах факторного анализа и требуют определенной подготовки преподавателей для их использования в учебном процессе. Для обработки эмпиричес­ких результатов тестирования методами факторного анализа необ­ходимо также специальное программное обеспечение, которое, как правило, отсутствует в школах. Трудность, правда, представляет не столько поиск компьютерных программ факторного анализа, ко­торые довольно распространены в нашей стране, сколько навык по их использованию, который приобретается постепенно на протя­жении ряда лет.

Предлагаемый в пособии подход к определению качества под­готовки учеников, несмотря на определенные трудности, со­пряженные с попытками оценить структуру подготовки учащихся, довольно корректен с точки зрения возможности измерения и уда­чен. Особенно привлекательно выглядит оценка структуры подготов­ки учащихся в тех случаях, когда речь идет о сравнении эффективно­сти работы отдельных преподавателей либо групп преподавателей, как, например, при аттестации общеобразовательных учреждений.

На фоне многообразия существующих аттестационных моде­лей, методик, технологий, показателей и критериев оценка уровня и качества подготовки выпускников остается важнейшим показа­телем эффективности работы педагога. При этом в центре внима­ния аттестационных комиссий находится, несомненно, уровень подготовки. Оценка качества хотя и декларируется в инструктив­ных документах Минобразования России, но все же остается за гра­нью работы организаций, проводящих аттестацию, что вряд ли оп­равдано. В то время, как уровень подготовки в основном зависит от прилежности учащегося, его способностей и желания учиться, структура знаний в значительной степени отражает особенности организации учебного процесса.

На формирование структуры подготовки учеников влияют: уме­ние преподавателя правильно построить программу подготовки и эффективно ее изложить, его ответственность в работе по выявле­нию и устранению пробелов в знаниях учащихся, его умение вне­сти моменты индивидуализации в массовый учебный процесс — словом, все то, что следует в первую очередь принимать во внима­ние при оценке качества работы преподавательских коллективов. Еще сложнее, чем при решении первых двух вопросов, об­стоит дело с ответом на третий вопрос: чем измерять и с помо­щью каких методов? Ответ на него связан с конструированием и использованием средств измерения, методика разработки и при­менения которых получила пока довольно ограниченное рас­смотрение в отечественной научно-методической литературе. Действительно, можно привести лишь единичные работы, в ко­торых выдвигается на обсуждение весь комплекс задач, связан­ных с решением этих важных вопросов. Приходится констати­ровать тот факт, что ни педагогическая наука, ни практика не обладают пока в полной мере методами создания средств изме­рения и самими средствами [23].

В какой-то мере это естественно, так как здесь необходим оп­ределенный опыт, который на сегодняшний день в силу разных причин в нашей стране практически отсутствует. К тому же разра­ботка объективных методов измерения представляет немалые труд­ности, связанные с созданием стандартных процедур, введением метрики для количественного выражения характеристик подготов­ки обучаемых.

Необходимо также решить ряд проблем методического харак­тера — соотнести возможности различных средств измерения с ви­дами контроля, которые выбирает преподаватель сообразно прак­тическим задачам при оценке знаний учеников.