Анализ заданий в тестах достижений

Целью анализа заданий является отбор заданий, формирующих однородную, дискриминативную шкалу (подробнее см. глава 4). Наиболее часто используе­мый метод состоит вычислении по полной выборке доли тех испы­туемых, которые дали ключевые ответы и в определении корреляции каждого задания с суммарным показателем. Так, однородный и дискриминативный тест может быть получен путем отбора заданий, имеющих долю правильно ответивших (в соответствии с «ключом») испытуемых в пределах 80% —20% и высокую корреляцию с общим показателем.

Количество заданий. Необходимо сконструировать примерно вдвое больше заданий, чем войдет в окончательный тест. Величина окончательного теста будет зависеть от его назначения и сущности. Тесты должны быть настолько краткими, насколько возможно, в соответствии с оценками надежности и валидности. Это означает, что в выборочной совокупности должно быть по крайней мере 50 заданий, что обеспечивает достаточную надежность.

Корреляция заданий и суммарного показателя. Существует несколько формул для вычисления корреляции зада­ний с общим показателем.

1. Коэффициент произведения моментов Пирсона, который рекомендуется для заданий с многобалль­ными шкалами ответов. Однако, в случае пяти-балльных шкал (или с меньшим количеством градаций) правомочность использования этого коэффи­циента корреляции сомнительна.

2. Точечно-бисериальная корреляция использует­ся для дихотомических заданий. Ответы на другие задания могут быть приведены к виду «правильно/неправильно» или «ключевой/неключевой ответ».

3. Коэффициент φ можно использовать, если общий показатель приведен к дихотомическому виду («тест выполнен / не выполнен» или «показатель выше / ниже среднего»). Для этого коэффициента предполагается, что это неконти­нуальные градации.

4. Четырехпольный коэффициент корреляции может использоваться как и коэффициент φ. Однако, делается предположение, что градации «тест выполнен/не выполнен» или «верно/неверно» являются континуальными.

Для четырехпольного коэффициента корреляции существует проблема, состоящая в том, что стандартная погрешность является большой: вдвое больше, чем для коэффициента произведения моментов. И четырехпольный коэффициент r_tet, и коэффициент φ из-за дихотомизации общего показателя, приводят к отбрасыванию определенных объемов данных.

Критерии отбора заданий теста. Такими критериями являются:

1. Величина теста. Для обеспечения надежности необходимо от 20 до 30 заданий.

2. Содержание. В большинстве тестов желательно использование настолько широкого разнообразия заданий, насколько возможно.

3. Корреляция заданий с общим показателем. Чем выше корреляция, тем лучше задание. Ясно, что следует оставлять в тесте те задания, которые имеют высокую корреляцию с общим показателем, однако на больших выборках эти цифры могут быть и низкими. В идеале, все задания должны иметь корреляцию с общим показателем не ниже 0,2.

4. Уровень трудности. Для боль­шинства тестов принято, что задания со значением Р от 0,80 до 0,20 считаются удовлетворительными. В то же время задание, эффектив­ное в других отношениях, но со значением Р = 0,19 не должно быть отброшено.

Литература к главе 2

1. Анастази А. Психологическое тестирование. В 2-х. кн. М.: Педагогика, 1982

2. Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психологической диагностике. Киев: Наукова думка, 1989

3. Клайн П. Справочное руководство по конструированию тестов. Киев: Пан лтд., 1994

4. Психологическая диагностика: Проблемы и исследования / Под ред. К.М.Гуревича. М.: Педагогика, 1981

5. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002.

6. Bloom В. S. et al. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1: Gognitive Domain. N. Y.: David Mckay Co., 1956

7. Brickenkamp R. Handbuch psychologischer und paedagogischer Tests. Goettingen: Hogrefe, 1975