Построение теста при помощи классической теории тестирования 


Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Построение теста при помощи классической теории тестирования



1. Исходя из теоретических предположений и при хорошем понимании того, что надо измерить, пишутся задания теста. Необходимо написать как минимум в два раза больше заданий, чем предполагается включить в окончательный вариант теста.

2. Калибровка: полученные задания нужно протестировать при помощи людей, близких к той популяции, для которой предназначается тест.

3. Следует отбросить задания с низкой (<0,2) или отрицательной корреляцией задание-итоговый балл.

4. Если дискриминация отрицательна, то, возможно, нарушилось предположение об одноразмерности теста.

5. Выбираем нужное число заданий с самой высокой корреляцией задание-итоговый балл, так как они повышают надежность теста, снижая стандартную ошибку измерения.

6. Чтобы подобрать необходимую сложность теста, можно заменить часть заданий на более или менее сложные. Не желательно иметь легкость задания более 0,85 или менее 0,15. Для того, чтобы обучающиеся всех уровней подготовки могли быть оценены, лучше иметь задания разного уровня легкости (сложности).

7. Таким образом получается тест, который будет наиболее адекватным образом оценивать именно ту группу обучаемых, для которых он предназначался.

Пример построения теста при помощи классической теории тестирования:

Пусть наша задача состоит в том, чтобы построить надежный и достаточно сложный (не более 50% экзаменуемых должны ответить на 8 и более заданий верно) тест из 15 заданий.

Как было описано ранее, напишем 40 заданий и проанализируем их:

Номер задания Сложность задания (р) Стандартное отклонение Число ответов Среднее, если убрать это задание Дисперсия, если убрать это задание Корреляция задание-итоговый балл Надежность, если убрать задание
  0.84 0.36   21.08 53.27 0.26 0.86
  0.50 0.50   21.42 51.61 0.41 0.86
  0.60 0.49   21.32 52.11 0.35 0.86
  0.40 0.49   21.52 51.93 0.37 0.86
  0.51 0.50   21.42 51.05 0.49 0.86
  0.63 0.48   21.29 51.72 0.41 0.86
  0.77 0.42   21.16 52.81 0.29 0.86
  0.61 0.49   21.31 52.86 0.24 0.87
  0.24 0.43   21.68 51.68 0.45 0.86
  0.72 0.45   21.21 52.85 0.26 0.86
  0.65 0.48   21.28 51.64 0.43 0.86
  0.33 0.47   21.60 51.00 0.53 0.86
  0.55 0.50   21.37 51.37 0.44 0.86
  0.76 0.43   21.16 52.81 0.29 0.86
  0.47 0.50   21.46 50.28 0.60 0.86
  0.18 0.39   21.74 54.41 0.04 0.87
  0.53 0.50   21.39 50.89 0.51 0.86
  0.74 0.44   21.18 54.61 0.00 0.87
  0.51 0.50   21.42 53.14 0.19 0.87
  0.46 0.50   21.47 52.61 0.27 0.86
  0.74 0.44   21.19 52.99 0.25 0.86
  0.42 0.49   21.50 52.41 0.30 0.86
  0.41 0.49   21.51 51.03 0.50 0.86
  0.54 0.50   21.38 50.45 0.58 0.86
  0.80 0.40   21.12 52.12 0.44 0.86
  0.35 0.48   21.58 50.70 0.57 0.86
  0.62 0.48   21.30 52.00 0.37 0.86
  0.67 0.47   21.26 54.46 0.02 0.87
  0.44 0.50   21.48 51.72 0.40 0.86
  0.38 0.49   21.54 51.57 0.43 0.86
  0.62 0.49   21.31 52.18 0.34 0.86
  0.71 0.45   21.22 53.08 0.23 0.87
  0.67 0.47   21.26 51.94 0.39 0.86
  0.75 0.43   21.18 52.76 0.29 0.86
  0.83 0.37   21.09 53.07 0.29 0.86
  0.21 0.41   21.72 52.65 0.34 0.86
  0.12 0.32   21.81 54.25 0.09 0.87
  0.35 0.48   21.57 51.33 0.47 0.86
  0.49 0.50   21.43 51.90 0.37 0.86
  0.79 0.41   21.13 53.18 0.24 0.86

Найдем задания с низкой (<0.2) или отрицательной корреляцией задание-итоговый балл и задания с экстремальными (<0.1 или >0.9) значениями сложности р. Таких всего пять (отмечены красным), удалим их.

Выберем 15 заданий с наиболее высокой корреляцией задание-итоговый балл и посчитаем для них среднее (= 7.3), стандартное отклонение (= 4.08) и надежность (= 0.85).

Так как мы хотели бы, чтобы среднее равнялось 8, то необходимо заменить некоторые из отобранных заданий на более сложные. В первую очередь, следует менять задания с более низкой корреляцией задание-итоговый балл, чтобы минимизировать влияние замены на надежность теста. В данном случае, заменим задания 9, 30 и 2 на 33, 27 и 3.

Тогда для них: среднее = 8.0, стандартное отклонение = 4.01, надежность = 0.84.

Тест построен.

Литература к главе 4

1. Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психологической диагностике. Киев: Наукова думка, 1989

2. Ермолаев О.Ю. Математическая статистика для психологов. М: Московский психолого-социальный институт, 2003 г.

3. Клайн П. Справочное руководство по конструированию тестов. Киев: Пан лтд., 1994

4. Романко В. К. Курс теории вероятностей и математической статистики для психологов. М: Московский городской психолого-педагогический институт, 2000 г.

5. Сидоренко Е.В. Методы математической обработки в психологии. СПб:, Социально-психологический центр, 2001 г.

6. Наследов А.Д. Математические методы психологического исследования. Анализ и интерпретация данных. СПб: Речь, 2004г.


Глава 5.

Обработка результатов тестирования с помощью статистического пакета SPSS FOR WINDOWS 11.5.0

Для примера взяты результаты тестирования студентов по учебным дисциплинам, проведенного в МГППУ. Тесты разработаны преподавателями МГППУ.

Частотный анализ

Частотный анализ позволяет определить:

· Частоту каждого из вариантов ответа на вопрос из теста;

· Процентную частоту ответа к общему количеству респондентов (доля правильных ответов на данный вопрос, взятая в процентах от общего количества ответов);

· Допустимое процентное значение (отсутствующие значения исключаются);

· Накопленные процентные значения (это сумма процентов допустимых значений).

Для проведения частотного анализа выберите в меню команды Analyze Descriptive Statistics (Дескриптивные статистики) Frequencies (Частоты) Появится диалоговое окно Frequencies (рис. 4.7).

Кнопкой с треугольником перенесите исследуемую переменную в список выходных переменных и подтвердите операцию кнопкой ОК.

 

Чтобы получить описательную статистику числовых переменных, можно щелкнуть в диалоге Frequencies на кнопке Statistics... (Статистика). Откроется диалоговое окно Frequencies: Statistics (Частоты: Статистика) (рис. 4.8).

В группе Percentile Values (Значения процентилей) можно выбрать следующие варианты:

· Quartiks (Квартили): Будут показаны первый, второй и третий квартили, которые делят упорядоченное (по возрастанию) множество наблюдений на 4 равные по численности части. Первый квартиль соответствует 25-му процентилю, второй – 50-мупроцентилю, третий – 75-му процентилю. Если данные имеются только в форме порядкового отношения, то качестве меры разброса используется межквартильная широта.

· Cut points (Точки раздела): Будут вычислены значения процентилей, разделяющие выборку на группы наблюдений, которые имеют одинаковую ширину, то есть включают одно и то же количество измеренных значений. По умолчанию предлагается количество групп 10. Если задать, к примеру, 4, то будут показаны квартили, то есть квартили соответствуют процентилям 25, 50 и 75. Видно, что число показываемых процентилей на единицу меньше заданного числа групп.

· Percentile(s) (Процентили): Это 99 точек – значений признака, которые делят упорядоченное множество наблюдений на 100 частей, равных по численности. Введите значение процентиля в пределах от 0 до 100 и щелкните на кнопке Add (Добавить). Повторите эти действия для всех желаемых значений процентилей. Значения в порядке возрастания будут показаны в списке. Например, если ввести значения 25, 50 и 75, то мы получим квартили. Можно задавать любые значения процентилей, например, 37 и 83. В первом случае (37) будет показано значение выбранной переменной, ниже которого лежат 37 % значений, а во втором случае (83) — значение, ниже которого располагаются 83 % значений.

В группе Dispersion (Разброс) можно выбрать следующие меры разброса:

· Std. Deviation - стандартное отклонение

· Variance - дисперсия

· Range - размах

· Minimum - минимум

· Maximum - максимум

· S.E. mean - стандартная ошибка.

Для вывода частотной таблицы исследуемой переменной, отсортированной по убыванию частоты. Выберите в меню команды Analyze (Анализ) Descriptive Statistics (Дескриптивные статистики) Frequencies... (Частоты). Перенесите исследуемую переменную в список выходных переменных. Щелкните на кнопке Format.... Откроется диалоговое окно Frequencies: Format (Частоты: Формат).

В группе Order by (Сортировать по) можно выбрать порядок, в котором будут отображены значения в частотной таблице. Возможны следующие варианты:

· Ascending values (По возрастанию значений): Данные сортируются по возрастанию значений. Это настройка по умолчанию.

· Descending values (По убыванию значений): Данные сортируются по убыванию значений.

· Ascending counts (По возрастанию частот): Данные сортируются по возрастанию частот.

· Descending counts (По убыванию частот): Категории сортируются по убыванию частот.

Кроме того, флажок Suppress tables -with more than... categories (не выводить таблицы с более чем... категориями) позволяет избежать вывода длинных частотных таблиц.

Результаты частотного распределения можно представить графически. Для этого выберите в меню команды Analyze (Анализ) Descriptive Statistics (Дескриптивные статистики) Frequencies (Частоты). Перенесите исследуемую переменную в список выходных переменных. Щелкните на кнопке Charts... (Диаграммы). Откроется диалоговое окно Frequencies: Charts (Частоты: Диаграммы) (рис. 4.10). Выберите в группе Chart Туре (Тип диаграммы) пункт Bar charts (Столбчатая диаграмма), а в группе Chart Values (Значения диаграммы) — пункт Percentages (Проценты). Подтвердите выбор кнопкой Continue (Продолжить). Вы вернетесь в диалог Frequencies. В диалоговом окне Frequencies снимите флажок Display frequency tables (Показывать частотные таблицы). — Щелкните на кнопке ОК.

Тест хи-квадрат

В SPSS имеется большое количество разнообразных процедур, при помощи которых можно произвести анализ связи между двумя переменными. Связь между переменными, относящимися к номинальной шкале или к порядковой шкале с не очень большим количеством категорий, лучше всего представить в форме таблиц сопряженности. Для этой цели в SPSS реализован тест хи-квадрат, по которому проверяется, есть ли значимое различие между наблюдаемыми и ожидаемыми частотами. Кроме того, существует возможность расчета различных мер связанности.

Для того чтобы провести тест хи-квадрат с помощью SPSS, выполните следующие действия. Выберите в меню команды Analyze (Анализ) Descriptive Statistics (Дескриптивные статистики) Crosstabs... (Таблицы сопряженности). Откроется диалоговое окно Crosstabs

 

Кнопкой Reset (Сброс) удалите возможные настройки. Перенесите исследуемые переменные одну в список строк, а вторую - в список столбцов. Щелкните на кнопке Cells... (Ячейки). В диалоговом окне установите, кроме предлагаемого по умолчанию флажка Observed, еще флажки Expected и Standardized. Подтвердите выбор кнопкой Continue. Щелкните на кнопке Statistics... (Статистика). Откроется описанное выше диалоговое окно Crosstabs: Statistics. Установите флажок Chi-square (Хи-квадрат). Щелкните на кнопке Continue, а в главном диалоговом окне — на ОК. В окне просмотра будут показаны результаты теста хи-квадрат.

Непараметрические тесты

Преимущество непараметрических методов наиболее заметно, когда в данных имеются выбросы (экстремально большие или малые значения).

SPSS предоставляет в распоряжение пользователей немалое количество непараметрических тестов. Все эти тесты приведены в таблице. В левой колонке находятся описания вспомогательных меню, а правая - содержит описания тестов, вызываемых через соответствующие диалоговые окна.

Вспомогательные меню Аналоговое окно
Chi-Square (Хи-квадрат)  
Binomial (Биномиальный)  
Runs (Последовательности)  
1 -Sample K-S... (Колмогоров-Смирнов для одной выборки)  
2 Independent Samples (Две независимые выборки) Mann-Withney-U-Test (U-тест Манна-Уитни) Moses extreme reactions (Экстремальные реакции по Мозесу)
  Z Kolomgorov-Smirnov (Z-тест Колмогорова-Смирнова)
  Wald-Wolfowitz runs (Последовательности Уалда-Вольфовица)
К Independent Samples (К независимых выборок) Н Kruskal-Wallis (Н-тест Крускала-Уоллиса) Median (Медианный тест)
2 Related Samples (Две связанные выборки) Wilcoxon (Тест Уилкоксона) Sign (Знак)
  McNemar (Тест МакНемара)
К Related Samples (К связанных выборок) Friedman (Тест Фридмана)
  W Kendall (W-тест Кендала)
  Q Cochran (Q-тест Кохрана)

 

Наиболее часто применяемыми тестами являются тесты для сравнения двух и более независимых или зависимых выборок. Это U-тест Манна-Уитни, Н-тест Крускала-Уоллиса, тест Уилкоксона и тест Фридмана. Важную роль также играет тест Колмогорова-Смирнова для одной выборки, который может применяться для проверки наличия нормального распределения. Непараметрические тесты могут, конечно, применяться и в случае нормального распределения значений. Но в этом случае они будут иметь лишь 95 % эффективность по сравнению с параметрическими тестами. Если Вы хотите, к примеру, произвести множественное сравнение средних значений двух независимых выборок, причем выборки частично подчиняются нормальному распределению, а частично — нет, то рекомендуется всегда применять U-тест Манна и Уитни.



Поделиться:


Последнее изменение этой страницы: 2017-01-25; просмотров: 166; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 54.152.216.170 (0.03 с.)