Пишите четкие указания по проведению теста и используйте стандартные административные процедуры.

Используйте несколько тестов: Совместную надежность оценки знаний студентов можно улучшить частым использованием тестов. Составной балл, данный на основании нескольких тестов, обычно, имеет более высокую надежность, чем каждый из его тестов-компонентов. Позитивные и негативные ошибки в оценках студентов имеют тенденцию выравниваться к концу семестра.

 

Отберите хорошие задания: Посчитайте корреляцию между тестом и заданиями и откиньте те из них, для которых она слишком низка. Нет четко критерия того, какая корреляция здесь считается низкой, но часто предполагается, что задания, который коррелирует с тестом на уровне r = 0.25 требуют внимательного рассмотрения. Далее, изучите задания, которые хорошо коррелируют с тестом и напишите побольше аналогичных.

 

Коэффициенты оценки надежности:

Из всего вышесказанного, можно определить, что мерой надежности является соотношение дисперсии действительного балла к дисперсии наблюдаемого тестового балла:

Надежность = σ²_{(действительный балл)} / σ²_{(наблюдаемый балл)}

Следующие формулы верны при предположении, что нет никаких значимых отличий между экзаменуемыми.

 

Альфа Кронбаха (Cronbach’s Alpha):

Альфа Кронбаха измеряет степень того, насколько задания теста, каждое из которых рассматривается как мини-тест, дают устойчивую информацию относительно знаний студентов в данной области. Поэтому этот коэффициент часто рассматривается как мера гомогенности заданий или внутренней устойчивости теста, то есть большие значения альфы показывает, что задания направлены на одну и ту же область.

 

Коэффициент Альфа Кронбаха:

где k – число заданий, S_i² - дисперсия для задания i, и S² - общая дисперсия теста.

Значение коэффициента Кронбаха варьируется от 0 до 1, где значения близкие к 1 соответствуют высокой устойчивости. Профессионально разработанные важные тесты должны иметь внутреннюю устойчивость на уровне не менее 0.90. Менее важные стандартизированные тесты должны иметь значение коэффициента не менее 0.80. Для школьного теста желательно иметь значение надежности выше 0.70. Более высокие значение коэффициента надежности необходимы для стандартизованных тестов, так как они проводятся только однажды и на основе их данных делаются выводы относительно достижений студентов в данной области. Для школьного теста приемлемо иметь более низкую надежность, так как окончательная оценка студента не основывается на каком-либо одном тесте, а на нескольких измерениях – тестах, домашней работе, рефератах, докладах и т.д. (см. приложение пункт 7.1)

 

Коэффициент Кудера-Ричардсона (Kuder-Richardson):

Частным случаем коэффициента Кронбаха для случая бинарных (то есть правда/ложь) заданий, является коэффициент Кудера-Ричардсона:

где L – длинна теста, σ ²_t – дисперсия тестовых баллов по студентам, p_i – число студентов, успешно ответивших на вопрос i, и q_i – число не правильно ответивших на этот вопрос. (см. приложение пункт 7.1)

Коэффициент расщепления (внутренней согласованности теста):

Альтернативный способ измерения надежности заключается в случайном разделении теста на две половины. Если тестовый балл надежнее, то можно ожидать, что обе половины будут хорошо коррелировать.

 

Коэффициент расщепления Спирмена-Брауна (Spearmen-Brown):

r_sb = 2r_xy /(1+r_xy)

где r_sb – значение коэффициента расщепления, а r_xy – корреляция между двумя половинами теста. (см. приложение пункт 7.1)

 

Трактовка значений коэффициента надежности:

Высокая надежность (больше 0.90) необходима в случаях, когда:

- на данных теста предполагается делать серьезные выводы,

- экзаменуемые разделены на множество разных категорий на основании относительно небольших индивидуальных различий, например, интеллекта.

Низкая надежность (около 0.70) приемлема, если:

- тест используется для получения предварительных выводов,

- тест используется для сортировки людей на небольшое количество групп на основании больших индивидуальных различий, например, роста или интровертности/экстравертности.

Оценка надежность около 0.80 или выше обычно расценивается как средняя или высокая (примерно, 0.8² * 100% = 16% изменчивости в тестовом балле приходится на долю ошибки).

Оценка надежности менее 0.60 обычно рассматривается неприемлемо низкая.

Отрицательные значения оценок коэффициента надежности:

Отрицательные значения коэффициентов надежности, получаемые при помощи стандартных формул оценок надежности, не корректны ни теоретически, ни численно. В этих, достаточно редких случаях, следует предположить, что тест состоит из более чем одного измерения и эти измерения негативно связаны. Чтобы подтвердить или отвергнуть эту гипотезу, рекомендуется использовать факторный анализ для различных частей теста.

 

Валидность и надежность

Важно понимать разницу между надежностью и валидностью. Валидность говорит о том, насколько хорош тест для данной конкретной ситуации; надежность показывает насколько можно доверять тестовому баллу.

Чтобы быть валидным, тест должен быть надежен, но надежность не гарантирует валидность. Это означает, что он измеряет какое-то свойство очень точно, но какое именно – остается под вопросом, его содержание может быть бессмысленным. В такой ситуации необходима более точная валидизация теста, как содержательная, так и практическая.

Вообще говоря, валидность теста всегда ограничена его надежностью. Часть тестового балла, приходящаяся на случайную ошибку, не коррелирует с критерием. Поэтому, если надежность теста меньше 1, то есть истинный балл не совпадает с тестовым, то корреляция между двумя тестом и критерием будет занижена. Если нам известна их надежность, то мы можем откорректировать занижение корреляции:

r_xy,corrected = r_xy /(r_xx*r_yy)^½

где r_xy,corrected – откорректированный коэффициент корреляции между тестом x и критерием y (валидность), r_xy – не откорректированный коэффициент корреляции, r_xx и r_yy – надежность теста x и критерия y, соответственно.