Надежность психодиагностического инструментария

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. Эти требования в психодиагностике складывались годами в процессе работы над тестами и над их совершенствованием. В результате появилась возможность оградить психологию от всевозможных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками.

К числу основных критериев оценки психодиагностических методик относятся надежность и валидность. Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Аназтази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и др.). Ими были разработаны как формально-логический, так и математико-статистический аппарат (прежде всего корреляционный метод и факторный анализ) обоснования степени соответствия методик отмеченным критериям.

В психодиагностике проблемы надежности и валидности методик тесно взаимосвязаны, тем не менее, существует традиция раздельного изложения этих важнейших характеристик. Следуя ей, начнем с рассмотрения надежности методик.

Надежность – это характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов. Результаты психологического исследования обычно подвержены влиянию большого количества факторов (эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик; физические факторы: освещенность, температура и другие особенности помещения, где проводится исследование; уровень мотивированности испытуемых на обследование; влияние личности экспериментатора). Любое изменение ситуации исследования усиливает влияние одних и ослабляет воздействие других факторов на результат теста.

Общий разброс (дисперсия) результатов тестового обследования можно, таким образом, представить как результат влияния двух групп причин: изменчивости, присущей самому измеряемому свойству, и факторов нестабильности измерительной процедуры.

Надежность теста в широком смысле — характеристика того, в какой степени выявленные у ряда испытуемых различия по тестовым результатам являются отражением действительных различий и, в какой мере они могут быть приписаны случайным ошибкам.

Надежность теста в узком смысле — степень согласованности результатов тестов, получаемых при первичном и повторном его применении по отношению к тем же испытуемым в различное время с использованием разных, но сопоставимых по характеру, наборов тестовых заданий.

Как пишет А. Анастази, вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 110, а к концу – 80. Повторное применение надежных методик дает сходные оценки.

Распределение оценок испытуемых при выполнении теста, измеряющего одно качество, в идеальном случае совпадает с нормальным распределением, и дисперсия при этом будет «истинной» (т.е. отражающей вариативность только измеряемого признака). Каждый испытуемый занимает определенное место по оценкам теста, и теоретически это место для каждого члена выборки постоянно. В рассматриваемом случае повторное выполнение теста теми же лицами должно давать распределение мест на шкале оценок, идентичное первому. Тогда методика как измерительный инструмент точна и максимально надежна.

Нормальное распределение – вид теоретического распределения переменных. Наблюдается при измерении признака (переменной) под влиянием множества относительно независимых факторов. Крайние значенияв нем встречаются достаточно редко; значения, близкие к средней величине – достаточно часто.

Если отойти от идеального случая, то реальные оценки и ранговые места испытуемых при повторном обследовании изменяются, и их распределение в той или иной степени отличается от исходного. При этом дисперсия нового распределения выше исходного на величину дисперсии ошибки измерения. Ошибка измерения – это статистический показатель, характеризующий степень точности отдельных измерений. Надежность теста тесно связана с ошибкой измерения, которая указывает на вероятные пределы колебаний измеряемой величины под воздействием случайных постоянных факторов.

На практике в большинстве применяемых методик редко удается получить значение коэффициентов надежности превышающие 0,7-0,8. Методика признается надежной, когда полученный коэффициент не ниже +0,75 – +0,85. Лучшие по надежности тесты дают коэффициенты порядка +0,90 и более. (Коэффициент корреляции – нормированный количественный показатель, изменяющийся в пределах от -1,00 до +1,00 и оценивающий силу и направление связи между двумя переменными. Отсутствие связи выражается величинами, близкими к нулю.

На практике используют три основных метода оценки надежности тестов: повторное тестирование, параллельное тестирование и расщепление.

1. Повторное тестирование (ретестовая надежность) — характеристика, получаемая путем повторного обследования испытуемых с помощью одного и того же теста, через временной интервал. Надежность в этом случае вычисляется по соответствию результатов первого и второго обследований или по сохранению ранговых мест испытуемых в выборке при ретесте. Коэффициент надежности соответствует коэффициенту корреляции между результатами таких обследований.

С увеличением временного интервала между тестами показатели корреляции снижаются, поэтому интервал не должен превышать 1-3 месяцев. Данный метод определения надежности имеет недостаток. При повторном применении одних и тех же заданий и, особенно через непродолжительное время, вырабатывается навык работы с методикой и, следовательно, ухудшаются индивидуальный показатель надежности.

2. Параллельное тестирование (надежность параллельных форм)

определяется с помощью взаимозаменяемости форм теста двумя способами:

1) одни и те же испытуемые выборки обследуются сначала с использованием основного набора заданий, через некоторое время с использованием аналогичного, но дополнительного набора;

2 ) испытуемые делятся на равные группы, одна из групп тестируется по форме А-теста (основной), а вторая — по форме В-теста (дополнительной). Через две недели, наоборот, меняются формы теста для групп.

Основным показателем здесь является коэффициент корреляции между результатами первичного и повторного обследований, который оценивает как временную стабильность теста (собственно надежность), так и степень соответствия результатов обеих форм теста.

Отношения между параллельными формами теста носят сложный характер. Оба набора должны не только отвечать одним и тем же требованиям, измеряя идентичные показатели и давая сходные результаты, но, в то же время, должны быть относительно независимы друг от друга.На практике эта задача осуществима далеко не для всех тестовых заданий (в особенности это касается личностных методик, опросников), что существенно ограничивает сферу применения данного типа надежности.

3. Расщепление (надежность частей теста) – характеристики надежности, получаемая путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных пунктов заданий теста.

Тест расщепляется на две равноценные части. Основанием метода является вывод о том, что при нормальном или близком к нормальному распределению оценок по всему тесту, выполнение любого случайного набора из частей теста дает аналогичное распределение.

Для оценки надежности методом расщепления выбирают две эквивалентные по характеру и степени трудности группы задач (например, четные и нечетные (если задания в тесте ранжированы по степени субъективной трудности)).

Внутренняя согласованность (консистентность) – вид надежности теста – гомогенность набора пунктов теста, т.е. степень, в которой конкретные пункты оценивают один и тот же конструкт, насколько они измеряют одну и ту же переменную. Одни из видов оценки внутренней согласованности является надежность, определяемая расщеплением.