Определение надежности тестов.

Надежность – согласованность показателей, полученных у тех же самых испытуемых при повторном тестировании тем же самым тестом или эквивалентной его формой. Надежный тест – тест, с помощью которого получаются одни и те же показатели для каждого обследуемого при повторном тестировании.

Виды надёжности

1 классификация [36].

Надежность целого теста

1. Надежность – устойчивость (ретестовая надежность). Измеряется с помощью повторного проведения теста на той же выборке испытуемых, обычно через две недели после первого тестирования.

Для интервальных шкал подсчитывается коэффициент корреляции произведения моментов Пирсона (r₁₂). Для шкал порядка в качестве меры устойчивости к перетестированию используется коэффициент ранговой корреляции Спирмена.

2. Надежность – согласованность (одномоментная надежность). Простейший способ ее определения – коррелирование параллельных форм теста. Чаще всего параллельную форму теста получают расщеплением составного теста на “четную” и “нечетную” половины.

По каждой половине рассчитываются суммарные баллы и между двумя рядами баллов по испытуемым определяются допустимые коэффициенты корреляции. Получают коэффициент, относящийся к половинам теста. Для определения надёжности целого теста используют формулу Спирмена-Брауна.

Надежность отдельных пунктов теста

Чтобы повысить ретестовую надежность теста в целом, надо отобрать из исходного набора пунктов такие, на которые испытуемые дают устойчивые ответы.

Для повышения одномоментной надежности следует отбросить те пункты, которые плохо согласованы с остальными. В качестве меры корреляции вычисляется фи-коэффициент, значимость которого определяется с помощью критерия хи – квадрат. Если φ – коэффициент незначимый, то этот пункт исключается из теста. Можно использовать также точечно - биссериальный коэффициент корреляции.

2 классификация [44].

Надежность ретестовая – предполагает повторное предъявление того же самого теста тем же испытуемым и примерно в тех же условиях, что и первоначальное, а затем установление корреляции между двумя рядами данных. Интервал – не менее двух месяцев. Используется коэффициент корреляции произведения моментов Пирсона.

Надежность параллельных форм – предусматривает создание эквивалентных форм опросника и предъявление их одним и тем же испытуемым для того, чтобы затем оценить корреляцию между полученными результатами.

Надежность частей теста – определяется путем деления опросника на 2 части (обычно на четные и нечетные задания), после чего и рассчитывается корреляция между этими частями по формуле Спирмена –Брауна.

Валидность теста.

Валидность – степень, в которой тест действительно измеряет то, для чего он предназначен.

Надежность является необходимым, но не достаточным условием валидности.

Виды валидности [36, 44, 45]

1. Содержательная валидность – оценка теста производится за счет экспертов (устанавливающих соответствие заданий теста содержанию предмета измерения). Например, учитель может выступить в роли эксперта.

2. Эмпирическая валидность измеряется с помощью статистического коррелирования: подсчитывается корреляция двух рядов значений – баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности.

· Валидность “по одновременности ”, или текущая валидность. С помощью внешнего критерия. Информация собирается одновременно с экспериментами по данной методике (например, успеваемость в период испытания, производительность).

· Прогностическая валидность. Определяется по внешнему критерию. Информация по нему собирается некоторое время спустя. Например, способность к деятельности.

· Ретроспективная валидность. Определяется на основе критерия, отражающего события или состояния качества в прошлом. Например, прошлые оценки, прошлые экспертные заключения.

· Дифференциальная валидность. Например, тесты интересов коррелируются с академической успеваемостью, но в зависимости от дисциплины.

3. Конструктная валидность. (Конкурентная валидность).

Вычисляется, если для измеряемого свойства можно найти в литературе уже апробированный тест с известной валидностью. (Оценивается по корреляции разработанного теста с другими, валидность которых относительно измеряемого параметра установлена.)

4. Очевидная валидность – описывает представление о тесте, сложившееся у испытуемого. Тест должен восприниматься обследуемым как серьезный инструмент познания его личности.

Не существует какого-либо единичного показателя, с помощью которого устанавливается валидность психологического теста. Нельзя осуществить точные статистические расчеты, подтверждающие валидность методики.

 

Семинарское занятие № 3. Психометрические основы психодиагностики: основные этапы конструирования теста (2 часа)

1. Технология создания методик [36, С.135-142; 44, С.151-161].

2. Понятие о стандартизации психодиагностической методики. Стандартизация по процедуре и по оценке результатов. Требования к стандартизации [36, С. 94-95; 44, С. 167-176].

3. Надежность методики и ее виды. [36, С. 101-112; 44, С.161-162]

4. Понятие о валидности. Виды валидности [36, С. 112-135; 44, С. 166-167].

5. Репрезентативность тестовых норм [36, С. 79-101].

Литература:

Основная: 36, 44

Дополнительная: 3, 11, 12, 13, 15, 18, 35, 38, 45

Задачи и вопросы для самоконтроля:

Как разработать спецификацию будущего теста? Перечислите требования к разработке заданий? Какие типы заданий используют в личностных опросниках? Назовите основные проблемы, которые возникают при разработке заданий личностных опросников. Каковы требования к оформлению теста? Как провести пилотажное исследование? Как определить дискриминативность заданий теста?

Какова природа тестовых шкал? Объясните. Перечислите необходимые этапы эмпирико–статистической работы при адаптации многомерного переводного теста – опросника. С какой целью адаптируют зарубежные тесты? Что выступает в качестве эталона в дифференциальной психометрике? Как проверить согласованность эмпирического распределения с нормальным? С какой целью это проводится? С какой целью проверяют устойчивость распределения?

Для чего необходима стандартизация психодиагностической методики? Назовите основные требования стандартизации процедуры проведения теста. Какие вы знаете критерии оценки результатов диагностических испытаний? В чём отличие понятия валидности от надёжности? Какие виды валидности и надёжности Вы знаете? Кратко охарактеризуйте их.

 

Раздел 3