Определение основных понятий

Объективность задания (задачи, пункта, вопроса) теста - задание признается объективным, если оно оценивается группой независимых экспертов-психологов как соответствующее измеряемому признаку.

Эмпирическая валидность - статистический показатель соответствия разрабатываемого теста апробированной методике измерения данного признака. Оценивается по величине коэффициента корреляции между последними.

Математический аппарат. Коэффициент корреляции Пирсона (1). При численности группы менее 20 человек следует применять коэффициент корреляции Спирмена (2).

r = (1)

r = 1- (2)

Порядок работы. Предлагаемый для измерения признак - личностная тревожность.

В процессе совместного обсуждения группа формирует общее представление о понятии «личностная тревожность».

1. Студенты предлагают пункты теста для измерения уровня тревожности. Каждый пункт оценивается группой путем голосования. Пункты, набравшие менее 50%, отклоняются. Задания могут предполагать как положительные, так и отрицательные ответы, соответствующие измеряемому признаку. Преподаватель записывает отобранный пункт теста, отмечая соответствующим знаком («+», «-»), эта запись будет служить ключом для получения «сырых» оценок. Таким образом отбирают 18-20 заданий. Студенты отвечают на сформированный опросник по схеме «да-нет» (дихотомические ответы).

2. Студентам предлагается «банк вопросов» (см. прил. 10.1.1). Группа отбирает из «банка» 18-20 вопросов, соответствующих измеряемому признаку. Проводится тестирование группы сформированным вопросником.

Обработка данных. Для обоих случаев тестирования по разработанным ключам вычисляются «сырые» оценки. Затем преподаватель предлагает «истинный» ключ (см. прил. 10.1.2). Используя этот ключ, студенты вычисляют свои «сырые» оценки по результатам второго тестирования. Оценки сводятся в таблицу (табл. 10.1.1).

Таблица 10.1.1

Сводная таблица результатов

 

Номер п/п	X1	X2	X3
… n

Примечание. Здесь Х₁, Х₂, Х₃ – «сырые» оценки каждого студента для 1-ого, 2-го, 3-го тестирования, соответственно.

В результате получаются три случайные величины Х₁, Х₂, Х₃ (1... n), n - количество студентов в группе.

Примечание. Очевидно, что «сырые» оценки по результатам 2-го тестирования могут быть несколько занижены по сравнению с «истинными», но это не может сказаться на величине коэффициента корреляции.

Анализ результатов. Вычисляются коэффициенты корреляции r (Х₁,Х₂) и r (Х₂,Xз).

Смотря по обстоятельствам вычисляется или коэффициент Пирсона или Спирмена.

Статистически значимые значения коэффициентов корреляции представляют оценки эмпирической валидности сформированных первичных форм теста.

Выводы. В группе проводится обсуждение проведенной работы. Рассматриваются преимущества и недостатки двух отработанных методой формирования первичной формы опросника, у какого из методов оказалась более высокая эмпирическая валидность.

Приложение 10.1.1

1. Бывает ли у вас так, что вы настолько взволнованы какими-то мыслями, что не можете усидеть на одном месте?

2. Вас когда-нибудь тревожила «бесполезная мысль», которая все время вертелась в голове?

3. Быстро ли вас можно переубедить в чем-либо?

4. Считаете ли вы, что на ваше слово можно положиться?

5. Можете ли вы забыть обо всех делах и пойти повеселиться в хорошей компании?

6. Бывает ли у вас часто так, что вы приняли решение слишком поздно?

7. Считаете ли вы свою работу как нечто само собой разумеющееся?

8. Любите ли вы работу, требующую значительной сосредоточенности?

9. Любите ли вы вести разговоры о вашем прошлом?

10. Трудно ли вам забыть о ваших делах, обо всем даже на оживленной вечеринке?

11. Преследуют ли вас иногда мысли и образы так, что вы не можете спать?

12. Когда вы заняты своей основной работой, то интересуетесь ли в то же время и работой своих товарищей?

13. Часто ли бывают случаи, когда вам необходимо остаться одному?

14. Считаете ли вы себя счастливым человеком?

15. Смущаетесь ли вы в присутствии лиц другого пола?

16. Тревожит ли вас чувство вины?

17. Вы опаздывали когда-нибудь на занятия или свидания?

18. Трудно ли вам переключиться с одного экзамена на другой?

19. Часто ли вы ощущаете свое одиночество?

20. Много ли времени вы проводите в воспоминаниях о лучшем временах своего прошлого?

21. Предпочитаете ли вы оставаться незаметным на вечерах, в гостях?

22. Верно ли, что вас довольно трудно задеть?

23. Часто ли вы чувствуете неудовлетворенность?

24. Склонны ли вы довести до конца предыдущую работу, если вам предстоит другая, более интересная?

25. Бывает ли у вас такое ощущение, что ваша работа для вас дело жизни и смерти?

26. Трудно ли вам отказаться от привычек, которые вам не по душе?

27. Любите ли вы размышлять о своем прошлом?

28. Считаете ли вы себя счастливым человеком, которому в жизни все легко удается?

29. Легко ли вас задеть за живое по различным поводам?

30. Склонны ли вы к быстрым и решительным действиям?

31. Всегда ли вам думается после кого-либо поступка, что вам следовало сделать иначе?

33. Бывает ли у вас время от времени ощущение одиночества?

34. Работаете ли вы иногда так, будто от этого зависит ваша жизнь?

35. Можете ли вы быстро прервать начатое дело и тут же приступить к выполнению другого задания?

Приложение 10.1.2

Тревожность: «да» - 1, 2, 4, 10, 11, 16, 23, 25, 29, 31, 34; «нет» - 5, 7, 14, 15, 17, 22, 28;

ЛТ = «да» + «нет».

Ригидность: «да» - 18, 24, 26; «нет» - 3, 12, 32, 35;

Р = «да» = «нет».

Экстраверсия: «да» - 6, 8, 9, 13, 19, 20, 21, 27, 33; «нет» - 30

Э = «да» + «нет».

 

Занятие 10.2 ПЕРВИЧНЫЙ АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ

 

Цель работы. Расчет индексов трудности и коэффициентов дискриминативности заданий теста.

Определение основных понятий. Статистическая трудность задания теста - доля лиц репрезентативной выборки, правильно решивших задачу.

Дискриминативность задания - способность этого задания дифференцировать испытуемых по отношению к «минимальным» и «максимальным» результатам.

Первичным («сырым») результатом Х одного испытуемого будем называть количество правильно решенных им задач.

Математический аппарат. Оценкой трудности задачи служит измеряемый в процентах индекс трудности

I = . (1)

Л. Ф. Бурлачук и С. М. Морозов определяют индекс трудности как

I = , (2)

где T - количество испытуемых, правильно решивших задачу, N - объем репрезентативной выборки.

Слишком сложные, как и слишком простые задачи искажают информацию об испытуемых данной выборки. Оптимальное значение индекса трудности равно 50%.

Сравнить трудности двух задач можно при помощи критерия c², который при условии, что р ₁ (вероятность решения первой задачи) и р ₂ (вероятность решения второй задачи) равны примет следующий вид:

c² = , (3)

где п - количество испытуемых, х ₁ - количество испытуемых, правильно решивших первую задачу, у ₁ - количество испытуемых, неправильно решивших первую задачу; х ₁ + у ₁ = п; п, х₂, у ₂, х ₂ +у ₂ =п - аналогичные характеристики второй задачи; число степеней свободы при этом равно 1.

Табличные значения c² при различных значениях уровня значимости а.

а 5% 1% 0.1%

c² 3,84 6,63 10,8

Если вычисленное значение превышает табличное, то нулевая гипотеза отклоняется, т. е. задачи считаются разными по трудности.

Показателем дискриминативности задания служит мера соответствия его успешного решения успешному решению всех заданий теста. Он называется коэффициентом дискриминации и вычисляется как коэффициент точечно-бисериальной корреляции между средним первичным результатом задания и средним первичным результатом по всем заданиям теста (случай, когда все испытуемые решили все задачи без пропусков).

-1 £ r £ 1

r = (4)

 

å X _n - сумма всех правильных ответов Х _n = X,

åХ - сумма всех ответов N _n = N ₁

где r - коэффициент детерминации, Х ₁ - первичный результат испытуемого, правильно решившего задачу, N ₁ - количество испытуемых, правильно решивших задачу, Х - первичный результат произвольного испытуемого, N - объем выборки испытуемых.

Чем ближе значение r к 1, тем более соответствует данная задача всему тесту. При отрицательных значениях r задача должна быть исключена. Отсутствие зависимости между отдельным заданием и всем тестом (значение r меньше критического) может говорить или о том, что задача намного трудней остальных, или - намного легче. В первом случае это задание будет служить «фильтром», который завышает оценки теста у «сильных» испытуемых и занижает у «средних» и «слабых», т. е. искажает результаты тестирования. Во втором случае это задание будет служить излишним балластом, не дающим никакой информации. В этом заключается смысл коэффициента дискриминативности.

Порядок работы. Студентам предлагаются 44 задания теста «Домино» Равена. Время решения задач не ограничивается, чтобы избежать пропусков.

Обработка результатов

1. Расчет индекса трудности.

Результаты решения заданий теста объединяются в таблицу (табл. 10.2.1), где Т - количество испытуемых, правильно решивших задачу, I - индекс трудности задачи.

Таблица 10.2.1

Таблица результатов

Номер задания	T	I

 

В таблице следует найти самую «трудную» и «самую» легкую задачи, проверить статистическую значимость различия индексов трудности этих задач, сделать соответствующий вывод. Сравнить самую «трудную» и самую «легкую» задачи с задачами «среднего» уровня трудности.

2. Расчет коэффициента дискриминативности. Необходимо составить таблицу первичных результатов следующим образом (табл. 10.2.2), где Х - первичные результата (от 1 до 44); N ₁ - количество испытуемых, которые получили данный первичный результат; N ₂ - количество испытуемых, получивших данный первичный результат из числа решивших самую «легкую» задачу; N ₃ - самую «трудную» задачу.

Таблица 10.2.2

Таблица первичных результатов

Х	N 1	N 2	N 3

 

Вычислить коэффициенты дискриминативности для самой «трудной», «легкой» задач.

Занятие 10.3 ПРОВЕРКА НАДЕЖНОСТИ ТЕСТА

 

Цель работы. Проверка надежности теста методом «тест-ретест» и методом расщепления «четное-нечетное», оценка плотности теста (консистенции).

Определение основных понятий. Надежность - характеристика теста, отражающая точность измерения и стабильность результатов. Количественно оценивается коэффициентом надежности

f = = 1 - ,

где S _t - «истинная» дисперсия теста; S _х - эмпирическая дисперсия теста; S _е - дисперсия ошибки.

Прямая оценка коэффициента надежности невозможна (принципиально невозможно непосредственно определить S _t и S _е), поэтому применяют косвенные корреляционные методы, например метод «тест-ретест», метод расщепления.

Метод «тест-ретест» заключается в следующем: через некоторое время после первого проводится повторное тестирование с достаточным временным интервалом. Оценкой надежности служит коэффициент корреляции (Пирсона, ранговый или какой-либо иной, в зависимости от типа шкальных значений результатов тестирования).

Метод расщепления на части, в данной работе - на две части по принципу «четные-нечетные задания». В этом методе сопоставляются четные и нечетные номера заданий. Сила связи между этими двумя частями теста характеризует его надежность.

Возможно расщепление теста на любое количество частей. В предельном случае количество частей равно количеству заданий теста. Надежность в этом случае оценивается коэффициентом плотности (консистенции).

Математический аппарат

f = ; (1)

 

f = = d; (2)

 

f = ; (3)

 

f ₁ = ; (4)

где f - коэффициент надежности; r - коэффициент корреляции между двумя частями теста (Пирсона или ранговый); S ₁, S ₂ - среднеквадратичные отклонения 1-й и 2-й половин теста, соответственно; S ₁ = , S ₂ = - дисперсии 1-й и 2-й половин теста, соответственно; п - количество заданий теста; d - символ для сокращения записи; f ₁ - коэффициент консистенции; S - дисперсия всех задач теста; р - индекс трудности задачи в десятичной дроби (1/100); q = 1- р.

Значение коэффициента надежности теста редко превышает на практике 8.

Тест считается надежным при f > 6.

- Формула Спирмена-Брауна (1). Применяется, если дисперсии обеих частей теста равны. Это предположение проверяется с помощью критерия Фишера: F = S ₁ /S ₂ если эмпирическая статистика F превышает табличное значение F _t,то гипотезу о равенстве дисперсий следует отклонить. В данном случае при 21 степени свободы, для уровня значимости 0,05 F _t = 2,1.

- Формула Флангана (2). Применяется в случае неравенства дисперсий.

- Формула Кристофа (3). Применяется в случае малого количества заданий теста (п< 50).

- Формула Кьюдера - Ричардсона (4). Частный случай формулы Кронбаха для дихотомических интерпретаций ответов «правильно-неправильно».

Порядок работы. Студентам предлагается тест «Домино», с которым они работали на прошлом занятии.

Обработка данных

1.Составляется таблица (табл. 10.3.1), где Х _{1 i} - количество правильно решенных задач i -м испытуемым - показатель успешности работы i -го испытуемого в 1-м тестировании; Х _{2 i} -показатель успешности работы i -го испытуемого во 2-м; N - объем выборки испытуемых.

Таблица 10.3.1