Разработка заданий диагностического инструментария

Разработка заданий является важным этапом формирования нового психодиагностического инструментария. Качество вопросов, заданий, задач и другого стимульного материала определяет потенциальные возможности инструментария, влияет на качество измерения.

Создание заданий для методики требует решения нескольких теоретических вопросов:

во-первых следует определиться с параметрами шкалы, используемой для группировки вопросов (одномерной или многомерной);
во-вторых, со способом регистрации ответов: применения дихотомических, открытых или закрытых, взаимоисключающих и др. вариантов;
в третьих, принять решение о типе задач, заданий, вопросов (в случае разработки личностных опросников). 

Шкала это совокупность пунктов (заданий, задач, вопросов и пр.) имеющая признак внутренней согласованности. Внутренняя согласованность предполагает, что пункты шкалы тесно связаны друг с другом и вносят значительный вклад в шкалу.

Согласованность пунктов внутри шкалы измеряется посредством расчета коэффициентов α-Кронбаха (Кьюдера-Ричардсона – для дихотомических оценок). Согласованность пунктов со шкалой оценивается посредством коэффициентов корреляции. При этом степень связи пунктов со шкалой должна иметь значения выше средних. В случае, если ответы на пункты представлены в дихотомическом виде, а значения шкалы в ранговом, следует использовать рангово-биссериальный коэффициент корреляции, в случае шкалы интервалов или отношений – точечно-биссериальный.

Проверка пунктов на согласованность является исходным этапом для изучения результатов измерения, адаптации, стандартизации и других процедур. Низкая согласованность является серьезным основанием для отказа от применения инструмента, либо принятия его результатов к сведению.

Высокая согласованность может, снижать валидность теста или опросника, поскольку вопросы принимают семантически однородный характер, а задачи становятся однотипными. Поэтому следует поддерживать необходимый баланс между согласованностью и разнообразием их содержания.

Шкалирование – это процедура определения градаций шкалы для сбора психологической информации. Наиболее простой тип шкалы – предполагает одномерное шкалирование. В нем используется один параметр, по которому и проводится измерение.

При составлении одномерной шкалы ответа, следует принимать во внимание количество градаций – метрик, дифференцирующих мнение опрашиваемых (см. табл.2.)

Таблица 2.

Виды градаций ответов в шкалах измерения

 

№ п/п	Название	Пример шкалы
1.	Дихотомическая	«Да», «Нет»;
2.	Трихотомическая	«Да», «Не знаю», «Нет»
3.	Ранговая	«Отлично» «Хорошо», «Удовлетворительно», «Плохо» «Отвратительно»
4.	Интервальная	+3, +2, +1, 0, -1, -2, -3
5	Отношений	«0» «1» «2» «3» «4» «5»

 

Между минимальным и максимальным количеством градаций существуют сложные отношения: большое количество градаций повышает точность оценивания, а меньшее – стабильность. К примеру, десять градаций измеряет явление более точно, чем шкала из двух градаций («да/нет»). Однако, отрицательный выбор испытуемого более устойчив в силу своей однозначности.

Количество градаций может быть либо недостаточно, либо, наоборот – избыточно. С психометрической точки зрения, в опросниках эффективно использовать 3-5 градаций для ответа. В задачах, связанных с ранжированием признаков – до 9. Для оптимального выбора количества градаций следует проводить качественный и количественный анализ пунктов. Статистическим критерием уместности градации считается порог в 5% ответов испытуемых. Градации с меньшей информативностью должны быть соединены с присутствующими рядом шкалами.

Качественный анализ должен оценивать применимость выбранного количества градаций для измерения ответов. Как правило, он осуществляется посредством изучения содержания вопросов, задач, заданий. Например, вопросы с социально желательной информацией побуждают опрашиваемых использовать крайние градации шкалы. В таком случае, целесообразно изменить формулировку вопроса. Конструируя вопросы, следует учитывать стратегии поведения опрашиваемых.

1. Установка на согласие проявляется в положительных ответах, либо предпочтении ответов «да», независимо от их содержания. 

2. Установка на социально одобряемые ответы выражается в «нормальных», «правильных», «законных» ответах.

3. Установка на средние или неопределенные ответы используется опрашиваемыми для маскирования собственной позиции, запутывания или избегания ситуации оценивания.

4. Установка на «крайние» ответы – представлена либо в избыточно градуированных шкалах, либо свидетельствует о радикальности суждений опрашиваемого.

5. Очевидность пунктов – стремление отвечать предусмотренным способом, например, в соответствии с правилами поведения, регламентом, а не реальными действиями.

6. Непонимание вопросов из-за их фокусировки на обыденном и типичном проявлении изучаемого явления, без учета специфики.

7. Фокусировка на типичных моделях поведения испытуемых, без учета экстремальных реакций.

Данные тенденции ярко проявляются в ответах слабо мотивированных либо утомленных испытуемых. При апробации вопросов следует обращать внимание на подобные стратегии ответов, для чего необходимо изучать количественные характеристики ответов.

Количественный анализ – показывать эффективность использования шкалой: выявлять наиболее и наименее часто применяемые градации для ответов, тенденции использовать только определенный вариант ответа или их группу. В качестве иллюстрации, на рис.4. представлены гистограммы пунктов опросника с нарушением распределений ответов.

 

4а) «положительный»

4б) «средний»

4в) «негативный»

Рис. 4. Пример нарушений градуировки шкал

Примечание: градуировка от 1 до 5; опрошенных 300 человек.

 

В случае «4а» опрашиваемые используют для ответа только положительные градации шкалы – значения «скорее согласен чем не согласен» (32%) и «полностью согласен» (35%).

В случае «4б», опрашиваемые используют нейтральные ответы – «не могу сказать точно» (65%).

В случае «4в» испытуемые прибегают только к негативным градациям ответа «полностью не согласен» (60%), «скорее не согласен, чем согласен» (12%).

Как правило распределения ответов типа «а» и «в» характерны для вопросов, обладающих сильной социальной желательностью. Вопросы типа «б» являются либо непонятными, либо нежелательными (опасными) для опрашиваемых.

В целом, при количественном анализе шкалирования целесообразно использовать меры статистики. Вычисление дисперсии, моды и медианы полученных ответов дает необходимую для принятия решения информацию.

Многомерное шкалирование предполагает проведение оценивания по двум и более параметрам одновременно. В многомерном оценивании по сравнению с одномерным показатели валидности выше, а показатели надежности – напротив, ниже. Поскольку возможность оценивания двух и более признаков

Наиболее известные в психодиагностике многомерные шкалы разработаны Л.Терстоуном, Р.Лайкертом, Л.Гуттманом, Э.Богардусом.

Шкала Терстоуна (1929 г.) предполагает применение одиннадцати градаций отношения – от принятия до непринятия. Распределение карточек по градациям осуществляется с помощью экспертной оценки. Опрашиваемому предлагают выразить согласие либо несогласие с каждой из карточек, отражающих отношение. Подсчитывается количество и «вес» каждой карточки, с которой согласился опрашиваемый.

Шкала Лайкерта (1931 г.) предполагает изучение латентного (скрытого) отношения к какому-либо явлению. Технически она предполагает оценивание противоположных по смыслу суждений посредством использования пяти градаций для ответов («совершенно не согласен» (1), «скорее не согласен» (2), «не знаю» (3), «скорее согласен» (4), «полностью согласен» (5)). Иллюстрация шкалы представлена в табл.3.

Шкала Лайкерта отличается хорошими показателями согласованности и удовлетворительной надежностью по сравнению с одномерными шкалами.

 

Таблица 3.

Оценка проявлений эмоции по Лайкерту

Пункты/шкала	совершенно не согласен (1)	скорее не согласен (2)	не знаю (3)	скорее согласен (4)	полностью согласен (5)	Итог
Я люблю грустить		х				4
Я веселый				х		4
Я ценю грустные песни				х		2
Я люблю смеяться				х		4
Я могу заплакать без причины		х				4
Я знаю много смешных историй	х					1
						19

Примечание: шкала оценивает биполярное (маниакально-депрессивное) проявление эмоций. Обратите внимание, что депрессивные высказывания оцениваются обратным порядком шкалирования (от 5 до 1).

Сумма: 19 баллов. Максимальное значение по шкале = 6*5 = 30 баллов. Индекс ответов: (19 – 6)/(30-6) = 0,54. Испытуемый не имеет выраженных маниакальных или депрессивных проявлений.

Шкала (шкалограммный анализ) Л.Гуттмана (1941 г.) основывается на принципе кумулятивности – возрастающем выражении измеряемого признака. В шкале используются пункты (суждения) расположенные по мере возрастания признака. Респондент оценивает каждое утверждение, соглашаясь или отрицая его (табл. 4).

Таблица 4.

Оценка увлечений по Гутману

Пункты/опрашиваемые	№1	№2	№3	№4	№5
1. Смотрит фильмы про бокс	+	+	+	+	-
2. Ходит в секцию бокса	+	+	-	+	-
3. Участвует в соревнованиях	+	+	-	+	-
4. Победитель соревнований	-	-	-	-	-

Примечание: показатель воспроизводимости (ошибки измерения):
1- [2/4*5]= 0,9

 

Шкала Э.Богардуса (1939 г.) Направлена на исследование социальных установок. Имеет наиболее консервативную структуру из всех рассмотренных шкал. Чаще всего применятся для измерения терпимости (толерантности) субъекта по отношению к представителям различных социальных, культурных, политических и др. групп. Пункты шкалы формулируются прогрессивно. Оценочная ситуация предполагает выбор форм социального взаимодействия с представителем другой культуры (религии, национальности и пр): от удаленности до максимальной близости. Примерный набор пунктов может предполагать выбор из нескольких вариантов:

1. Принятие как близких родственников посредством брака.

2. Принятие как личных друзей.

3. Принятие как соседей, проживающих на моей улице.

4. Принятие как коллег по работе, имеющих ту же профессию, что и я.

5. Принятие как граждан моей страны.

6. Принятие только как туристов в моей стране.

7. Предпочел бы не видеть их в моей стране.

Перспективы применения шкалы Богардуса ограничены социальной желательностью, чувствительностью опрашиваемых к резонансным, общественно-значимым вопросам. Целесообразно продумывать последствия ее применения в исследованиях межнациональных, культурных конфликтов.

В целом, использование многомерных шкал положительно влияет на качество собираемой информации, но может замедлять процесс обследования а также снижать надежность полученных данных. Как правило испытуемым требуется дополнительное время для овладения правилами ответов по многомерным шкалам.

Формулирование вопросов и утверждений. При разработке вопросов для психодиагностической методики необходимо соблюдать некоторые принципы и правила.

1. Следует маскировать предмет измерения. Даже интуитивное представление о предмете обследования влияет на содержание ответов. Очевидные и расшифровывающие суть измерения пункты должны быть исключены.

2. Пункты шкалы должны отражать один подход к измерению явления. В личностных опросниках используется несколько вариантов формулировок:

а) изучающих социальное поведение и опыт субъекта: «Вы [действуете], [поступаете], [говорите] прямо в глаза»;

б) изучающих знание (представление субъекта о себе): «Вы [общительный], [смелый], [сильный] человек»;

в) изучающих представление о себе, полученное от окружающих: «[Друзья], [коллеги] [называют], [считают] Вас [общительным], [прямым] человеком.

Следует соблюдать последовательность в их выборе: шкала должна включать вопросы одной направленности. Как правило, вопросы знаниевого диапазона «Я вспыльчивый» слабо согласуются с вопросами, измеряющими интенсивность выраженности «Расстроившись, я долго успокаиваюсь».

3. Пункты должны прибегать к объективным и количественным измерениям явления, избегать неопределенности и субъективности. Для этого следует использовать количественные меры оценивания – например, частоту действий, решений, поступков; время; объем.

4. Следует использовать сбалансированные способы оценивания. То есть чередовать пункты, предполагающие позитивные и негативные формулировки вопросов, менять начала диапазонов шкал (например, четные вопросы начинать с положительных градаций ответа, а нечетные – с отрицательных). Это будет привлекать внимание опрашиваемого, повышать вероятность корректного заполнения.

5. Все пункты опросника должны быть скорректированы в аспекте их социально желательного содержания. Причинами социальной желательности могут выступать:

а) желание избежать распространения информации о себе;

б) желание демонстрировать требуемую модель поведения;

в) психологическая защита, неадекватное или неполное самопредставление и пр.

Мотивация к социально желательным ответам определяется характером диагностической ситуации: она наиболее высока в ситуации экспертизы и реже всего представлена в ходе психологического консультирования.

Кроме принципов формирования пунктов шкалы, существуют стилистические правила разработки вопросов: Вопросы должны быть:

1. короткими – «Вы общительны?» а не «Вы любите общаться с другими людьми?»

2. однозначными – «Вам нравится читать книги?» а не «Вы предпочли бы читать книги, а не участвовать в соревнованиях или ходить в кино?

3. доступными – «Вечерами вы переписываетесь с другом?» а не «Вы используете опосредованные формы коммуникации с другом?»

4. конкретными – «За день, Вы разговариваете с другом больше двух часов?» а не «Можно ли сказать, что общению с другом Вы посвящаете значительное время?»

5. корректными – «Вас можно назвать разговорчивым?» а не «Вас считают болтливым?»

6. нейтральными – «Вы цените общение с другом?» а не «Вы боитесь расстаться с другом, поэтому поддерживаете общение с ним?»

В целом, разработка пунктов психологического опросника является сложным процессом, в котором творческие действия сочетаются с рутиной психометрических проверок свойств каждого пункта стимульного материала.

Контрольные вопросы

1. В чем отличие теоретического понятия о психологическом явлении от конструкта?

2. Чем психологическое измерение отличается о физического?

3. Какие подходы к созданию шкал могут использоваться в измерении профессионального мастерства?

4.  Чем латентное оценивание отличается от прямого?

5. В чем психологический смысл выявления ошибки измерения в классической теории тестов?

6. Какое представление о психологическом явлении рассматривается в факторно-аналитическом подходе к измерению?

7. Какие свойства методики важнее, валидность или надежность?

8. В каком диапазоне представляется коэффициент α-Кронбаха?

9. Какие причины для замены дихотомической шкалы на шкалу Лайкерта?

10. Какие пункты в опроснике позволят выявить социально-желательные ответы?