Вопрос 4. Конструирование тестов, оценка надежности и валидности.

Общая схема процесса разработки тестов.

Этап I. Организационный.

Шаг 1. Планирование проекта. Основные задачи: Формулирование предварительных характеристик теста. Составление подробного плана разработки теста.

Этап II. Содержательный.

Шаг 2. Определение содержания. Основные задачи: Определение исходного теоретического концепта. Описание ключевой феноменологии.

Шаг 3. Составление спецификации теста. Основные задачи: Операционализация содержания. Выбор и фиксация формальных характеристик теста. Утверждение спецификации.

Этап III. Подготовительный.

Шаг 4. Разработка пунктов. Основные задачи: Разработка пунктов. Профессиональная редакция пунктов. Создание банка пунктов.

Шаг 5. Сборка теста. Основные задачи: Компоновка рабочих версий теста. Утверждение пробной версии теста.

Этап IV. Исследовательский.

Шаг 6. Апробация, анализ и коррекция пунктов. Основные задачи: Эмпирическая апробация пунктов. Отбор и переформулирование пунктов. Проверка внутренней согласованности шкал. Повторный пилотаж (при необходимости). Утверждение состава и структуры теста.

Шаг 7. Уточнение процедуры тестирования. Основные задачи: Уточнение процедуры и времени. Разработка инструкций. Утверждение рабочей версии теста.

Шаг 8. Изучение и проверка валидности и надёжности. Основные задачи: Исследование ретестовой надёжности. Изучение валидности. Утверждение окончательной версии теста.

Этап V. Стандартизационный.

Шаг 9. Массовые обследования для стандартизации. Основные задачи: Формирование выборки стандартизации. Массовые обследования по плану. Стандартизация теста для различных групп.

Этап VI. Интерпретационный.

Шаг 10. Разработка схем интерпретации и диагностических отчётов. Основные задачи: Описание алгоритмов обработки данных и схем анализа результатов. Описание принципов интерпретации результатов. Разработка критериев для диагностических выводов. Описание моделей составления отчётов. Разработка компьютерных программ обработки данных и составления отчётов.

Этап VII. Технический.

Шаг 11. Написание технических отчётов. Основные задачи: Подготовка подробной документации о результатах, полученных на всех этапах разработки теста. Составление технических отчётов о разработке и психометрической проверке теста.

Шаг 12. Юридическое оформление. Основные задачи: Юридические процедуры. Рецензирование методики. Сертификация методики.

Шаг 13. Издание. Основные задачи: Подготовка руководства для пользователя. Издание методики.

Этап VIII. Эксплуатационный.

Шаг 14. Сопровождение использования теста. Основные задачи: Проверка методики другими исследователями. Создание новых форм и модификаций теста. Совершенствование пользовательских характеристик теста.

Вали́дность —мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. Очевидная валидность – валидность, при которой оценивается общее соответствие теста его назначению. Содержательная валидность предполагает, что тест обнаруживает в себе полный набор заданий для измерения определенной черты. Прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным.

Надёжностью называется один из критериев качества теста, его устойчивость по отношению к погрешностям измерения. Различают два вида надёжности - надёжность как устойчивость и надёжность как внутреннюю согласованность. Устойчивость результатов теста или ретестовая надежность (англ - test-retest reliability) – возможность получения одинаковых результатов у испытуемых в различных случаях. Устойчивость определяется с помощью повторного тестирования (ретеста).

Внутренняя согласованность(англ. - internal consistency) определяется связью каждого конкретного элемента теста с общим результатом, тем, насколько каждый элемент входит в противоречие с остальными, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест. Чаще всего тесты, разрабатываются таким образом, чтобы у них была высокая степень внутренней согласованности, а связи с тем, что если одна переменная измеряется частью теста, то тогда в других частях, если они не согласованы с первой, эта же переменная измеряться не может. Таким образом, чтобы тест был валидным, необходимо, чтобы он был согласован.

Надежность показывает, что результаты проводимого исследования близки к истине, а валидность показывает, что результаты действительно относятся к тому явлению, которое изучается исследователем. Валидное исследование автоматически является надежным, однако обратное следствие не обязательно.

Качество подбора заданий. К низкой валидности приводят:

Установка на согласие ( тенденция испытуемого соглашаться с утверждениями)

Установка на социально одобряемые ответы (част при заполнении MMPI)

Установка на неопределенные или средние ответы

Установка на "крайние" (расположенные по краям шкалы) ответы

Вопрос 5. Виды планирования эксперимента.

Планирование эксперимента — один из важнейших этапов организации психологического исследования, на котором исследователь пытается сконструировать наиболее оптимальную для воплощения на практике модель (то есть план) эксперимента. Грамотно составленная схема исследования, план, позволяет добиться оптимальных значений валидности, надёжности и точности в исследовании.

Экспериментальный план создаётся для того, чтобы ответить на основные вопросы о:

• количестве независимых переменных, которые используются в эксперименте (одна или несколько?);
• количестве уровней независимой переменной (изменяется ли независимая переменная или остаётся постоянной?);
• методах контроля дополнительных, или возмущающих, переменных (какие необходимо и целесообразно применить?):
• метод прямого контроля (прямое исключение известной дополнительной переменной),
• метод выравнивания (учитывать известную дополнительную переменную при невозможности её исключения),
• метод рандомизации (случайный отбор групп в случае неизвестности дополнительной переменной).

Одним из самых важных вопросов, на которые должен ответить экспериментальный план, — определить, в какой последовательности должно происходить изменение рассматриваемых стимулов

(независимых переменных), воздействующих на зависимую переменную. Последовательность предъявления стимулов — очень важный вопрос, напрямую касающийся соблюдения валидности исследования: к примеру, если постоянно предъявлять человеку один и тот же стимул, он может стать менее восприимчив к нему.

Этапы планирования

Планирование включает в себя два этапа:

1. Содержательное планирование эксперимента:
• Определение ряда теоретических и экспериментальных положений, образующих теоретическую основу исследования.
• Формулировка теоретических и экспериментальных гипотез исследования.
• Выбор необходимого метода эксперимента.
• Решение вопроса выборки испытуемых:
• Определение состава выборки.
• Определение объёма выборки.
• Определение способа формирования выборки.
2. Формальное планирование эксперимента:
• Достижение возможности сравнения результатов.
• Достижение возможности обсуждения полученных данных.
• Обеспечение экономичного проведения исследования.

Главной целью формального планирования считается исключение максимально возможного числа причин искажения результатов.

Виды планов

1. Простые (однофакторные) планы
• Опыты с воспроизводимыми условиями
• Опыты с привлечением двух независимых групп (экспериментальной и контрольной)
2. Комплексные планы
• Планы для многоуровневых экспериментов
• Факторные планы
3. Квазиэкспериментальные планы
• Планы ex post facto
• Планы экспериментов с малым N
4. Планы корреляционных исследований

Простые планы, или однофакторные, предусматривают изучение влияния на зависимую переменную только одной независимой переменной. Преимущество таких планов состоит в их эффективности при установлении влияния независимой переменной, а также в лёгкости анализа и интерпретации результатов. Недостаток заключается в невозможности сделать вывод о функциональной зависимости между независимой и зависимой переменными.

Опыты с воспроизводимыми условиями. В сравнении с опытами с привлечением двух независимых групп такие планы требуют меньшего количества участников. План не подразумевает наличия разных групп (например, экспериментальной и контрольной). Цель таких опытов — установить воздействие одного фактора на одну переменную.

Опыты с привлечением двух независимых групп — экспериментальной и контрольной — опыты, в которых экспериментальному воздействию подвергается лишь экспериментальная группа, в то время как контрольная группа продолжает делать то, что она обычно делает. Цель таких опытов — проверка действия одной независимой переменной.

Комплексные планы составляются для экспериментов, в которых изучается либо воздействие нескольких независимых переменных (факторные планы), либо последовательное воздействие различных градаций одной независимой переменной (многоуровневые планы).

Планы для многоуровневых экспериментов. Если в экспериментах используется одна независимая переменная, ситуация, когда изучаются только два её значения, считается скорее исключением, чем правилом. В большинстве однофакторных исследований используется три или более значений независимой переменной, — такие планы часто называют однофакторными многоуровневыми. Такие планы могут использоваться как для исследования нелинейных эффектов (то есть случаев, когда независимая переменная принимает более двух значений), так и для проверки альтернативных гипотез. Преимущество таких планов — в возможности определить вид функциональной зависимости между независимой и зависимой переменными. Недостаток, однако же, заключается в больших временных затратах, а также в необходимости привлечь больше участников.

Факторные планы подразумевают использование более чем одной независимой переменной. Таких переменных, или факторов, может быть сколько угодно, однако обычно ограничиваются использованием двух, трёх, реже — четырёх.

Квазиэкспериментальные планы — планы для экспериментов, в которых вследствие неполного контроля за переменными нельзя сделать выводы о существовании причинно-следственной связи. Это делалось с целью преодоления некоторых проблем, встававших перед психологами, которые желали провести исследование в менее строгой обстановке, чем лабораторная.

Планы ex post facto. Исследования, в которых сбор и анализ данных производится после того, как событие уже свершилось, называемые исследованиями ex post facto. Суть исследования состоит в том, что экспериментатор сам не воздействует на испытуемых: в качестве воздействия выступает некоторое реальное событие из их жизни.

Планы с малым N также называют «планами с одним субъектом», так как индивидуально рассматривается поведение каждого испытуемого. Одной из главных причин использования экспериментов с малым N считается невозможность в некоторых случаях применить результаты, полученные из обобщений на больших группах людей, ни к одному из участников индивидуально (что, таким образом, приводит к нарушению индивидуальной валидности).Психолог Б. Ф. Скиннер считается самым известным защитником этого направления исследований: по его мнению, исследователь должен «изучать одну крысу на протяжении тысячи часов, <…> а не тысячу крыс по часу на каждую или сто крыс по десять часов на каждую»

Планы корреляционных исследований. Корреляционное исследование — исследование, проводимое для подтверждения или опровержения гипотезы о статистической связи (корреляции) между несколькими (двумя или более) переменными. От квазиэкспериментального план такого исследования отличается тем, что в нём отсутствует управляемое воздействие на объект исследования. В корреляционном исследовании учёный выдвигает гипотезу о наличии статистической связи между несколькими психическими свойствами индивида или между определёнными внешними уровнями и психическими состояниями, при этом предположения о причинной зависимости не обсуждаются. Например: Сравнение двух групп..Лонгитюдное корреляционное исследование. Лонгитюдные исследования считаются промежуточным вариантом между квазиэкспериментом и корреляционным исследованием.