Операциональная валидность. Конструктная валидность и концептуальные репликации.

 

Операциональная валидность – критерий оценки проведённого исследования с точки зрения соответствия использованных в исследовании методик задания и измерения переменных эмпирически нагруженным понятиям НП, ЗП и ДП.

Конструктная валидность – критерий оценки проведённого исследования с точки зрения соответствия представленных в экспериментальной гипотезе переменных и отношения между ними теоретическим конструктам и теоретической гипотезе.

 

Концептуальные репликации

· Выявление одной и той же теоретически предполагаемой зависимости с помощью различных методических средств

· Пример: разные методики для измерения объёма рабочей памяти – n-back, change detection…

 

11. Формальное и содержательное планирование эксперимента. Формальное определение независимой переменной (количество НП, количество уровней НП, межуровневый размах, способ варьирования НП) и зависимой переменной (количество ЗП, способ фиксации ЗП). Эффекты «пола» и «потолка». Условные обозначения формальной структуры экспериментального плана.

 

Планирование эксперимента

· Содержательное планирование: определение конструктов и формулировка гипотез

· Формальное планирование: определение составляющих экспериментального плана с целью достижения максимально возможной валидности исследования

o Определение НП

§ Количество НП

· Одна НП:

+ Простота планирования

+ Простота интерпретации результатов

+ Экономия временных ресурсов и/или количества испытуемых

- Возможно неполное отражение сложных зависимостей

· Две и больше НП (факторный эксперимент)

+ Возможность изучения взаимодействия факторов сложных зависимостей

- Сложности в планировании эксперимента

- Сложности в интерпретации результатов эксперимента

- Сравнительно большие временные ресурсы и/или необходимое количество испытуемых

§ Количество уровней (каждой из) НП

· Два уровня НП (двухуровневый эксперимент)

+ Простота планирования

+ Простота интерпретации результатов

+ Экономия временных ресурсов и/или количества испытуемых

- Возможно неполное отражение сложных зависимостей

§ Интерполяция внутри уровней НП

§ Экстраполяция за пределы уровней НП

· Три и больше уровня НП (многоуровневый эксперимент)

+ Повышение вероятности обнаружить сложную зависимость

- Сравнительно большие временные ресурсы и/или необходимое количество испытуемых

§ Межуровневый размах – разница между значениями уровней НП

· «Сокрушительные эффекты»: установление крайних значений уровней НП

· Отсутствие эффекта из-за слишком незначительного межуровневого размаха

· Наложение уровней

§ Способ варьирования НП: внутригрупповой план VS межгрупповой план VS смешанный план

· Возможности применения внутригруппового плана

· Необходимое количество измерений (проб и / или испытуемых)

· Количество времени, затрачиваемое на каждый из уровней (сочетаний уровней) НП

· Внутригрупповой экспериментальный план

+ Контроль индивидуальных различий

+ Экономия количества испытуемых и времени проведения эксперимента

- Не всегда возможен

- Проблема систематических смешений со стороны последовательности условий

· Межгрупповой экспериментальный план

+ Отсутствие проблемы переноса

+ Больший диапазон применения

- Проблема эквивалентности групп

- Сравнительно большие временные ресурсы и необходимое количество испытуемых

o Определение ЗП

§ Количество ЗП

· Одна ЗП (одномерный эксперимент)

+ Сравнительно простая интерпретация результатов

- Возможно неполное отражение сложных зависимостей

· Две и более ЗП (многомерный эксперимент)

+ Повышение вероятности обнаружить сложную зависимость

- Сложность интерпретации результатов

- Проблема связи между ЗП

§ Прямые VS косвенные показатели ЗП

· Прямые показатели – действия испытуемого, нацеленные на выполнение экспериментальной инструкции (вербальные или двигательные ответы)

o Пример: ответы в ходе решения инсайтной задачи

· Косвенные показатели – физиологические реакции и непроизвольные поведенческие акты, сопровождающие деятельность испытуемого

o Пример: активация определённых зон мозга при решении инсайтной задачи

§ Способ фиксации ЗП

· Особенности измеряемой ЗП

· Технические возможности

· Методологические основания исследования

o Анализ и контроль потенциальных смешений со стороны ПП

 

Эффекты «пола» и «потолка»

· Эффект «потолка» – ЗП достигает уровня, который нельзя превысить (100% точность ответа)

· Эффект «пола» – ЗП соответствует минимально возможному значению (0% верных ответов)

· Контроль: выбор адекватных уровней НП + адекватная интерпретация полученных результатов

 

Условные обозначения формальной структуры экспериментального плана (Cook & Campbell, 1979)

· X – воздействие (НП)

· O – наблюдение (ЗП)

· R – рандомизация

· Нижние индексы (1…n) – порядок применения воздействий / оценки наблюдений, если их несколько

 

R X O₁ – эксперимент с контрольной группой

R __ O₂

 

Примеры условных обозначений

· Трёхуровневый межгрупповой эксперимент

R X₁ O₁

R X₂ O₂

R __ O₃

· Предварительное и итоговое тестирование на двух рандомизированных группах

R O₁ X O₂

R O₃ __ O₄

· Итоговое тестирование на двух учебных группах

X O₁

__ O₂

 

Смешения со стороны побочных переменных. Аналитический и эмпирический способы выявления потенциальных смешений и артефактов. Пилотажный эксперимент. Приемы, позволяющие устранить несистематические смешения: нивелирование, создание константных условий, балансировка.

 

Анализ и контроль потенциальных смешений со стороны ПП

· Аналитический способ: изучение литературы по исследуемой проблеме

· Эмпирический способ: проведение пилотажного эксперимента – сокращённого пробного исследования, в котором проверяется работоспособность методики

 

Анализ и контроль несистематических смешений

· Устранение потенциальной возможности для вмешательства ПП

o Элиминация внешних переменных

o Константные условия

o Балансировка – замер фонового состояния (baseline) у контрольной группы и сравнение с экспериментальной

· Статистический контроль (достаточное количество проб и испытуемых)

 

Анализ и контроль систематических и сопутствующих смешений

· Систематические смешения:

o Рандомизация

o Балансировка

· Сопутствующие смешения:

o Дополнительные контрольные условия

o Дополнительные эксперименты

 

Типичные систематические смешения

· Неэквивалентность групп (в межгрупповых планах)

o Фактор отбора

o Неравномерное выбывание испытуемых

· Эффекты последовательности

o Фактор фона

o Фактор естественного развития

o Эффект тестирования

o Научение и перенос

o Утомление