Валидность статистических выводов

В предыдущей главе вы познакомились с применением статистики в психологии. В частности, вы узнали о видах шкалы измерений, проверке гипотез и получили представление о различиях между описательной статистикой и статистикой вывода. Валидность статистических выводов связана с границами корректного использования статистики и получением на основании статистического анализа правильных выводов.

Статистическая валидность исследования может снижаться по нескольким причинам. Во-первых, исследователь может неверно проводить анализ данных или нарушать условия, которые необходимо соблюдать при проведении конкретного вида анализа. Например, данные исследования могут быть расположены на порядковой шкале, а следовательно, потребуется использование определенной статистической процедуры. Исследователь, однако, по ошибке может использовать вид анализа, подходящий только для данных, представленных с помощью интервальной шкалы или шкалы отношений. Во-вторых, исследователь может избирательно сообщить об одних результатах анализа, полученных в соответствии со сделанными предположениями, и скрыть остальные (догадайтесь, какие) — такая практика граничит с мошенничеством (см. главу 2). Третий фактор, который способен снизить статистическую валидность исследования, — это надежность проводимых измерений. Если зависимые показатели ненадежны, возникает множество ошибок, что снижает вероятность обнаружения значимого влияния одних показателей на другие. Если такое влияние действительно существует (т. е. нулевая гипотеза должна быть отвергнута), а низкая надежность не позволяет его обнаружить, то результатом будет ошибка 2-го рода по вышеприведенной классификации.

Грамотные исследователи проводят планирование статистического анализа одновременно с разработкой экспериментального плана. По сути, эксперимент не может быть разработан без выяснения способов анализа данных.

Конструктная валидность

В предыдущей главе конструктная валидность описывалась в связи с измерением психологических конструктов: она свидетельствует одновременно о том, действительно ли в ходе тестирования измеряется некий гипотетический конструкт (например, задержка удовольствия) и соответствует ли этот конструкт экспериментальной реальности. В случае экспериментальных исследований термин конструктная валидность имеет сходное, но несколько отличающееся значение: он обозначает, насколько адекватно определяются независимые и зависимые переменные, используемые в исследовании. В случае исследования влияния показа по телевидению жестоких сцен на детскую агрессивность для определения конструкт-ной валидности можно задать следующие вопросы: а) отражают ли наилучшим образом отобранные экспериментатором программы контраст между программами, содержащими сцены жестокости, и без них, и б) является ли они наилучшим из возможных способ измерения агрессии? Если в исследовании сравниваются жестокие мультипликационные персонажи (например, Элмер Фадд, стреляющий в Багса Банни) с обычными персонажами, (например, Винни-Пух), то на это могут возразить, сказав, что фантастические образы никак не могут влиять на агрессив-

ное поведение детей, поэтому более валидный способ управления независимой переменной, называемой «уровень жестокости, представленной в видеозаписи», будет заключаться в показе детям реальных видеозаписей людей, демонстрирующих разную степень жестокости.

Аналогично критике может быть подвергнут применяемый в конкретном исследовании способ измерения агрессии — и это действительно вызвало проблемы при исследовании данного явления. По вполне очевидным этическим причинам вы не должны разрабатывать исследование, в котором участники будут колотить друг друга. Агрессия определялась операционально самыми различными способами, и некоторые из них могут показаться зам более валидными (например, предварительно разозленные испытуемые считали, что наказывают ударом тока других испытуемых), чем другие (например, гудение автомобилей раздраженных водителей). Так же как в случае конструктной валидности, которая обсуждалась в предыдущей главе, посвященной валидности измерений, валидность определения независимых и зависимых переменных вырабатывается по мере того, как в ходе исследования накапливаются данные и появляется возможность их описания при помощи последовательной (и сводимой к единому основанию) системы.

Внешняя валидность

Психологов-экпериментаторов часто критиковали за то, что о студентах-второкурсниках и белых крысах они знают очень много, а обо всем остальном — очень мало. По сути, это критика внешней валидности — возможности генерализации данных, полученных в ходе исследования, за пределами содержания конкретных экспериментов. Чтобы исследование обладало наивысшей степенью внешней валидности, должна существовать возможность генерализации его результатов по трем направлениям: на другие популяции, другие условия и другое время.

Другие популяции

Именно к этому разделу относится замечание насчет крыс и второкурсников. Как мы узнали из главы 2, часть споров о правомерности исследований с животными касается того, насколько важны открытия, сделанные в ходе таких исследований, для объяснения человеческого поведения. Что касается второкурсников, вспомните, что Милграм сознательно не хотел использовать студентов и в качестве объектов для исследования подчинения и отобрал взрослых людей из нейтральной в этом отношении популяции. Однако, о большинстве психологов нельзя сказать того же. Обзор, проведенный Сирсом (Sears, 1986) в ходе исследования по социальной психологии, показал, что 75% исследований, опубликованных в этой области, в 1980 г. проводились с использованием студентов. Повторный обзор для исследований, опубликованных в 1985 г., дал результат 74%. Сире утверждал, что особенности студентов колледжей как популяции легко могут исказить общие выводы о социальных явлениях. В сравнении с основной популяцией, к примеру, студенты колледжей обладают более высокими когнитивными способностями, они более эгоистичны и восприимчивы к социальным воздействиям, а также легче меняют свое отношение к различным вопросам. По Сирсу, если в исследовании изучаются вопросы, связанные с этими особенностями, результаты, полученные при участии

студентов, могут не быть пригодными для других групп людей. Ученый считал, что исследователи должны расширить свои базы данных и воспроизводить важные открытия на различных популяциях. Но он также указал, что во многих областях исследований (например, при изучении восприятия) данные особенности студентов практически не влияют на получаемые результаты и, кроме того, студентов очень много, и поэтому они являются классическим примером удобной выборки (глава 4). Как показано во вставке 5.2, к этой группе применяется особый этический подход.

ВСТАВКА 5.2