Этика — обман с помощью статистики 


Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Этика — обман с помощью статистики



Все мы были жертвами использования статистической информации для обмана. При этом первыми в ряду жуликов идут политики, а авторы рекламы аспирина занимают близкое к ним второе место. Но и вообще статистикой злоупотребляли достаточно часто для того, чтобы большинство людей стали к ней относиться весьма скептически. Часто можно услышать: «Статистика покажет все, что вы захотите». Действительно ли это так? Конечно, в каждом случае приходится решать специально, каким образом представлять данные, какие выводы из них сделать. Можно быть вполне уверенным в том, что статьи, которые публикуются в солидных журналах, проверяются и рецензируются специалистами и содержат выводы, основанные на надежных статистических данных. Внимательно следует относиться к статистике, если она используется в более массовых источниках или если ее применяют люди, очевидно стремящиеся убедить вас в истинности собственных убеждений. Знание о том, как правильно применять статистику, поможет вам распознать сомнительные случаи ее использования. Впервые некоторые моменты, заслуживающие особого внимания, были описаны в прекрасной работе Даррелла Хаффа «Как обмануть с помощью статистики», опубликованной в 1954 г. Работа начинается с цитаты, приписываемой британскому политику Бенджамину Дизраели и выражающей общее мнение по поводу статистики: «Существуют ложь, чудовищная ложь и статистика» (р. 2).

В данной книге мы приведем пример обмана с помощью статистики, в котором был использован способ наглядного представления данных - графики. Предположим, вы читаете об исследовании, в котором сравнивается скорость реакции у мужчин и женщин, и встречаете следующий график (рис. 4.8).

Рис. 4.8. Гистограмма с неразмеченной осью У, отображающая предполагаемое различие скоростей реакции у мужчин и женщин

Такой вид графика Хафф назвал «Ого-графиком» по той очевидной причине, что, когда вы смотрите на него в первый раз, вы восклицаете «Ого! Какая огромная разница!» Однако дело в том, что это различие сильно преувеличено манипуляциями с осью У. Обратите внимание, что она не размечена. Если бы она была размечена, деления выглядели бы, как показано слева на рис. 4.9. Разметка оси У, приведенная на графике справа, гораздо реалистичнее - она дает более верную картину отсутствия значимых различий. Это, скорее всего, подтвердит и статистический анализ.


 

Статистика вывода

Как и большинству людей, исследователям необходимо, чтобы их любили и ими восхищались окружающие. Добиться этого можно, получив интересные результаты исследования, которые можно применить не только к данным, собранным в ходе экспериментов. Это означает, что хотя в исследовании рассматривается лишь небольшая выборка данных, которые возможно собрать, исследователи надеются, что сделанные ими выводы можно будет применить к более широкой популяции. Ведь задача исследовательской работы в целом и заключается в открытии общих законов поведения.

Чтобы проиллюстрировать применение статистики вывода, рассмотрим гипотетическое исследование, в котором сравнивается поведение в лабиринте двух групп крыс: одних кормят сразу после прохождения лабиринта, а других через 10 секунд. Эмпирический вопрос: способствует ли немедленное подкрепление запоминанию лабиринта? Предположим, что при исследовании 10 крыс (по 5 в каждой группе) получены следующие результаты. Каждая оценка означает количество попыток, потребовавшихся для запоминания лабиринта. Запоминание операционально определено как безошибочное прохождение лабиринта.

№ крысы Немедленное кормление № крысы Задержанное кормление

 

   
   
   
  И
   

 

   
   
   
   
   

Обратите внимание, что оценки в каждой колонке не совсем одинаковы — это результат небольших различий между пятью крысами из каждой группы и, возможно, других случайных факторов. Однако, несмотря на отсутствие полного сходства, видно, что получавшие немедленное подкрепление крысы запомнили лабиринт быстрее (т. е. за меньшее количество попыток).

Но общего впечатления от чисел недостаточно. Первый шаг анализа — вычисление таких величин описательной статистики, как среднее арифметическое и стандартное отклонение:

Немедленное подкрепление Отсроченное подкрепление

Среднее арифметическое 13,2 17,6

Стандартное отклонение 1,9 2,1

В среднем, по крайней мере в этом примере, на запоминание лабиринта требуется больше попыток, если пищевое вознаграждение задерживается. Так же как показывает стандартное отклонение, изменчивость оценок в каждом наборе довольно низкая и практически одинакова для обеих групп. Можем ли мы заключить, что немедленное подкрепление в целом ускоряет запоминание лабиринта? Пока нет. Необходим заключительный анализ данных, в данном случае включающий проверку гипотезы1.

Проверка гипотезы

Для проверки гипотезы сначала необходимо сделать предположение о том, что разница между двумя изучаемыми условиями не сказывается на выполнении заданий, в данном случае разница между немедленным и отсроченным вознаграждением. Это предположение называется нулевой гипотезой (нуль = ничто), обозначается Н0 (читается «аш нулевое»). Гипотеза исследования (меньшее количество попыток у крыс, получающих немедленное подкрепление), тот результат, который вы надеетесь получить, чтобы завоевать друзей и оказывать влияние на людей, называется альтернативной гипотезой, или Н,. Проводя исследование, вы будете стараться опровергнуть Н0 и соответственно подтвердить (но не доказать) Н, — близкую вашему сердцу гипотезу.

Если эти слова звучат для вас странно, представьте, что дело происходит в суде. Обвиняемый человек считается невиновным, т. е. сделано предположение, что он ничего не совершал (нуль). Задача обвинения состоит в том, чтобы убедить суд в альтернативной гипотезе, а именно в том, что обвиняемый совершил преступление. Как и прокурор, исследователь должен показать, что нечто в действительности имеет место, а именно что в рассматриваемом случае задержка подкрепления влияет на запоминание лабиринта.

Заключительный анализ может привести к одному из двух результатов. Обнаруженные вами различия в поведении двух групп крыс могут быть вызваны настоящими, действительными и несомненными причинами или быть игрой случая. Это

означает, что различия в пределах выборки могут отражать действительные явления, но могут и не делать этого, и соответственно результатом заключительного статистического анализа будет либо отказ от гипотезы Н0, либо ее подтверждение. Невозможность отвергнуть гипотезу Н0 означает, что все найденные вами различия (а разница между группами почти всегда обнаруживается в ходе исследования), вероятнее всего, вызваны случайностью, ведь вам не удалось найти действительной закономерности, которую можно обобщить для случаев, выходящих за пределы выборки. Отказ от Н0 значит, что вы считаете, что некое явление действительно имело место в вашем исследовании и его результаты можно обобщить. В примере с лабиринтом отказаться от Н0 значит найти статистически значимые различия, свидетельствующие о существовании общей закономерности: немедленное подкрепление способствует запоминанию лабиринта.

Абсолютную истинность гипотезы исследования {) доказать невозможно, так же как нельзя целиком и полностью доказать виновность подсудимого: считается, что вина доказана тогда, когда не возникает обоснованных сомнений. Таким образом, Н0 может быть отвергнута (и в то же время может быть подтверждена Н{) с определенной степенью уверенности, описываемой как значение альфа (а). Формально альфа означает вероятность получения определенных результатов, если Н0 истинна. Условно альфа принимается равной 0,05 (а = 0,05), но можно задать также и другие значения альфа (например, а = 0,01). Отказ от Н0 при значении альфа, равном 0,05, означает, что вы считаете вероятность того, что результаты вашего исследования вызваны случайными факторами, очень низкой (5 из 100). Если они не являются игрой случая, то должна быть какая-то другая причина, а именно (как вы надеетесь) изучаемое вами явление, в данном случае задержка подкрепления.

Выбор значения 0,05 связан с особенностями нормальной кривой, которые рассматривались выше. Вспомните, что для нормального распределения оценок вероятность того, что конкретная оценка будет лежать на расстоянии, превышающем два стандартных отклонения от среднего арифметического по оси X, довольно низкая — 5% или меньше. Такое случается редко. Аналогично при сравнении двух наборов оценок, как в случае с лабиринтом, нас интересует вероятность обнаружения различий между значениями среднего арифметического, если в действительности никаких различий не существует (т. е. если гипотеза Н0 истинна). Если вероятность достаточно низкая, мы отвергаем Н0 и считаем, что обнаружены действительные различия. «Достаточно низкая» — это вероятность, равная 5%,или 0,05. Другими словами, если Н0 истинна, то обнаружение различий между значениями среднего арифметического настолько маловероятно (редкое событие), что мы просто не можем поверить, что Н0 истинна. Мы считаем, что произошло что-то другое (т. е. задержка подкрепления действительно снижает скорость запоминания лабиринта), а поэтому отвергаем Н0 и заключаем, что между группами существуют «статистически значимые» различия.

Ошибки 1 -го и 2-го рода

Из предыдущего примера ясно, что мы можем неверно решить, нужно отвергать или нет Н0. В действительности есть два вида таких ошибок. Во-первых, можно отвергнуть Н0 и считать подтвержденным Н,, радуясь тому, что сделано новое

значительное открытие, и ошибиться. Отказ от Н0, когда она по сути истинна, называется ошибкой 1-го рода. Вероятность такого события равна значению альфа, т. е. обычно 0,05. Таким образом, задание альфа значения 0,05 означает, что вероятность сделать ошибку 1-го рода, т. е. решить, что мы наблюдали некоторое явление и при этом ошибиться, — 5%. Ошибку 1-го рода можно заподозрить, если несколько раз подряд не удается получить нужные результаты при воспроизведении исследования.

Другой вид ошибки называется ошибкой 2-го рода. Она возникает, если вы не отвергаете Н0 и ошибаетесь. Это значит, что в ходе исследования вы не обнаружили то, что ожидали, расстроились из-за этого, но при этом ошиблись, поскольку в действительности данное явление наблюдается в популяции, но вы просто не смогли обнаружить его на изученной выборке. Ошибка 2-го рода нередко совершается, если проводимые измерения недостаточно надежны или точны для того, чтобы показать различия между выполнением задания при разных условиях. Как вы узнаете из главы 10, это часто случается в исследованиях по оценке программ. Проводимая программа может иметь значимое, но небольшое влияние на испытуемых, и поэтому измерения будут недостаточно тонкими, чтобы показать его.

В табл. 4.5 показано четыре возможных результата заключительного статистического анализа данных исследования, в котором сравниваются два экспериментальных условия. Несложно заметить, что правильное решение принимается, если Н0 отвергается, когда она ложна, и не отвергается, когда она истинна. Если Н0 ошибочно отвергается, то происходит ошибка 1-го рода, а если ошибочно не отвергается — ошибка 2-го рода. Если это поможет вам понять терминологию, в табл. 4.5 можно сделать следующие замены:

«Н0 не отвергнута» означает:

— вы провели исследование, сделали все необходимые анализы и получили ноль, ничто, отсутствие значимых различий. У вас действительно есть повод для расстройства, особенно если это ваш дипломныйпроект!

«Н0 отвергнута» означает:

— вы провели исследование, сделали все необходимые анализы и обнаружили значимые различия при значении альфа, равном 0,05. Жизнь наполнилась смыслом, вы удивите ваших друзей, а особенно вашего научногоруководителя тем, что выполнили работу и действительно что-то открыли^.

«Н0 истинна» означает:

— «несмотря на результаты вашего исследования, действительных различий не существует.

«Н0 ложна» означает:

— несмотря на результаты вашего исследования, действительные различиясуществуют.

Таблица 4.5 Получение статистического ответа: четыре возможных результата исследования со сравнением двух условий, Хи V

Действительное положение дел

Ваше статистическое решение     Н0 истинна: различий между X и У не существует Н0 ложна: различия между X и У действительно существуют
Н0 не отвергнута: в своем исследовании я не обнаружил значимых различий между X и У, поэтому не отвергаю Н0 Правильное решение Ошибка 2-го рода
Н0 отвергнута: в своем исследовании я обнаружил значимые различия между X и У, поэтому отвергаю Н0 Ошибка 1-го рода Правильное решение (успех экспериментатора)

С учетом замен, названных выше, правильное решение означает, что а) действительных различий не существует и вы их не обнаружили или б) действительные различия существуют и вы их обнаружили (успех экспериментатора). Ошибка 1-го рода значит, что действительных различий нет, но на основании результатов исследования вы считаете, что они есть. Ошибка 2-го рода означает, что различия есть, но, проводя исследование, вы их не обнаружили.

Заключительный анализ

Принятие решения о том, отвергать ли нулевую гипотезу в исследовании, подобном эксперименту с научением в лабиринте, зависит от анализа двух основных видов изменчивости данных. Первый из них связан с различиями между «количеством попыток, требуемых для достижения критериальных» оценок для двух групп крыс. Эти различия вызываются комбинацией а) систематической дисперсии и (б) дисперсии ошибки. Систематическая дисперсия является результатом влияния конкретных факторов — либо изучаемой переменной (задержка подкрепления), либо факторов, которые не удается правильно проконтролировать1. Дисперсия ошибки — это несистематическая изменчивость, вызванная индивидуальными различиями между крысами в двух группах и любыми случайными, непредсказуемыми факторами, которые могут появиться в ходе исследования. Также индивидуальные различия и другие случайные факторы вызывают дисперсию ошибки в каждой группе и объясняют обнаруженные различия. Многие виды заключительного анализа данных включают вычисление следующего математического отношения:

Статистика вывода = Изменчивость оценок при нескольких данных условиях (систематическая дисперсия + дисперсия ошибки)/Изменчивость оценок в пределах одного условия (дисперсия ошибки).

В идеале изменчивость, относящаяся к нескольким условиям, должна быть огромна, а изменчивость по отношению к одному условию относительно небольшой.

Очевидно, что именно такой результат получен для гипотетических данных из эксперимента с лабиринтом. Различия, обнаруженные между результатом двух разных условий, весьма основательны — крысам с отсроченным подкреплением требуется больше времени на изучение лабиринта (17,6 > 13,2), а оценки крыс в каждой группе довольно близки друг другу, что отражается небольшими значениями стандартного отклонения (2,1 и 1,9). В таком случае вы, вероятно, воспользуетесь особым видом анализа, называемым «проверка по критерию Стьюдента для независимых групп», — процедурой, известной вам из вводного курса статистики. В приложении С описано, как проводить такую проверку.

Мощность и сила эффекта

Все исследователи стремятся опровергнуть нулевую гипотезу, если она действительно ложна («успех экспериментатора» в табл. 4.5). Вероятность такого события описывается как мощность статистической проверки. На мощность влияет значение альфа, величина эффекта экспериментального воздействия, и в особенности величина выборки. Последняя характеристика находится под непосредственным контролем экспериментатора, и поэтому исследователи иногда проводят «анализ мощности» в самом начале исследования, чтобы определить подходящий размер выборки. Студенты нередко очень расстраиваются из-за того, что у них «не получается» исследование (т. е. не найдено значимых различий). Такой результат нередко является следствием небольшого размера выборки. В таком случае мощность невелика и, возможно, это спровоцирует появление ошибки 2-го рода, когда нечто действительно могло произойти в ходе исследования, но обнаружить это не удалось. В целом, ошибка 2-го рода и мощность обратно пропорциональны. Чем выше мощность, тем меньше вероятность, что будет сделана ошибка 2-го рода, и наоборот. С другой стороны, огромный размер выборки может привести к получению результата статистически значимого, но относительно бесполезного. Так, очень небольшие, но статистически значимые различия между группами могут почти не иметь практического значения для исследования с большим количеством участников1. Например, при достаточно большом количестве крыс в каждой группе можно провести исследование с лабиринтом, обнаружить разницу в скорости его прохождения, равную 1 секунде, и считать, что эта разница значима при альфе, равной 0,05. Однако различие это не будет иметь практически никакого значения. С другой стороны, если величина эффекта, который имеет экспериментальное воздей-

1 Обратите внимание на слово «могут». Также возможно, что небольшие различия будут иметь большое практическое значение. Например, Розенталь и Росноу (Rosenthal and Rosnow, 1991) обнаружили взаимосвязь между приемом аспирина и возможностью избежать инфаркта. Влияние весьма слабое — прием аспирина снижает вероятность инфаркта приблизительно на 3%, но для группы риска, которая составляет около 1 миллиона людей, 3% означает снижение общего числа инфарктов в год на 30 000.

ствие, при небольшом размере выборки невелика, то значение этого факта может оказаться заметным.

Эта закономерность привела к тому, что исследователи стали уделять больше внимания величине эффекта, т. е. изменчивости зависимой переменной, чем независимой переменной (Cohen, 1988). Величина эффекта связана с относительной величиной различий между условиями эксперимента и размером выборки. В последние годы было разработано несколько «показателей величины эффекта», один из них (dno Коэну) представлен в приложении С. Важно отметить, что проверку гипотезы и определение величины эффекта можно рассматривать как взаимно дополнительные процедуры. Проверка гипотезы показывает, что экспериментальное воздействие имело определенный надежный эффект, а величина эффекта говорит о его величине. Другими словами, проверка гипотезы отвечает на вопрос, требующий ответа «да» или «нет», а определение величины эффекта — на вопрос «сколько?»

Познакомившись с основными инструментами работы с данными, вы готовы начать изучение трех первых глав об экспериментальном методе — самом мощном из орудий, помогающем понять сложные механизмы поведения и тонкости психических процессов. Мы начнем с введения в экспериментальный метод, рассмотрим проблемы, связанные с контролем за таким исследованием, и изучим особенности наиболее распространенных экспериментальных планов.

Резюме



Поделиться:


Последнее изменение этой страницы: 2017-02-17; просмотров: 518; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 54.81.33.119 (0.046 с.)