Сколько раз нужно повторить опыт?

 

Теперь, когда у нас появилось лучшее понимание необходимости и некоторых трудностей воспроизведения опытов, предположим, что мы провели psi- эксперимент и получили положительный результат. Может ли этот один эксперимент убедить кого-нибудь в реальности psi? Это зависит в значительной степени от принятого подхода. Например, группа закоренелых скептиков проводит эксперимент с йогом, утверждающим, что он может повисать в воздухе или левитировать. Допустим, эксперимент показывался на TV, йог повис в воздухе, как и обещал, а скептики были потрясены, потому что они не думали, что это будет возможно. Некоторые люди могли прийти к убеждению, что левитация вполне реальна. Каждый допускает, при этом, конечно, что экспериментальные процедуры препятствовали мошенничеству. Но даже в этом случае, вероятно, что скептики не поверили бы своим глазам и заключили бы, что в опыте существовала какая-то хитрость.

На ранних стадиях экспериментов по psi, скептики упорно утверждали, что

«вполне достаточно одного чисто проведенного эксперимента..., чтобы убедить их в ESP». Но даже скептики скоро увидели, что такое заключение просто заблуждение, потому что нет совершенных экспериментов, и какой-нибудь недостаток в одиночном эксперименте очень легко пропустить. Кроме того, экспериментальные результаты в эмпирических науках часто сообщаются в терминах вероятностей, или в шансах за и против случайного ожидания за одну или другую гипотезу. Таким образом, если одиночный эксперимент получил шанс против случайного ожидания 1000: 1, который кажется довольно внушительным, то все - таки такой результат может произойти, по определению, вполне случайно один раз за тысячу попыток. Большинство ученых не желало бы изменять свою веру относительно природы мира на основе результатов одиночного эксперимента, которые могли бы быть получены вполне случайно один раз за тысячу попыток. Или это надо все-таки сделать?

Иногда, когда эффект предсказан на основе хорошо уважаемой теории, или когда люди, сообщающие о эффекте - видные ученые, или когда провозглашаемый эффект не слишком далек от принятого научного знания, тогда один или два успешных опыта могут убедить ученых, что требуемый эффект реален. Хорошим примером может быть доказательство, на котором в физике была принята частица «омега-минус». Эта частица, была «найдена на основе только двух событий из почти 200000 экспериментальных попыток. Другими словами, этого эксперимента с чрезвычайно небольшим рейтингом воспроизведения опыта — один раз за 100000 попыток — оказалось достаточно, чтобы убедить большинство физиков в реальности частицы [37]. Предположим, возвращаясь в мир psi явлений, что мы проводим второй эксперимент и также получаем шансы против и за случайное событие около 1000:1. Маловероятно, чтобы два таких экспериментальных результата, имеющих высокий рейтинг, были бы получены случайно. Возможно, некоторые ученые могли бы взять их на заметку. А что можно сказать о трех относительно успешных экспериментах? Дюжине? Где нам остановиться?

Предположение, что эксперимент должен cрабатывать каждый раз в пользу подтверждения изучаемого феномена - слишком сильное требование для любого явления, включающего человеческую деятельность. Мы не ожидаем, что легенда бейсбола забьет тысячу мячей за тысячу попыток, так почему же мы должны требовать даже лучшей эффективности для экспериментов psi? Однако, если смягчить это требование, то возникает вопрос о степени такого смягчения. Эта трудная проблема тесно связана с характером эффекта, другими словами с его «странностью» - насколько наблюдаемый эффект отклоняется от известных теорий. Другими словами, степень неожиданности эффекта эксперимента сразу же поднимает вопрос о том необходимом числе удачных попыток, после выполнения которых мы должны сказать, что этот эффект существует.

Скептический психолог Марк Хансел из Британии поделился своим рецептом о том, сколько ему нужно доказательств для того, чтобы он убедился в реальности необычного эффекта:

«Если результат существенен на.01 уровне [то есть шансы против и за случайное событие 100 к 1 ], то после двух следующих наборов испытаний с таким же отношением шансов, отношение шансов против и за случайное событие составят 1000000:1 и поэтому останется немного сомнений в том, что результат неслучаен» [38].

Таким образом, Хансел говорит, что, если эксперимент, с шансами за и против случайного события 1: 100 повторяется три раза с аналогичным результатом, то он будет думать, что данное событие неслучайно. Можно обрадовать Хансела тем, что в многочисленных категориях экспериментов psi десятки раз достигался подобный результат. Вот почему знающие скептики сегодня понимают, что невозможно сегодня объяснить результаты psi-экспериментов простой случайностью

Почему мы знаем, что результаты psi-экспериментов воспроизводятся или могут быть повторены? В этом нам поможет мета-анализ или анализ анализа.

 

Ч а с т ь 4

 

 

Мета - анализ

Мета-анализ кардинальным образом изменяет способ обработки научных данных, что приводит к решению многих проблем.

Томас Шалмерс

Так как независимое воспроизведение опытов представляет собой ключ к получению приемлемых научных доказательств, мы нуждаемся в оценке этого воспроизведения. Методика, наиболее широко принятая сегодня называется мета - анализом — анализом анализа.

Концептуально, мета - анализ простая вещь. Например, в бейсболе нам было ясно, что Микки исключительно хороший игрок, так как он забивал примерно 30% голов из всего числа попыток. Этот вывод был основан на целых тысячах попыток и тысячах забитых мячей, а не на одиночной игре. Если вернуться к единичному psi-феномену, то выдающийся результат одного человека в одном опыте расценивался нами бы не более, чем интересное совпадение. Следующие удачные эксперименты того же самого человека, скажем, в тысяче испытаний заставили бы нас поверить в феномен psi

Допустим, нам надо разобраться, кто был лучшим игроком в бейсболе по забитым мячам -Майкл Джордан из команды «Быки Чикаго» или Клайд Дрекслер из команды «Хьюстонские Ракеты». На рис. 4.1 точками показаны число забитых мячей этими двумя игроками в играх с 3 ноября 1995 по 18 апреля 1996. При этом наш испытанный аналитик Джо Сикспак тоже видел некоторые игры и также хотел разобраться в проблеме «кто есть кто». Если Джо посетил только семь игр, когда Дрекслер набирал больше очков, чем Джордан (например, 2 декабря, 1995, Дрекслер набрал 41 очко, а Джордан - 37), то разумное заключение Джо будет то, что Дрекслер играет лучше, чем Джордан.

 

 

 

Рис. 4.1. Число забитых мячей Джордана и Дрекслера с 3 ноября 1995 до 18 апреля 1996.

Однако, вряд ли мы поверили бы заключению Джо, так как во многих играх мы видели, что Джордан забивает больше мячей, чем Дрекслер. Фактически, когда мы проанализировали все игры, с 3 ноября до 18 апреля, то мы сразу же увидели, что действительно в среднем число забитых мячей у Джорджа выше, чем у Дрекслера. Этот пример показывает, как с увеличением наблюдений возрастает достоверность нашего суждения, независимо от того, с чем мы имеем дело: с игроками в бейсбол или с эффектами psi.

Мы можем также быть заинтересованы в оценке не только в том, как играет один какой-нибудь игрок, но и в оценке уровня игры всей команды. Например, объединенное среднее число забитых мячей для какой-нибудь команды, дает нам определенный показатель эффективности игры этой команды. В экспериментах psi, эквивалентом было бы комбинирование опытов со многими людьми, каждый из которых участвовал бы в многократных экспериментальных процедурах. Результаты объединения дали бы нам возможность оценить проявление psi среди групп людей. Наука прежде всего заинтересована обобщениями и закономерными тенденциями скорее, чем уникальными событиями. Это важно потому, что цель науки - понять и достаточно точно описать явления с тем, чтобы потом предсказать события на основе установленных закономерностей. По определению, однократные или полностью случайные события непредсказуемы.

Мета - анализ дает возможность поставить вопросы более высокого уровня, например, оценить эффективность игры всей бейсбольной лиги. Здесь мы исследуем уже результаты игры не только одного игрока, или группы игроков данной команды, но результаты игры многих команд. Мы можем поставить вопрос об эффективности бейсбольной игры вообще, независимо от эффективности игры отдельного игрока или отдельных команд.

В экспериментах psi, мы можем поставить вопросы не только относительно того, как индивидуум выполнил тот или другой опыт, но и как люди в целом выполняют те или другие эксперименты. Решение «мета» вопросов позволит нам получить высокий уровень достоверности эффективности psi-опытов, независимо от специфических свойств отдельных личностей или групп личностей.. Чем больше наблюдений, тем выше достоверность вывода. Все очень просто.

 

Обзоры исследований

 

Оценка воспроизведения опытов в различных экспериментах требует проведения каких-то обзоров. Такие обзоры могут быть разделены на четыре типа. В первом типе обзоров обычно рассматриваются и обсуждаются некоторые недавние и немногочисленные эксперименты. Такие обзоры часто встречаются в журналах типа Scientific American, где сообщаются научные новости для широкого круга читателей. Эти обзоры характерны для сообщений, в которых преподносятся различные сомнения о psi-эффектах, потому что один или два специально выбранных опыта всегда могут «доказать» нужную точку зрения.

Во втором типе обзора привлекается несколько исследовательских результатов, чтобы высветить или проиллюстрировать новую теорию или предложить новую теоретическую парадигму для понимания явления. Такой обзор не является всесторонним, он только иллюстрирует обсуждаемую тему. Обзоры третьего типа организовывают и синтезируют знание из различных областей исследования. Такой комментарий также не полный, так как общий объем знаний во всех дисциплинах слишком велик для отдельного рассмотрения. Поэтому берутся вновь несколько выборочных примеров, иллюстрирующих ту или другую точку зрения.

Обзор четвертого типа - интегральный обзор или мета-анализ, который является структурированной методикой для исчерпывающего анализа законченных экспериментов. Такие обзоры делают обобщения и выводы на основе множества наблюдений по каждому эксперименту.

 

Интеграция

Мета - анализ был описан как «метод статистического анализа, где единица анализа представляет собой общий результат независимых экспериментов, а не число удачных попыток отдельных участников эксперимента «[39].

Основные идеи относительно мета - анализа были сформированы начиная с 1930-ых годов, но за прошлые несколько десятилетий, этот метод был значительно усовершенствован и обсужден. Сегодня мета - анализ переживает пик популярности, потому что поведенческие, социальные, и медицинские науки находятся в таком же положении как и psi-исследования: им нужен формальный метод для определения того, существует ли этот наблюдаемый, но высоко изменчивый эффект в действительности? [40].

Поскольку мета-анализ применяется для комбинирования данных целой группы похожих экспериментов, методика включает в себя некоторую обработку первоначальных данных. В некоторых случаях, первоначальные данные статистически обрабатываются, чтобы затем объединить их в одну большую комбинацию. Следующий шаг - программирование и определение количества экспериментальных процедур, включая факторы контроля: где и когда сообщения были опубликованы, число участников экспериментов и так далее.

Затем эти результаты изучаются, чтобы выяснить имеются ли среди них какие-нибудь в особенности ясные и понятные результаты. Как упоминалось ранее, скептики одно время долго утверждали, что с появлением хорошо контролируемых экспериментов эффекты psi полностью исчезнут. Мета - анализ позволяет проверить данное утверждение, изучая проблему связи качества эксперимента с его результатами.

 

Точность

 

Мета-анализ обеспечивает намного более точную оценку всего объема данных исследования, чем традиционный описательный или обзорный литературный комментарий. Когда психологи Купер и Розенталь [41] рассматривали точность мета-анализа в сравнении с обычным комментарием, они обнаружили, что рецензенты, которые полагаются на традиционный обзор литературы, могут сделать выводы полностью противоречащие тем, которые можно сделать на основе мета-анализа. Это происходит вследствие того, что при чтении литературного обзора мы имеем дело с большим количеством несвязанных данных, из которых трудно соорудить достоверное заключение. Применяя мета-анализ, мы получаем одну количественную оценку изучаемого эффекта.

Некоторые критики мета-анализа (критики есть везде) утверждали, что эти интегральные методы дают смещенную или сверхупрощенную оценку. Можно на это ответить, что мета- анализ требует явных деталей того, как анализ был выполнен, позволяя, тем самым, независимым аналитикам подтвердить оценку. Кроме того, в мета-анализе используются все, а не только «хорошие» данные, что предохраняет выводы от предубеждений рецензента.

 

Яблоки и апельсины

 

Критики также утверждали, что поскольку мета - анализ объединяет самые разнообразные

исследования, то это приводит к смешению разнородных понятий, подобно салату из «яблок» и «апельсин». Разве это правильно делать какие-то выводы об интересующих нас эффектах, обобщая исследования разных экспериментаторов, которые производили опыты в разных условиях и даже на различные темы?

Наш ответ - да, вполне допустимо комбинировать яблоки и апельсины, если мы хотим обнаружить нечто общее, присущее этим двум понятиям, например, мы хотим узнать что-то о фруктах.

Когда ряд экспериментов psi объединяются, яблоки и апельсины представляют собой исследования, различающиеся между собой в небольших деталях, но в этих опытах есть как бы единый «фрукт» - это эффект psi.

Другая критика мета-анализа - в том отношении, что авторы как правило, публикуют только исследования, в которых есть значащие результаты, а опыты, где нет интересных результатов, остаются неопубликованными. Это называется проблемой скрытой информации или проблемой черного ящика, которая относится к неудачным исследованиям [42]. Если объем этой скрытой информации большой, то оценка изучаемого эффекта может быть сильно преувеличена. Если исследователи публикуют только успешные исследования, мы приходим к неизбежному заключению, что все выполненные опыты оказались успешными. А это может быть или не быть истинным заключением. Мы обсудим проблему скрытой информации в деталях немного позже, включая пути измерения ее воздействия на результат мета-анализа.

Возьмем аспирин

 

На рис. 4.2 показаны результаты мета-анализа двадцати пяти медицинских исследований, исследующих вопрос, может ли аспирин помочь при сердечных приступах. Анализ был вначале опубликован в British Medical Journal за 1988 г. Результат анализа был широко описан в средствах массовой информации как крупное медицинское достижение, а в 1990 журнал Science заявил, что это пример того, как надо применять мета-анализ.

 

 

Рис. 4.2. Влияние аспирина на сердечные приступы (по данным 25 исследований). Только пять из двадцати пяти исследований были «удачны» (см. доверительный интервалы), но общая оценка, показанная в самом правом углу и имеющая небольшой доверительный интервал, несомненно свидетельствует в пользу того, что аспирин действительно имеет терапевтическое значение (помогает при сердечных приступах).

На рис. 4.2. точечная оценка показывает итоги каждого исследования как отношение опытов, в которых лечение помогло, против опытов, в которых никакого эффекта не наблюдалось, вместе с доверительным 99% интервалом для каждого исследования. Таким образом значение 1.0 на этом рисунке означает, что применение аспирина не было эффективным при сердечных приступах. Значение меньше чем 1.0 означает, что лечение аспирином имело эффект в сравнении с контрольной группой. Главный момент для нашего обсуждения - это факт, что только пять исследований из двадцати пяти были удачны, так как они имеют 99% доверительные интервалы, расположенные выше «единичной» линии. Однако, большинство исследований (80%) были как бы неудачны, так как имеют доверительные интервалы, включающие «единичную» линию. Рецензент, сомневающийся в эффективности применения аспирина, мог бы ограничиться этими необработанными при помощи мета-анализа данными и получить уверенность в том, что нет никаких свидетельств, доказывающих эффективность применения аспирина.

Но надо заметить, что если все имеющиеся данные объединить, то общий результат, равный примерно 0.75 и показанный вблизи правого окончания рисунка, выше «единичной» линии, а крошечный доверительный интервал в этой точке ясно исключает появление этой величины за счет случайных факторов. Таким образом, даже при том, что реальность эффекта была сомнительна при рассмотрении отдельных экспериментов, на самом деле применение аспирина было эффективным, что вполне справедливо рекламировалось в печати. Примерно то же самое мета-анализ делает с экспериментами psi. Если рассматривать отдельные опыты по эффектам psi, то некоторые из них были удачными, но нелегко воспроизводимы. Имеющаяся неопределенность — наряду со слабостью теории, предсказывающей эффекты psi, поддерживали сомнение скептиков в течении длительного времени. Но если результаты исследований psi объединить, то нет сомнений в реальности эффектов psi.