Ошибки, которые мы совершили, – и чему они учат

 

Разумеется, сотрудники Moody’s не были такими уж беспомощными. Они могли бы дать куда более правдоподобные оценки, расширив горизонт ви́дения. Соединенные Штаты никогда ранее не испытывали подобного краха на жилищном рынке – однако он происходил в других странах и приводил к плачевным результатам. Возможно, если бы экономисты Moody’s посмотрели, как изменились ставки в Японии после развития пузыря на рынке недвижимости, то смогли бы более реалистично представить себе всю опасность ценных бумаг, обеспеченных закладными, – и не дали бы им рейтинга AAA.

Однако большинство из тех, кто составляет прогнозы, как правило, избегает проблем, находящихся за пределами выборки. Расширяя выборку и включая в нее события, отделенные от нас пространством и временем, мы часто сталкиваемся с примерами того, что изучаемые связи выглядят совсем не так, как мы привыкли видеть. Наша собственная модель начинает казаться куда более слабой и смотрится уже куда менее впечатляюще при ее презентации (в статье в журнале или посте в блоге). Мы вынуждены признать, что знаем о мире значительно меньше, чем нам казалось. И наши личные и профессиональные стимулы почти всегда препятствуют подобному расширению выборки.

Мы забываем – или сознательно игнорируем – тот факт, что наши модели представляют собой упрощение мира. Мы считаем, что любая допускаемая нами ошибка будет находиться в разумных пределах. Однако в комплексных системах ошибки измеряются не в процентах, а в разах. S&P и Moody’s недооценили величину риска, связанного с CDO, в 200 раз. Экономисты считали, вероятность именно такой рецессии, которая произошла в реальности, составляла лишь 1 к 500.

Как я уже писал во введении, один из самых широко распространенных рисков, с которыми мы сталкиваемся в информационную эпоху, состоит в следующем: несмотря на увеличение объема знания в мире, разрыв между тем, что мы знаем, и тем, о чем мы думаем, что знаем, постоянно расширяется. Этот синдром часто связан с тем обстоятельством, что прогнозы, кажущиеся нам невероятно точными, на самом деле не являются таковыми. Moody’s провела расчеты с точностью до второго знака после запятой – однако они были невероятно далеки от реальности. Это все равно, что заявлять, что вы умеете хорошо стрелять, потому что ваши пули всегда оказываются в одних и тех же местах – хотя и невероятно далеко от центра мишени (рис. 1.6).

Финансовые кризисы, как и большинство других неудачных предсказаний, возникают как раз вследствие подобного фальшивого ощущения доверия. Аккуратные прогнозы притворяются точными, заставляя кое‑кого из нас попасться на удочку и удвоить свои ставки. И в тот самый момент, когда нам кажется, что мы смогли преодолеть все основные недостатки своих суждений, ступор может наступить даже в такой сильной экономике, как американская.

 

 

Глава 2

Кто умнее: вы или «эксперты [20]» из телевизионных передач?

 

Для многих людей выражение «политический прогноз» практически стало синонимом телевизионной программы McLaughlin Group, политического круглого стола, транслируемого по воскресеньям с 1982 г. (и примерно с того же времени пародируемого в юмористическом шоу Saturday Night Live). Ведет эту программу Джон Маклафлин, сварливый восьмидесятилетний человек, предпринимавший в 1970 г. неудачную попытку стать сенатором США. Он воспринимает политические прогнозы как своего рода спорт. В течение получаса в передаче обсуждаются четыре‑пять тем, при этом сам Маклафлин настойчиво требует, чтобы участники программы отвечали на совершенно различные вопросы – от политики Австралии до перспектив поиска внеземного разума.

В конце каждого выпуска McLaughlin Group наступает время рубрики «Прогнозы», в которой каждому участнику дается несколько секунд, чтобы выразить мнение по тому или иному актуальному вопросу. Иногда они имеют возможность выбрать тему самостоятельно и поделиться своим мнением о чем‑то, весьма далеком от политики. В других же случаях Маклафлин устраивает им своего рода неожиданный экзамен, на котором участники должны дать так называемые вынужденные прогнозы и ответить на один конкретный вопрос.

На некоторые вопросы Маклафлина – например, назвать следующего претендента на место в Верховном суде из нескольких достойных кандидатов – сложно ответить. На другие намного проще. Например, в выходные перед президентскими выборами 2008 г. Маклафлин спросил у участников, кто одержит верх – Джон Маккейн или Барак Обама? {147}.

Казалось, что ответ на этот вопрос не заслуживает длительного размышления. Барак Обама опережал Джона Маккейна практически в каждом национальном опросе, проводимом после 15 сентября 2008 г., когда банкротство Lehman Brothers привело к одному из самых сильных спадов в экономике со времен Великой депрессии. Также Обама вел по результатам опросов почти в каждом колеблющемся штате: Огайо, Флориде, Пенсильвании и Нью‑Гемпшире – и даже в тех нескольких штатах, где демократы обычно не выигрывают, таких как Колорадо и Виргиния. Статистические модели, наподобие той, что я разработал для FiveThirtyEight, показывали, что шансы Обамы на победу в выборах превышают 95 %. Букмекерские конторы были менее конкретны, однако все равно оценивали шансы Обамы как 7 против 1 {148}.

Однако первый участник дискуссии, Пэт Бьюкенен, уклонился от ответа. «В этот уик‑энд свое слово скажут неопределившиеся», – заметил он, вызвав смех остальных участников круглого стола. Другой гость, Кларенс Пейдж из газеты Chicago Tribune, сказал, что данные кандидатов слишком «близки друг к другу, чтобы делать ставки». Моника Кроули из Fox News была упрямее и заявила, что Маккейн выиграет с перевесом «в пол‑очка». И лишь Элеанор Клифт из Newsweek констатировала очевидное мнение и предсказала победу Обамы и Байдена.

В следующий вторник Обама стал избранным президентом. Он получил 365 голосов выборщиков против 173, отданных за Джона Маккейна, – результат, практически совпавший с предсказанным на основании опросов и статистических моделей. Хотя это и не убедительная историческая победа, все равно это был не тот случай, когда трудно предсказать результаты выборов – Обама обогнал Джона Маккейна почти на десять миллионов голосов. И казалось бы, что всем, кто делал противоположные прогнозы, следует объясниться.

Однако через неделю, когда те же участники McLaughlin Group собрались снова {149}, ничего подобного не произошло. Они обсуждали статистические нюансы победы Обамы, его выбор Рама Эмануэля в качестве главы администрации и его отношения с президентом России Дмитрием Медведевым. Никто не упомянул о неудачных прогнозах, сделанных на национальном телевидении, невзирая на массу свидетельств обратного. Скорее, участники передачи попытались сделать вид, что исход был полностью непредсказуемым. Кроули сказала, что это был «необычный год» и что Маккейн провел ужасную предвыборную кампанию, забыв упомянуть, что сама хотела сделать ставку на этого кандидата неделей ранее.

Специалистов по прогнозированию редко стоит судить по одному‑единственному прогнозу, но в данном случае можно сделать исключение. За неделю до выборов единственная правдоподобная гипотеза, позволявшая поверить в победу Маккейна на выборах, заключалась в массивном всплеске расовой враждебности по отношению к Обаме, почему‑то не замеченной в ходе опросов {150}. Однако подобную гипотезу не высказал ни один из экспертов. Вместо этого они, казалось, существовали в альтернативной вселенной, в которой не проводятся опросы, отсутствует коллапс экономики, а президент Буш все еще более популярен, чем Маккейн, рейтинг которого стремительно падает.

Тем не менее я решил проверить, не был ли данный случай аномальным. Насколько вообще умеют предсказывать участники дискуссии McLaughlin Group – люди, получающие деньги за свои разговоры о политике?

Я оценил достоверность примерно 1000 прогнозов, сделанных в последней рубрике шоу как самим Маклафлином, так и участниками его передачи. Около четверти из них или были слишком расплывчатыми, что не позволяло их анализировать, или касались событий в отдаленном будущем. Все остальные я оценивал по пятибалльной шкале, варьировавшейся в диапазоне от абсолютно ошибочных до полностью точных.

С таким же успехом участники шоу могли бы подбрасывать монетку. 338 их прогнозов были неточными – либо полностью, либо в значительной степени. Точно такое же количество – 338 – оказалось верными полностью или в значительной степени {151} (табл. 2.1).

 

Таблица 2.1. Анализ прогнозов, высказанных в телевизионной программе McLaughlin Group {152}

 

Кроме этого, ни одного из участников дискуссии – даже Клифта с его точным прогнозом итогов выборов 2008 г. – нельзя было выделить как лучшего среди остальных. Я рассчитал для каждого участника показатель, отражавший долю их личных верных индивидуальных прогнозов. Наиболее часто принимающие участие в обсуждении – Клифт, Бьюкенен, покойный Тони Блэнкли и сам Маклафлин – получили почти одинаковую оценку от 49 до 52 %, что означало, что они могли с равным успехом дать как верный, так и неверный прогноз {153}. Иными словами, их политическое чутье оказалось на уровне любительского джазового квартета, состоящего из парикмахеров.

Разумеется, программа McLaughlin Group в большей или меньшей степени задумана как своеобразное фарсовое развлечение для политических наркоманов. Это – своего рода пережиток прежней эры, такой же как программа Crossfire на канале CNN, в которой либералы и консерваторы бесконечно ругались друг с другом. Нынешняя, камерная эра не особо отличается от прежней, за исключением лишь того, что либералы и консерваторы вещают на своих кабельных каналах, а в качестве демилитаризованной демаркационной зоны между ними находятся Food Network или Golf Channel[21]. Подобная расстановка сил повышает рейтинги, однако далеко не всегда обеспечивает более надежный анализ.

Но что можно сказать о тех, кому платят за правильность и тщательность исследований, а не просто за количество высказываемых мнений? Можно ли считать, что качество прогнозов политологов или аналитиков из вашингтонских мозговых центров выше?