Читать книгу "Здравый смысл врет. Почему не надо слушать свой внутренний голос - Дункан Дж. Уоттс"

Все эти проблемы вынудили ряд скептиков утверждать, будто рынки предсказаний не обязательно должны превосходить другие, менее сложные методы — такие, как опросы общественного мнения, которыми на практике труднее манипулировать. Впрочем, оценке относительной эффективности последних было уделено так мало внимания, что наверняка ничего утверждать нельзя{176}. Чтобы решить этот вопрос, мои коллеги из Yahoo! Research провели систематическое сравнение различных методов прогнозирования. Рассматриваемые предсказания касались результатов матчей Национальной футбольной лиги. Сперва мы провели опрос общественного мнения по каждой из 14–16 игр, проходивших в выходные в течение сезона 2009 года. В его рамках респондентов просили указать, во-первых, вероятность победы принимающей команды, а во-вторых, степень уверенности в своем прогнозе. Кроме того, те же вопросы мы предложили посетителям Probability Sports — веб-сайта, где участники выигрывают денежные призы, правильно предсказав исход спортивных соревнований. Затем мы сравнили результаты этих двух опросов с прогнозами Vegas sports betting market — одного из старейших и наиболее популярных рынков пари в мире, — а также другой известной площадки предсказаний под названием Tradesports . И, наконец, мы сопоставили прогнозы рынков и опросов с вычислениями двух простых статистических моделей. Первая опиралась исключительно на статистическую вероятность победы принимающей команды (та выигрывала в 58 % матчей), тогда как вторая учитывала статистику побед и поражений обеих клубов. Таким образом, мы провели шестистороннее сравнение различных методов прогнозирования — двух статистических моделей, двух рынков и двух опросов общественного мнения{177}.

Учитывая то, насколько разными были эти методы, полученные данные поражали: качество прогнозов оказалось одинаковым! Справедливости ради, два рынка дали чуть более точные прогнозы, чем другие методы, что согласуется с вышеприведенным теоретическим аргументом. При этом наилучший из них — рынок Vegas Market — дал примерно на 3 % более верное предсказание, чем наихудший — модель, всегда ставящую на 58 %-ную вероятность победы принимающей команды. Остальные методы заняли места где-то посередине. Кстати, модель, учитывавшая статистику побед и поражений обеих команд, оказалась весьма близка к Vegas Market : в случае использования обоих методов прогнозирования фактического расхождения в количестве очков, набранных этими клубами, величина средней ошибки их прогнозов отличалась бы менее чем на одну десятую. С одной стороны, если вы ставите на результаты сотен или тысяч игр, такие крошечные различия — это различия между выигрышем и проигрышем энной суммы денег. А с другой — агрегированная мудрость тысяч участников рынка, коллективно посвящающих бесчисленное количество часов анализу грядущих матчей в стремлении найти хоть какую-нибудь полезную информацию, лишь немногим лучше простой статистической модели, опирающейся на средние статистические показатели.

Когда мы впервые рассказали о полученных результатах специалистам по рынкам предсказаний, они решили, что эти данные, должно быть, отражают некую специфическую особенность американского футбола. Мол, в Национальной футбольной лиге есть множество правил — «потолок» зарплат, драфты и прочее, — обеспечивающих максимально возможное равенство команд. Да и американский футбол — такая игра, в которой результат подчас зависит от случайных действий. Например, ресивер кончиками пальцев ловит отчаянный пас защитника и в последние секунды добывает своей команде победу. Футбольные матчи, другими словами, включают немалую долю непредсказуемости — пожалуй, это и делает их столь захватывающими. В таком случае, наверное, не стоит удивляться тому, что вся информация и «анализ», генерируемые специалистами по американскому футболу, каждую неделю заваливающими болельщиков прогнозами, не очень-то помогают (хотя сами-то знатоки, должно быть, этому удивляются). Чтобы их убедить, настаивали наши коллеги, следует обнаружить похожие результаты в другой области, в которой соотношение сигнал-шум гораздо выше, чем в футболе.

Ладно, что насчет бейсбола? Любители этой игры гордятся своим почти фанатичным вниманием к каждой измеряемой ее детали — от среднего процента отбитых мячей до ротации питчеров. На самом деле вся область исследования — «сабер-метрика» — развилась специально для анализа бейсбольной статистики. Появился даже особый журнал — Baseball Research Journal. Можно подумать, в бейсболе по сравнению с американским футболом рынки предсказаний — с их гораздо большим потенциалом учета различных типов информации — обязательно с большим отрывом превзойдут чрезмерно упрощенные статистические модели. Но и это, оказывается, тоже неправда. Мы сравнили прогнозы результатов почти 20 тысяч игр Большой лиги с 1999 по 2006 год, сделанные лас-вегасскими рынками спортивных пари, с предсказаниями простой статистической модели, основанной лишь на преимуществе принимающей команды и статистике недавних побед и поражений обоих клубов. На этот раз различие между ними оказалось еще меньшим — практически незаметным. Другими словами, несмотря на всю статистику и анализы, на отсутствие значимых потолков зарплат и результирующей концентрации суперзвезд в таких командах, как New York Yankees и Boston Red Sox, исходы бейсбольных баталий еще более случайны, чем футбольные матчи.

Со временем выяснилось, что точно так же обстоят дела и с другими типами событий, которые, как утверждается, прогнозируют рынки предсказаний, — от кассовых сборов художественных фильмов в дни премьеры до результатов президентских выборов. Они происходят без каких-либо правил или условий, делающих спорт конкурентным и, следовательно, непредсказуемым. Существует уйма релевантной информации, использование которой позволило бы рынкам предсказаний добиться результатов, во много раз превосходящих данные простой модели или опроса мнений относительно несведущих респондентов. И тем не менее, когда мы сравнили Hollywood Stock Exchange — один из наиболее популярных рынков предсказаний, знаменитый своими точными прогнозами{178}, — с простой статистической моделью, предсказания первого оказались лишь немногим вернее{179}. В отдельном исследовании результатов пяти президентских выборов в Соединенных Штатах в период с 1988 по 2004 год{180} политологи Роберт Эриксон и Кристофер Лизен обнаружили, что простая статистическая коррекция обыкновенных опросов общественного мнения по эффективности превосходила даже хваленый Iowa Election Market .

Не доверяй никому, особенно себе

Что же происходит? Мы не совсем уверены, но подозреваем: удивительно схожие результаты применения разных методов представляют собой обратную сторону головоломки с прогнозированием из предыдущей главы. С одной стороны, когда дело доходит до сложных систем — включают они спортивные соревнования, выборы или кино-аудиторию, — существуют строгие границы того, насколько точно мы можем предсказать будущие события. С другой, кажется, что даже относительно простые методы позволяют достаточно близко подобраться к границе возможного. По аналогии, если вам дали игральную кость со смещенным центром тяжести, за несколько дюжин бросков вы догадаетесь, какой стороной она падает чаще всего, — после чего можете смело на это спорить. В остальных случаях даже наиболее совершенные методы (например, изучение кости под микроскопом для выявления всех крошечных трещинок и неровностей на ее поверхности или построение сложной компьютерной симуляции) улучшить прогноз не очень-то помогут.