Текст книги "Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет"

Разумеется, подобные навыки необходимы и представителям многих других профессий, о которых мечтают люди. Некоторые из них даже могут быть особенно важными для прогнозистов – особенно тот, который Сандерс называет адаптивностью. Как вы реагируете на новую информацию, когда она к вам поступает? Если вы слишком нервничаете и чрезмерно активно реагируете на изменение обстоятельств или, напротив, не желаете отказаться от своих привычных представлений, когда этого требуют объективные свидетельства, то дело неминуемо закончится плохими прогнозами.

При этом мало найдется таких профессий, в которых столь высок уровень конкуренции, как в бейсболе. Из многих тысяч профессиональных бейсболистов и сотен тысяч любителей лишь 750 человек могут играть в командах главных лиг в любой момент времени, а из них лишь несколько десятков войдет в «Звездную команду». Работа Сандерса состоит в поиске тех исключительных людей, которые не подчиняются законам вероятности. Его работа ненамного проще работы самих игроков, и он почти каждый день своей жизни проводит в пути (несмотря на то что ему уже почти 70).

Однако именно Сандерс обеспечивает команду Dodgers самой ценной информацией – информацией, которой нет у других.

«Информация» как новое название игры

Билли Бин, главный герой «Moneyball», считает неустанный сбор информации главным секретом хорошего скаутинга. «Кого мы называем хорошим скаутом? Того, кто способен раздобыть информацию, которую не могут найти остальные, – рассказывал он мне. – Познакомиться с парнем. Познакомиться с его семьей. Это лишь два из множества остальных действий, которые вы должны предпринять, чтобы больше узнать об этом человеке».

Бин знает, о чем говорит. Во многом успех его команды стал результатом хорошей статистической оценки игроков команды. Однако не менее важным для успеха был и скаутинг игроков-любителей. Мигель Техада, Джейсон Джамби, Барри Зито, Тим Ху, Эрик Чавес – иными словами, большинство звезд команды в начале 2000‑х годов (периода, описанного в «Moneyball») – были найдены клубом и получили в нем должное развитие.

Бин рассказал мне, что бюджет команды на скаутинг в наши дни выше, чем когда-либо прежде. Более того, по его словам, руководство команды увеличило его именно благодаря увлечению статистическим анализом. Как мы уже говорили выше, бейсболисты не могут приобрести статус свободного агента – профессионала, не связанного контрактом, – до конца полного шестого сезона, то есть до тех пор, пока им не исполняется по меньшей мере 30 лет.

Как показал проведенный Биллом Джеймсом анализ кривых старения, зачастую клубы тратят на свободных агентов слишком много денег – причем тогда, когда их лучшие годы уже оказываются позади.

Однако у этой медали есть и другая сторона – игрок может быть чрезвычайно полезным для клуба и до того, как ему исполнится 30 лет. Более того, экономика бейсбола структурирована таким образом, что более молодые игроки с хорошим потенциалом могут быть куплены за довольно небольшие деньги{231}231
  В течение первых двух сезонов в крупной лиге игроки действуют в условиях, когда они не могут заключать контракты с другими клубами. Иными словами, игрок не обладает серьезным весом на переговорах и обычно соглашается на минимальную для игроков лиги зарплату в 400 тыс. долл. После этого с третьего по шестой год он сам и его команда подают заявки на желаемую сумму зарплаты, а жюри из трех человек принимает решение с учетом того, какая из сумм кажется более разумной. Однако зарплаты, присуждаемые по решению этих арбитров, обычно составляют лишь 60 % от зарплат свободных игроков с сопоставимыми навыками, иными словами, команды приобретают игроков со значительной скидкой.


[Закрыть].

Если рассматривать бейсбольную команду как любой другой бизнес, то есть с точки зрения прибыли и убытков, то почти вся ценность в нем создается в процессах скаутинга и дальнейшего развития. Если система прогнозирования в команде исключительно хороша, то команда может себе позволить платить по 10 млн долл. в год игроку, истинная ценность которого составляет 12 млн долл. Однако если скаутинг выстроен в команде по-настоящему хорошо, то появляется возможность найти хорошего игрока, которому можно платить всего 400 тыс. долл. И именно таким образом и строится конкуренция на небольшом рынке типа Окленда.

Поэтому не приходится говорить, что команде A’s недостает уважения к роли, которую в ней играют скауты. Более того, Бин четко дает понять, что, принимая решение о приглашении игрока в команду, менеджеры не стесняются изучать его психический склад.

Организация до сих пор в значительной степени верит в тщательный анализ. Однако тщательность и дисциплина проявляются в том, как организация обрабатывает ту информацию, что у нее имеется, а не в том, чтобы объявлять те или иные типы информации ненужными или неприменимыми.

«Пропорция объективного и субъективного анализа определяется в различных организациях по-разному, – пояснил мне Бин. – С нашей точки зрения, мы вынуждены принимать объективные решения, а не полагаться на свои чувства. Если мы, живущие в Окленде, примем правильное решение, основываясь на эмоциях, то лично я буду считать это случайностью. И мы просто не можем позволить себе принимать случайные решения и надеяться, что нам повезет. Если бы мы играли в блек-джек, у нас было бы шесть очков, а у дилера четыре, то мы точно знали бы, что для выигрыша нам понадобятся дополнительные карты».

Как мы заметили в главе 2, чтобы составить хороший прогноз, нам не стоит ограничиваться одной лишь количественной информацией. Скорее, мы должны уметь хорошо и правильно взвешивать информацию. В этом и состоит суть философии Бина – собрать максимально возможный объем информации, а затем очень тщательно и дисциплинированно проанализировать ее.

Лакмусовой бумажкой, позволяющей понять, насколько вы компетентны как прогнозист, является изменение качества ваших прогнозов: становятся ли ваши предсказания лучше при увеличении объема информации? Если же они становятся хуже, то можно сказать, что у вас имеются некоторые плохие привычки (как у политологов, прогнозы которых изучал Фил Тэтлок). Если Кандидат А имеет результат 0,300 с 20 хоумранами и раздает в свободные дни еду бездомным, а Кандидат B имеет результат 0,300 с 20 хоумранами, но при этом тусуется в свободное время в ночных клубах и употребляет кокаин, вы не сможете дать количественную оценку различиям между ними. Однако можете не сомневаться, что хороший прогнозист обязательно примет эту информацию к сведению.

Как показывает практика, преобразовать качественную информацию в количественную вполне реально[60]60
  Например, в модели, используемой для прогнозирования исхода выборов в Конгресс США, я совмещаю количественную информацию типа итогов опросов с качественными рейтингами экспертов, допустим, из Cook Political Report. Если, по мнению Кука, у определенной компании нет явного фаворита, я присваиваю ей код 0. Если та или иная компания попадает в категорию «Предпочтение демократов», я присваиваю ей код +1 и т. д. Подобное совмещение информации позволяет создать более качественный прогноз, чем любой из обоих типов информации, взятый поодиночке. – Прим. авт.


[Закрыть]. Фактически скауты оценивают игроков по четкой цифровой шкале, варьирующейся от 20 до 80 в каждой категории. Нет никаких препятствий к тому, чтобы включить ее в статистическую модель вместе со средним количеством удачных попаданий битой по мячу{232}232
  Нет никаких препятствий к тому, чтобы скауты оценивали умственные качества игрока наряду с физическими.


[Закрыть] и посмотреть, повышает ли это качество прогноза. Некоторые команды, например Cardinals, уже это делают.

На самом деле грань между статистикой и скаутингом, а также качественной и количественной информацией в бейсболе стала довольно расплывчатой. Взять, например, внедрение Pitch f/x – системы трехмерных камер, которые сейчас уже установлены на каждом стадионе высшей лиги. Эти камеры способны измерять не только скорость полета мяча (это можно было сделать и раньше при помощью лазерных устройств), но и степень его колебаний в горизонтальной и вертикальной плоскостях, когда он подлетает к конечной цели. Например, мы можем, воспользовавшись статистикой, сказать, что Зак Грейнке, питчер из Milwaukee Brewers, ставший в 2009 г. лучшим молодым питчером в своей лиге, имеет лучшую скользящую подачу (слайдер) в бейсболе{233}233
  Jeremy Greenhouse, «Touching Bases: Best PITCHf/x Pitches of 2009», Baseball Analysts; March 4, 2010. http://baseballanalysts.com/archives/2010/03/top_pitchfx_pit.php.


[Закрыть] или что Мариано Ривера действительно отбивает самые закрученные и быстро летящие мячи так хорошо, как говорят легенды{234}234
  Jeremy Greenhouse, «Touching Bases: Best PITCHf/x Pitches of 2009», Baseball Analysts; March 4, 2010. http://baseballanalysts.com/archives/2010/03/top_pitchfx_pit.php.


[Закрыть]. Традиционно все эти вопросы считались вотчиной скаутинга; теперь же они представляют собой еще одну переменную, которую можно добавить в систему прогнозирования.

Мы совсем недалеки от того времени, когда в нашем распоряжении будет иметься трехмерная запись всего, что происходит на бейсбольном поле. Вскоре мы сможем в точности измерить, насколько высоко готов подпрыгнуть Джейкоби Эллсбери, чтобы поймать летящий над его головой мяч. Мы будем знать, насколько быстро Ичиро Сузуки бежит от одной базы к другой, или с какой скоростью Ядир Модина успевает перебросить мяч на вторую базу.

Эта новая технология неспособна будет убить скаутинг, как это не удалось и «Moneyball». Скорее, мы станем уделять больше внимания вещам, которым еще сложнее дать количественную оценку и в которых такая информация, как, допустим, ментальные способности игрока, оказывается еще более эксклюзивной. Но толковые скауты, к числу которых относится и Сандерс, уже находятся впереди.

Почему предрекали, что Педройю постигнет неудача…

Но почему же скауты так сильно ошибались, когда высказывали предположения о том, как будет развиваться спортивная карьера Дастина Педройи?

Мнения скаутов, основанные на базовой информации о нем, совпадали. Все знали, что Педройя был в среднем неплохим подающим, что он довольно толково ведет себя на поле и что его ментальные способности довольно «нестандартны». Все знали, что он обладает длинным свингом; что его защита стабильна, но в ней нет ничего выдающегося; что бегает он со скоростью не выше средней; что он – коротышка, обладающий не самым лучшим телосложением.

Однако это был довольно специфический набор качеств для молодого игрока, и многие скауты не знали, что с ним можно сделать. «При оценке игрока скауты примерно представляют, что хотят увидеть, – рассказал мне Сандерс. – Прототипы и стандарты. А Дастин во многом им противоречил, начиная с роста и фигуры».

Когда мы не можем вставить квадратный колышек в круглое отверстие, то часто виним колышек, хотя порой неспособность решить задачу связана с чрезмерной негибкостью нашего мышления. Прежде всего, мы инстинктивно пытаемся отнести информацию к той или иной категории. И обычно у нас имеется сравнительно небольшое количество категорий, поскольку тогда их проще отслеживать (достаточно вспомнить о том, как бюро переписи США делит людей из сотен этнических групп на шесть расовых категорий или о том, как критики относят тысячи музыкантов к представителям нескольких музыкальных жанров).

Чаще всего это может сработать. Однако когда у нас возникает проблема с категоризацией какого-то объекта, то мы часто не обращаем на него внимания или неправильно его оцениваем. Именно по этой причине Бин предпочитает избегать решений, основанных на том, что он «чувствует нутром». Слишком сильно полагаясь на первые впечатления, он рискует упустить из виду потенциально ценных молодых игроков – а с учетом бюджета команды он просто не может себе этого позволить.

Система, подобная PECOTA, позволяющая осуществлять поиск среди тысяч игроков и находить среди них людей с одинаковыми профилями, имеет более строгий способ категоризации игроков. Этот способ позволяет оценивать навыки людей, подобных Педройе, в более правильном контексте.

Поиск с помощью PECOTA позволил найти несколько интересных прецедентов. Оказалось, к примеру, что приземистость Педройи может быть предпочтительной характеристикой, с учетом других его навыков.

В бейсболе принято считать зоной страйка расстояние от плеч игрока до его коленей. Чем ниже спортсмен, тем меньше размер цели у питчера. Игрок типа Педройи, умеющий хорошо работать битой, может извлечь из подобной ситуации немало пользы.

Кроме этого, невысокий рост и близость к полю могут стать отличной характеристикой для защиты игрока второй зоны. Эта позиция на поле требует особой ловкости и кошачьих рефлексов, помогающих поймать мячи, только что изо всех сил отправленные в полет ударом биты. Из истории бейсбола мы знаем, что многие лучшие игроки второй зоны были невысокими. Из 17 участников Зала славы лишь двое – Нэп Ладжойе и Ранн Сандберг – имели рост выше 180 см{235}235
  «Baseball Hall of Fame Second Basemen», Baseball Almanac. http://www.baseball-almanac.com/hof/hofst2b.shtml.


[Закрыть]. Рост Джо Моргана (возможно, величайшего игрока второй базы всех времен) составлял чуть больше 170 см.

Скауты отлично делают свою работу, однако в этом случае они слишком быстро и со слишком высокой степенью предубеждения отнесли игрока к определенной категории. Маленький рост Педройи был в каком-то смысле его сильной чертой.

Тем не менее никто не может ничего гарантировать. Из прогноза PECOTA не следовало, что успех Педройи – очевидный факт, речь шла о том, что у него есть определенные шансы. Скауты считали, что шансов, скорее, у него недостаточно. Отличие, однако, состояло в том, что команда Red Sox верила в Дастина Педройю. И, к счастью для команды, в себя верил и сам Педройя.

…и как он выиграл вопреки всем прогнозам

Я познакомился с Биллом Джеймсом на встрече консультантов на фестивале, организованном журналом New Yorker, в октябре 2009 г. После официальной части началась угарная вечеринка, и этот человек сильно выделялся из толпы модников. Он был облачен в невероятно яркий свитер и сабо, которые казались на пару размеров больше, чем нужно. Пока все остальные участники вечеринки пытались добиться внимания Сьюзен Сарандон, мы устроились в баре и некоторое время поболтали{236}236
  Отчасти приведенная выше информация основана на телефонном разговоре с Джеймсом, организованном через некоторое время по моей инициативе.


[Закрыть].

В Red Sox обязанности Джеймса достаточно разнообразны – и довольно конфиденциальны (в рамках официальной беседы он всячески воздерживался от деталей). После того как он в течение четверти века изучал бейсбол со стороны, можно было сказать, что в зрелом возрасте он несколько смягчился. Теперь спорт казался ему чем-то иным, чем в годы, когда он был внутри процесса; по словам Джеймса, он быстрее других распознает ментальные аспекты игры.

«В 80‑е годы я писал много чего, что потом оказалось неверным, – рассказывал он мне. – Одно из первых изменений было связано с тем, что у меня появились дети. Я знаю, что это клише, однако, когда у вас появляется свой ребенок, вы начинаете понимать, что и каждый человек вокруг вас – это тоже чей-то ребенок. И это – совершенно иной взгляд на людей. Пока вы растете, то воспринимаете всех этих людей как персонажей телешоу или видеоигр или героев на бейсбольных карточках – вы даже не задумываетесь, что все они – люди, которые делают лучшее из того, на что способны».

Я был поряжен, насколько были похожи комментарии Джеймса на те, что я слышал от Бина и Сандерса, хотя все эти люди смотрели на спорт под совершенно разными углами. Так, если бы вы положили рядом записи моих разговоров с Джеймсом, Бином и Сандерсом, то вряд ли могли бы понять, какая из них относится к конкретному собеседнику (если не принимать во внимание то, что разговоры с Джеймсом были на порядок забавнее). Джеймс признаёт, что скауты Red Sox имеют определенную ценность для клуба, и проводит параллель между своей и их миссией. В бейсболе успех измеряется довольно определенным образом – соотношением показателей W и L (выигрышей и проигрышей), – поэтому найти общую точку для соприкосновения достаточно несложно. Если повышение объема информации делает ваши предсказания хуже, то вам следует заняться чем-то другим, и уж точно вы не будете пожизненно заняты в McLaughlin Group.

«На определенном уровне и я, и скауты воспринимаем бейсбол одинаково, – рассказывал мне Джеймс. – Возможно, это можно сравнить с ситуацией, когда люди с крайне правыми и крайне левыми взглядами начинают говорить, по сути, об одном и том же. Скауты хотят увидеть то же, что пытаюсь увидеть я».

В 2004 г. Джеймс помогал Red Sox отбирать новых игроков. Он написал довольно положительный отчет о Педройе, однако порекомендовал команде взять кого-то другого. Тем не менее ему было приятно и то, что Педройя все же попал в команду, и то, что его результаты заставляли прежних критиков выглядеть идиотами.

Однако в самом начале карьеры Педройи было несколько моментов, когда даже самые большие его фанаты начали в нем сомневаться. Педройю пригласили для участия в играх высшей лиги в августе 2006 г. Он сыграл в 31 матче, однако его показатель попадания по мячу составил всего 0,198, и он всего шесть раз смог выбить мяч за пределы базы. Это никого не обеспокоило; Red Sox, в несколько непривычной для себя манере уже выбыла из соревнований в рамках плей-офф в последние недели сезона, и внимание всей Новой Англии переключалось на Celtics и Patriots. Однако в следующем году, когда Педройе уже была доверена вторая база, он начал сезон столь же медленно – после первого месяца игр его результат составил 0,172.

В этот момент Педройю уже могли бы выгнать из такой команды, как Cubs, до недавних времен славившейся своим довольно бессистемным процессом принятия решений. Во многих клубах каждое действие вызывает мощную и порой чрезмерную прямо противоположную реакцию. Однако Red Sox следует более дисциплинированному и систематическому подходу. И когда менеджеры Red Sox внимательно посмотрели на происходившее с Педройей в тот момент сезона, то, по словам Джеймса, они увидели кое-что, что им понравилось. Педройя не просто промахивался по мячу – он активно взаимодействовал с ним. И активность этого взаимодействия должна была рано или поздно привести к появлению какой-то новой тенденции.

«У каждого из нас возникает момент, когда мы теряем доверие к данным, – сказал мне Джеймс. – Возможно, вы это знаете и сами, но если вы посмотрите на данные предыдущего года, когда результат Дастина составил где-то около 0,180, то соотношение ударов и промахов у него находилось на уровне примерно 8–9 %. Это происходило именно в те весенние месяцы, когда ему было сложнее всего. Такой результат вполне закономерен – если вы замахиваетесь так же сильно, как он, то вы никогда в жизни не сможете обеспечить хороший контакт и показать результат выше 0,180».

Руководители команды Red Sox принимали решение о том, чтобы Педройя оставался в команде, не без сомнений. Они продолжали наблюдать за ним, чтобы понять, удается ли ему делать то, что приносило ему успех на любительском уровне. Если бы они решили оставить Педройю на скамейке запасных, то принятие его потребовало бы ничуть не меньших раздумий, чем решение о том, чтобы выпустить его на поле. Они не позволяли данным диктовать решения без рассмотрения более широкого контекста происходящего.

По словам Джеймса, единственное, что их беспокоило, было связано с тем, не начнет ли сам Педройя сомневаться в себе. И такой поворот событий был вполне вероятен для любого другого игрока, но только не Педройи, не переживающего ни из-за дураков, ни из-за критиков.

«К счастью, Дастин по-настоящему упрямый человек. Если бы он слушал всех этих людей, то почувствовал бы себя униженным, и это бы его просто уничтожило. Он же никого не слушал. Он копал свою яму, он отрабатывал замахи, и, в конечном итоге, все повернулось так, как он хотел».

Педройя обладает тем, что Джон Сандерс называет «памятью главной лиги», то есть быстро забывает то, что становится прошлым. Его не беспокоят отдельные неудачи, потому что он совершенно уверен в том, что играет правильно, а в долгосрочной перспективе значение имеет лишь это.

И он крайне нетерпим ко всему, что отвлекает его от работы. И становится не самым приятным в общении человеком, но именно это и дает ему возможность играть на второй базе за бостонскую команду Red Sox, а это – единственное, о чем заботится Педройя.

«Наши сильные и слабые стороны всегда взаимосвязаны, порой не самым явным образом, – сказал мне Джеймс. – Педройя смог превратить в силу то, что у других игроков является слабостью».

Реальные уроки «Moneyball»

«Как сказал Майкл Льюис, споры окончены», – заявил Билли Бин, когда мы с ним обсуждали «Moneyball». В течение какого-то времени «Moneyball» представлял немалую угрозу для людей, имеющих отношение к игре. Казалось, что на кон поставлена их работа и уровень жизни. Однако новая жизнь так и не наступила – компьютеры не стали полноценной заменой скаутам. В действительности спрос на знание о том, какое будущее ждет различные категории бейсболистов (знание, получаемое либо из отчетов скаутов, либо из статистических систем типа PECOTA), все же значительно превышает предложение. Каждый раз, когда команда размышляет над тем, кого брать в состав, кого обменять на другого игрока или сколько заплатить за свободных игроков, на кону стоят миллионы долларов – и исход будущего чемпионата. И чтобы принять правильные решения, команды все активнее используют все имеющиеся в их распоряжении инструменты.

Информационная революция внесла существенный вклад в мир бейсбола, при том что во многих других областях ее результаты оказались значительно более скромными. И причина тому – присущая бейсболу уникальная комбинация быстро развивающихся техник, хорошо сбалансированной системы стимулов, жесткой конкуренции и наличия огромных массивов данных.

Но это не делает жизнь Бина легче. В разговоре со мной он выразил изрядную озабоченность тем обстоятельством, что другие команды смогли скопировать лучшие трюки A’s. Например, немногие команды в наши дни не понимают всей важности OBP[61]61
  OBP (Onbase Percentage) – процент попаданий на базу.


[Закрыть] или пренебрегают ролью защиты – но при этом у большинства из них, как и прежде, гораздо больше денег, чем у A’s.

В таких высококонкурентных областях, как спорт, лучшие прогнозисты должны постоянно использовать новые методы. Нет ничего сложного в том, чтобы поставить себе цель «пользоваться неэффективностью рынка».

Вот почему эта книга обходит стороной быстрые и легкие решения, но и не приводит план поиска примеров такой неэффективности. Они не позволят вам понять, действительно ли вам удалось нащупать что-то свежее и интересное, или же вы забрели в тупик. Маловероятно, что вы натолкнетесь на идею, которую никто другой не обдумывал. А еще сложнее – на хорошую идею, – и даже когда вы на нее натолкнетесь, пройдет совсем немного времени, и ее кто-нибудь скопирует.

Вот почему эта книга не рассказывает о быстрых решениях, в основе которых лежат лишь небольшие корректировки, дающие возможность предсказывать будущее лучше конкурентов. Хорошие специалисты в области инноваций обычно обдумывают ситуацию и масштабно, и в деталях. Порой новые идеи можно найти именно в деталях и тонкостях проблемы, на которые не обращают внимания другие. А порой их можно найти, когда вы начинаете совершенно абстрактно и философски размышлять о том, почему мир устроен определенным образом и возможна ли альтернатива для доминирующей парадигмы. Но подобное мышление сложно обрести в тех условиях, в которых живут 99 % из нас. Привычные для нашей обычной жизни способы мыслить категориями и делать приблизительные выкладки порой приводят к тому, что мы упускаем из виду информацию, способную обеспечить нам конкурентное преимущество.

Главное, что здесь можно сделать, – это развивать инструменты и привычки, помогающие вам чаще находить идеи и информацию в нужном месте, и оттачивать навыки, необходимые как при поражениях, так и в победах.

Это сложная задача. Однако бейсбол остается необычайно плодородной почвой для множества новаторов. С момента дебюта PECOTA прошло десять лет, но после нее никакая другая столь же новаторская система так и не была создана. Однако наверняка появится кто-то, способный по-умному распорядиться данными Pitch f/x или же понять, каким образом совмещать количественные и качественные оценки результативности игрока. Все это обязательно произойдет, и произойдет быстрее, чем мы думаем, – возможно, уже тогда, когда будет печататься тираж этой книги.

«Сейчас в игру вступают люди с невероятно высокими интеллектуальными и творческими способностями, – рассказывал мне Бин. – Если бы я хотел получить свою работу десятью годами позже, то не дошел бы даже до стадии собеседования».

Moneyball умер; да здравствует Moneyball.