Текст книги "Просчитать будущее. Кто кликнет, купит, соврёт или умрёт"

Рискованный шаг

Дамы и господа… позвольте представить вам этого образованного и утонченного молодого человека, который совсем недавно был массой неразумной безжизненной материи.

Д-р Фредерик Франкенштейн (в исполнении Дж. Уайлдера) в фильме «Молодой Франкенштейн» Мела Брукса

Д-р Джон Элдер поставил все деньги на свою прогнозную модель. Он состряпал ее в лаборатории, упаковал в черный ящик и запустил в работу на фондовом рынке. Некоторые люди собственноручно изготавливают себе удобную кровать, чтобы затем предаваться на ней спокойным снам. Но Джон вскарабкался на гору, чтобы совершить прыжок веры. Прыгая вниз с экспериментальными крыльями собственной конструкции, Джон хотел знать, сколько времени пройдет, прежде чем он сможет с уверенностью сказать, что летит, а не просто падает вниз.

Думая о рисках, Джон словно смотрелся в треснувшее зеркало, отражающее его собственную уязвимость. Все их с женой пенсионные накопления были загружены в экспериментальный аппарат, который был запущен в неизвестность и который ожидала одна из двух участей обычной ракеты: успешный полет или падение. Десятки тысяч трейдеров в условиях жесточайшей конкуренции каждодневно занимаются тем, что ищут устойчивые рыночные закономерности, способные приносить прибыль; научиться делать это автоматически посредством машинного обучения – невероятного честолюбия замысел, многим представляющийся нереализуемым. Фактически Джон действовал как первопроходец, поскольку любая работа в этой области покрыта завесой тайны, что не дает возможности учиться на успехах и неудачах других. Несмотря на то что ученые активно публикуют свои теоретические разработки, а трейдеры охотно обсуждают открывающиеся возможности, реальная механика алгоритмических торговых стратегий скрыта за семью печатями. То, что отлично выглядит на бумаге, может таить в себе дефект или ошибку, способные подорвать торговую систему и привести к банкротству. Джон говорит: «Уолл-стрит – вот самый крепкий орешек в деле анализа данных».

Риск был очевиден. Ведь незадолго до этого Джон обнаружил критический изъян в одной прогнозной торговой системе и собственноручно вырыл ей могилу. Небольшой финансовой компании Delta Financial была предложена механическая торговая система, так называемый черный ящик, который предположительно должен был прогнозировать движения индекса S&P 500 с 70 %-ной точностью. Разработанная именитым ученым, эта торговая система обещала принести миллионы, и заинтересованные лица активно подыскивали инвесторов, готовых сделать крупные ставки. Поскольку Delta была известна своим пристрастием к исследованию и продвижению инновационных подходов, а также готовностью идти на сопряженные с этим риски, ей было предложено взять на себя роль первоиспытателя и проложить путь для других ранних инвесторов. В качестве необходимой меры предосторожности Delta хотела протестировать предложенную ей систему на практике, поэтому обратилась к Джону, который оказывал ей консультационные услуги, параллельно работая над докторской диссертацией в Университете Шарлоттсвилля, штат Вирджиния. Работа Джона для Delta часто заключалась в проверке, а иногда и «рытье могил» для механических торговых систем.

Как доказать, что машина сломана, если вам не разрешают заглянуть внутрь? Джон был настроен скептически: заявленная 70 %-ная точность прогнозов давала ему повод для сомнений. Это было слишком хорошо, чтобы быть правдой. Но у него не было доступа к самой прогнозной модели. В целях обеспечения строжайшей секретности протокол такого рода проверки предусматривал предоставление Джону только численных выходных данных, а информация о самой системе ограничивалась несколькими восторженными прилагательными, такими как инновационная, уникальная, эффективная! И вот, имея на руках столь скудные доказательства, Джон пытался доказать факт преступления, в совершении которого он сам не был полностью уверен.

Прежде чем запустить ПА-систему в действие, организации проверяют ее работоспособность посредством «прогнозирования прошлого» (так называемого бэктестинга). Модель должна доказать свою прогнозную точность на исторических данных. Она может тестироваться на данных за прошлую неделю, прошлый месяц или прошлый год. В модель загружаются входные данные, которые были известны в некий исходный момент времени, и она выдает прогноз, который сопоставляется с тем, что фактически произошло в дальнейшем. Например, модель должна спрогнозировать, упадет или вырастет индекс S&P 500 21 марта 1991 года. Если она дает правильный ответ на этот ретроспективный вопрос, опираясь только на данные, доступные 20 марта 1991 года (т. е. за день до этого), мы получаем доказательство работоспособности модели. Вот такие-то ретроспективные прогнозы – без единого намека на то, каким образом они были получены, – были единственной информацией, с которой предстояло работать Джону.

Хьюстон, у нас проблема

Даже самые гениальные инженеры совершают самые прозаичные и дорогостоящие ошибки. В конце 1998 года НАСА запустило космический аппарат Mars Climate Orbiter, который должен был совершить сложнейший девятимесячный полет до Марса и обосноваться на его орбите. Нужно сказать, что эту миссию удалось успешно выполнить менее чем половине всех запущенных в мире космических аппаратов. Этот же аппарат стоимостью $327,6 млн также постигла печальная участь – но вовсе не по воле злого рока, а из-за глупой ошибки. Он прошел над поверхностью Марса на высоте всего 57 км вместо расчетных 140 км и попросту сгорел в атмосфере. В чем же причина такого отклонения? Дело в том, что в программном обеспечении Mars Climate Orbiter использовалась международная единица измерения силы ньютон, в то время как программное обеспечение на Земле использовало британскую единицу измерения фунт-сила. Ой…

Джон смотрел на испещренный числами монитор и размышлял, не скрывается ли здесь какой-нибудь изъян, и если да, то как его обнаружить. Глядя на длинный список впечатляющих – пусть и ретроспективных пока – прогнозов, он ясно видел обещание огромных прибылей, которое так будоражило остальных. Если бы ему удалось найти дефект в системе, приговор был бы очевиден; если нет, он обрекал всех на затяжную неопределенность. Эту задачу можно было решить только при помощи обратного инжиниринга, или декомпиляции: исходя из сгенерированных системой прогнозов, может ли он догадаться о том, как она работает под капотом, – т. е. по сути раскрыть тайную механику этого черного ящика? Ирония заключалась в том, что прогнозное моделирование само по себе построено на обратном инжиниринге. Машинное обучение начинается с того, что берутся эмпирические данные, описывающие уже свершившиеся события и факты, и в них ищутся закономерности, которые могли сгенерировать имеющиеся данные или же могут объяснить их. Джон пытался вывести закономерности, которые вывела до него другая команда. Каким образом он действовал? Опирался на интуитивные догадки и плохо информированные умозаключения, которые можно было проверить только методом проб и ошибок, и тестировал каждую созданную им замысловатую гипотетическую конструкцию, программируя ее вручную и сравнивая ее результаты с предоставленными ему ретроспективными прогнозами.

Его настойчивость наконец-то принесла свои плоды: Джон обнаружил изъян в прогнозной модели, тем самым разоблачив неприглядную тайну Волшебника из Страны Оз. Оказалось, что прогнозная система была построена на кощунственном обмане: она опиралась на данные, на которые ни в коем случае не должна была опираться, – на данные из будущего. Ее впечатляющие ретроспективные прогнозы вообще не были прогнозами как таковыми. Они были частично основаны на трехдневных средних значениях, рассчитанных по вчерашней, сегодняшней и… завтрашней цене. Возможно, разработчики намеревались включить параметр трехдневного среднего, ограничив его расчет сегодняшним днем, но нечаянно сдвинули диапазон на день вперед. Ой… Наличие такой серьезной ошибки позволяло спрогнозировать со 100 %-ной точностью, что модель вряд ли вообще будет работать на практике. Дело в том, что, работая в реальных условиях, она лишится возможности включать в свои прогнозы те самые ключевые данные, которые, собственно говоря, и предназначена была прогнозировать – завтрашнюю цену акций, – просто потому, что та пока не известна. Если бы система была внедрена, она никогда не смогла бы обеспечить такую же сверхточность прогнозов, которую она продемонстрировала обманным путем на исторических данных. Действуя интуитивно, при помощи обратного инжиниринга, Джон сумел разработать метод, содержащий такую же ошибку, и показал, что его прогнозы полностью совпадают с прогнозами этой «гениальной» торговой системы.

Прогнозная модель пойдет ко дну быстрее, чем «Титаник», если не устранить все подобные «утечки», прежде чем спускать ее на воду. Но такого рода «утечки из будущего» – распространенная проблема. Хотя такая ошибка нарушает фундаментальную целостность прогнозирования, ее легко совершить, поскольку каждая модель тестируется на исторических данных, для которых прогнозирование, строго говоря, невозможно. Относительное будущее всегда легкодоступно в экспериментальных данных, и его легко непреднамеренно включить в ту самую модель, которая пытается его предсказать. Такие утечки из будущего буквально стали притчей во языцех среди специалистов по прогнозной аналитике. Если бы это был эпизод из «Звездного пути», то наш любимый инженер-маньяк Скотти воскликнул бы: «Капитан, мы теряем нашу временную целостность!»

Джон не без удовольствия сообщил Delta Financial эту неприятную новость: он развенчал систему, по сути разоблачив ее как непреднамеренное мошенничество. Большие надежды были разбиты, но благодарность последовала незамедлительно, поскольку потенциальные инвесторы осознали, что были на волосок от огромных убытков. Честолюбивый изобретатель системы был удручен, но признал, что ему пришлось бы гораздо хуже, если бы ошибка вскрылась после запуска системы. Вполне вероятно, его могло ожидать уголовное преследование за мошенничество, пусть и неумышленное. Проект был закрыт.

Маленькая модель, которая сделала это

Все новое зарождается там, где заканчивается старое.

Из песни «Closing Time» группы Semisonic

Несмотря на молодой возраст, Джон был компетентным специалистом в области анализа данных, к которому часто обращались за советом инвесторы-предприниматели, хотевшие внедрить механическую торговую систему. Один из таких инвесторов переехал в Шарлоттсвилль как раз после того, как Джон Элдер, получив докторскую степень, переехал в Хьюстон: ученому предстояло пройти очередной этап своего академического пути ― его ждало место научного сотрудника в постдокторантуре Университета Райса. Но в Шарлоттсвилле он оставил после себя глубокий след, поэтому и в академических, и в коммерческих кругах инвестору посоветовали обратиться к Джону. Несмотря на расстояние, тот нанял Джона, чтобы подготовить и запустить новую механическую торговую систему и затем следить за ее работой дистанционно, из Хьюстона.

Так для Джона настало время оставить безопасную роль консультанта, ограничивающегося оценкой прогнозных систем, разработанных другими, и создать свою собственную. Он собрал небольшую группу коллег, и за несколько месяцев, опираясь на ключевые идеи, предоставленные им инвестором, они разработали новую многообещающую прогнозную модель и на ее основе создали механическую торговую систему. Джону не терпелось испытать ее в действии. Все было готово для запуска, кроме одного: люди не были готовы поставить на систему свои деньги.

Верить Джону были веские основания. Он был талантливым ученым, обладающим глубокими научными знаниями, но вместе с тем имел впечатляющий опыт в решении широкого спектра практических задач в области интеллектуального анализа данных. В докторской диссертации он предложил наиболее эффективный, по признанию коллег, метод оптимизации для определенного широкого класса задач системной инженерии (машинное обучение также представляет собой своего рода задачу оптимизации). Помимо прочего, он разработал прогнозную систему для определения вида летучих мышей по издаваемым им эхолокационным сигналам. Прежде чем уйти в науку, Джон занимался непосредственно практическими аспектами применения машинного обучения, в том числе системами управления космическими полетами, системами для обнаружения трещин в трубах системы охлаждения ядерных реакторов, не говоря уже о проектах по проверке черных ящиков для Delta Financial.

И вот теперь последнее творение Джона было полностью готово к старту. Результаты тестирования на исторических данных вселяли уверенность в работоспособности системы, обещая радужные перспективы. Вот как сказал об этом Джон: «Из всепоглощающего рыночного шума вырисовался небольшой шаблон. Мы наткнулись на устойчивую неэффективность ценообразования в одной из частей рынка, что давало нам небольшое преимущество над средним инвестором, которое казалось повторяемым». Неэффективность ценообразования – именно за счет этого и живут биржевые трейдеры. На абсолютно эффективном рынке такое было бы невозможным, но реальный рынок далек от идеала, поэтому тот, кто умеет обнаружить точки неэффективности, может сорвать большой куш.

1. Предмет прогнозирования: будет ли цена акции расти или падать.

2. Цель прогнозирования: использовать прогнозы для покупки акций, которые будут расти в цене, и продажи акций, цены которых будут падать.

Джон не мог получить зеленый свет. Он пытался убедить инвесторов, но натыкался на опасливые отказы. Казалось, это был замкнутый круг. Инвесторы не могли преодолеть свой страх, пока не увидят успешной работы системы, но система не могла быть запущена в работу, поскольку у нее не было топлива – денег. Нужно было действовать сейчас, так как каждый день означал упущенную возможность.

После очередной встречи, которая также закончилась ничем, Джон вернулся домой и поговорил с женой Элизабет. Могла ли супруга устоять перед горячим энтузиазмом любимого мужа и его верой в собственные силы? Она дала разрешение рискнуть всем, что у них было, – шаг, который мог поставить под угрозу даже дом, в котором они жили.

Но Джону требовалось одобрение еще одной стороны. Он изложил свой план инвестору-клиенту, что вызвало вопросы, удивление и опасения. Джон хотел начать на свои личные средства, что устраняло всякий риск для клиента и позволяло разрешить любые сомнения благодаря испытанию модели в реальных условиях. Но этот неортодоксальный шаг был сродни сомнительному решению быть своим собственным адвокатом. Когда человек рискует всеми своими деньгами, на такое часто смотрят неодобрительно. Это говорит о его чрезмерной самоуверенности, если не о глупой браваде. Даже если сам клиент верил Джону, другие инвесторы не знали его и не доверяли ему. Но Джон сам устанавливал правила игры, в которую решил сыграть.

Он получил от инвестора ответ: «Действуйте!» Это означало, что теперь ничто не стояло у него на пути. Но это также могло означать, что инвестор был готов списать проект со счетов, понимая, что ему нечего больше терять.

Хьюстон, мы взлетели

Прогнозные аналитики часто в некоторой мере ставят на кон свою профессиональную жизнь, чтобы двигаться вперед, но этот случай был экстремальным. Как и легендарный бейсбольный тренер Билли Бин из OakLand A’s, который рисковал своей карьерой, разрабатывая и тестируя новый аналитический подход к управлению командой, Джон рисковал всем, что имел. В начале 1994 года на его индивидуальном пенсионном счету накопилось чуть больше $40 000. И все эти деньги он поставил на свою торговую систему.

«Запускать в действие черный ящик по-настоящему захватывающе и страшно, – говорит Джон. – Это американские горки, где невозможно остановиться. Ваша тележка преодолевает головокружительные подъемы и спуски, и при этом существует вполне реальная вероятность того, что она может сойти с рельсов».

Как и в бейсболе, отмечает он, эти спады не являются спадами как таковыми. Это неизбежные статистические реалии. Всякий раз вы задаете себе вопрос: «Это чувство падения – нормальная часть безопасной езды или признак того, что что-то сломалось?» Ключевым компонентом его системы был тщательно продуманный механизм оценки реального качества – показателя целостности системы, учитывающего, был ли последний успех действительно заслуженным или же всего лишь результатом слепой удачи.

Сразу после старта предиктивная ракета Джона принялась уверенно набирать высоту. Она увеличивала его активы со скоростью примерно на 40 % в год, что означало удвоение его первоначальной инвестиции всего за два года.

Клиент был впечатлен и вскоре вложил пару миллионов долларов из своего кармана. Через год прогнозная модель управляла фондом в $20 млн, сформированным группой инвесторов, и в конечном итоге активы под ее управлением выросли до нескольких сотен миллионов долларов. При таком размахе каждый небольшой успешный прогноз, сделанный системой, приносил многократную отдачу.

Все участники этого пиршества получали щедрый кусок пирога, и торговая система Джона продолжала свое триумфальное шествие почти девять лет, все это время стабильно опережая рынок. Она автономно торговала в десятках рыночных секторов, таких как технологии, транспорт и здравоохранение. По словам Джона, «система обыгрывала рынок каждый год, демонстрируя лишь две трети среднего отклонения[7]7
  Среднее, или среднеквадратическое, отклонение можно считать мерой неопределенности. В биржевом анализе используется для оценки волатильности. Мера риска для инвестиций: чем больше величина среднего отклонения, тем выше риск. – Прим. пер.


[Закрыть], – это был потрясающий результат с точки зрения доходности, скорректированной с учетом риска».

Но все хорошее однажды заканчивается, и точно так же, как когда-то Джон уговорил своего клиента начать проект, теперь он убедил его закрыть. После почти десяти лет успешной работы ключевой показатель целостности системы начал снижаться. Джон был уверен, что система работает на последних парах, поэтому без лишних церемоний фонд был закрыт, а деньги – розданы. Система была остановлена вовремя, пока не произошла катастрофа, и все инвесторы вышли из этого предприятия с щедрой прибылью.

Настоящий ученый

Впечатляющий успех его детища кардинально изменил жизнь Джона. Когда проект вышел на крейсерский режим, он начал с легкостью обеспечивать средствами к существованию свою быстро растущую семью. На управление проектом у Джона уходило не больше двух часов в день, которые он посвящал мониторингу, настройке и обновлению фундаментально стабильного и работоспособного метода, лежащего в основе черного ящика. Чем заниматься в остальное время? Сидеть в мягком кресле и потягивать вино, время от времени прерывая безделье семейными поездками в «Диснейленд»? Но Джон не привык к такому образу жизни. Раньше ему всегда приходилось «жечь свечу с двух концов», чтобы заработать на жизнь: в колледже он всегда подрабатывал в летние каникулы, параллельно с учебой в аспирантуре занимался консультированием, и даже этот проект по разработке черного ящика начался как работа по совместительству. Или же ему следует, как диктует традиционная логика бизнеса, заняться расширением своей деятельности, делая больше того же самого, в чем он преуспел?

Но страсть Джона к своему ремеслу перевесила своекорыстные реакции на свалившееся на него богатство. Другим словами, ему был присущ дух настоящего ученого. Он шутит по поводу своей ненасытной потребности искать и находить свежие и стимулирующие научные задачи. Он испытывает непреодолимую тягу к тому, чтобы постоянно пробовать что-то новое. От этой болезни есть только одно лекарство – растущий список разнообразных проектов. Поэтому через два года после запуска механической торговой системы он уволился из Университета Райса, упаковал вещи и вернулся с семьей в Шарлоттсвилль, чтобы открыть собственную компанию, специализирующуюся на интеллектуальном анализе данных.

Сегодня созданная Джоном компания Elder Research – крупнейшая фирма в Северной Америке по оказанию услуг в области прогнозного анализа. Тогда как для многих компаний ключом к успеху является узкая специализация, преимущество Elder Research заключается в прямо противоположном – в разнообразии. Деятельность компании выходит далеко за рамки мира финансов и охватывает все ведущие коммерческие сектора и многие правительственные сферы. Джон стал признанным авторитетом в своей области. Он председательствует на крупных конференциях, выступает соавтором новейших учебников, читает лекции в университетах и пять лет по поручению президента работал в комиссии по вопросам технологий в Совете национальной безопасности.