Текст книги "Алгоритмы для жизни: Простые способы принимать верные решения"

Сожаление и оптимизм

Сожаления? Их было несколько. Настолько мало, что и вспоминать не стоит.

Фрэнк Синатра

Я оптимист – не вижу особого смысла в том, чтобы быть кем-то еще.

Уинстон Черчилль

Если индекс Гиттинса слишком сложен или ситуация, в которой вы оказались, не располагает к геометрическому дисконтированию, у вас есть еще один вариант: сосредоточиться на сожалении. Когда мы выбираем, что съесть на ужин, с кем провести время или в каком городе жить, на горизонте появляются сожаления: имея набор отличных вариантов, легко замучить себя мыслями о последствиях неправильного выбора. Обычно мы сожалеем о том, что нам не удалось сделать, о возможностях, которые мы упустили. Как гласит памятная фраза бизнес-теоретика Честера Барнарда, «пробовать и ошибаться – значит хотя бы учиться; ошибиться, не попробовав, – значит пережить невосполнимую потерю того, что могло бы быть».

Сожаление, впрочем, может стать отличной мотивацией. Прежде чем создать Amazon.com, Джефф Безос занимал спокойную и хорошо оплачиваемую должность в инвестиционной компании D. E. Shaw & Co в Нью-Йорке. Запуск книжного онлайн-магазина должен был стать большим скачком – именно тем, что его босс (тот самый D. E. Shaw) советовал Джеффу тщательно обдумать. Безос рассказывает:

Общие принципы, которые я открыл и которые сделали решение предельно простым, я назвал – как назвал бы только «ботаник» – принципами минимизации сожалений. Я представил себя в возрасте 80 лет и сказал: «О'кей, вот я оглядываюсь на прожитую мною жизнь. Хотел бы я свести к минимуму те сожаления, которые мне пришлось испытать!» Я знал, что, когда мне стукнет 80, я точно не пожалею о том, что попробовал сделать это. Я не пожалею о том, что ввязался в то, что называется интернетом, и я знал, что это будет великая вещь. Я знал, что в случае неудачи я не буду сожалеть об этом, но я всегда буду сожалеть о том, что даже не попытался. Я знал, что это будет преследовать меня каждый день, поэтому, когда я взглянул на все с этой точки зрения, принять решение оказалось весьма легко.

Информатика не обеспечит вам жизнь, целиком лишенную сожалений. Однако она может предложить то, чего так добивался Безос: жизнь с минимумом сожалений.

Сожаление – результат сравнения того, что мы на самом деле сделали, с тем, что могло бы быть лучше, если оглянуться назад. В проблеме многорукого бандита «невосполнимая потеря» Барнарда на самом деле может быть точно оценена, а сожаление измерено количественно: это разница между общим выигрышем, полученным в результате следования определенной стратегии, и выигрышем, который теоретически можно было бы получить, просто дергая каждый раз за рычаг лучшего автомата (если бы нам с самого начала было известно, какой из них лучший). Мы можем вычислить эту цифру для различных стратегий и выбрать те, которые сводят ее к минимуму.

В 1985 году Герберт Роббинс предпринял вторую попытку решения проблемы многорукого бандита, спустя 30 лет после его первой работы по «победил – закрепи успех, проиграл – переключись». Ему и его коллеге из Колумбийского университета математику Цзе Люн Лаю удалось доказать несколько ключевых моментов, касающихся сожалений. Во-первых, предполагая, что вы не всезнайка, можно сказать, что число ваших сожалений никогда не перестанет расти, даже если вы будете выбирать наилучшую стратегию действий. Потому что даже наилучшая стратегия не может быть каждый раз совершенной. Во-вторых, сожаление будет расти меньшими темпами, если вы будете предпочитать лучшую стратегию всем прочим; более того, с хорошей стратегией уровень сожаления будет падать по мере более глубокого изучения проблемы и выбора лучших решений. В-третьих и в-главных, минимально возможное количество сожалений – снова не допуская всеведения – это сожаление, которое растет логарифмически выверенно с каждым рывком рычага.

Логарифмически растущее сожаление означает, что мы совершим столько же ошибок за первые десять рывков, сколько мы совершим за последующие девяносто, и столько же ошибок за первый год, сколько за оставшиеся девять из декады. (Количество ошибок в первой декаде, в свою очередь, совпадет с количеством ошибок за последующие 90 лет.) Это в какой-то мере утешает. В целом мы не можем ожидать, что в один прекрасный день сожаления вовсе исчезнут. Но если следовать алгоритму минимизации сожалений, то с каждым годом мы можем ожидать меньше сожалений, чем в предыдущем году.

После Лая и Роббинса исследователи последние десятилетия искали алгоритмы, которые могли бы гарантировать минимальное количество сожалений. Из всех обнаруженных самый популярный получил название алгоритма верхнего доверительного предела.

Иллюстрированные статистические показания часто включают в себя так называемые планки погрешностей, которые идут вверх и вниз от любой точки графика, указывая на погрешность измерений; планки погрешностей показывают диапазон вероятных значений, которых измеряемая величина может достигать. Этот диапазон также известен как доверительный интервал, и чем больше информации мы соберем о чем-либо, тем сильнее будет сокращаться доверительный интервал, отражая все более точную оценку. (Например, игровой автомат, выдавший выигрыш один раз из двух, будет иметь более широкий доверительный интервал, хотя и такую же ожидаемую выгоду, как и тот, который выдал выигрыш 5 раз из 10.) Согласно алгоритму верхнего доверительного предела, в задаче с многоруким бандитом достаточно выбрать тот автомат, у которого верхняя точка доверительного интервала будет самой высокой.

Как и индекс Гиттинса, алгоритм верхнего доверительного предела определяет единое число для каждого рычага многорукого бандита. И это число устанавливается равным наибольшему значению, которого автомат мог бы объективно достичь, основываясь на доступной нам до сих пор информации. Таким образом, алгоритм верхнего доверительного предела не учитывает, какой из автоматов был доселе лучшим; вместо этого он выбирает автомат, который объективно мог бы стать лучшим в будущем. Если вы, к примеру, никогда не были в некоем ресторане, он может оказаться гораздо лучше всех тех, что вы знаете. И даже если вы бывали в нем раз-другой и пробовали пару предлагаемых в нем блюд, вы все равно не будете достаточно информированы, чтобы исключить вероятность того, что он может оказаться лучше вашего любимого местечка. Так же, как и индекс Гиттинса, верхний доверительный предел всегда больше ожидаемой выгоды, но становится меньше и меньше по мере того, как мы накапливаем опыт работы с выбранным объектом. (Ресторан, получивший одну-единственную посредственную оценку, по-прежнему сохраняет потенциал превосходства, в отличие от ресторана, получившего сотни таких оценок.) Рекомендации, которые дает алгоритм верхнего доверительного предела, будут такими же, как и у индекса Гиттинса, но их значительно легче выработать, и они не требуют предположения о геометрическом дисконтировании.

Алгоритмы верхнего доверительного предела претворяют в жизнь принцип, прозванный оптимизмом перед лицом неопределенности. Оптимизм, как выясняется, может быть совершенно рациональным. Сфокусировавшись на том лучшем, что может дать объект, принимая во внимание доказательства, полученные к данному моменту, эти алгоритмы увеличивают возможности, о которых мы знали меньше всего. Как следствие, они действительно вносят долю исследования в процесс принятия решений, заставляя с энтузиазмом хвататься за новые возможности, потому что одна из них может оказаться выдающейся. Этот же принцип, к примеру, использовал Лесли Келблинг из Массачусетского технологического института в создании «оптимистичных роботов», которые исследуют пространство вокруг себя, повышая ценность неизведанных территорий. И это, разумеется, имеет значение для жизни человека.

Успех алгоритмов верхнего доверительного предела формально оправдывает пользу сомнений. Следуя этим алгоритмам, вы должны с восторгом знакомиться с новыми людьми и пробовать что-то новое, предполагая о них лучшее за неимением доказательств обратного. В конечном итоге оптимизм – лучшее лекарство от сожалений.

Интернет-казино

В 2007 году руководитель производственного направления компании Google Дэн Сирокер взял отпуск, чтобы присоединиться к президентской кампании тогдашнего сенатора Барака Обамы в Чикаго. Возглавив команду «Новых медиааналитиков», Сирокер использовал одну из интернет-практик Google для поддержки так называемой кнопки пожертвований кампании. Результат оказался ошеломляющим: $57 млн дополнительных пожертвований стали прямым итогом его работы.

Что именно он сделал с этой кнопкой?

Он провел сплит-тестирование.

Сплит-тестирование (или А/В-тестирование) работает следующим образом: компания разрабатывает несколько версий определенной интернет-странички. Для этого используются, например, различные цвета или изображения, разные заголовки для новостных статей или по-разному располагают элементы на экране. Затем входящие пользователи случайным образом направляются на эти страницы (как правило, в равных количествах). Один пользователь может увидеть красную кнопку, в то время как другой видит синюю; один видит «Передать в дар», а другой – «Пожертвовать». Затем соответствующие количественные показатели – например, число кликов или средняя выручка от каждого посетителя – отслеживаются. Если по истечении определенного периода времени отмечаются статистически значимые результаты, то «победившая» версия, как правило, становится окончательной – или контрольной для следующего цикла экспериментов.

В случае со страничкой пожертвований Обамы результаты А/В-тестов Сирокера были впечатляющими. В случае с теми, кто впервые посетил сайт кампании, самой действенной оказалась кнопка «Пожертвуйте и получите подарок», несмотря на то что стоимость отправки подарка учитывалась. В случае с давними подписчиками на новости сайта, которые никогда не давали ни копейки, лучше всего сработала кнопка «Пожалуйста, пожертвуйте», вероятно взывавшая к их чувству вины. Посетителей, делавших пожертвования раньше, лучше всего сподвигла на следующие пожертвования кнопка «Внести вклад» (логика в том, что человек уже пожертвовал, но всегда может внести еще немного). И во всех случаях, к огромному удивлению команды кампании, простая черно-белая фотография семьи Обамы превзошла все фото и видео, которые команда могла придумать. Чистый эффект всех этих не зависящих друг от друга оптимизаций был поистине гигантским.

Если вы пользовались интернетом за последнее десятилетие, то вы, вероятно, стали частью решения чьей-либо задачи «исследовать/эксплуатировать». Компании хотят понять, что приносит им наибольший доход, стараясь в это же время заработать как можно больше. Исследуют, эксплуатируют. Крупные технологические компании, такие как Amazon и Google, начали проводить А/В-тесты на своих пользователях примерно с 2000 года, и в последующие годы интернет превратился в крупнейший управляемый эксперимент в мире. Что эти компании исследуют и эксплуатируют? Ну, например, вас: выясняют, что может заставит вас двинуть мышкой и раскошелиться.

Компании проводят А/В-тесты навигации по их сайтам, адресных строк и времени рассылки их рекламных имейлов, а иногда даже своих текущих характеристик и ценообразования. Вместо обычного алгоритма поиска Google и простого оформления заказов на Amazon теперь существует бессчетное множество едва уловимых изменений и перестановок. (К примеру, Google самым глупым образом протестировал 41 оттенок синего для одной из своих панелей инструментов в 2009 году.) Но в некоторых случаях маловероятно, что произвольная пара пользователей будет иметь абсолютно одинаковый опыт.

Специалист по обработке данных Джефф Хаммербахер, бывший сотрудник Facebook, однажды сказал в интервью Bloomberg Businessweek, что «лучшие умы моего поколения размышляют над тем, как заставить людей кликать по объявлениям». Вспомните «Вопль» Аллена Гинзбурга – «Я видел лучшие умы своего поколения, разрушенные безумием» – самое известное произведение бит-поколения. Хаммербахер оценивает такое положение дел как «отстой». Но, несмотря ни на что, интернет все же дает возможности для развития экспериментальной науки о кликах мышкой, о чем маркетологи прошлого не могли и мечтать.

Мы все, разумеется, знаем, что произошло с Обамой на выборах 2008 года. Но что же случилось с его аналитическим директором Дэном Сирокером? После инаугурации Сирокер вернулся на запад, в Калифорнию, и вместе с коллегой из Google Питом Куменом организовал фирму по оптимизации веб-сайтов Optimizely. К президентскому избирательному циклу 2012 года среди проектов их компании фигурировала как кампания по перевыборам Обамы, так и кампания кандидата от республиканцев Митта Ромни.

В течение примерно 10 лет после первого использования А/В-тестирование перестало быть секретным оружием. Оно так глубоко укоренилось в принципах ведения бизнеса и политики в интернете, что стало считаться чем-то само собой разумеющимся. Каждый раз, открывая браузер, вы можете быть уверены, что все цвета, изображения, тексты, возможно, даже и цены, которые вы видите, – и, конечно же, объявления – пришли из алгоритма исследования/эксплуатации, подстраиваясь под ваши клики. В этой конкретной задаче многорукого бандита вы не азартный игрок; вы – джекпот.

Сам процесс сплит-тестирования с течением времени становится все более изящным. Наиболее традиционная схема А/В-тестирования – разделение потока пользователей поровну между двумя вариантами в течение заданного периода времени, а затем передача всего трафика целиком победителю – необязательно может быть лучшим алгоритмом для решения данной проблемы, так как она означает, что половина пользователей получает худший по качеству вариант на время проведения тестирования. Награда за нахождение лучшего подхода потенциально весьма высока. Более 90 % от годового дохода компании Google (а это $50 млн) сегодня составляет доход от платной рекламы, а онлайн-торговля насчитывает сотни миллиардов долларов в год. Это означает, что алгоритмы исследования/эксплуатации эффективно властвуют – экономически и технологически – над значительной долей интернета в целом. Лучшие алгоритмы до сих пор горячо обсуждаются, конкурирующие статистики, инженеры и блогеры ведут бесконечные споры об оптимальном способе сбалансировать исследование и эксплуатацию в каждом возможном сценарии ведения бизнеса.

Обсуждения малейших отличий между разными взглядами на проблему исследования/эксплуатации могут показаться безнадежно туманными. На деле оказывается, что эти различия имеют огромное значение – и на кону не только президентские выборы или интернет-экономика.

На кону человеческие жизни.

Испытательный срок клинических исследований

Между 1932 и 1972 годами несколько сотен больных сифилисом афроамериканских мужчин в округе Мейкон, штат Алабама, были намеренно оставлены без медицинской помощи в рамках сорокалетнего эксперимента Службы общественного здравоохранения США, известного как Таскиджийское исследование сифилиса. В 1966 году сотрудник службы здравоохранения Питер Бакстун заявил протест. Второй протест был заявлен в 1968 году. Но ситуация не менялась, пока он не донес информацию до СМИ. Статья об этом вышла в The Washington Star 25 июля 1972 года, а на следующий день появилась на первой полосе The New York Times. И правительство США наконец прекратило исследование.

Общественный резонанс и последующие слушания в Конгрессе привели к инициативе по формальному закреплению принципов и стандартов медицинской этики. В результате заседания комиссии в 1979 году в Бельмонтском конференц-центре в Мэриленде был принят документ, известный также как Бельмонтский отчет. В нем изложены этические основы медицинских экспериментов. Таскиджийский эксперимент – вопиющее, однозначно неприемлемое нарушение долга работников системы здравоохранения по отношению к пациентам – благодаря этому не должен повториться. Но документ также отмечает, что в некоторых случаях сложно определить, где же должна проходить граница возможного.

«Завет Гиппократа "не навреди" давно уже стал основополагающим принципом медицинской этики, – отмечается в докладе. – [Физиолог] Клод Бернар распространил его действие и на сферу медицинских исследований, сказав, что никто не имеет права нанести человеку вред, независимо от тех выгод, которые это может принести остальным. Тем не менее, чтобы понять, как избежать вреда, потребуется изучение, которое может этот самый вред нанести; и в процессе получения этой информации некоторые субъекты могут быть подвержены риску». Таким образом, Бельмонтский отчет признает, но не отменяет той напряженности, которая неизбежно возникает между действием на основе неких имеющихся знаний и желанием получить еще больше знаний. Кроме того, становится ясно, что в отдельных случаях получение дополнительной информации может быть настолько ценным, что приходится опустить некоторые аспекты медицинской этики. Клинические испытания новых препаратов и методов лечения, отмечается в отчете, часто требуют риска причинения ущерба некоторым пациентам, даже если принимаются все меры по минимизации этого риска.

Но принцип милосердия не всегда столь однозначен. Остается сложная этическая проблема, касающаяся, например, исследований [по детским заболеваниям], имеющих степень риска выше минимального уровня при отсутствии в ближайшей перспективе непосредственной пользы для детей, включенных в эксперимент. Некоторые утверждают, что подобные исследования неприемлемы, но другие считают, что некий минимальный лимит исключит необходимость проведения многих исследований в будущем, обещая принести огромную пользу здоровью детей в перспективе. И здесь снова, как и во всех сложных ситуациях, различные требования, предусматриваемые принципом благодеяния, могут вступить в конфликт и поставить перед сложным выбором.

Один из основных вопросов, поднятых за время существования Бельмонтского отчета, звучит так: действительно ли стандартный подход к проведению клинических исследований предполагает свести к минимуму риски для пациентов? В традиционном клиническом испытании пациенты разделены на группы, и каждой группе назначается различное лечение на время проведения исследования. (Только в исключительных случаях испытания прекращают досрочно.) Цель данного способа – выяснить, какое лечение эффективнее, а не обеспечить каждому пациенту в отдельности наилучшую терапию. В этом случае он работает точно так же, как А/В-тестирование веб-сайта, когда определенные группы людей получают некий опыт в ходе эксперимента, который зарекомендует себя позднее. Но врачи, как и технологические компании, получают информацию о том, какой метод лучше, непосредственно в процессе исследования – информацию, которая может использоваться для улучшения результатов не только у будущих пациентов, но и у тех, кто уже вовлечен в испытание.

Миллионы долларов тратятся на исследования оптимальной конфигурации веб-сайта, но в клинических испытаниях последствия экспериментов с оптимальными методами лечения – это в буквальном смысле вопрос жизни и смерти. И все больше врачей и аналитиков полагают, что мы действуем неправильно: мы должны отнестись к проблеме выбора методов лечения как к задаче многорукого бандита и попытаться найти лучшие варианты терапии для пациентов еще в процессе исследования.

В 1969 году Марвин Зелен, гарвардский специалист по медико-санитарной статистике, предложил проводить «адаптивные» исследования. Одна из предложенных им идей заключалась в алгоритме случайной выборки по последнему успеху – этакий вариант принципа «победил – закрепи успех, проиграл – переключись», в котором возможность использования определенного лечения повышается с каждой победой и уменьшается с каждым поражением. Согласно методу Зелена, перед вами шляпа, в которой находится два шара, каждый из которых символизирует один из двух вариантов лечения, предполагаемых к изучению. Принцип лечения первого пациента определяется случайным образом, путем вытаскивания наугад любого шара из шляпы (после этого шар кладут обратно в шляпу). Если выбранное лечение оказывается успешным, то вы кладете в шляпу еще один шар, символизирующий данный способ лечения, – и теперь у вас есть три шара, два из которых – это успешное лечение. Если же выбранное лечение не приносит результатов, то в шляпу кладется еще один шар, обозначающий другой метод лечения, что повышает вероятность выбора альтернативы.

Алгоритм Зелена был впервые применен 16 лет спустя для изучения экстракорпоральной мембранной оксигенации, или ЭКМО, – революционного подхода к лечению дыхательной недостаточности у младенцев. Согласно разработанному в 1970-х годах Робертом Бартлеттом из Мичиганского университета методу ЭКМО, кровь, поступающая к легким, забирается, насыщается кислородом с помощью специального аппарата и возвращается к сердцу. Это радикальная мера, весьма рискованная (возможно даже осложнение в виде эмболии), но она предлагает реальный выход в ситуациях, когда других вариантов уже не остается. В 1975 году метод ЭКМО сохранил жизнь новорожденной девочке, которой даже искусственная вентиляция легких не обеспечивала достаточное количество кислорода. Сегодня эта девочка – счастливая сорокалетняя жена и мать. Но на первых порах процедура ЭКМО считалась более чем экспериментальной и первые ее испытания на взрослых не выявили особых преимуществ метода по сравнению с традиционными формами лечения.

С 1982 по 1984 год Бартлетт и его коллеги из Мичиганского университета провели исследование на новорожденных с дыхательной недостаточностью. Исследователи подняли вопрос, как они сами обозначили его, «этического аспекта проведения неапробированного, но потенциально спасающего жизни метода лечения» и не хотели «скрывать спасительное лечение от будущих пациентов ради случайного выбора традиционных назначений». По этой причине они прибегли к методу Зелена. Стратегия привела к тому, что один ребенок получил традиционное лечение и умер, а одиннадцати новорожденным подряд был назначен экспериментальный метод ЭКМО и все они выжили. В период с апреля по ноябрь 1984 года, после окончания официального исследования, еще десять новорожденных подпали под критерии лечения методом ЭКМО. К восьмерым из них этот метод был применен, и все восемь выжили. Двоих оставшихся пытались лечить традиционными способами, и они скончались. Эти цифры говорят о многом, но тем не менее вскоре после того, как Мичиганский университет завершил исследование ЭКМО, оно стало предметом многочисленных споров. Столь малое количество пациентов, получивших в рамках исследования традиционное лечение, значительно отличается от традиционной методики проведения испытаний, а сама процедура была высокоинвазивной и крайне рискованной. После публикации статьи профессор биологической статистики Гарвардского института общественного здравоохранения Джим Уор и его коллеги-медики тщательно изучили данные и пришли к выводу, что они «не оправдывают применение метода ЭКМО без дальнейшего углубленного изучения». Так Уор с коллегами организовали второе клиническое испытание в попытках сбалансировать обретение новых знаний с эффективным лечением пациентов, но используя менее радикальные методики. Они собирались случайным образом назначать пациентам либо ЭКМО, либо традиционное лечение, пока количество смертей в одной из групп не достигнет предварительно заданного показателя. Тогда назначение лечения всем пациентам в группах будет изменено на то, которое окажется более эффективным из двух.

На первом этапе исследования Уора четверо из десяти детей, получивших традиционное лечение, умерли, а все девять из девяти, к кому было применено ЭКМО, выжили. Четырех смертей было достаточно, чтобы запустить вторую фазу исследования, в которой двадцати пациентам было сделано ЭКМО, и девятнадцать выжили. Уор и его коллеги были убеждены полученными результатами, заключив, что «сложно будет оправдать дальнейшую рандомизацию с этической точки зрения».

Но некоторые врачи на тот момент уже пришли к этому выводу самостоятельно и подняли шум. В число критиков входил и Дон Берри, один из ведущих мировых экспертов по проблеме многорукого бандита. В комментарии, который был опубликован параллельно с результатами исследования Уора в журнале Statistical Science, Берри писал, что «случайный выбор пациентов для получения не-ЭКМО-лечения в исследовании Уора был неэтичным. …С моей точки зрения, исследование Уора не должно было проводиться».

И все-таки исследование Уора убедило не все медицинское сообщество. В 1990-х в Великобритании было проведено еще одно исследование ЭКМО, в котором участвовали около двухсот младенцев. Вместо адаптивных алгоритмов в этом исследовании использовались традиционные методы, то есть младенцы были случайным образом разделены на две равные группы. Исследователи объяснили свой эксперимент тем, что польза ЭКМО «является спорной только из-за различной интерпретации имеющихся данных». Как выяснилось, разница между двумя способами лечения не была столь ярко выражена в Великобритании, в отличие от США, но результаты тем не менее были заявлены «в соответствии с ранее сделанными заключениями о том, что применение метода ЭКМО снижает риск смертности». Какова была цена этого знания? В группе с применением традиционных методов лечения умерло на 24 младенца больше, чем в группе, где проводилось ЭКМО.

Трудность в признании результатов адаптивных клинических исследований может на первый взгляд показаться непонятной. Но учтите, что вклад статистики в медицину в начале XX века заключался в том, чтобы превратить ее из той сферы, где доктора в отдельно взятых ситуациях должны были убеждать друг друга в пользе новых методов лечения, в такую, где у них были бы четкие указания, какого рода данные убедительны, а какого – нет. Изменения в общепринятой статистической практике имеют все шансы нарушить это хрупкое равновесие, по крайней мере временно.

После спора, возникшего по поводу ЭКМО, Дон Берри перешел из отдела статистики Университета Миннесоты в Онкологический центр М. Д. Андерсона в Хьюстоне, где он применил методы, полученные в ходе изучения проблемы многорукого бандита, в разработке клинических испытаний для различных способов лечения рака. И хотя он остается самым громогласным критиком рандомизированных клинических испытаний, он ни в коем случае не одинок. В последние годы идеи, за которые он боролся, наконец-то стали массовыми. В феврале 2010 года Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США выпустило «руководство» – документ под названием «Адаптивный дизайн клинических исследований лекарственных средств и биопрепаратов», свидетельствующий о том, что они наконец-то готовы изучить альтернативы (несмотря на то что медики всю жизнь цеплялись за вариант, которому доверяют).