Текст книги "TikTok: Фабрика внимания. История взлета"

Глава 4
В Китае новости читают вас

«Мы создали крупнейшую, основанную на машинном обучении контент-платформу. Это наше оружие».

Лэй Ли, ByteDance, Лаборатория искусственного интеллекта

Хронология

Сентябрь 2012 – запущена рекомендательная система Toutiao

Август 2013 – Чжа н Лидун заступает на пост коммерческого директора ByteDance

2014 – Ян Чжэньюань становится вице-президентом по вопросам технологий

Январь 2015 – ежегодная встреча на Окинаве

Февраль 2016 – компания переезжает в AVIC Plaza

В середине 2012 года весь технический персонал ByteDance получил сообщение, чей заголовок не сулил ничего хорошего: «Общее собрание по рекомендательной системе». Имин был исполнен решимости довести до конца тему, которую считал критически важной для будущего компании. В тексте сообщения говорилось: «Чтобы быть информационной платформой, необходимо как следует поработать над рекомендательной системой. Приступим?»

В то время рекомендательная система Toutiao, ее так называемая «технология персонализации», была совсем примитивной. На открывшего приложение пользователя тут же сыпался град топовых статей, чтобы сразу его чем-нибудь «зацепить». Далее к ним подмешивались более таргетированные материалы, «клик-наживки», для определения демографической группы, к которой принадлежит посетитель. Если пользователь кликает на превью с девушкой-моделью на мотор-шоу, то это, вероятнее всего, мужчина. Если постоянно читает что-нибудь про «панацеи от всех болячек», значит, наверное, уже немолод. Все это гадание дополнялось базовой информацией – модель телефона, локация, время входа в приложение.

Для начала – неплохо, но далеко не тот уровень, на который Имин хотел вывести ByteDance. Он надеялся сделать компанию лучшей в отрасли и извлечь максимум из потенциала этой технологии, дабы получить устойчивое преимущество над остальными. Но выход за пределы тогдашнего уровня подразумевал преодоление пугающе высоких технических барьеров. Его небольшая команда знала толк в поисковых движках и имела опыт разработки мобильных приложений, но в ней не было ни одного специалиста, обладавшего компетенциями, необходимыми для создания суперсовременной рекомендательной системы. Многие из присутствовавших на собрании усомнились: достаточно ли у фирмы технических знаний для достижения поставленной Имином цели. Привлечь дорогих экспертов со стороны? Это казалось нереалистичным – ведь ByteDance в те времена был еще сравнительно мелким стартапом и располагалс в переделанной квартире. Да и есть ли в Китае специалист нужного уровня?

Имин оставался непоколебим. Он считал, что у компании два пути – или, проявляя скромные инновационные инициативы, спокойно, с большим или меньшим успехом, плыть на волне мобильного интернета, или сыграть вабанк и достичь фундаментального прорыва, который выведет ByteDance на реально высокий уровень. «Сейчас мы не умеем делать рекомендательные системы, но можем научиться. После этого собрания я начну с себя», – пообещал Имин.

Как раз в то время он услышал, что готовится к изданию книжка «Ре комендательные системы: реализация на практике».⁶³ Прямо как специально для них, и написал ее, к тому же, один из главных на тот момент китайских экспертов в области машинного обучения Сян Лян[36]36
  Команда Сяна заняла второе место в конкурсе, который в 2009 году проводил Netfl ix на лучший алгоритм для повышения точности рекомендаций. (авт.)


[Закрыть]. Имин лично обратился к Сяну, который тогда занимался исследовательской работой на сервисе потокового видео Hulu, но получил отказ, поскольку книжка еще не была опубликована. Расстроенный Имин решил заняться самообучением по любым материалам, какие только удастся обнаружить в сети. По иронии судьбы, пройдет несколько лет, и Сян станет сотрудником ByteDance, одним из ключевых специалистов в Лаборатории искусственного интеллекта. Имин позднее вспоминал, что отказ Сяна подарить ему экземпляр той книги серьезно затормозил прогресс компании на пути к рекомендательным технологиям. «Тогда лишь несколько компаний задались целью создать собственные рекомендательные системы, но у большинства из них ничего не вышло».⁶⁴

Голый энтузиазм плюс самообразование принесли, конечно, кое-какие плоды, но настоящие прорывы стали возможны только после привлечения талантов со стороны. Не переманивая кадры из других организаций, Имин не смог бы реализовать задуманное и создать одну из лучших в своем классе рекомендательных систем. В частности, таланты нужного уровня работали в поисковом гиганте Baidu, тоже располагавшемся в Пекине.

Baidu считалась одной из крупнейших китайских интернет-компаний и имела прочную репутацию «накопителя» высококлассных технических специалистов. После ухода Google с китайского рынка Baidu получила свободную от конкуренции среду, где она заняла доминирующие, относительно защищенные позиции. Имин в первые годы существования ByteDance считал Baidu своим основным конкурентом. Он всерьез опасался возможностей Baidu в области создания новых алгоритмов и полагал, что это – главный в Китае претендент на сферу, завоевать которую собирался он сам.

К счастью для Имина, Baidu далеко не сразу поняла всю важность рекомендаций. Гигантские прибыли и отсутствие конкурентов не позволили ей разглядеть надвигающейся угрозы в виде ByteDance, и к тому же она успела отстать от прогресса в сфере мобильного интернета. В СМИ Baidu восхищенно окрестили «китайским Google», но подобное сравнение некорректно. Baidu не располагала такой роскошью, как контроль над «Андроидом», основной операционной системой для смартфонов. Междоусобицы внутри компании и слишком раздутый управленческий штат тоже не улучшали ее имидж. Ходили упорные слухи, что все важные решения в Baidu принимает жена босса, Робина Ли.

Первый технологический прорыв в ByteDance произошел в 2014 году, когда Имин переманил к себе заместителя директора по исследовательской работе Яна Чжэньюаня, который проработал в Baidu девять лет. Ему тут же предложили пост вице-президента по вопросам технологии, и он приступил к масштабной технической модернизации.

Переход Яна открыл шлюзовые ворота и для других инженеров из Baidu, которые устремились вслед за ним, поскольку ByteDance не жалела ни зарплат, ни щедрых льгот на акции – лишь бы поживиться талантливыми кадрами у Baidu. К 2015-16 годам – заполучив еще ряд известных имен из Baidu, в том числе Чэнь Юйцяна и Чжу Вэньцзя⁶⁵ – ByteDance начала уходить в отрыв и закреплять свое преимущество в рекомендательной технологии. Чжу Вэньцзя позднее возглавил группу, которая разрабатывала первые рекомендательные системы для Douyin и TikTok.

К 2016 году технический уровень компании достиг таких высот, что она смогла себе позволить эксперименты с методами алгоритмической генерации контента. Во время проводившихся тем летом Олимпийских игр разработанный специалистами ByteDance бот писал и публиковал тексты новостей об основных событиях быстрее, чем это успевали сделать традиционные СМИ, а по активности пользователей страницы с его материалами были сравнимы со статьями людей-журналистов.

Рекомендательные системы стали для ByteDance базовой технологией, лежащей в основе всего, чем занималась компания – от коротких роликов на TikTok до статей на Toutiao или смешных гифок в приложении Нэйхань дуань-цзы («Шутки для своих»).

В январе 2018 года ByteDance провела в Пекине общественные слушания, дабы раскрыть схему работы своих алгоритмов⁶⁶ в ответ на критику со стороны государственных СМИ и органов интернет-надзора, – те обвиняли компанию в распространении порнографии и выражали озабоченность отсутствием у нее сотрудников-модераторов, контролирующих контент. На слушаниях главный специалист ByteDance по архитектуре алгоритмов Цао Хуаньхуань подробно остановился на принципах, заложенных в рекомендательную систему компании. Вкратце, вот о чем шла речь в его презентации.⁶⁷

Рекомендательная система ByteDance базируется на трех профилях – профиль контента, профиль пользователя и профиль среды. Говоря о профиле контента, Цао привел в пример новостную заметку о матче Английской Премьер-лиги между командами «Ливерпуль» и «Манчестер Юнайтед». Ключевые слова извлекаются из заметки путем обработки естественного языка, и в нашем случае это будут «футбольный клуб “Ливерпуль”», «футбольный клуб “Манчестер Юнайтед”», «Английская Премьер-лига» и имена нескольких ключевых игроков в матче – «Давид Де Хеа», например.

Затем ключевым словам присваивается степень релевантности. В нашем примере у словосочетаний, скажем, «футбольный клуб “Манчестер Юнайтед”» и «Давид Де Хеа» степень релевантности будет ожидаемо высокой – 0,9835 и 0,9973 соответственно.

В профиле контента также указана дата публикации, которая поможет системе понять, когда информация устареет, чтобы она больше не включалась в рекомендации.

Профиль пользователя строится на данных из различных источников – история навигации по сети, поисковая история, тип используемого устройства, местонахождение устройства, возраст, пол, особенности пользовательского поведения. Для выстраивания различных профилей пользователи разделены на десятки тысяч категорий на основе социальных и поведенческих данных.

Когда вы читаете посты, рекомендованные системой, она следит за вашем поведением и узнает ваши предпочтения – что вы будете читать, а что – пропустите, сколько времени вы посвятите тому или иному контенту, к каким статьям вы оставите комменты, какими материалами поделитесь.

И, наконец, профиль среды. Он основан на информации о том, где именно пользователь потребляет контент – на работе, дома или по дороге между домом и работой, – поскольку предпочтения человека меняются в зависимости от ситуации. Факторы среды даже включают данные о погоде, качестве интернет-связи и типе сети (например, Wi-Fi или China Mobile 4G).

Система вычисляет наилучшее статистическое соответствие между профилем контента, профилем пользователя и профилем среды, чтобы оптимизировать соотношение открытых статей и дочитанных статей (т. е. затраченное время).

При этом методе распространения контента каждому новому материалу назначается «рекомендательная ценность» в зависимости от его качества и потенциальной читательской аудитории. Чем выше эта ценность, тем точнее будет очерчен круг людей, которым будет выдан тот или иной материал. По мере взаимодействия пользователя с материалом рекомендательная ценность меняется. При положительном взаимодействии (лайки, комменты, репосты) она увеличивается, а при отрицательном (дизлайки, материал не дочитан) – уменьшается.

Главное внимание в Toutiao уделялось первой сотне статей, которые будут рекомендованы новому пользователю, эта стадия считалась критически важной, поскольку далее метрики удержания пользователя стремительно падают.⁶⁸ Идентификация и количественное определение статистики роста напоминает известный пример из ранней истории сети Facebook, когда его отдел по развитию из кожи вон лез, лишь бы заставить новых пользователей добавить семерых друзей в течение десяти дней. Бывший вице-президент компании Чамат Палихапития вспоминает, что в Facebook на заре его существования «ни о чем больше не говорили», кроме этой метрики.⁶⁹ Усилия ByteDance в этом направлении привели к впечатляющим результатам: удержание пользователей – свыше 45 %,⁷⁰ что сопоставимо с показателями ведущих соцсетей, а среднее время, проведенное в приложении в пересчете на одного пользователя, – одно из самых высоких в мире.

Принцип «маховика данных» в контент-платформах ByteDance.

Ядро системы, примененной в Toutiao для рекомендации текстовых материалов, было позднее адаптировано к коротким роликам на TikTok и Douyin. Во всех этих приложениях используется одна и та же рекомендательная система. С видео дело обстоит сложнее, поскольку их нередко загружают без тегов и ключевых слов или с некорректными заголовками и описаниями, ставя пред машинным зрением нетривиальную задачу – понять, что это вообще за ролик.

Прелесть применения рекомендаций как средства продлить время сессии состоит в том, что при этом создается цикл постепенного, постоянного совершенствования процесса, известный как «эффект сети передачи данных». Чем дольше человек пользуется приложением, тем подробнее становится его профиль, что ведет к более корректному подбору рекомендованного контента, а это, в свою очередь, улучшает качество выдачи. В результате пользователь, естественно, проводит в приложении больше времени, степень подробности его профиля растет, и так далее.

При всей эффективности, этот цикл не длится бесконечно. Поначалу качество выдачи улучшается быстро, но затем эта скорость начинает асимптотически убывать по мере того, как оттачивается профиль пользователя, пока не наступает момент формирования абсолютно корректной и детальной таблицы его интересов.

Развитие системы тормозил человеческий фактор. Toutiao позиционировала себя как чисто технологическая компания, которая обходится без редакционного штата. Но это определение было не вполне корректным. Система по-прежнему оставалась зависимой от человеческого труда: армия работников выполняла несложные монотонные действия – вписывала теги к статьям, просматривала контент, помогая машинному обучению. Правильно извлеченные ключевые слова – залог корректной рекомендации, но для технологии обработки естественного языка это был предел возможностей.

В любом случае, даже если у тебя самые корректные рекомендации на свете, мало просто обладать превосходящим конкурентов продуктом. Чтобы быстро нарастить базу пользователей и поднять стоимость компании до уровня «единорогов», Toutiao пришлось прибегнуть к темному искусству «взлома роста».

Склад № 3А шэньчжэньского аэропорта битком набит коробками с телефонами на бесконечных стеллажах – стенка к стенке, паллет за паллетом. Сотни тысяч телефонов, новеньких, только-только с фабрики. Сегодня их все погрузят в самолеты, и они отправятся в путь по большим и малым городам Китая, через лабиринты провинциальных дистрибуторов, дилеров и розничных сетей, пока в итоге не попадут в руки конечного покупателя.

Бригада юношей и девушек в серых комбинезонах стоит в ожидании утренней смены. Сторонний наблюдатель решил бы, что это – обычные складские рабочие, весь день занятые на разгрузке и погрузке. Но у этой бригады – совсем иная задача. «Так, ребята, правила знаете – пять минут на двенадцать телефонов, и ни секунды больше. За дело!» – командует бригадир. И они тут же приступают к работе.

Впереди – очередной день монотонной работы, бесконечно повторяющихся действий.

Горячим воздухом из специального приспособления нагреть и снять пломбировочную ленту с упаковки. Аккуратно, чтобы все осталось в первозданном виде, вынуть телефон. Подключить к толстой пластиковой коробке с экраном размером с «айпад» и двенадцатью USB-портами.⁷¹ Установить нужные опции и нажать кнопку «подтвердить». Подождать. По завершении процесса отсоединить телефон, вернуть в упаковку (и чтобы все – в точности как было), запечатать лентой.

Этот пятиминутный процесс повторялся из часа в час и изо дня в день. Всего 86 таких «машинок» за восьмичасовую смену способны обработать 100 тысяч смартфонов в ценовом диапазоне от нижнего до среднего. Цель – загрузить на каждое устройство около полутора десятка предустановленных приложений, и одно из них – Toutiao.

Тем временем в Пекине Имин вместе с одним из своих топ-менеджеров Цзэн Цианом занимались делом, вошедшим в ежедневную привычку – корпели над таблицей, аккуратно заполненной данными по общему числу предустановок и активаций в зависимости от производителей и каналов дистрибуции. Разбору и анализу подлежало множество факторов: коэффициент удержания клиентов в 30-дневный срок, модели телефонов, результаты А/В-тестирования, процент покрытия мириад китайских городов. Была сформирована целая сложная система оптимизации бюджета, выделяемого на самый эффективный в тот период способ заполучить новых пользователей и форсировать рост компании – серые сделки с дистрибьюторами по предустановке приложений на смартфоны на полпути между фабрикой и покупателем.⁷²

Даже по меркам китайской интернет-индустрии рынок предустановки приложений на смартфоны был хаотичным «диким Западом». Однако спрос на эту услугу не падал – ведь она оставалась самым рентабельным каналом масштабного охвата владельцев недорогих «андроидов». Когда ByteDance примкнула к числу клиентов, одна предустановка обходилась ей примерно в 0,4 юаня ($0,06) – подороже среднерыночного уровня того времени, но все равно весьма дешево, учитывая, что через четыре года цена услуги уже будет превышать 12 юаней ($1,68).

Результативность этой практики объясняется тем, что пользователю либо все равно, какие приложения предустановлены на его смартфоне, либо он вообще не очень сведущ в таких делах. Для покупателя смартфона главное – цена, бренд и характеристики «железа», а какие программы, кроме операционной системы, там еще есть – на это большинство людей внимания не обращают. Многие из предустановленных приложений запускаются лишь однажды, из любопытства, или вовсе удаляются. У Toutiao имелись все возможности завоевать тех, кто вошел в приложение хотя бы раз. Чтение новостей и другого контента – весьма распространенный вид сетевой активности, а для многих это вообще ежедневная потребность. Логотип Toutiao (газета с красным баннером «Заголовки») абсолютно однозначно заявляет о тематике приложения. Если пользователь для пробы войдет в предустановленное приложение, то у Toutiao появляется шанс запустить «маховик данных», составить и дополнить профиль пользователя и начать выдачу персонализированного контента. Человек, привыкший читать Toutiao, как правило, уже никогда его не удаляет.

Из розничных сетей мало кто подвергал сомнению практику предустановок – она была делом обычным и служила – в условиях беспощадной конкуренции и узкой маржи – желанным источником стороннего дохода. Когда прибыльность предустановки повысилась, ее стали практиковать едва ли не на всех этапах продажи. Производитель устанавливал на телефон свои приложения, дистрибутор – свои. К ним добавлялись приложения от дилеров. Даже розничные точки порой вставляли парочку от себя.⁷³

В журналистском расследовании на национальном телевидении однажды фигурировал новый мобильник, на котором при покупке стояло 60 предустановленных приложений. Если на устройстве с памятью всего в несколько сот мегабайт стоит столько программ – можете представить, что будет с его производительностью. Мало того, не такой уж редкий случай, когда предустановщики переустанавливают саму операционную систему смартфона, и приложения получают корневые полномочия, чтобы их нельзя было удалить[38]38
  Я лично столкнулся с этой практикой в 2013 году, купив в Чуньцине смартфон Самсунг. До сих пор с особой нежностью вспоминаю, как потратил несколько часов, тщетно пытаясь удалить предустановленную Sina Weibo. (авт.)


[Закрыть].

Модель денежного выражения работы предустановленного приложения

При установке очередного приложения в каждом следующем звене дистрибуторской цепочки существовал серьезный риск удаления ранее предустановленных программ, и ByteDance – как и другие разработчики – этот риск игнорировать не могла. Любой контракт с находящимися в начале цепочки производителями – с Huawei, например, или с Xiaomi – на предустановку Toutiao мог быть сведен на нет каким-нибудь дилером, который переустановит операционную систему. Рынок в итоге сошелся на том, что разработчики должны платить производителям только в случае активации приложения пользователем. Это поставило производителей в невыгодное положение, ведь они не контролируют каналы дистрибуции вниз по цепочке, и уж тем более никак не могут повлиять на решение пользователя.

И потому разработчикам – включая ByteDance – пришлось идти вниз по цепочке к дистрибуторам помельче, к местным оптовикам, а порой даже в конкретные магазины, дабы обеспечить сохранность своих приложений и убедиться, что они дошли до конечного пользователя. Магазины в небольших китайских городах имели на этом неплохой доход. Средний магазин продавал около 2 тысяч устройств в месяц – суммарно оптом и в розницу. Если на каждый телефон предустанавливать 25 приложений по 2 юаня за штуку, то заведующий магазином будет ежемесячно получать за это 100 тысяч юаней ($14 000). При общении с покупателем продавец помогает настроить телефон, вставить сим-карту, назначить пароль, подписать гарантийные бумаги, познакомиться с некоторыми полезными опциями, а заодно – активировать предустановленные приложения. Таким образом, руководство магазина может гарантировать почти идеальный процент активаций, поскольку ими занимаются сами продавцы в процессе общения с покупателем.

Дабы заручиться сотрудничеством с лучшими партнерами, ByteDance зачастую платила за предустановку по расценкам выше рыночных и вкладывала в это немалые средства, что в итоге повлияло на соотношение сил в отрасли. Другие разработчики приложений жаловались, что из-за ByteDance расценки ползут вверх. Кроме того, Имин первым вернулся к тарификации, основанной на числе предустановок, а не активаций, и это, разумеется, было весьма на руку производителям.

Для распространения своих приложений ByteDance также прибегала к услугам промоутерских агентств – метод не столь общепринятый, но зато эффективный. Небольшие группы нанятых агентством студенток обращаются на улице к прохожим и предлагают установить приложение в обмен на недорогие сувениры или небольшую сумму денег. С молодежью эта тактика не проходит, а со старшим поколением срабатывает предсказуемо неплохо.

На заре Toutiao предустановки помогли ByteDance привлечь десятки миллионов пользователей. Это привело к тому, что в клиентской базе компании стали преобладать владельцы дешевых смартфонов, купленных с предустановленным Toutiao, и со временем предпочтения этой аудитории отразились на имидже приложения. Оно заработало репутацию сервиса, который скармливает людям варево из бессмысленной, низкопробной требухи.

«Да, это факт, потребности 96 процентов людей весьма низкопробны»,⁷⁴ – объяснял Гао Хань, один из ведущих дизайнеров интерфейсов, сотрудник ByteDance номер 22. Он согласился, что приложение заслужило такую репутацию. «Разумеется, Toutiao – это трэш. Одни клик-наживки, хлам из новостей. Реальный трэш, это так, признаю».

Всем известно, что фастфуд вреден, но люди продолжают его есть. ByteDance категорически отвергала обвинения в активном продвижении низкопробного контента,⁷⁵ но нельзя отрицать, что сама суть бизнеса в ее отрасли – давать людям то, чего они хотят. А широкие массы в Китае – так уж сложилось – хотели ежедневно питать свой мозг ментальным эквивалентом большого жирного чизбургера – сплетнями о звездах и фотками хорошеньких девушек. «Думаете, весь Китай – сплошная социальная элита? Высшее образование – всего у четырех процентов», – продолжал Гао Хань.

Подобное положение вещей не переубедило Имина. Он утверждал, что 60 % ежедневных новостей он читает в приложениях собственной компании – в первую очередь, Toutiao. Однажды во время интервью⁷⁶ он взял смартфон и продемонстрировал журналисту свою выдачу в Toutiao. Прокручивая ленту, он хвалил корректность рекомендательной системы. Новости о слияниях и поглощениях, биржевые котировки, перестановки в ключевом менеджменте компаний – каждая единица контента в ленте точно соответствовала его личным предпочтениям и представляла для него интерес.

Но между отраслевыми новостями в ленте Имина пристроились два заголовка с превью – «Баскетбольные красотки» и «Девушки мотор-шоу» – в точности тот тип контента, на который пеняли приложению. «Это тоже корректно рассчитано системой?» – не решился спросить журналист.