Текст книги "Яндекс Воложа. История создания компании мечты"

К концу ноября 1997 г. уже был реализован принцип естественно-языкового запроса. То есть к http://yandex.ru можно было обращаться просто «по-русски», например: «где купить компьютер», «генетически модифицированные продукты» или «коды международной телефонной связи». Яndex на тот момент умел выполнять проверку уникальности найденных документов, исключая из результатов поиска сохраненные в различных кодировках веб-страницы с одинаковым содержимым, осуществлять оценку расстояния между искомыми словами в обнаруженных документах и определять «точность» поиска.

Разговаривайте с «Яндексом» человеческим языком! Этот призыв из 1997 г. актуален и по сей день. В конце 1997 г. средняя длина запроса равнялась всего 1,2 слова (примерно в два с небольшим раза короче нынешнего запроса).

И, конечно, базовым и уникальным свойством поискового ядра «Яндекса» был изначальный учет морфологии русского языка (в том числе и поиск по точной словоформе).

В декабре 1997 г. стало известно о том, что ссылка на Яndex появится в русской версии Internet Explorer 4.0. Это было настоящим событием и новой победой.

На тот момент поисковая машина http://yandex.ru обрабатывала до 300 запросов в день. Проект модерировали пять человек.

Для сравнения, чтобы понять уровень отметки старта проекта: через пять лет, в 2002 г., число ежедневных запросов вырастет до 2 млн, а еще через десять лет «Яндекс» будет обрабатывать ежедневно около 150 млн запросов.

По мнению Воложа, примерно через полгода стало ясно, что поисковая машина http://yandex.ru «оказалась не демонстрационной технологией, а реально востребованным сервисом, люди пользовались “Яндексом” именно для поиска в Интернете».

И понятно, что «Яндекс» изначально пошел по правильному пути, заложив в основу поиска закономерности русского языка, в отличие от других поисковиков, основанных на закономерностях английского языка, в котором слова практически не склоняются.

Первую версию дизайна «Яндекса» и, собственно, главной страницы http://yandex.ru (23 сентября 1997 г.) делал дизайнер Артемий Лебедев. Впрочем, как и все последующие. Вот как он сам будет вспоминать спустя десятилетие с начала многолетнего сотрудничества с «Яндексом».

«Пришли ребята, которые торговали какими-то железками, и у них была поисковая технология. Мы, значит, как-то встречались, рисовали какие-то дизайны. Ели булочки на кухне. Все это было очень весело и хорошо. Никто не знал, что будет. И я про себя тоже не знал, что будет. У меня не было мысли о том, что у меня будет студия, в которой у меня работает 300 человек. Не к этому шел и не об этом мечтал. Это само собой получилось. Я не думал, что у нас будут магазины, что мы откроем кафе и что мы будем еще сами производить электронику. “Яндекс” был просто в каком-то НИИ. Там сидели приятные люди и каждый день смотрели на “Рамблер”, на то, какой он крутой, и на свою строчку поиска: ну, типа, мы никогда их не догоним. И два или три года “Яндекс” догонял “Рамблер”, и никому не могло прийти в голову, что все будет так. У первой версии главной страницы “Яндекса” была левая колонка, которая называлась “Горячие новости”, и горячие новости были проиллюстрированы бычком. Тогда мне казалось, что это уместный юмор интернетовский, и в “Яндексе”, как сейчас было бы, не встали 300 маркетологов, не стукнули тремя сотнями кулаков по столам и не сказали: “Вы что? Кто этот человек и почему он портит наш светлый имидж?!” Когда я вывесил через десять лет эту страницу, они обиделись и написали мне, чтобы я убрал бычок, потому что этого никогда не было. А он был».

В 1998 г. «Яндекс» научился искать похожие документы, производить поиск в заданном диапазоне дат и сортировать результаты по времени последнего изменения. За этот год объем проиндексированного Рунета удвоился (достигнув 9–10 ГБ). Хотя уже тогда, как и сейчас, скорость поиска на http://yandex.ru – доли секунды.

В том же году был продан первый баннер целевой (или, как тогда ее еще называли, поисковой) рекламы. При таком показе рекламу видит только ее целевая аудитория. Поэтому ее назвали сначала «целевой», затем «поисковой» или «контекстной». При такой схеме заказчик оплачивает только показы рекламных объявлений. Контекстная реклама станет уже через несколько лет основой благосостояния и, собственно, основным элементом бизнес-модели компании «Яндекс».

Контекстную модель размещения рекламы предложила еще в 1994 г. компания Infoseek. Вспоминает Елена Колмановская: «Вскоре после запуска поиска стали приходить желающие купить рекламу на http://yandex.ru, мы подумали и решили, что на поиск не стоит вешать рекламу, которая мешает действию. Ведь что делает медийная реклама? Она отрывает вас от того, чем вы заняты, например от фильма, который вы смотрите, и зовет вас сделать что-то другое. Мы решили, что в поиске это нехорошо, потому что человек пришел искать с какой-то мыслью в голове. И идея контекстной рекламы нам понравилась гораздо больше, чем просто какие-то красивые картинки, баннерные сети и прочее. Поэтому на первой странице мы сделали место под медийную рекламу, а в поисковой выдаче мы сделали контекстную. Тогда она еще была не текстовая, как сейчас в “Яндекс. Директе”, а баннерная. Но эти баннеры были связаны с запросами. Мы даже иногда помогали клиентам рисовать баннеры. Стали рекламу размещать и даже за нее получать какие-то деньги, и постепенно переходили от картинок к тексту и от размещения по показам к размещению по кликам, да еще и по аукционному принципу – то есть цену устанавливаем не мы, а рыночная конкуренция… Человек к нам приходит за ответом, и контекстная реклама является одним из вариантов ответа. Эта схема замечательно работает. Потому что когда я хочу купить велосипед, – а таких запросов много, – я с удовольствием узнаю, что вот в этом магазине есть скидка на велосипеды».

Именно тогда началось формирование бизнес-модели поисковых интернет-компаний: медийная реклама (баннеры) от традиционных рекламодателей (примерно треть в будущих доходах) плюс поисковая реклама (объявления в результатах выдачи поисковых машин), позволяющая конвертировать трафик в деньги почти напрямую.

Окончательная бизнес-модель и технология поисковой (контекстной) рекламы сформируется в течение следующих четырех лет.

2 сентября 1998 г. (то есть на полтора года раньше «Яндекса», который тогда оставался отделом в рамках компании CompTek) в далекой Америке, в которую Волож передумал переезжать не вдруг, Сергей Брин и Ларри Пейдж зарегистрировали независимую компанию Google. И в этом же году основатели будущего мирового монополиста запустили поисковую машину Google, основанную на предыдущей своей разработке – поисковой системе BackRub.

За 1999 г. Рунет вырос на порядок – как в объемах текстов, так и в количестве пользователей. «Яндекс» запустил нового поискового робота, который позволил оптимизировать и ускорить обход сайтов.

У пользователей появились новые возможности: поиск по разным зонам текста (заголовкам, ссылкам, аннотациям, адресам, подписям к картинкам), ограничение поиска на группу сайтов, поиск по изображениям, выделение документов на русском языке.

В 1999 г. среди поисковиков Рунета «Яндекс» вышел по популярности на четвертое-пятое место. Кроме лидера русскоязычного сектора И нтернета поисковой машины «Рамблера» за аудиторию Рунета бились порталы http://www.list.ru, http://www.mail.ru, http://www.aport.ru и «Яндекс».

При этом http://yandex.ru уже стабильно держался в семерке самых популярных сайтов Рунета.

К уже существующим регулярно выходящим «сказкам», отражающим с легкой долей иронии содержимое ресурсов Сети, добавился индекс Непостоянства Интересов Населения Интернета, сокращенно НИНИ-индекс.

С 1 января 1999 г. (и по 1 января 2005 г.) выкладывались еженедельные сводки, отражающие тенденции в поисковых запросах. Они представляли собой две пятерки слов, интерес к которым за неделю резко изменился в сторону увеличения («находки») или уменьшения («потери»).

Появился форум о поисковой системе, и добавилась возможность подписки на изменения в результатах поиска по желаемому запросу. Новый механизм, получивший название «индекс цитирования», отныне упорядочивал ресурсы по значимости и популярности, а поиск в категориях позволил находить информацию только среди сайтов определенной тематики.

В том же году был введен «Семейный поиск» с фильтрацией мата и порнографии. С этого момента за «Яндексом» закрепился статус социального сервиса. Это накладывало определенные обязательства. Именно тогда, на заре проекта (да и Рунета), «Яндекс» сформулирует основные принципы, уточняя время от времени детали, чтобы вывести своеобразный моральный кодекс строителей Интернета.

Интернет представляет собой глобальное добровольное объединение сетей, содержащих разнообразные ресурсы и принадлежащих всевозможным государственным, образовательным, коммерческим и прочим организациям и частным лицам. Владельцы этих сетей поддерживают связность на основе добровольных договоренностей.

Владельцы отдельных сетей, составляющих Интернет, расходуют собственные средства на приобретение и настройку оборудования и программ, оплату каналов связи, оплату труда персонала и несут прочие расходы, необходимые для функционирования своих сетевых ресурсов, поэтому они вправе распоряжаться этими ресурсами по своему усмотрению.

Сложившееся у некоторых людей представление о том, что Интернет является неким единым собранием ресурсов, доступ к которому монополизировали интернет-провайдеры, которые и придумали удобные для них самих правила и на их основании ограничивают свободу пользователей – неверно.

По природе своей Интернет децентрализован, в нем не существует ни единого правительства, ни каких-либо общих законов, обязательных для исполнения всеми участниками информационного обмена.

Однако за многие годы существования Сети были выработаны некоторые общепринятые принципы и нормы поведения, добровольное выполнение которых и обеспечивает стабильное существование и развитие Интернета.

В нашем понимании эти принципы таковы:

1.1. Владельцы и администраторы любой сети вправе устанавливать правила поведения в своей сети и доступа к своим ресурсам, ограничивая доступ (вплоть до полного отказа) для тех, кто не соблюдает эти правила.

1.2. Все пользователи Интернета имеют равное право на доступ к ресурсам в рамках правил, установленных владельцами этих ресурсов.

1.3. Никто не вправе навязывать свои правила другим владельцам и администраторам ресурсов…

В Интернете существует возможность передачи информации без предварительного запроса или согласия со стороны получателя. Наиболее типичным случаем является несогласованная рассылка обычных электронных писем (спам), но к этому же понятию относится несогласованная отправка информации и с помощью других средств общения (IСQ и прочие интернет-пейджеры, списки рассылки, телеконференции, форумы, чаты, доски объявлений, IRС, шлюзы для передачи сообщений на сотовые телефоны, пейджеры и т. п.).

По нашему мнению, недопустимы:

2.1. Несогласованная отправка одного письма множеству получателей либо несогласованная множественная отправка писем одному получателю.

2.2. Несогласованная отправка писем объемом более одной страницы или содержащих вложенные файлы.

2.3. Несогласованная отправка писем рекламного, коммерческого или агитационного характера, независимо от их объема. В частности, письма, содержащие ссылку на некий ресурс Сети и подразумевающие, что получатель должен его посетить, считаются рекламными.

2.4. Отправка на общеизвестные ролевые адреса (abuse, hostmaster, info, postmaster, MAILER-DAEMON, marketing, newsmaster, noс, root, sales, seсurity, support) писем, не соответствующих предназначению этих адресов, если только не существует явного свидетельства, что эти адреса могут использоваться и для других целей (например, адрес указан в качестве контактного на веб-сайте владельца или в базе данных ARIN/RIPE/APNIС/RIPN и т. п.).

2.5. Отправка писем, содержащих грубые и/или оскорбительные выражения и/или предложения.

2.6. Размещение в телеконференции, форуме, списке рассылки, на доске объявлений, канале IRC или любом другом аналогичном ресурсе неиндивидуального пользования информации, не соответствующей тематике этого ресурса или другим образом нарушающей правила, установленные владельцем этого ресурса, если только это действие не было заранее согласовано с владельцем или администратором ресурса.

2.7. Подписка почтового адреса на любые периодические рассылки без предварительного подтверждения владельца адреса (принудительная подписка).

2.8. Любые периодические рассылки, не содержащие явного указания на способ от них отписаться.

2.9. Отправка информации лицам, ранее явно выразившим нежелание получать эту информацию.

2.10. Поддержка любым способом вышеперечисленных действий, в том числе отказ в их пресечении или непринятие соответствующих мер. В частности, недопустимо обеспечение связности с серверами и подсетями, постоянно используемыми для несогласованных рассылок; хостинг сайтов, поддержка почтовых адресов, поддержка серверов DNS для доменов, используемых для распространения списков почтовых адресов и/или предлагающих организацию несогласованных массовых рассылок и/или рекламирующих программы, специально предназначенные для организации несогласованных массовых рассылок; а также поддержка сайтов, рекламируемых при помощи несогласованных рассылок, если есть основания считать, что владельцы и/или администраторы этих сайтов причастны к организации рассылок.

Любимая некоторыми спамерами ссылка на статью 29, часть 4 Конституции Российской Федерации («Каждый имеет право свободно искать, получать, передавать, производить и распространять информацию любым законным способом») нисколько не оправдывает их действия. Эта статья ни в коей мере не гарантирует права навязывать эту информацию тем, кто не желает ее получать.

Доступ к ресурсам должен осуществляться по правилам, установленным их владельцами. Поэтому мы считаем недопустимыми:

3.1. Действия, направленные на нарушение нормального функционирования подключенных к сети компьютеров и другого оборудования и установленных на них программ, если только эти действия не были предварительно согласованы с владельцем или администратором ресурса.

3.2. Действия, направленные на получение несанкционированного доступа или несанкционированное повышение уровня доступа к ресурсам сети, использование такого доступа, а также копирование, уничтожение или модификация любых программ или данных, не принадлежащих пользователю, если только эти действия не были предварительно согласованы с владельцем или администратором ресурса.

3.3. Передача по сети заведомо бессмысленной или бесполезной информации, создающей паразитную нагрузку на оборудование или программное обеспечение, в объемах, превышающих минимально необходимые для проверки функционирования этого оборудования, каналов связи и связности участков сети, если только эти действия не были предварительно согласованы с владельцами или администраторами всех задействованных элементов сети.

Мы признаем, что каждый пользователь имеет право на анонимность, и допускаем существование ресурсов, позволяющих реализацию этого права (например, анонимных прокси-серверов или публично доступных почтовых систем, скрывающих информацию о конкретном источнике передачи данных). Однако в случае любых нарушений правил работы в Сети с использованием этих ресурсов их владельцы и администраторы обязаны принять на себя ответственность за эти нарушения.

Чтобы не создавать возможности для безнаказанных нарушений, владельцы таких ресурсов должны иметь: 1) механизм для идентификации своих пользователей и 2) механизм воздействия на пользователей, допускающих нарушения.

Соответственно, мы считаем недопустимым существование открытых (то есть не требующих авторизации) почтовых релеев, открытых анонимных прокси-серверов, открытых серверов телеконференций и т. п., поскольку в случае нарушений их владельцы не могут эффективно воздействовать на нарушителей.

Большинство ресурсов Сети допускают анонимное использование, но в некоторых случаях от пользователя требуется предоставление информации, идентифицирующей его. Если такая информация предоставляется пользователем, то она должна быть достоверной. Поэтому мы считаем недопустимыми:

4.1. Фальсификацию своего IP-адреса и средств идентификации, используемых в других протоколах сети, за исключением случаев сокрытия их при использовании прокси-серверов, NAT, маскарадинга и прочих подобных средств при условии надлежащего контроля администратора за доступом к этим средствам.

4.2. Предоставление в качестве идентификационных данных имен, адресов, телефонных номеров, логинов, паролей, адресов электронной почты (в том числе в качестве обратного адреса в электронной почте) и т. п., не принадлежащих пользователю, либо несуществующих, за исключением случаев, когда владельцы этих данных уполномочили пользователя на их использование.

4.3. Использование несуществующих обратных адресов при отправке электронной почты.

При работе в Сети любые ресурсы становятся потенциально доступны для использования любыми пользователями, в том числе и для совершения вышеописанных недопустимых действий. Поэтому владельцы ресурсов должны обеспечивать соответствующую их настройку в целях предотвращения недобросовестного использования.

Владельцы и администраторы сети несут ответственность за все недопустимые и ненормальные действия, совершенные из их сети либо с использованием ресурсов их сети, и должны оперативно принимать меры по выявлению их источников и пресечению этих нарушений.

В случае если управление подсетью (или отдельным хостом) делегировано сторонним администраторам, владельцы и администраторы сетей, обеспечивающих связность таким подсетям, должны нести ответственность за недопустимые и ненормальные действия, совершенные из подсети, должны оперативно связываться с администраторами подсетей и предпринимать совместные меры по пресечению этих действий либо в необходимой степени разрывать связность с такими подсетями.

По умолчанию мы считаем, что наша целевая аудитория – все пользователи Интернета, любого пола и возраста. Поэтому к размещаемому на наших страницах контенту мы порой предъявляем требования даже строже, чем явно прописанные в законодательстве.

Мы стараемся оберегать детей от недетского контента – на массовых страницах работают фильтры мата и порно, а содержание рекламных баннеров проверяется на корректность и уважительное отношение ко всем сегментам нашей многообразной аудитории.

Таким образом «Яндекс» как поисковый сервис обеспечивает индивидуальный доступ к информации.

Информация, которая удаляется из Интернета, удаляется и из поискового индекса. Поисковые роботы регулярно обходят уже проиндексированные сайты. Когда они обнаруживают, что какая-то страница больше не существует или закрыта для индексирования, она удаляется и из поиска. Для ускорения этого процесса можно воспользоваться формой «Удалить URL».

Пользователи просматривают страницу результатов поиска сверху вниз. Поэтому «Яндекс» показывает сверху, среди первых результатов, те документы, которые содержат наиболее подходящие пользователю ответы – то есть наиболее релевантные заданному запросу. Из всех возможных релевантных документов «Яндекс» всегда старается выбрать наилучший вариант.

С этим принципом связано несколько правил, которые «Яндекс» применяет к некоторым типам сайтов. Все эти правила работают полностью автоматически, их выполняют алгоритмы, а не люди:

1. Существуют страницы, которые явно ухудшают качество поиска. Они специально созданы с целью обмануть поисковую систему. Для этого, например, на странице размещают невидимый или бессмысленный текст. Или создают дорвеи – промежуточные страницы, которые перенаправляют посетителей на сторонние сайты. Некоторые сайты умеют замещать страницу, с которой перешел пользователь, на какую-нибудь другую. То есть когда пользователь переходит на такой сайт по ссылке из результатов поиска, а потом хочет снова вернуться к ним и посмотреть другие результаты, он видит какой-то другой ресурс. Такие ресурсы не представляют интереса для пользователей и вводят их в заблуждение – и, соответственно, ухудшают качество поиска. «Яндекс» автоматически исключает их из поиска или понижает в ранжировании.

2. Бывает, что в том или ином документе есть полезная информация, но воспринимать ее сложно. Например, есть сайты, которые содержат popunder-баннеры (они перемещаются по экрану вслед за прокруткой страницы и закрывают ее содержание, а при попытке закрытия такого баннера открывается новое окно) и сliсkunder-рекламу (она неожиданно для пользователя открывает рекламную страницу при любом клике по сайту, в том числе – по ссылкам). С нашей точки зрения, оба этих вида рекламы мешают навигации по сайту и нормальному восприятию информации. Поэтому сайты с такой рекламой располагаются в поисковой выдаче ниже, чем сайты, на которых пользователь может найти ответ на свой вопрос без лишних проблем.

3. По запросам, которые не подразумевают явно потребность в эротическом контенте, «Яндекс» ранжирует сайты для взрослых ниже или вообще не показывает их в результатах поиска. Дело в том, что ресурсы с эротическим контентом часто используют достаточно агрессивные методы продвижения – в частности, они могут появляться в результатах поиска по самым разнообразным запросам. С точки зрения пользователя, который не искал эротики и порнографии, «взрослые» результаты поиска не релевантны и к тому же могут шокировать.

4. «Яндекс» проверяет индексируемые веб-страницы на наличие вирусов. Если обнаружилось, что сайт заражен, в результатах поиска рядом с ним появляется предупреждающая пометка. При этом зараженные сайты не исключаются из поиска и не понижаются в результатах поиска – может быть, на таком ресурсе находится нужный пользователю ответ, и он все равно захочет туда перейти. Однако «Яндекс» считает важным предупредить его о возможном риске…

Качество поиска – это самый важный аспект для любой поисковой системы. Если она будет плохо искать, люди просто перестанут ей пользоваться. Поэтому нам важно постоянно совершенствовать алгоритмы ранжирования и делать их устойчивыми к внешнему влиянию (например, к попыткам некоторых веб-мастеров обмануть поисковую систему)…

Мы не продаем места в результатах поиска… На результаты поиска никак не влияют политические, религиозные и любые другие взгляды сотрудников компании.

Мы считаем вышеперечисленные правила разумными. Мы не можем требовать безусловного их выполнения от других участников сетевого сообщества, но оставляем за собой право ограничивать (вплоть до полного отключения) доступ к своим ресурсам из сетей, пользователи, администраторы и владельцы которых нарушают вышеуказанные нормы поведения…

В конце 1990-х гг. мировая Сеть переживала невиданный взлет. Американский рынок интернет-компаний рос немыслимыми темпами. В США был интернет-бум, технологический индекс NASDAQ почти ежедневно обновлял рекорды, и юный русский интернет-рынок манил инвесторов как новый Клондайк. Реальные инвесторы пришли и в Рунет, который тогда насчитывал около 2,2 млн пользователей.

Аркадий Волож, на тот момент генеральный директор CompTek, видимо, окончательно определившись с личными перспективами, стал заниматься поиском потенциальных инвесторов для независимого проекта «Яндекс».

Годовой оборот проекта «Яндекс» в 1999 г. составил $72 000. Основные деньги приносили продажи поискового движка, то есть продажи программных продуктов.

1997–1999 гг. стали настоящим технологическим прорывом для «Яндекса». Потому что перед основателями проекта уже (и пока) не стоял вопрос выживания, они зарабатывали «на железе». Когда Волож к концу 1990-х гг. решится все же выделить «Яндекс» в отдельный бизнес, именно коммерческая успешность возглавляемой им CompTek позволит Воложу, который к тому времени и сам станет вполне обеспеченным человеком (что очень важно в ситуации поиска инвестора), занять психологически устойчивую и независимую позицию на переговорах с потенциальными совладельцами.

На дистанции в 10–20 лет многое подернуто романтическим флером и ощущением легкости бытия. Но это, конечно, не так. Или далеко не всегда так, как заметил Стабблбайн, вспоминая о трудностях роста: «Правда, это было не настолько просто».

Хотя, конечно, Волож был везунчиком. Например, по его утверждению, на их бизнес даже ни разу не наезжали бандиты: «Все, что мы читаем про боевые 1990-е, – это абсолютно мимо нас, ничего не было вообще. Ну там какая-нибудь санитарная инспекция спрашивала, почему у вас мониторы с излучением каким-то не тем… А чтобы какие-то “серьезные пацаны” приходили – ничего такого».

Но и совокупности всех перечисленных качеств недостаточно. Необходимо, видимо, еще одно простое человеческое качество – характер, потому как просчитать, а зачастую и проинтуичить гарантированный успех нельзя, как нельзя и обойтись без ошибок.

«Ошибки наверняка были. Но что толку рассуждать о том, чего не случилось, – все это “выбирание назад”, – говорит Аркадий Волож. – Есть тренды. Если ты их видишь, нужно понять, как эту волну оседлать. Дальше что-то получается, что-то – нет. Успех зависит и от технологии, и от бизнес-составляющей».

Такая трезвая, на грани здорового цинизма оценка себя и обстоятельств подкрепляет приведенное во второй главе суждение героя о том, что он старается больше и старательнее думать «о вариантах, которые светят впереди».

Впереди предпринимателю светит задача поиска неудовлетворенных потребностей, под которые можно было бы развить бизнес.

И одним везением тут не обошлось.

Выскажу версию. У Воложа дар игрока, к которому вдохновение приходит во время игры. Но и наития, инстинкта мало. Это еще и умение просчитывать, опираясь на благоприобретенные навыки анализа данных, и, конечно, это врожденная способность выделять главное в огромном хаосе текучки.