Текст книги "Интернет. Трюки и эффекты"

4.6. Онлайновый метапоиск

Несмотря на постоянное улучшение алгоритмов поиска традиционных поисковых машин, их работа уже давно не удовлетворяет современного интернет-пользователя. Ведь чем короче путь от поискового запроса до полученного результата, тем лучше. При постоянном увеличении количества веб-сайтов использование традиционного метода поиска приведет к тому, что результат будет содержать много информационного «шума» – сайтов, которые случайно попали в результирующий список и не соответствуют или не совсем соответствуют поисковому запросу.

Кроме того, различия в стратегии, широте охвата и мощности разных систем очень часто приводят к тому, что различные поисковые машины дают разные результаты поиска при одних и тех же запросах. Этим не замедлили воспользоваться разработчики специальных программ, основанных исключительно на применении потенциала других, уже существующих традиционных поисковых систем.

Системы, которые не ведут собственной базы интернет-сайтов, а только предоставляют доступ к другим поисковым системам, называются метапоисковыми. По сути, метапоисковые системы – это посредники между пользователем и набором обычных поисковых систем. Они реализуют свои алгоритмы и методы обработки результатов работы других поисковых систем.

Метасистема позволяет в соответствии с пожеланиями пользователя ограничить свой поиск определенными серверами и осуществить уточненный поиск в полученном списке сайтов. Основной чертой такой системы является объединение поисковых серверов различных специализаций.

Большинство современных метапоисковых систем умеют обрабатывать полученные результаты поиска, как минимум удаляют из результирующего списка сайтов ссылки-дубликаты. Большинство из них представляют список ссылок по суммарной релевантности, но некоторые группируют их по используемым поисковым машинам.

ПРИМЕЧАНИЕ

Иногда поиск с применением метасредств может оказаться очень медленным, ведь им приходится координировать во времени поступления результатов обработки поискового запроса от нескольких серверов. Еще одним недостатком является то, что метасистемы не позволяют использовать возможности языка запроса каждого из применяемых поисковых средств.

Метапоисковая система, которая умеет объединять полученные списки ссылок в группы, предлагает пользователям сразу два списка ссылок. Кроме обычного списка ссылок с указанием различной дополнительной информации, пользователь получает список ключевых слов, то есть разделов, в которые были сгруппированы полученные результаты поиска. Выбор ключевого слова в этом списке приведет к отображению соответствующих ему ссылок на найденные сайты.

Вы можете найти в Интернете метапоисковые системы, объединяющие результаты работы нескольких традиционных поисковых машин. Одной из таких систем является RaYa (http://www.raya.ru). Она создана для упрощения работы с самыми популярными поисковиками Интернета: «Рамблером», «Яндексом», «Апорт!», Google, AltaVista, Yahoo! и др. В главном окне RaYa размещены две кнопки: при нажатии левой осуществляется поиск с помощью «Яндекса», правая отвечает за поиск с использованием «Рамблера». Нажатие клавиши Enter приведет к поиску с помощью Google. В настройках системы эти установки, заданные по умолчанию, можно изменить, закрепив за кнопками и клавишей Enter другие поисковые системы.

Очень похожая система представлена на сайте http://www.gahooyoogle.com. Метапоисковик Gahoo!Yoogle умеет искать сразу с помощью двух поисковых машин – Yahoo! и Google. В результате работы экран браузера будет разделен на две части: слева отобразится результат поиска, полученный с помощью Yahoo!, справа – страничка с результатами поиска в Google.

Один из старейших метапоисковиков – Vivisimo (http://vivisimo.com) – использует группировку результатов поиска на основе содержимого сайтов. Вместо простого перечня ссылок он удобно упорядочивает результат. По запросу пользователя строится дерево тем, в котором размещены не только ключевые слова, но и типы документов (статьи, новости и т. д.) (рис. 4.13).

Рис. 4.13. Главное окно Vivisimo

Сайты, для которых не были определены ключевые слова, будут отнесены к специальной группе Other topics. В результате работы Vivisimo создает сложную древовидную структуру, состоящую из разделов и подразделов. Рядом с названием каждого сайта отображаются ссылки, открывающиеся в новом окне или в фрейме текущего окна, здесь же можно осуществить предварительный просмотр найденного сайта. В последнем случае будет открыт специальный блок Preview в окне ниже названия ссылки.

При поиске можно задавать его тематическую направленность, искать как в общей категории (Search the web), так и в новостях нескольких типов, а также (специализированный поиск) по конкретным порталам (BBC News, eBay, Open Directory и т. д.).

Для каждой полученной ссылки в результирующем списке отображается название поисковой машины, с помощью которой она была найдена. Кроме обычного, пользователям Vivisimo доступен также и расширенный поиск. Среди его параметров – настройка списка используемых поисковых средств, ограничение количества найденных ссылок, время поиска и язык.

Еще одна метапоисковая система Clusty (http://www.clusty.com) – это дочерний проект Vivisimo. Возможности обеих этих систем похожи, но последняя имеет гораздо более удобные инструменты для структурирования результатов поиска.

По умолчанию список ссылок, полученных в Clusty, сгруппирован по тематике. Однако, кроме этого параметра, заданного по умолчанию, можно построить группировку полученных ссылок по источнику и домену (URL) (рис. 4.14).

Рис. 4.14. Окно с результатами поиска Clusty

Каждую полученную в результате поиска ссылку можно открыть в новом окне или в фрейме, кроме этого, можно просмотреть место расположения найденной ссылки в дереве тем. Другими дополнительными возможностями Clusty является проведение специфического поиска – для этого предназначены вкладки News, Image, Shopping, Encyclopedia, Gossip. Используя вкладку Customize, можно настроить внешний вид и функциональные возможности Clusty для себя, добавив в стандартный набор вкладок еще одну, свою (при этом необходимо указать ее имя и отметить используемые в ней поисковые средства). Одновременно можно создать до четырех своих вкладок.

KartOO (http://kartoo.com) можно назвать метапоисковиком с самым необычным интерфейсом. Эта система умеет не только группировать результаты поиска, но и визуально представлять их в окне браузера. Графический интерфейс KartOO отличается от аналогов оригинальным оформлением и удобными средствами представления результатов поиска – они имеют вид схемы объектов. Эта схема называется картой поиска. Сайты на ней объединены в группы в соответствии с ключевыми словами. Линиями соединены ссылки с одинаковым количеством ключевых слов. Выбрав одно из них, можно таким образом уточнить поисковый запрос (рис. 4.15).

Рис. 4.15. KartOO представляет результаты поиска в виде схемы

Каждый найденный тип странички (сайт, PDF-документ, DOC-файл), а также просмотренные ранее страницы представлены в виде специальных значков. Сайты на карте поиска отображены по-разному в зависимости от релевантности поисковому запросу. Кроме того, пользователям KartOO доступны удобные средства управления полученной картой поиска – можно просмотреть ссылки, связанные с каждым найденным сайтом.

Пользователь может самостоятельно строить структуру поисковика – для этого предусмотрены средства добавления и удаления элементов схемы. Можно на карту вручную добавить тематический раздел или сайт. Кроме того, ее можно сохранить, и она будет доступна при следующем посещении сайта. Предоставлена также возможность перемещать элементы схемы KartOO (объекты и ключевые слова) произвольным образом, формируя интересующую структуру вручную в соответствии со своими требованиями и интересами. На сайте доступна вся история предыдущих запросов к системе.

В настройках сервиса указывают количество отображаемых сайтов на одной странице; здесь можно выбирать поисковые средства, задавать язык интерфейса и язык представления страниц.

Поисковая система ujiko (http://ujiko.com) выполнена с использованием Flash-технологии. Ее принципы работы, в частности отображение результатов поиска, очень похожи на аналогичные в KartOO. В результате поиска также строится схема объектов (найденных сайтов) в виде круга, а в его центре отображается список разноцветных ключевых слов и секторов, которые соответствуют ключевым словам и сайтам (рис. 4.16).

Рис. 4.16. Ujiko наглядно представляет результаты поиска

Щелкнув на соответствующей кнопке, можно таким образом отобразить сайты, которые относятся к одному ключевому слову. При этом в строке поиска будет отображаться уточненный поисковый запрос, который соответствует выбранному ключевому слову. Пользователи могут самостоятельно изменить список, удалив из него некоторые сайты. Результаты поиска размещены на нескольких страницах. Следует заметить, что поисковик ujiko не работает с запросами, написанными кириллицей.

Gnome (http://gnome.com) – это метапоисковое средство, позволяющее использовать одновременно до десяти поисковых машин. Результат поиска с помощью Gnome представляет собой список ссылок, рядом с которыми указаны использованные поисковые средства. Результирующий список можно сгруппировать по релевантности или алфавиту (рис. 4.17).

Рис. 4.17. Основное окно сервиса Gnome

Сервис может работать в двух режимах: в одном – задают один поисковый запрос ко всем доступным поисковикам, в другом – для каждой поисковой машины формируют свой запрос.

Searchy (http://www.searchy.com) – это метапоисковое средство, позволяющее использовать до 15 поисковиков. По умолчанию в результирующем списке сервис предоставляет первые десять сайтов, полученных в результате поиска с помощью каждой поисковой машины. Результаты сгруппированы по 40 разделам на одной странице. В настройках расширенного поиска можно задать их комбинирование – в этом случае результаты поиска практически не будут отличаться от тех, что обычно представляют поисковые машины: на экране отобразится сводный список, в котором, кроме ссылки и цитаты, будет указано используемое поисковое средство. Другими настройками поиска являются количество страниц с результатами и время, отведенное на поиск. Здесь же можно исключить использование некоторых поисковиков или задать другой их порядок.

Разработчики поисковика 7MetaSearchm.com (http://7metasearch.com) утверждают, что они создали уникальную систему поиска, которая, во-первых, работает быстрее аналогов, а во-вторых, использует самые лучшие поисковые машины. Из результатов поиска она выбирает наиболее релевантные ссылки и самые популярные из них всегда располагает в начале списка (рис. 4.18).

Рис. 4.18. Главное окно метапоисковика 7MetaSearchm.com

В списке ссылок, кроме обычных ссылки и цитаты, размещено много другой информации о найденном сайте. По ссылке domain info во всплывающем окне можно получить справку о нем. Если найденный сайт входит в десятку лучших одного из используемых поисковиков, то отображается соответствующая картинка и надпись top10, а также указано, какая именно поисковая система таким образом характеризует этот сайт. Следует отметить, что используемый принцип «лучшие из лучших» приводит к тому, что общее количество найденных ссылок невелико, но здесь почти нет «мусора», который обычно находят поисковые машины.

iBoogie (http://www.iboogie.tv) – это метапоисковик с кластеризацией, позволяющий проводить поиск почти на 50 языках, среди которых есть и русский. Основные возможности сервиса стандартны для данного рода систем: отображается многоуровневый список тематических разделов и список ссылок.

На сайте, кроме поиска веб-страниц, возможен поиск MP3, изображений и видео. В настройках расширенного поиска задают используемые поисковые машины, а также время поиска и максимальное количество его результатов. Во всплывающем окне можно просмотреть уменьшенную копию веб-страницы.

Сервис динамически развивается, предлагая пользователям новые возможности. Следует отметить, что iBoogie – один из немногих сервисов, позволяющих дополнять список поисковых систем. Еще одна интересная возможность – дополнение стандартного перечня вкладок из списка, в котором размещены ссылки из подразделов blog, government, libraries, major search engine, sport, technology и др.

В Turbo10 (http://turbo10.com) также можно дополнять список используемых метапоисковиков. По умолчанию поиск производится в десяти поисковых машинах, но пользователь может сформировать новую или отредактировать существующую коллекцию поисковиков (рис. 4.19).

Рис. 4.19. Результат поиска с помощью Turbo10

Список найденных сайтов содержит не только название, ссылку и поисковое средство, с помощью которого сайт найден, но и уменьшенную копию экрана страницы. Turbo10 допускает группировку полученных ссылок сразу по двум критериям: по ключевым словам и по используемым поисковым системам. В обоих случаях указано количество сайтов, принадлежащих одной категории.

Еще одно метапоисковое средство с элементами кластеризации – Search (http://www.search.com). Одним из наиболее существенных его недостатков является некорректная работа с кириллицей. Совсем недавно стало возможным восприятие русскоязычных запросов и представление результатов по ним, но кластеризация для запросов на кириллице не проводится. В результате поиска будет представлен список ссылок и перечень Related search (Связанные категории), представляющий собой поисковые запросы, которые могут быть связаны с заданным запросом. Это, безусловно, не кластеры, созданные по ключевому слову, но определенная минимальная обработка результата здесь присутствует. Выбирая название связанной категории, получают соответствующий результат запроса. Также можно просмотреть результаты отдельно по каждому поисковику.

Поисковые средства, используемые Search, разделяются на общие (The Web) и специальные. Сюда входят поисковые машины, сгруппированные в следующие категории: business & money, download, music, travel, shopping, people и т. д. Некоторые поисковые разделы специфического поиска представлены в виде вкладок в главном окне системы, для других необходимо выбрать их название. В результате отобразится окно с формой для поиска и будут перечислены возможные поисковые средства, которые можно использовать или не использовать, установив переключатель в положение рядом с их названием. В настройках поиска можно задать тему оформления страницы, используемые средства для метапоиска – в разделе My Web, а отображение уменьшенных изображений веб-страниц – рядом с их названием в результирующем списке сайтов. Есть возможность просмотреть последние поисковые запросы (top 1000).

Метапоисковая система Dogpile (http://www.dogpile.com) использует для поиска несколько средств, среди которых: поисковые машины, веб-каталоги, расширенные средства поиска (когда необходимо найти не страницу, а рисунок или видео-файл). Система позволяет искать сайты, изображения, аудио– и видеофайлы, а также проводить поиск в новостях. Есть специальные вкладки yellow page и white pages. В разделе yellow pages проводится поиск компаний, в запросе можно задать отрасль или вид бизнеса, а также город и штат. Доступен поиск по названию фирмы. Раздел white pages предназначен для поиска людей по указанным имени, фамилии, городу и штату. Дополнительные возможности, предоставляемые Dogpile: поиск пути между двумя указанными городами, поиск электронного адреса и просмотр карты (рис. 4.20).

Доступна сортировка полученных результатов по релевантности или поисковому средству. В левой части окна отображается список предыдущих запросов. В Dogpile не предусмотрена кластеризация результатов, вместо этого система формирует список скорректированных запросов, содержащих данное поисковое слово.

Рис. 4.20. Результаты поиска с помощью Dogpile

Доступен расширенный поиск, в котором можно использовать логические операторы для построения поискового запроса, например можно задать поиск точной фразы или поиск для любого из слов. Можно сузить отображаемый список по языковому критерию, задав отображение результатов на определенном языке (к сожалению, русского в списке доступных языков нет). Другие возможности расширенного поиска позволяют указать количество ссылок на странице. Также имеется возможность задать временные ограничения на отображение результатов. В этом случае отобразятся только те сайты, которые были созданы между указанными датами. Система предусматривает установку ограничения по имени домена.

Webbrain (http://www.webbrain.com) – система, являющаяся одновременно метапоисковой и системой категоризации и визуализации найденных страниц. Результатом поиска является список ссылок, помеченных специальной категорией. Выбор категории приводит к тому, что в окне программы отобразится список ссылок этой категории. Однако не это является основным преимуществом и отличительной чертой Webbrain по сравнению с другими метапоисковыми системами. В результате поиска создается не только список сайтов – для полученной структуры формируется график, отображающий категоризацию найденных страниц (рис. 4.21).

Рис. 4.21. В результате поиска Webbrain строит график

График состоит из нескольких разделов, которые соединены между собой линиями. На его вершине расположена категория, представляющая собой поисковый запрос. Выбор ссылки в полученном списке приведет к открытию сайта в отдельном окне и переходу к списку ссылок, относящихся к данной категории.

Главная страница сервиса предлагает пользователям каталог ссылок, представленный в виде графика с категориями и подкатегориями.

Система Fazzle (http://www.fazzle.com) осуществляет поиск сайтов в Интернете. Доступны следующие разделы: yellow pages, white pages, downloads, images, videos, audio, shop, headline news. Поиск сайтов возможен в двух категориях: лучшие сайты (web's best) и весь Интернет (Entire Web). Непосредственно на главной странице размещены логические операторы, с помощью которых можно связать слова поискового запроса. Полученный список содержит не только используемое поисковое средство, но и релевантность, выраженную в процентном отношении. Для каждой найденной ссылки можно осуществить предварительный просмотр содержимого сайта непосредственно на странице с найденным списком. Кроме этого, доступны инструменты для изменения размера страницы предварительного просмотра.

На странице с поиском есть ссылка для уточнения поискового запроса на странице словаря, тезауруса, а также для поиска в разделах downloads, images, news. Доступны удобные средства настройки внешнего вида страницы. Воспользовавшись ссылкой personal fazzle, можно изменить внешний вид страницы, задать подчеркивание слов поискового запроса, отображение копий экрана сайта, а также способ сортировки, язык и количество ссылок на страницу. Предусмотрен расширенный поиск, в котором также настраивают параметры поисковой машины и ограничение по доменам высшего уровня.

4.7. Пиринговые сети

Вы пересмотрели все поисковые машины, провели специализированный поиск по FTP, поиск программ – и все равно нужный файл не находится… В этом случае остается единственный выход – попытаться поискать файл в других сетях, так называемых файлообменных.

Развитие технологий доступа к Интернету, широкополосный доступ – все это делает еще более популярными инструменты обмена файлами. Современные скорости соединения с Сетью позволяют легко закачивать сотни мегабайт. Результатом этого стало развитие сервисов обмена файлами. Такие сервисы являются одним из самым популярных средств для распространения информации между пользователями. Они могут применяться, например, чтобы выложить объемный архив с фотографиями для друзей вместо того, чтобы отправлять его по почте, или для распространения в Интернете файлов, не нарушающих ничьих прав. Однако контролировать содержание хранилищ файлов, число которых доходит иногда до сотен тысяч или даже больше, практически невозможно.

Все началось в 1999 году, когда свет увидел проект Napster. Всего через год Napster стал едва ли не самым популярным брэндом в Интернете. Причиной этого была возможность с его помощью быстро и бесплатно скачивать музыку. Потом борцы за авторские права расправились с ненавистной им системой, однако пример подан.

Не только Napster, но и другие файлообменные сети подвергались преследованию со стороны музыкальных компаний и компаний, выпускающих программное обеспечение. Однако это не изменило отношения пользователей к подобным серверам.

Файлообменные сети используют принцип работы, который несколько отличается от привычного для большинства компьютерных сетей принципа «клиент-сервер». Они работают на основе технологии P2P.

Технология P2P (peer to peer) – это схема построения распределенной сети, каждый узел которой может одновременно выступать как в роли клиента, получающего информацию, так и в роли сервера, предоставляющего информацию. P2P-сети (или пиринговые) еще называют сетями равных возможностей, в которых осуществлено взаимодействие между всеми узлами сети.

Технология Р2Р подразумевает общение и распространение файлов между компьютерами в сети напрямую, без посредников. Это значит, что для передачи нового фильма от одного пользователя к другому не будет задействовано никаких промежуточных серверов, а значит, скорость закачки будет выше.

Общий принцип работы пиринговых сетей состоит в следующем: клиентская программа передает в сеть список файлов, которые она может предоставить для скачивания и которые хочет получить сама.

Как правило, сеть состоит из равноправных узлов, причем каждый из них взаимодействует лишь с некоторыми узлами сети, так как установка связи «каждый с каждым» невозможна из-за ограниченности ресурсов (как вычислительных, так и пропускных). При этом передача информации между узлами, не связанными в данный момент непосредственно, может осуществляться как по своеобразной «эстафете» (от узла к узлу), так и путем установки временной прямой связи. Маршрутизация и авторизация сообщений, передаваемых первым способом, происходит не на едином сервере, а на всех этих отдельных узлах.

Существуют две модели пиринговых сетей. Если поиск подходящих партнеров осуществляется с помощью сервера, а сами данные качаются напрямую, то такая сеть называется централизованной. Если любые компьютеры сети могут одновременно выполнять функции и клиентов и серверов, посылая запросы друг другу, то подобный тип сетей называется децентрализованным.

Пиринговая сеть, которая поддерживает оба режима работы, является смешанной (гибридной).

Отметим, что централизованные P2P-сети, как правило, работают быстрее, но менее надежны, поскольку не могут функционировать без сервера. Гибридные системы наиболее оптимальны, поскольку используют преимущества обеих моделей.

Чем больше человек участвует в пиринговой сети, тем лучше. Представьте, что своими файлами обмениваются несколько миллионов человек, у каждого из которых есть хотя бы 1 Гбайт информации. Выходит почти 1 000 000 Гбайт! Добавьте сюда еще специальные файловые хранилища энтузиастов, огромные объемы данных на Р2Р-серверах… Таким образом, в пиринговых сетях можно найти практически все, что угодно: от фильмов и музыки до исходных кодов вирусов и операционных систем.

На сегодняшний день существует множество Р2Р-сетей: BitTorrent, Shareaza, ed2k и т. д. Чем более распространена пиринговая сеть, тем больше вероятность найти в ней редкий и уникальный файл.

Сети P2P выступают хорошей альтернативой FTP-архивам, которые уже давно перестали справляться с ростом информационного наполнения и числа потребителей. Несмотря на постоянное улучшение количественных характеристик файл-серверной архитектуры, P2P потенциально обладает целым рядом преимуществ: балансировкой нагрузки, более широкой полосой пропускания, высокой устойчивостью и широкими возможностями по организации содержания.

У каждой пиринговой сети есть свой стандарт передачи данных, поэтому существуют клиенты, которые могут работать в нескольких сетях.