Текст книги "Интернет. Новые возможности. Трюки и эффекты"

«Яндекс» на полную мощь

Бесспорно, самой популярной поисковой машиной русскоязычного Интернета является «Яндекс» (http://www.yandex.ru). Система содержит больше всего проиндексированных страниц, а качество ее поиска соответствует ее лозунгу – «найдется все».

Несомненным плюсом является то, что «Яндекс» учитывает морфологию русского языка во время поиска, то есть рассматривает все формы искомого слова. Если задан, например, запрос Смотреть, в результате поиска будут найдены ссылки на документы, содержащие кроме Смотреть слова смотри, смотрите, смотрел и т. д.

«Яндекс» также позволяет проводить расширенный поиск. В окне расширенного поиска в разделе употреблены в тексте можно выбрать один из двух вариантов: в любой форме или точно так, как в запросе. Выбор второго варианта означает поиск точного совпадения на искомых сайтах (рис. 4.4).

Рис. 4.4. Окно расширенного поиска «Яндекса»

Кроме этого, работая с «Яндексом», вы можете ограничить расстояние между словами поискового запроса – они могут идти подряд, в одном предложении или не очень далеко. Это важно в тех случаях, когда слова из поискового запроса составляют логически цельную фразу, например, издательство «Питер», расписание поездов и т. п.

В расширенном поиске с помощью «Яндекса» можно ограничить ссылки регионом (например, Минск, Украина, Москва).

Специальные команды сложного поиска также позволяют управлять результатами поискового запроса. Например, если в найденном списке ссылок вы хотите получить точное соответствие найденного слова запросу, вам достаточно будет поставить восклицательный знак перед искомым словом (без пробела), например! смотреть.

Обратите внимание, что «Яндекс» различает заглавные и строчные буквы в поисковом запросе. Действует следующее правило: если в окне поиска вы набрали слово с заглавной буквы, то найдены будут только страницы, на которых это слово начинается с заглавной. Если слово написано со строчной буквы, то отыщутся все варианты написания – как со строчной, так и с заглавной.

Если вы хотите указать, что слово должно обязательно входить в результирующие сайты, перед ним следует поставить знак +. Наоборот, если вы не желаете, чтобы какое-либо слово встречалось в результатах поиска, поставьте перед ним знак – .

По умолчанию при обработке запроса «Яндекс», как и Google, использует логический оператор И. Это значит, что каждое слово, входящее в запрос, должно быть найдено. Если вы хотите получить в найденном списке одно из слов, используйте оператор OR, который в «Яндексе» имеет вид символа |.

В этом случае система будет искать сайты, где содержится хотя бы одно из перечисленных слов. Например, выражение юмор | шутка | анекдот | прикол означает, что нужно искать сайты, содержащие одно из указанных слов.

Еще одна удобная функция «Яндекса» – так называемый поиск с расстоянием – позволяет задать расстояние между словами. Расстояние между первым и вторым словом равно 1, между первым и третьим – 2. Расстояние между соседними словами, стоящими не в том порядке, будет отрицательным: -1.

Если между двумя словами находится знак / и число, значит, расстояние между словами не должно превышать значение этого числа. К примеру, запрос курсы /2 массажа означает, что вы требуете документы, в которых между словами курсы и массажа может находиться только одно слово. То есть подходят фразы: курсы лечебного массажа, курсы точечного массажа и просто курсы массажа.

В предыдущем случае расстояние может варьировать от 1 до 2. Если нужно задать расстояние жестко, введите запрос курсы /+2 массажа. Тем самым вы зафиксируете положение слова массажа относительно курсы.

Если вы хотите использовать оператор AND в пределах документа, используйте символ &&. Например, рецепты && (плавленый сыр).

Символ ~ означает оператор И НЕ (в пределах предложения), например, запрос банки ~ закон означает, что нужно искать сайты, на которых есть слово банки, но не встречается закон.

Символы – или ~ ~ – это бинарный оператор И НЕ (в пределах документа). Например, запрос путеводитель по Парижу ~ ~ (агентство | тур) позволит получить список документов, в которых встречается фраза путеводитель по Парижу, но при этом нет слов агентство или тур.

Специальные команды «Яндекса» позволяют дополнительно ограничить область поиска. Вот некоторые из них:

• $title (выражение) – позволяет провести поиск в заголовке страницы, например $title Питер;

• $anchor (выражение) – эта команда означает поиск в тексте ссылок, например $anchor Яndex находит ссылки, в которых есть слово Яndex;

• #keywords=(выражение) – поиск в ключевых словах, например следующее выражение: #keywords=(поисковая система);

• #abstract=(выражение) – поиск в описании страницы, например следующее выражение: #abstract=(искалка | поиск);

• #image="значение" – поиск картинок с указанным названием, например #image="nokia" выберет ссылки на сайты, на которых есть картинки с названием nokia;

• #hint=(выражение) – эта команда проведет поиск в подписях к изображениям, например #hint=(lenin | ленин);

• #url="значение" – означает поиск на заданном сайте (странице), например #url="www.lenta.ru";

• #link="значение" – поиск ссылок на заданный сайт, например следующее выражение: #link="www.yandex.ru";

• #mime="значение" – эта команда ограничивает тип найденных документов, например, в результате запроса концепция Web 2.0 #mime="pdf" вы найдете PDF-документы, в которых встречаются данные слова;

• host="www.host.ru" – оператор аналогичен url с именем хоста, но учитывает все зеркала сайта, например host="www.yandex.ru";

• rhost="ru.url.*" или rhost="ru.url.www" – оператор аналогичен host, но имя хоста записывается в обратном порядке – вначале домен верхнего уровня, затем второго и т. д. Если в конце указано.*, то поиск идет по всем поддоменам заданного домена (исключая ru. url!), например rhost="ru.yandex.*";

• lang="язык" – отбирает для поиска страницы, написанные на определенном языке, например на русском (ru), украинском (uk), белорусском (be), английском (en), французском (fr), немецком (de), например lang="de";

• like="url.ru/file.html" – отбирает для поиска страницы, похожие на заданный URL, например like="www.yandex.ru";

• domain="домен" – производит поиск по страницам, которые расположены в заданном домене, например domain="yandex" /+1 domain="ru";

• date="ГГГГ{*|ММ{*|ДД}}" – поиск производится только по страницам, дата которых удовлетворяет заданному условию, например date="200310*";

• cat=(ID региона) или cat=(ID темы) – поиск включает только страницы сайтов, зарегистрированных в каталоге, тематическая рубрика или регион которых совпадают с заданным.

Поисковые программы

В последнее время наряду с онлайновыми поисковыми машинами появляются и другие инструменты, предназначенные для поиска в Интернете. Одним из таких инструментов являются поисковые программы. Особенностью их работы является возможность искать сразу с помощью нескольких поисковиков. Поисковые программы также умеют группировать результаты поиска, а также сохранять их для последующего использования.

Одним из преимуществ программы «ДИСКо Искатель» (http://www.disco.ru/russian/products/finder.htm) является использование русскоязычных поисковых машин. При поиске с ее помощью можно выбирать один из восьми поисковиков, среди которых, наряду с Google, Yahoo! AltaVista, используются «Апорт!», «Яндекс», «Рамблер». Этот список нельзя пополнить своими поисковыми серверами, но и этого набора достаточно для успешного поиска. При построении сложного запроса, состоящего из нескольких слов, можно задать использование различных условий, например или, и, точно (рис. 4.5).

Рис. 4.5. Окно программы «ДИСКо Искатель»

Результат поиска с помощью «ДИСКо Искателя» также представлен очень удобно – в окне программы отображаются два списка: в левой части помещен перечень названий найденных ссылок, а справа – их адреса. При этом, если фраза поискового запроса встретилась несколько раз на одном сайте, такие ссылки будут объединены в разделы, а названия таких разделов и в левом, и в правом списке будут помечены символом +. Программа позволяет синхронизировать пункты левого и правого списка – воспользовавшись специальной командой контекстного меню, вы сможете выбрать адрес сайта из правого списка, соответствующий выделенному названию в левом.

Возможности программы не ограничиваются только поиском. «ДИСКо Искатель» позволяет проверять ссылки на работоспособность, и если ссылка не функционирует, ее можно удалить из списка.

Эту программу используют в первую очередь в тех случаях, когда необходимо не только найти набор ссылок, но еще и определить, на каких страницах одного сайта встречаются фразы поискового запроса. Кроме этого, она удобна, когда необходимо часто искать в Интернете одну и ту же информацию. Ведь здесь предусмотрено сохранение поискового запроса и списка найденных ссылок в виде отдельного файла. Эта возможность позволяет создавать свои собственные тематические подборки ссылок.

Сохранив таким образом все нужные запросы, вы можете в любой момент открыть файл и повторить поиск. Причем во время повторного поиска можно выделить новые ссылки, таким образом, вы сможете отслеживать появление новых сайтов, соответствующих вашему поисковому запросу.

Программа Search+ (http://srchplus.chat.ru) выделяется среди инструментов для метапоиска, ведь база данных используемых поисковых систем в этой программе является одной из самых больших. Количество сайтов, с помощью которых Search+ ищет, исчисляется десятками; все они сгруппированы в 40 тематических разделов. С помощью программа вы можете искать не только используя стандартные поисковые машины, но еще и с помощью других инструментов, например каталогов софта, энциклопедий, сайтов для поиска работы и др. (рис. 4.6).

Кроме этого, каждый из сайтов, сохраненный в каталогах программы, имеет еще одну характеристику – он принадлежит одной из девяти категорий, соответствующих географическим регионам: Belorussia, Russia, Ukraine, UK, World и др. В каждом разделе можно отметить, какие именно поисковые машины следует использовать; также можно ограничить поиск по региону. Однако дополнить этот список своими поисковыми машинами нельзя.

Формируя запрос в Search+, необходимо выбрать категорию, а также режим поиска (простой или расширенный). Во втором случае доступна возможность сортировки результата и настройка дополнительных параметров.

Очень удобно в программе представлен результат поиска. Это список ссылок с цитатой, содержащей поисковый запрос. Причем рядом с адресом будет указан источник, то есть поисковая машина, с помощью которой сайт был найден. Кроме этого, для каждой ссылки указан ее вес, то есть величина, показывающая соответствие ссылки поисковому запросу.

Рис. 4.6. Окно программы Search+

Для каждой ссылки можно просмотреть ее свойства – источник, с помощью которого она была найдена, вес, а также дату создания документа и цитату, содержащую поисковый запрос.

Полученный список ссылок можно сохранить как во внутреннем формате программы, так и в одном из стандартных форматов – HTML или CSV. Программа позволяет обновить результаты поиска – еще раз опросить поисковики с этим же поисковым запросом. При этом новые ссылки будут выделены полужирным шрифтом, а при желании с помощью фильтра на экране можно оставить только их.

Для начала отметим, что у программы очень красивый и не совсем обычный интерфейс, тем не менее работать с ней легко и удобно.

В результате поиска с помощью Quintura Search (http://www.quintura.com) вы получите список ссылок, а в левой части окна будет размещена так называемая смысловая карта поискового запроса. Программа предлагает для уточнения поискового запроса использовать термины (подсказки), которые по смыслу связаны со словами запроса (ведь слова запроса встречаются на найденных сайтах в сочетании с другими словами). Смысловая карта позволяет увидеть эти сочетания, более того, если указатель мыши навести на одно из слов смысловой карты, то рядом будут отображены и другие связанные с ним термины. Если выбрать какой-нибудь термин из смысловой карты, то в правой части окна будет размещен соответствующий результат поиска, то есть вы сможете увидеть, какие результаты выдаст поисковая машина, если добавить этот термин в запрос (рис. 4.7).

Рис. 4.7. Quintura Search предлагает возможность уточнения поискового запроса

В настройках программы можно указать количество ссылок в результирующем списке. Можно также регулировать релевантность, то есть соответствие поисковому запросу.

Онлайновый метапоиск

Несмотря на постоянное улучшение алгоритмов поиска традиционных поисковых машин, их работа уже давно не удовлетворяет современного интернет-пользователя. Ведь чем короче путь от поискового запроса до полученного результата, тем лучше. При постоянном увеличении количества веб-сайтов использование традиционного метода поиска приведет к тому, что результат будет содержать много информационного шума – сайтов, которые случайно попали в результирующий список и не соответствуют или не совсем соответствуют поисковому запросу.

Кроме того, различия в стратегии, широте охвата и мощности разных систем очень часто приводят к тому, что разные поисковые машины дают разные результаты поиска при одних и тех же запросах. Этим не замедлили воспользоваться разработчики специальных программ, основанных исключительно на применении потенциала других, уже существующих традиционных поисковых систем.

Системы, которые не ведут собственной базы интернет-сайтов, а только предоставляют доступ к другим поисковым системам, называются метапоисковыми системами. По сути, метапоисковые системы – это посредник между пользователем и набором обычных поисковых систем. Они реализуют свои алгоритмы и методы обработки результатов работы других поисковых систем.

Метасистема позволяет в соответствии с пожеланиями пользователя ограничить свой поиск определенными серверами и осуществить уточненный поиск в полученном списке сайтов. Основной чертой такой системы является объединение поисковых серверов различных специализаций.

Большинство современных метапоисковых систем умеют обрабатывать полученные результаты поиска, как минимум они удаляют из результирующего списка сайтов ссылки-дубликаты. Большинство из них представляют список ссылок по суммарной релевантности, но некоторые группируют их по используемым поисковым машинам.

ПРИМЕЧАНИЕ

Иногда поиск с применением метасредств может оказаться очень медленным, ведь им приходится координировать во времени поступления результатов обработки поискового запроса от нескольких серверов. Еще одним недостатком является то, что они не позволяют использовать возможности языка запроса каждого из применяемых поисковых средств.

Метапоисковая система, которая умеет объединять полученные списки ссылок в группы, предлагает пользователям сразу два списка ссылок. Кроме обычного списка ссылок с указанием различной дополнительной информации, пользователь получает список ключевых слов, то есть разделов, в которые были сгруппированы полученные результаты поиска. Выбор ключевого слова в этом списке приведет к отображению соответствующих ему ссылок на найденные сайты.

Вы можете найти в Интернете метапоисковые системы, объединяющие результаты работы нескольких традиционных поисковых машин. Одной из таких систем является http://www.gahooyoogle.com. Метапоисковик GahooYoogle умеет искать сразу по двум поисковым машинам – Yahoo! и Google. В результате работы экран браузера будет разделен на две части: слева отобразится результат поиска, полученный с помощью Yahoo! справа – страничка с результатами поиска в Google.

Один из старейших метапоисковиков – Vivisimo (http://vivisimo.com) использует группировку результатов поиска на основе содержимого сайтов. Вместо простого перечня ссылок он удобно упорядочивает результат. По запросу пользователя строится дерево тем, в котором размещены не только ключевые слова, но и типы документов (статьи, новости и т. д.) (рис. 4.8).

Сайты, для которых не были определены ключевые слова, будут отнесены к специальной группе Other topics. В результате работы Vivisimo создает сложную древовидную структуру, состоящую из разделов и подразделов. Рядом с названием каждого сайта отображаются ссылки, открывающиеся в новом окне или в фрейме текущего окна, здесь же можно осуществить предварительный просмотр найденного сайта. В последнем случае будет открыт специальный блок Preview в окне ниже названия ссылки.

Рис. 4.8. Главное окно Vivisimo

При поиске можно задавать его тематическую направленность, можно искать как в общей категории (Search the web), так и проводить поиск в новостях нескольких типов, а также (специализированный поиск) по конкретным порталам (BBC News, eBay, Open Directory и т. д.).

Для каждой найденной ссылки в результирующем списке отображается название поисковой машины, с помощью которой она была найдена. Кроме обычного, пользователям Vivisimo доступен также и расширенный поиск. Среди его параметров настройка списка используемых поисковых средств, ограничение количества найденных ссылок, время поиска и язык.

Еще одна метапоисковая система Clusty (http://www.clusty.com) – это дочерний проект Vivisimo. Возможности обеих этих систем похожи, но последняя имеет гораздо более удобные инструменты для структурирования результата поиска.

По умолчанию список ссылок, полученных в Clusty, сгруппирован по тематике. Однако кроме этого параметра, заданного по умолчанию, можно задать группировку полученных ссылок по источнику и по домену (URL) (рис. 4.9).

Рис. 4.9. Окно с результатами поиска Clusty

Каждую полученную в результате поиска ссылку можно открыть в новом окне или в фрейме, кроме этого, можно просмотреть месторасположение найденной ссылки в дереве тем. Другими дополнительными возможностями Clusty является проведение специфического поиска – для этого предназначены вкладки News, Image, Shopping, Encyclopedia, Gossip. Используя вкладку Customize, можно настроить внешний вид и функциональные возможности Clusty для себя, добавив в стандартный набор вкладок еще одну, свою (при этом необходимо указать ее имя и отметить используемые в ней поисковые средства). При этом одновременно можно создать до четырех своих вкладок.

Пиринговые сети

Вы пересмотрели все поисковые машины, провели специализированный поиск по FTP, поиск программ – и все равно нужный файл не находится… В этом случае остается единственный выход – попытаться поискать файл в других сетях, так называемых файлообменных.

Развитие технологий доступа к Интернету, широкополосный доступ – все это делает еще более популярными инструменты обмена файлами. Современные скорости соединения с Сетью позволяют легко закачивать сотни мегабайт. Результатом этого стало развитие сервисов обмена файлами. Такие сервисы являются одним из самым популярных средств для распространения информации между пользователями. Они могут применяться, например, чтобы выложить объемный архив с фотографиями для друзей вместо того, чтобы отправлять его по почте, или для распространения в Интернете файлов, не нарушающих ничьих прав. Однако контролировать содержание хранилищ файлов, число которых доходит иногда до сотен тысяч или даже больше, практически невозможно.

Все началось в 1999 году, когда свет увидел проект Napster. Всего через год Napster стал едва ли не самым популярным брендом в Интернете. Причиной этого стала возможность с его помощью быстро и бесплатно скачивать музыку. Потом борцы за авторские права расправились с ненавистной им системой, однако пример был подан.

Не только Napster, но и другие файлообменные сети подвергались преследованию со стороны музыкальных компаний и компаний, выпускающих программное обеспечение. Однако это совсем не изменило отношения пользователей к подобным серверам.

Файлообменные сети используют принцип работы, который несколько отличается от привычного для большинства компьютерных сетей принципа «клиент-сервер». Они работают на основе технологии P2P.

Технология P2P (peer to peer) – это схема построения распределенной сети, каждый узел которой может одновременно выступать как в роли клиента, получающего информацию, так и в роли сервера, информацию предоставляющего. P2P-сети (или пиринговые) еще называют сетями равных возможностей, в которых осуществлено взаимодействие между всеми узлами сети.

Технология Р2Р подразумевает общение и распространение файлов между компьютерами в сети напрямую, без посредников. Это значит, что для передачи нового фильма от одного пользователя к другому не будет задействовано никаких промежуточных серверов, а значит, скорость закачки будет выше.

Общий принцип работы пиринговых сетей состоит в следующем: клиентская программа передает в сеть список файлов, которые она может предоставить для скачивания и которые хочет получить сама.

Как правило, сеть состоит из равноправных узлов, причем каждый из них взаимодействует лишь с некоторыми узлами сети, так как установление связи «каждый с каждым» невозможно из-за ограниченности ресурсов (как вычислительных, так и пропускных). При этом передача информации между узлами, не связанными в данный момент непосредственно, может осуществляться как по своеобразной «эстафете» (от узла к узлу), так и путем установления временной прямой связи. Маршрутизация и авторизация сообщений, передаваемых первым способом, происходит не на едином сервере, а на всех этих отдельных узлах.

Существуют две модели пиринговых сетей. Если поиск подходящих партнеров осуществляется с помощью сервера, а сами данные качаются напрямую, то такая сеть называется централизованной. Если любые компьютеры сети могут одновременно выполнять функции и клиентов, и серверов, посылая запросы друг другу, то подобный тип сетей называется децентрализованным.

Пиринговая сеть, которая поддерживает оба режима работы, является смешанной (гибридной).

Отметим, что централизованные P2P-сети, как правило, работают быстрее, но менее надежны, поскольку не могут функционировать без сервера. Гибридные системы наиболее оптимальны, поскольку они используют преимущества обеих моделей.

Чем больше человек участвует в пиринговой сети, тем лучше. Представьте, что своими файлами обмениваются несколько миллионов человек, у каждого из которых есть хотя бы 1 Гбайт информации. Выходит почти 1 000 000 Гбайт! Добавьте сюда еще специальные файловые хранилища энтузиастов, огромные объемы данных на Р2Р-серверах… Таким образом, в пиринговых сетях можно найти практически все, что угодно: от фильмов и музыки до исходных кодов вирусов и операционных систем.

На сегодняшний день существует множество Р2Р-сетей: BitTorrent, SHAREAZA, ed2k и т. д. Чем более распространена пиринговая сеть, тем больше вероятность найти в ней редкий и уникальный файл.

Сети P2P выступают хорошей альтернативой FTP-архивам, которые уже давно перестали справляться с ростом информационного наполнения и числа потребителей. Несмотря на постоянное улучшение количественных характеристик файлсерверной архитектуры, P2P потенциально обладает целым рядом преимуществ: балансировкой нагрузки, более широкой полосой пропускания, высокой устойчивостью и широкими возможностями по организации содержания.

У каждой пиринговой сети есть свой стандарт передачи данных, поэтому существуют клиенты, которые могут работать в нескольких сетях.