Текст книги "Эффективный Интернет. Трюки и эффекты"

На волне популярности «Википедии» и из-за доступности исходного кода движка MediaWiki были созданы сайты-аналоги «Википедии». Но, в отличие от нее, сайты-аналоги имеют другую политику внесения изменений и требования к стилю написания и достоверности сведений.

«Абсурдопедия» (http://absurdopedia.wikia.com), или энциклопедия абсурда, является шуточной вики-энциклопедией. Статьи в ней представляют собой пародии на энциклопедические. Цель проекта – представление информации с саркастической и сатирической точек зрения. Ограничение способов достижения юмористического эффекта не описано, но важно, чтобы юмор был доступен наиболее широкой аудитории пользователей (рис. 4.8).

Рис. 4.8. Главная страница «Абсурдопедии»

Everything2, или E2 (http://everything2.com), является логическим продолжением проекта Everything (E1), основанного на принципах современной «Википедии» и появившегося на три года раньше последней – в 1998 году. Но массовость участия людей в «Википедии» не дала развиться Everything, который позже был преобразован в E2. E2 накапливает данные по всем областям человеческого знания и редактируется аналогичным «Википедии» способом (рис. 4.9).

Рис. 4.9. Главная страница Everything2

Статьи в Scholarpedia (http://www.scholarpedia.org) пишутся приглашенными экспертами и подвергаются обязательному рецензированию. Статья выкладывается полностью, а авторы сами определяют конечный срок ее написания. Редактировать статью могут только зарегистрированные пользователи и только после одобрения автора статьи. Индекс научности определяет некоторые права пользователя и зависит от его действий.

Этот проект (http://www.citizendium.org) можно назвать ответвлением «Википедии». Идея предложена одним из основателей самой популярной интернет-энциклопедии и преследует цель – с помощью привлечения экспертов и усиления личной ответственности авторов повысить достоверность информации. При этом за основу проекта взят англоязычный сегмент «Википедии».

Пока совсем «зеленая» интернет-энциклопедия от Google (http://knol.google.com). По задумке каждая статья создается одним автором – экспертом по теме, другие пользователи могут редактировать статью только с его разрешения. Knol не будет ограничиваться одной статьей по каждой теме, а наоборот, предоставит возможность публикации нескольких авторских работ, что позволит авторам выражать свое мнение. При этом сами авторы будут получать доход от контекстной рекламы в своих статьях (рис. 4.10).

Рис. 4.10. Главная страница Knol

Пиринговые сети

Развитие технологий доступа в Интернет и широкополосный доступ делают инструменты обмена файлами еще более популярными. Современные скорости соединения с Сетью позволяют легко закачивать сотни мегабайт. Результатом этого стало развитие сервисов обмена файлами. Такие сервисы являются одним из самым популярных средств для распространения информации между пользователями.

Все началось в 1999 году, когда на свет появился проект Napster. Всего через год Napster стал едва ли не самым популярным брендом в Интернете. Причиной этого стала возможность с его помощью быстро и бесплатно скачивать музыку. Потом борцы за авторские права расправились с ненавистной им системой, однако идея все же осталась.

Не только Napster, но и другие файлообменные сети подвергались преследованию со стороны музыкальных компаний, выпускающих программное обеспечение. Однако это совсем не изменило отношения пользователей к подобным серверам.

Файлообменные сети используют принцип работы, который несколько отличается от привычного для большинства компьютерных сетей принципа «клиент-сервер». Они работают на основе технологии P2P.

Технология P2P (peer to peer) – это схема построения распределенной сети, каждый узел которой может одновременно выступать как в роли клиента, получающего информацию, так и в роли сервера, предоставляющего информацию. P2P-сети (или пиринговые) еще называют сетями равных возможностей, в которых осуществляется взаимодействие между всеми узлами сети.

Технология Р2Р подразумевает общение и распространение файлов между компьютерами в сети напрямую, без посредников. Это значит, что для передачи нового фильма от одного пользователя к другому не будет задействовано никаких промежуточных серверов, а значит, скорость закачки будет выше.

Общий принцип работы пиринговых сетей состоит в следующем: клиентская программа передает в сеть список файлов, которые она может предоставить для скачивания и которые хочет получить сама.

Как правило, сеть состоит из равноправных узлов, причем каждый из них взаимодействует лишь с некоторыми узлами сети, так как установление связи «каждый с каждым» невозможно из-за ограниченности ресурсов (как вычислительных, так и пропускных). При этом передача информации между узлами, не связанными в данный момент непосредственно, может осуществляться как по своеобразной «эстафете» (от узла к узлу), так и путем установления временной прямой связи. Маршрутизация и авторизация сообщений, передаваемых первым способом, происходит не на едином сервере, а на всех этих отдельных узлах.

Существует две модели пиринговых сетей. Если поиск подходящих партнеров осуществляется с помощью сервера, а сами данные качаются напрямую, то такая сеть называется централизованной. Если любые компьютеры сети могут одновременно выполнять функции и клиентов, и серверов, посылая запросы друг другу, то подобный тип сетей называется децентрализованным.

Пиринговая сеть, которая поддерживает оба режима работы, является смешанной (гибридной).

Отметим, что централизованные P2P-сети, как правило, работают быстрее, но они менее надежны, поскольку не могут функционировать без сервера. Гибридные системы наиболее оптимальны, поскольку они используют преимущества обеих моделей.

Сети P2P выступают хорошей альтернативой FTP-архивам, которые уже давно перестали справляться с ростом информационного наполнения и числа потребителей. Несмотря на постоянное улучшение количественных характеристик файл-серверной архитектуры, P2P потенциально обладает целым рядом преимуществ: балансировкой нагрузки, более широкой полосой пропускания, высокой устойчивостью и широкими возможностями по организации содержания.

У каждой пиринговой сети есть свой стандарт передачи данных, поэтому существуют клиенты, которые могут работать в нескольких сетях.

Из-за нарушения авторских прав встречаются попытки закрыть многие популярные пиринговые сети. Однако запретить работать P2P-сеть практически невозможно. Например, официально сеть eDonkey2000, одноименный протокол которой принадлежит компании MetaMachine, прекратила свое существование в сентябре 2007 года. Но, как бы это странно ни звучало, закрытие нескольких десятков серверов вряд ли сильно отразилось на работоспособности сети. А дело все в том, что сеть давно уже вышла из-под контроля MetaMachine, так как инструменты этой компании перестали быть популярными и большинство пользователей и серверов используют альтернативные клиенты и программные пакеты, которые применяют полностью децентрализованный протокол обмена информацией.

Как сказано выше, официально сети eDonkey2000 (http://www.edonkey2000.com) уже не существует. На официальном сайте сети висит призыв следующего содержания: «Сеть eDonkey2000 более не доступна. Если вы крадете музыку или фильмы, вы нарушаете закон. Суды всего мира, включая Верховный суд США, постановили, что организации и граждане могут быть наказаны за нелегальное скачивание файлов. Когда вы скачиваете материалы, защищенные авторским правом, вы делаете это не анонимно». После него приводится IP-адрес посетителя и сообщается, что он записан сервером. Заканчивается призыв фразой: «Уважайте музыку, скачивайте ее легально. Всем всего доброго».

Однако сеть все еще действует. Принцип ее работы состоит в использовании нескольких центральных серверов, то есть это нечто среднее между одноранговой технологией и клиент-серверной архитектурой.

Серверы, расположенные по всему миру, играют роль справочника ссылок для закачки, а сама закачка файлов производится по принципу пиринговой сети с одного компьютера на другой. Как только пользователь начал качать какой-то файл, его компьютер тут же становится местом, откуда этот файл можно скачать. Если файл переименован, он все равно будет опознан по уникальному индексу.

eMule (http://www.emule-project.net) – это популярнейшая программа-клиент для сети eDonkey2000. При создании eMule была переработана и оптимизирована процедура загрузки файлов. Например, в первую очередь загружаются наиболее редкие блоки файла, а при повреждении блока повторно скачивается только его поврежденная часть. Улучшен и поисковый механизм (рис. 4.11).

Рис. 4.11. Окно программы eMule

После запуска программы часть серверов сразу становится доступной по умолчанию в базе данных, но специальная кнопка позволяет обновить его. После запуска программа опрашивает серверы и подключается к одному из них, который, в свою очередь, общается с другими серверами сети.

В начале работы программы необходимо определить ресурсы общего доступа на вашем компьютере. Это очень важный этап, так как сеть eDonkey работает по следующему принципу: чем больше вы отдаете, тем больше получаете, а специальная система очереди и кредитов действует так, что пользователь получает нужные ему файлы гораздо быстрее, если закачивает их кому-нибудь еще.

Список файлов, которые пользователь скачивает у других или которые располагаются у него на диске в специальных папках, открытых для доступа, при подключении к сети передается на соответствующий сервер, и файлы становятся доступными для скачивания другим клиентам, подключенным к тому же узлу.

Для любого файла, помещаемого в eDonkey, вычисляется хэш-сумма, зависящая от содержимого файла, в соответствии с которой он будет однозначно определяться в сети независимо от его названия. Ссылки на файлы имеют вид {ed2k://|file|SomeFile.zip|43573472|94cb15b58509c52afcf8bed5dd7a4bd|}.

Этот цифровой идентификатор файла в сети eDonkey позволяет однозначно определить месторасположение файла. Таким образом, достаточно указать данный адрес, и клиент eMule самостоятельно найдет нужный файл на серверах сети eDonkey и начнет его закачку на ваш компьютер.

Функция Предпросмотр позволяет ознакомиться с фильмами и заглянуть в архивы еще до того, как они скачаны до конца. В состав eMule включен планировщик задач, а также небольшой веб-сервер, позволяющий удаленно управлять программой через Интернет или с мобильного телефона, поддерживающего Java.

Технологию BitTorrent (битовый поток) (http://www.bittorrent.com) в одиночку создал американский программист Брэм Коэн (Bram Cohen). Уже в 2001 году у него была готова первая версия BitTorrent, а через три года, в июне 2004 года, по данным исследования компании CacheLogic, более трети всего трафика в Интернете передавалось с использованием этого протокола.

Как таковой глобальной сети BitTorrent не существует. Пиринговая система работает следующим образом. Владелец некоторого файла с помощью специальной программы-клиента разбивает его на фрагменты, для каждого из которых вычисляется специальная контрольная сумма. Полученные в результате этой операции данные вместе с информацией об адресах серверов, на которых размещены фрагменты файла, и адрес специального tracker-сервера сохраняются в небольшой файл с расширением TORRENT. Эти файлы размещаются в Интернете. Они являются ссылками на необходимую информацию. BitTorrent – это единственная пиринговая сеть, которая осуществляет поиск файлов не с помощью программы-клиента, а с помощью любой поисковой системы, например Google.

Другой пользователь скачивает файл с указанным расширением и запускает его при помощи специализированной программы, после чего уже программа подключается к tracker-серверу. Клиент управляет процедурой закачки, обеспечивая эффективное управление скачиванием. Далее искомый файл разбивается на блоки и передается через tracker-сервер по кускам от владельца к скачивающему пользователю. Со временем количество людей, копирующих этот файл, растет, и, соответственно, увеличивается число загруженных ими блоков.

Для работы с сетью BitTorrent существует несколько клиентов, один из которых так и называется – BitTorrent (http://www.bittorrent.com) (рис. 4.12).

Принцип работы программы состоит в следующем: после скачивания файла штатными средствами операционной системы необходимо дважды щелкнуть на нем кнопкой мыши, в результате чего будет запущен клиент и начнется скачивание нужного файла.

Рис. 4.12. Окно клиента BitTorrent, предназначенного для работы с одноименной сетью

По отзывам пользователей Shareaza (http://www.shareaza.com) является одним из лучших универсальных P2P-клиентов. Он весьма быстро завоевал популярность. Программа работает с четырьмя пиринговыми сетями (Gnutella2, Gnutella1, eDonkey2000/eMule и BitTorrent) и распознает пять видов ссылок (Magnet, Piolet, Gnutella, eDonkey2000/eMule и BitTorrent).

Программе не надо подключаться к каким-либо определенным серверам – она самостоятельно находит рабочие серверы и автоматически обновляет их список из Интернета. Она также самостоятельно подключается к серверам выбранной пиринговой сети и закачивает torrent-файлы.

В программе реализован быстрый поиск, который выдает полезную информацию, например скорость доступного канала. Встроенный проигрыватель позволяет воспроизводить различные форматы музыки и видео. Возможен предварительный просмотр файлов, закачка которых еще не завершена. Есть возможность задать поиск нужного файла – программа предоставит список файлов, которые можно будет скачать.

В последнее время все большее число гигантов IT-мира стало обращать внимание на эту технологию: например, компания Sun, объявившая о том, что в новый протокол Jxta будет добавлена поддержка карманных компьютеров и мобильных телефонов, что позволит мобильным устройствам получать доступ к данным и обмениваться информацией в P2P-сетях. А знаменитый браузер Opera уже поддерживает скачивание файлов через популярную файлообменную сеть BitTorrent (см. главу 3 «Сетевая безопасность и администрирование»).

Обмен информацией по электронной почте

Производя поиск нужной информации, например книги или программы, вы можете столкнуться с другими способами обмена информацией, минуя файлообменные сети и FTP-серверы. Одним из таких «экзотических» способов обмена информацией является обмен ею через электронную почту.

Peer2Mail (http://www.peer2mail.com) является, наверное, единственной программой в своем роде, которая позволяет пользователям хранить файлы и делиться ими, используя учетную запись электронной почты. Главным условием является то, что необходимо создать учетную запись на сервере, который предоставляет наибольший объем для хранения файлов. Из популярных почтовых сервисов можно использовать Gmail и Yahoo!.

Программа Peer2Mail разбивает файл, который вы хотите сохранить или раздать, на сегменты и кодирует их. Затем программа посылает сегменты на выбранную учетную запись почтового сервера.

ПРИМЕЧАНИЕ

Необходимо помнить, что каждый сегмент должен иметь размер не более чем максимально разрешенный размер приложения для данного почтового сервера. Например, для Yahoo! это 10 Мбайт, для Gmail – 20 Мбайт.

Далее вы можете скачать данные с этого почтового ящика и соединить сегменты с помощью программы Peer2Mail с любого компьютера или разрешить сделать это вашим друзьям, коллегам или другим пользователям, сообщив заранее им имя учетной записи и пароль.

Архив Интернета

Интернет – среда, меняющаяся чрезвычайно быстро: веб-страницы открываются и исчезают, их содержимое тоже непостоянно. Что делать, если вам нужна информация, ссылка на которую уже устарела? Выход один – посетить специальный сайт, своеобразный архив Интернета (http://www.archive.org) (рис. 4.13).

Безусловно, создать точную копию всех сайтов, существовавших когда-либо в виртуальном пространстве, просто нереально. Однако время от времени отслеживать обновления, а главное, не дать исчезнуть вовсе тем сайтам, которые по разным причинам перестали существовать, – основная задача Архива Интернета.

Рис. 4.13. Архив Интернета содержит копии всех сайтов

Сервис, называемый The Internet Archive Wayback Machine, позволяет просматривать заархивированные версии сайтов Сети, в том числе за определенный промежуток времени.

За долгие годы человечество научилось хранить бумажные материалы и знает все об их сохранности и долговечности. С цифровыми данными все иначе. В первые годы существования компьютеров люди предполагали, что цифровые данные смогут десятилетиями храниться без потерь. Однако сотрудники архивов уже заявляют, что магнитные пленки и гибкие диски, на которых хранится информация, выходят из строя.

Не стоит на месте и программное обеспечение, что приводит к появлению большого количества разных форматов, не всегда совместимых между собой. Поэтому специалисты архивного дела стараются хранить данные в таких стандартных форматах, как HTML и ASCII.

Кроме этого, совместно с Архивом Интернета работает специальная поисковая машина Wayback Machine, которая позволяет путешествовать в прошлое Интернета и отыскивать сайты, которых уже не существует.

В качестве базы для поиска Wayback Machine использует не сам Интернет, а Архив Интернета.

Wayback Machine очень полезна для журналистов, поскольку сохраняет «снимки» электронных газет так же, как микрофильмы сохраняют старые бумажные издания. Особенно это актуально в случае электронных изданий, которые не имеют собственного архива, как, например, знаменитый Drudge Report.

Для поиска информации в архиве достаточно указать адрес сайта, в результате чего вы получите список дат, за которые в архиве сохранены его «снимки». Вы можете выбрать нужное значение и просмотреть, как выглядел сайт в определенный день.

ПРИМЕЧАНИЕ

Следует заметить, что при использовании ссылок на научные статьи, опубликованные в Интернете, часто требуется указывать ссылку именно на «Архив Интернета».

Скачивание файлов

Сохранить найденную информацию с помощью штатных средств большинства браузеров не всегда возможно и удобно. Например, при использовании коммутируемого доступа связь может оборваться, и вам придется начинать закачку заново. Чтобы избежать этой проблемы, равно как и решить ряд других задач, связанных с загрузкой файлов, вам помогут специальные программы – менеджеры закачки.

Менеджеры закачки (download-менеджеры) превратились в мощные многофункциональные инструменты для работы в Интернете, не только позволяющие упростить процесс скачивания файлов, но и умеющие решать целый ряд других задач. Среди возможностей download-менеджеров можно выделить следующие: планирование загрузки по времени, возможность докачки файлов, поиск альтернативных серверов для загрузки и возможность многопотоковой загрузки. Кроме вышеперечисленных возможностей, программы этого класса могут обладать и другими интересными и полезными функциями.

FlashGet (http://www.flashget.com/index_en.htm) – один из самых известных менеджеров закачки, разработанный еще в конце 1990-х годов (рис. 4.14). Он обладает всеми необходимыми функциями, предназначенными для закачки файлов. FlashGet встраивается не только в Internet Explorer, но и другие популярные браузеры, добавляя свою панель инструментов и пункты в контекстное меню. Кроме того, программа умеет отслеживать содержимое буфера обмена и реагировать на копирование в него ссылок на файлы определенного типа (например, формата RAR, ZIP или EXE). Удобной возможностью программы является наличие пункта Закачать все, с помощью которого можно скачать все ссылки, размещенные на веб-странице. При этом можно применить фильтр для отбора файлов определенных типов. Файлы во время закачки можно распределять по категориям. Помимо того что существуют стандартные категории, пользователь может создавать и собственные. FlashGet позволяет сохранять параметры доступа для тех сайтов, для которых требуется авторизация.

Рис. 4.14. Окно программы FlashGet

Интересная возможность, доступная пользователям FlashGet, – это наличие встроенного в программу браузера, с помощью которого можно просматривать заголовки страниц и папок. Вам достаточно будет ввести адрес веб-страницы, и встроенный браузер FlashGet покажет все подкаталоги и файлы, размещенные на ней. Отсюда легко можно задать закачку всех объектов, находящихся на странице.

Можно также использовать пакетное скачивание файлов. Это удобно, если нужно скачать большое количество файлов, расположенных на одном сайте и имеющих системно изменяющиеся названия (например, {имя_файла.rar}, {имя_файла2.rar}, {имя_файла3.rar} и т. д.). Задание можно определить с помощью цифрового счетчика или указав изменяющиеся буквы.