Текст книги "Введение в системное администрирование"

E:SOFTХранение Данных

Управление данными – это критически важный процесс, используемый для обеспечения сбора, проверки, хранения и защиты данных. Важно разработать и развернуть правильные процессы, чтобы конечные пользователи были уверены, что их данные надежны, доступны и актуальны.

Одна из важнейших задач администратора – определить, какой тип хранилища использовать и для каких типов данных использовать какие сценарии. Данными могут быть мобильные приложения, базы данных, веб-сайты, файлы или резервные копии критически важных данных. Скорее всего, вы будете использовать комбинацию разных типов хранилищ данных для удовлетворения потребностей ваших пользователей и требований ваших данных.

Сетевое хранилище (NAS) – это сервер хранения данных файлового уровня, подключенный к компьютерной сети. Он обеспечивает хранение и доступ к данным из центрального местоположения нескольким авторизованным пользователям сети и другим группам клиентов. Эти системы обычно используются для поддержки общих приложений, включая сборки инженерного программного обеспечения, системы электронной почты, запись и редактирование видео и многое другое. Файловые системы содержатся на одном или нескольких дисках хранения, часто организованных в логические резервные контейнеры хранения.

Размеры NAS зависят от скорости, масштаба и требований бюджета. Следовательно, это может быть что угодно – от одной настольной системы до многопетабайтных горизонтально масштабируемых систем. NAS использует один или несколько протоколов доступа к файлам, которые доступны во внутренней сети. Для клиентов они представлены протоколами, такими как NFS (сетевая файловая система) или SMB (блок сообщений сервера), или другим проприетарным высокопроизводительным протоколом, который позволяет клиентам подключаться к NAS. Подобно устройствам TCP/IP и другим компьютерам, NAS действует как сетевой узел, поддерживает свои IP-адреса и может эффективно взаимодействовать с другими сетевыми устройствами.

Системы NAS выгодны для владельцев малого бизнеса, потому что они просты в эксплуатации. Зачастую для обслуживания таких систем не требуется сложное администрирование. NAS экономически эффективен благодаря простому и безопасному резервному копированию данных. Это также значительно сокращает потери пространства по сравнению с другими технологиями хранения, такими как DAS или SAN. Кроме того, системы NAS постоянно доступны, что позволяет сотрудникам легко получать доступ к своим файлам, отвечать клиентам и поддерживать проекты совместных разработок. Система NAS также действует как облако, где к ней можно получить удаленный доступ через Интернет. Таким образом, сотрудники могут работать из любого места в любое время.

Слабые стороны NAS связаны с масштабированием и производительностью. Ресурсы NAS ограничены. Системы NAS нельзя легко масштабировать, а протоколы NFS и SMB недостаточно быстры для высокопроизводительных приложений из-за низкой пропускной способности и высокой задержки. Кроме того, NAS зависит от сети, поскольку файлы используются совместно через локальную сеть. ЛВС передает данные из одного места в другое посредством пакетов данных, разделяя их на несколько сегментов и отправляя на любые терминалы. Однако любой из этих пакетов данных может быть задержан или отправлен не по порядку, и трафик через LAN становится определяющим фактором скорости работы хранилища.

Сеть хранения данных (SAN) обеспечивает доступ на уровне блоков для хостов, которым необходим контроль над своими файловыми системами. До разработки SAN файловый сервер мог использовать внутренний диск в качестве блочного устройства, используя локальную файловую систему, но хранилище могло масштабироваться только внутри сервера. SAN обходит эту проблему и предоставляет блочное устройство по сети. В отличие от NAS, SAN – это сетевая система хранения данных, которая требует сложных технологий для поддержания производительности серверов. Компоненты могут включать в себя шлюзовые устройства, выделенные коммутаторы или виртуальные локальные сети, ленточные устройства резервного копирования, узлы контроллеров и дисковые полки. Система SAN использует такие протоколы, как SCSI, iSCSI и Fibre Channel.

Поскольку SAN работает в отдельной сети, она работает аналогично хранилищу с прямым подключением. То есть она может перемещать ресурсы локальной сети, тем самым создавая высокоскоростную и организованную среду, к которой может получить доступ операционная система каждого клиента. Следовательно, она также позволяет быстро хранить данные. Использование SAN означает, что устройства, подключенные к сети, не должны использовать какое-либо локальное хранилище, что позволяет им масштабироваться. Если необходимо переместить сеть SAN в другое место, данные можно быстро реплицировать, что сокращает время восстановления.

Поскольку сеть SAN состоит из сложных взаимосвязанных устройств, она имеет свои недостатки, связанные со сложностью реализации. Кроме того, хотя пул хранения совместно используется многими серверами, каждый из них очень сложен и может стать дорогостоящим вложением.

Хранилище с прямым подключением (DAS) – это хранилище, которое напрямую подключено к системе (например, ПК или серверу) через внутренний кабель. Система DAS содержит несколько жестких дисков в одном корпусе, которые напрямую подключены к машине через адаптер главной шины (HBA). Между этими дисками нет сетевого устройства (например, коммутатора, концентратора, маршрутизатора или сетевого кабеля). Для отдельного пользователя ПК жесткий диск системы является стандартной формой DAS. Однако на предприятиях отдельные диски на одном сервере и внешние по отношению к этому серверу диски подключаются напрямую или через интерфейс малых компьютерных систем (SCSI), Serial Advanced Technology Attachment (SATA) или Serial Attached SCSI (SAS). Еще одно ограничение DAS заключается в том, что данные не могут быть переданы разным серверам или пользователям.

Системы DAS просты в использовании, а технология широко доступна. Оно обеспечивает большую производительность по сравнению с SAN или NAS, но емкость хранилища не может быть увеличена. DAS чрезвычайно дешево. Цена за гигабайт очень низкая.

Недостатки в том, что разные группы пользователей не могут получить доступ к данным. К нему можно напрямую получить доступ только из приложений, запущенных на отдельном сервере или настольном компьютере. Кроме того, DAS не включает в себя какое-либо сетевое оборудование или соответствующую операционную среду, чтобы обеспечить возможность независимого совместного использования ресурсов хранения.

Если вы посмотрите на жесткие диски, то обнаружите, что обычно они являются блочными устройствами хранения. Это означает, что жесткий диск разбит на разделы, в которых файлы файловой системы хранятся в блоках размером по 512 байт. Например, вы можете запустить файловую систему EXT4 на первом и третьем разделах, которые в основном являются файловой системой Linux. Вы можете запустить файловую систему Apple на втором разделе и файловую систему Windows NTFS на четвертом разделе.

Если вы используете Windows, вы можете получить доступ к этому разделу для всех файлов Windows. Например, у вас есть файл Microsoft Excel размером 200 килобайт, или 200 000 байтов. Если каждый блок равен 512 байтам, для этого конкретного файла Excel требуется около 62 ½ блока.

Одна из лучших особенностей блочного хранилища заключается в том, что при редактировании файла Excel вы, возможно, вносите изменения в ячейки 1—84. Это повлияет на несколько блоков во всем файле. Если файл составляет 62 ½ блока, вам нужно отредактировать только четыре из них. Когда вы сохраняете файл, он найдет только четыре блока, которые нужно отредактировать. Вам не нужно заменять все сразу, поэтому это делает блочное хранилище очень эффективным.

Есть много преимуществ, связанных с блочным хранилищем. Во-первых, многочисленные языки программирования могут легко читать и записывать файлы в блочное хранилище. Кроме того, разрешения и элементы управления доступом для блочного хранилища знакомы и понятны. Наконец, блочное хранилище обеспечивает ввод-вывод с низкой задержкой, поэтому его можно использовать с базами данных и динамическими данными.

Есть также несколько недостатков блочного хранилища. Блочное хранилище ограничено одним сервером за раз, что влияет на масштабируемость. Кроме того, блоки и файловые системы имеют ограниченные метаданные об информации, которую они хранят, например, о дате создания, владельце, размере и т. д. Еще один серьезный недостаток блочного хранилища – это структура стоимости. При использовании блочного хранилища вы должны платить за все выделенное пространство для блочного хранилища, даже если вы его не используете.

Хранилище объектов сильно отличается от других типов хранилищ, о которых мы говорили. Фактически это совершенно другая сфера. Это также более новый тип файлового хранилища, поэтому он работает по-другому.

Во-первых, у вас есть объекты, а не файлы или блоки. По сути, у вас есть объекты неструктурированных данных, состоящие из трех частей. У них есть удостоверение личности. У них есть метаданные, такие как автор файла. У них есть дата создания файла, права доступа к файлу и так далее.

Представьте, что у вас есть большое количество неструктурированных данных. Это могут быть изображения или большой видеофайл. Каждый раз, когда вы обновляете этот файл, вам нужно добавлять файл целиком. Если вы хотите внести какие-либо изменения в свое видео, вам придется создать совершенно новый объект, и у вас могут быть разные версии, но совершенно разные файлы или объекты. С объектным хранилищем вы не можете выполнять отдельные операции, и это лучше всего подходит для очень конкретных случаев использования, включая хранение большого количества неструктурированных данных.

С объектным хранилищем вы пишете один раз и читаете много раз. Примером этого может быть видео на YouTube. Как только автор загружает его, он действительно не может его редактировать, и он не может его сильно изменить. Это идеальный вариант использования хранилища объектов. Если его нужно отредактировать, пользователь должен загрузить новое видео и удалить старое. Вы также можете сохранить разные версии одного и того же видеофайла с небольшими вариациями, что будет являться версией файла.

Есть много преимуществ, связанных с хранилищем объектов, включая масштабируемость. Оно широко известно своей совместимостью с облаком и тем, что обладает неограниченной масштабируемостью. Из-за своей плоской структуры хранилище объектов не имеет тех же ограничений, что и файловое или блочное хранилище.

Объектное хранилище обеспечивает более быстрое извлечение данных и лучшее восстановление, чем другие типы хранилищ данных. С объектным хранилищем нет необходимости просеивать файловые структуры, что означает более быстрое извлечение. Метаданные обеспечивают быстрый доступ и меньше ограничений.

Наконец, объектное хранилище известно своей рентабельностью. Поскольку хранилище объектов масштабируется намного проще, чем хранилища других типов, хранить ваши данные дешевле.

Объектное хранилище подходит не для всех случаев использования, когда дело касается хранения данных. Фактически вы не можете использовать объектное хранилище для традиционных баз данных. Это отлично подходит только для статических данных. Еще один недостаток объектного хранилища, который мы обсуждали, заключался в том, что оно не позволяет изменять только часть данных. Вы должны читать и записывать сразу весь объект.

iSCSI – это сетевой протокол, который инкапсулирует данные связи устройства хранения в IP-пакеты для передачи через соединение Ethernet. Это позволяет хостам, подключенным по IP, получать доступ к сети хранения данных (SAN). Традиционные сети хранения данных основаны на FibreChannel. Сети SAN FibreChannel очень быстрые, но при этом дорогие. iSCSI предоставит нам большинство преимуществ SAN без всех затрат, связанных с FibreChannel. FibreChannel over IP – одна из альтернатив, но для ее работы по-прежнему требуется специальное оборудование и специальное программное обеспечение. Более популярным решением является iSCSI. iSCSI позволяет нам создавать очень мощные и быстрые сети SAN с использованием стандартного оборудования Ethernet. Подобно FibreChannel SAN, iSCSI также использует концепцию целей и инициаторов. Клиентская система (инициатор iSCSI) обращается к серверу хранения (цель iSCSI) по IP-сети.

Подобно FibreChannel SAN, мы можем подключить наши серверы к устройствам хранения, которые существуют где-то в сети, вместо того, чтобы устройство было установлено на самом сервере. Для этого нам понадобится коммутатор Ethernet (сеть на основе IP), который мы будем использовать для подключения наших устройств. Самое замечательное в iSCSI заключается в том, что мы можем использовать RAID-массив, в частности, RAID-массив iSCSI в качестве устройства хранения. Мы можем настроить сервер и установить RAID-массив iSCSI внутри этого сервера и настроить его как цель iSCSI. Это дает нам очень недорогое и мощное решение для создания SAN без необходимости покупать специализированное оборудование.

Мы можем использовать стандартный ПК, установить внутри него RAID-массив с помощью контроллера ETA или SCSI, подключить его к сети Ethernet с помощью стандартного кабеля Ethernet и таким образом создать рабочую сеть хранения данных.

Самое замечательное в этой конфигурации то, что она вообще не требует какого-либо специального оборудования. Все функции iSCSI реализованы в виде программного обеспечения. Когда сервер подключен к цели, и ему необходимо сохранить информацию на устройстве iSCSI, все передается по этой сети Ethernet с использованием стандартных пакетов TCP/IP. Большим преимуществом iSCSI перед FibreChannel является стоимость. Используя iSCSI, мы можем создать сеть SAN, которая работает с разумной скоростью при невысокой стоимости (по сравнению с сетью FibreChannel). Никаких специальных карт, оптоволоконных кабелей, оптоволоконных переключателей. Все реализовано программно. Это означает, что мы можем использовать наш сервер, используя стандартную сеть Ethernet, для создания достаточно быстрой сети хранения данных. Одним из недостатков, конечно же, является тот факт, что он не работает так быстро, как сеть хранения данных FibreChannel, и мы не можем получить расстояния, связанные с SAN FibreChannel. Если все ваше оборудование находится в одном здании, это не проблема. Если вам нужны большие расстояния, вам придется рассмотреть FibreChannel SAN с использованием одномодового кабеля.

Если вы работаете на серверах с Windows Server и имеете критически важные данные, которые нужно защитить, вам могут пригодиться дисковые пространства (Windows Storage Spaces). Многие центры обработки данных и серверные фермы используют как жесткие диски, так и твердотельные накопители для хранения важных данных. К сожалению, 10% жестких дисков выходят из строя после трехлетней работы.

Организации должны осознавать эту угрозу, а также множество других аппаратных, программных и человеческих сбоев, которые могут угрожать целостности данных. Избыточность – это источник жизненной силы управления данными, и именно здесь полезны возможности дисковых пространств, подобных RAID. Они будут отображаться как виртуальные диски в проводнике.

С помощью программных элементов управления вы можете использовать дисковые пространства для группировки трех или более дисков в один унифицированный пул хранения. Эта общая емкость используется для создания настраиваемых объектов хранилища. Поскольку эта функция хранит дополнительные копии ваших данных, отказы одного диска больше не наносят ущерба. Если потребуется большая емкость, достаточно добавить больше дисков в пул хранения.

Согласно Microsoft, есть четыре основных способа использования дисковых пространств в зависимости от машины или варианта использования.

ПК с ОС Windows. Если вы используете дисковые пространства на компьютере с Windows 10, вам необходимо иметь три доступных диска, прежде чем продолжить. Хотя один из них является загрузочным диском (на котором размещена ваша установка Windows), оставшиеся два могут быть внутренними, внешними или и теми, и другими. SSD также поддерживаются.

Автономные серверы с единым хранилищем. Когда ваше хранилище находится на одном изолированном сервере, процесс настройки усложняется. Дисковые пространства поддерживаются в Windows Server 2019, Windows Server 2016, Windows Server 2012 R2 и Windows Server 2012. Для дисковых пространств на автономных серверах перед настройкой должны существовать один или несколько пулов хранения. Этот набор физических дисков упрощает управление и расширение, если в этом возникнет необходимость. Вы также можете создать несколько виртуальных дисков из пула хранения. Windows распознает их как традиционные диски, которые можно форматировать. В дисковых пространствах существует множество предварительных условий. Они охватывают типы шин, конфигурации дисков, рекомендации по HBA и JBOD. Внимательно ознакомьтесь с документацией Microsoft, чтобы убедиться, что вы правильно подготовились.

Кластерные серверы с использованием локальных дисковых пространств. Когда вы используете напрямую подключенное хранилище на каждом узле кластера, использование дисковых пространств может быть довольно экономичным по сравнению с массивами NAS и SAN. Локальные дисковые пространства предназначены для обеспечения высокой масштабируемости и легкости управления с помощью программного обеспечения. Технология Storage Spaces работает совместно с кэшированием, многоуровневым хранилищем, стирающим кодированием и сетью RDMA. Кроме того, поддерживаются диски NVMe, которые обеспечивают более высокую производительность по сравнению со старыми технологиями. Windows Server 2019 Datacenter, 2016 Datacenter включают в свой состав Storage Spaces Direct. Вы можете создать гиперконвергентное или конвергентное пространство для более оптимального использования дисковых пространств.

Кластерные серверы с общими корпусами SAS. У вас может быть решение, в котором все физические диски содержатся в общих корпусах. Эта установка, также известная как JBOD, должна соответствовать требованиям сертификации Windows. Она также должна включать в себя идентичные адаптеры главной шины SAS, сертифицированные для дисковых пространств. Эти диски в кластере файловых серверов не могут включать встроенные функции RAID.

Дисковые пространства Windows и RAID, хотя и имеют некоторое внутреннее сходство, удовлетворяют требованиям одних сценариев использования более эффективно, чем других. У каждой технологии есть свои преимущества и ограничения.

Во-первых, у RAID есть две различных разновидности: программная и аппаратная. Между тем Windows Storage Spaces – это программная технология, которая поддерживает предоставление через графический интерфейс или интерфейс командной строки. Ни программный RAID, ни Storage Spaces не имеют ограничений сокетов, в отличие от традиционных RAID.

Операционная система также по-разному смотрит на диски RAID и дисковые пространства. Диски RAID выглядят как единое целое, даже если физические диски RAID могут иметь разную емкость. Это приводит к потере пространства. Такая проблема не распространена с дисковыми пространствами, поскольку доступны отдельные диски.

По производительности RAID 0 превосходит простой режим Storage Spaces примерно в 2 раза. Однако скорости чтения-записи 4K сопоставимы. RAID 1 последовательно читает немного быстрее, чем его аналог в Windows, в то время как Spaces удваивает скорость записи RAID 1 в двустороннем зеркальном режиме. Аппаратный RAID по-прежнему имеет огромное преимущество по сравнению с режимом четности Spaces при чтении и записи.

Наконец, дисковые пространства могут быть гораздо более удобными для кошелька, чем настройки RAID. Установка не требует больших затрат на приобретение оборудования.