Применение iSCSI в системах хранения данных

Инструментарий для построения сетей хранения данных сам по себе достаточно обширный. Однако некоторые стандарты и технологии снискали большую популярность. Вслед за Fibre Channel вторым по популярности протоколом является iSCSI.

Общая информация о iSCSI

iSCSI – первые буквы от словосочетания Internet Small Computer System Interface. Иногда это буквосочетание расшифровывают как Internet SCSI или IP SCSI, и, несмотря на то что такие интерпретации не полностью совпадают с первоначальной, они вполне имеют право на жизнь, так как весьма точно описывают суть iSCSI – протокол из стека TCP/IP для подключения внешних сетевых систем хранения данных в режиме блочного доступа.

 iscsi adapter

iscsi adapter

Как уже было сказано выше, в основу метода заложена трансляция команд SCSI посредством IP-сети. В процессе работы используются порты TCP/IP, по умолчанию 860 и 3260. В принципе iSCSI – это своего рода транспорт вроде эскалатора для переамещения SCSI-инструкций и данных через внешнее сетевое подключение. Конечная реализация представляет собой среду для эмуляции локальной шины SCSI посредством внешней сети Ethernet и т.д.

В отличие от многих других протоколов (FCIP, FCoE и так далее), являющихся, по сути, ответвлением от Fibre Channel, протокол iSCSI является независимой реализацией и представляет собой разработанный с нуля стандарт для работы через TCP/IP.

iSCSi target и iSCSi initiator

Для организации любой сети хранения данных требуется три составляющие: система хранения данных, клиентская часть и среда передачи данных. В случае iSCSI для описания первых двух составляющих применяются термины «target» и «initiator» соответственно.

Target, или целевое устройство, – проще говоря, основа системы хранения, может иметь программную реализацию в чистом виде, программно-аппаратную и полностью аппаратную.

Initiator – модуль, чаще всего программа, реже аппаратное решение со своим firmware, позволяющее создавать (инициировать) соединение и обеспечивающее нужный функционал на стороне клиента – передачу SCSI-команд и данных по IP-сети.

Адресация iSCSI target

Для осуществления успешной безошибочной работы системы хранения, подключенные к сети, обязаны иметь уникальный сетевой адрес. Например, сети хранения данных на базе протокола Fibre Channel используют специальные адреса WWWN. SAN на основе iSCSI также имеют свою собственную систему адресации IQN (iSCSI Qualified Name).

Каждый такой адрес является уникальным идентификатором, служащим для точного определения устройств хранения. Как же достигается подобная уникальность? Рассмотрим формат IQN.

Допустим, у нас имеется iSCSI target с адресом: iqn.2017– 02.com.example:storage:diskarrays-sn-a9786410.

Что это означает при более подробном рассмотрении:
> iqn – префикс, указывающий на принадлежность адреса к формату IQN.
> Далее следует указатель даты вида «yyyy-mm» («год-месяц»), чаще всего указывают дату создания таргета. > Зарезервированное доменное имя, чаще всего вендора оборудования.
> После двоеточия следует собственно уникальный ID iSCSI target.

Эта система является довольно удобным решением. Прочитав IQN, можно легко получить дополнительную информацию о времени создания, типе оборудования и/или вендоре.

Примечание. По аналогии с Fibre Channel служба iSNS (Internet Storage Name Service) позволяет управлять, в том числе, и сетями iSCSI. Это дает возможность использовать iSNS в роли единой централизованной точки входа для работы SAN.

Варианты реализации iSCSI target

Программная реализация

В качестве примера программной реализации можно привести программный продукт StarWind iSCSI Target Software, который обеспечивает реализацию iSCSI target на обычных серверах под управлением операционных систем семейства MS Windows. Достаточно только установить программу, провести небольшие настройки, и готово блочное хранилище начального уровня для подключения к другому серверу.

Аппаратная реализация

В качестве аппаратной реализации можно представить специализированные устройства, например от компании HP – HP P2000 MSA, со специальной прошивкой, специализированными интерфейсами со специальным чипом и Firmware, которые берут на себя большую часть функций обработки трафика.

Картинки по запросу HP P2000 MSA

Программно-аппаратная реализация

Это своего рода компромиссное решение – например, обычный сервер на базе платформы Intel x86_64, но со специализированными сетевыми адаптерами (TOE) и адаптированной операционной системой, к примеру NexentaStor, позволяющей организовать iSCSI target, что называется, «сразу из коробки».

Что такое iSCSI HBA?

Иногда можно встретить устойчивое выражение iSCSI HBA (Host Bus Adapter). В действительности речь идет о специальных аппаратных сетевых модулях, позволяющих разгрузить процессор, передав часть функционала сетевому адаптеру.

Разделяют два типа таких устройств:
> TCP Offload Engines, сокращенно TOE. Данные устройства можно встретить там, где необходимо увеличить производительность и одновременно снизить нагрузку на общую систему (процессор и так далее). Данное устройство способно взять на себя только операции по поддержке TC/IP, но не способно использовать все остальные возможности по увеличению производительности iSCSI-систем.

> Full offload iSCSI HBA представляет собой комплексное решение, включающее в себя передачу выполнения функций по поддержке TCP/IP и iSCSI на данное устройство. Это считается лучшим выбором по обеспечению производительности, но стоит, разумеется, дороже, чем TOE.

Впрочем, что больше подходит для того или иного конкретного случая, лучше определять практическими тестами. Примечание. Многие современные сетевые адаптеры 10 Gigabit Ethernet включают в себя поддержку протокола iSCSI. Поэтому при выборе сетевого адаптера для построения iSCSI SAN следует ориентироваться не только на цену комплектующих, но и на дополнительный функционал. Соответствующие характеристики стоит уточнить на сайте производителя оборудования.

Различия File Extent и Device Extent

Помимо систем передачи трафика, существуют различные подходы при сохранении данных непосредственно внутри хранилища.

Участок системы хранения, отвечающий за размещение данных, доступ к которым осуществляется по протоколу iSCSI, называется Extent.

File Extent или файл-контейнер

Этот метод встречается наиболее часто в силу его достаточно простой реализации. Суть его заключается в использовании специального файла большого размера, в котором, как в контейнере, размещаются данные клиента. Наиболее близкий аналог – виртуальный диск (например, создаваемый системой виртуализации), который доступен как очередной жесткий диск или съемный носитель. Другие аналоги – архивный файл, в который данные записываются «на лету», или файл-контейнер, создаваемый программой шифрования данных в качестве защищенного хранилища.

При таком подходе сначала физический диск или дисковый массив форматируется под определенную файловую систему, в этой файловой системе создается огромный файл-контейнер, внутри него – своя внутренняя файловая система, и уже на ней размещаются данные клиента (см. рис. 1).

Разумеется, когда создается каждый новый слой, определенная часть дискового объема расходуется на запись служебной информации. В итоге конечный объем iSCSI на базе File Extent будет всегда меньше объема логического тома, при этом общие потери могут быть весьма ощутимы.

Именно так работает большинство реализаций iSCSI target. Такой метод хранения, мягко говоря, является довольно рискованным. Малейшая ошибка файловой системы при записи этого громадного файла – и все данные на нем будут утеряны. Подобные ошибки легко возникают при несанкционированной холодной перезагрузке, некорректной работе RAID-контроллера (особенно это касается RAID-контроллеров, встроенных в материнскую плату) и так далее. Не спасут никакие проверки ни программой типа CheckDisk, ни каким-либо другим способом. Вся надежда только на своевременно созданную резервную копию.

Помимо невысокой защищенности и расхода свободного пространства, такой метод является, мягко говоря, не слишком производительным. Метод работы «все-в-один-файл» является прямым аналогом работы программы архиватора.

Накладные расходы также сопоставимы с бесконечной работой программы архиватора в активном режиме.

Device Extent

Данный метод представляет собой более простое и экономичное решение. Из названия следует, что для сохранения используется не отдельный файл, а целиком все устройство. В таком случае нет нужды создавать своеобразную «матрешку»: внешняя файловая система – файл-контейнер – внутренняя файловая система. Вместо этого данные пишутся напрямую на дисковый том в RAW-формате. Это позволяет значительно снизить накладные расходы и избежать потенциальных ошибок, например, из-за «холодной перезагрузки».

Device Extent позволяет обеспечить большую производительность при передаче данных, а также избежать множества проблем, связанных с особенностями работы той или иной операционной системы, конкретной реализацией iSCSI-инициатора и так далее. Разумеется, все эти преимущества будут доступны, если есть подходящий драйвер для аппаратной реализации iSCSI target. В противном случае устройство просто не будет работать.

Device Extent можно встретить в системах на платформе BSD – FreeBSD и ее производных: FreeNAS и NAS4Free.

Обеспечение безопасности при построении iSCSI SAN

Поклонники протокола Fibre Channel при обсуждении вопросов реализации безопасности подключений обязательно вспоминают Zoning – механизм, присутствующий в сетях FC. Аналогичные механизмы существуют и в iSCSI SAN.

Ограничение доступа по сети средствами iSCSI target

Практически во всех реализациях iSCSI target присутствует возможность программно ограничить доступ со всех адресов за исключением небольшой группы серверов, которые нуждаются в ресурсах СХД. Данный метод можно сравнить с software zoning в Fibre Channel, когда в качестве атрибута используется адрес порта (устройства): IP-адрес для iSCSI или WWWN для Fibre Channel.

Ограничение доступа по сети внешними средствами

Еще одна возможность, на мой взгляд, более удачная, – использование внешних систем для ограничения сетевого доступа. Так, в большинстве случаев сети iSCSI строятся на базе Ethernet, выделение некоторых сегментов посредством VLAN является хорошей практикой для обособления iSCSI SAN, эффективно защищая от несанкционированного доступа. В принципе VLAN для iSCSI можно сравнить с Hardware Zoning для Fibre Channel. И в одном, и в другом случае ограничение доступа производится исходя из портов, к которым подключаются устройства.

Проверка подлинности CHAP

Чаще всего для проверки легитимности подключения iSCSI initiator c iSCSI target применяется протокол CHAP (Challenge Handshake Authentication Protocol). Основу данного метода составляет совместное использование клиентом и сервером секретного ключа (аналогичного паролю).

Картинки по запросу iscsi

В большинстве реализаций iSCSI target могут применяться следующие реализации CHAP:
Обычная или однонаправленная CHAP-аутентификация (one-way CHAP authentication). В данном случае подлинность инициатора контролируется только iSCSI target. Для подключения всех инициаторов применяется определенный идентификатор, например пароль.
Двунаправленная CHAP-аутентификация (mutual CHAP authentication). Данный метод предполагает, что и iSCSI target, и iSCSI initiator контролируют подлинность друг друга. При этом для участника обмена данными создается отдельный уникальный дескриптор (например, логин и пароль).Проверка подлинности RADIUS

Помимо CHAP, для авторизации iSCSI есть возможность использовать RADIUS (Remote Authentication Dial-In User Service).

Примечание. Данный протокол реализован для поддержки аутентификации, авторизации и получения информации об использованных ресурсах. Применялся, в том числе, и для систем тарификации услуг, которые были предоставлены пользователю, – то есть для биллинга (billing).

Особенностью данного решения является то, что в отличие от CHAP проверка достоверности RADIUS выполняется между сервером RADIUS и клиентом RADIUS. Когда initiator запрашивает доступ к ресурсам iSCSI target, клиент отправляет запрос пользователя на подключение на сервер RADIUS. Ответственность за проверку аутентификации берет на себя RADIUS-сервер. Аналогичным образом проверяется обмен данными и служебной информацией между iSCSI initiator и iSCSI target.

Картинки по запросу iscsi

Разумеется, чтобы реализовать данную схему обеспечения безопасности, необходимо иметь хотя бы один RADIUS сервер в сети.

Проверка подлинности с использованием шифрования

Помимо вышеописанных способов – аутентификация и ограничение доступа по сети, – для обеспечения повышенной безопасности при работе с iSCSI можно использовать различные виды шифрования. Стоит отметить, что вовсе не обязательно выбирать какой-либо один метод проверки подлинности. Например, можно использовать и шифрование, и проверку подлинности при помощи CHAP или RADIUS.

Наиболее известным методом является использование протокола IPsec – протокола, выполняющего принудительную проверку подлинности и шифрование данных на уровне IP-пакетов. При использовании IPsec все IP-пакеты подвергаются шифрованию и проверке. Соответственно, все участники сетевого обмена должны иметь общий ключ для проверки подлинности друг друга и шифрования пакетов.

Также неплохо зарекомендовала себя возможность шифрования iSCSI-ресурсов как дисковых разделов. Такой том можно подключить только через специальную программуагента с обязательным вводом пароля и подключением соответствующего сертификата.

Области применения iSCSI

В принципе области применения устройств хранения на базе iSCSI такие же, что и для Fibre Channel, как, впрочем, для любых других типов СХД, предоставляющих ресурсы в режиме блочного доступа.

Однако до недавнего времени из-за невысокой пропускной способности сети Gigabit Ethernet применение iSCSI было довольно ограничено. Ситуация кардинально поменялась с выходом стандарта 10 Gigabit Ethernet и началом массового выпуска соответствующего оборудования.

iSCSI традиционно используется для систем удаленной загрузки, резервного копирования, создания систем хранения класса С.

В то же время неплохие возможности сетевого оборудования 10 Gigabit Ethernet позволяют использовать iSCSI SAN и при построении систем виртуализации, и для хранения баз данных, словом, для всех задач, где раньше господствовал стандарт Fibre Channel.

С какой скоростью работает iSCSI?

В отличие от внутренней шины SCSI, которая обеспечивает непосредственный доступ к устройствам, передача пакетов iSCSI происходит посредством потенциально ненадежного сетевого соединения. Для обеспечения стабильной работы, контроля обмена данными и SCSI-командами в данных условиях в работе протокола iSCSI применяется избыточность. Эта избыточность выражается в передаче дополнительной служебной информации, которая используется для мониторинга блочной передачи, проверки корректности завершения операций ввода/вывода и обработки ошибок. Также служебная информация необходима для системы идентификации устройства посредством соответствующих имен. Еще одна задача, решаемая при обмене данными, – обеспечение безопасности. Разумеется, все это вкупе с процессом инкапсуляции – деинкапсуляции ведет к дополнительным накладным расходам (см. рис. 2).

Для того чтобы продемонстрировать перспективы реального использования данной технологии, в качестве примера выполним небольшой расчет.

Допустим, у нас используется одиночное подключение по сети Gigabit Ethernet (1 Gb/s). Переведя в мегабайты в секунду, получим: 1024/8 = 128 Mb/s.

Чтобы получить пропускную способность с учетом всех накладных расходов, пусть и в довольно грубом приближении, разделим полученную величину на 2: 128 / 2 = 64 Mb/s.

Полученное значение сопоставимо со скоростью передачи данных старых IDE PATA жестких дисков стандарта UDMA66 (66 Mb/s).

Примечание. Стоит отметить, что даже объединение двух линков, например, по протоколу LACP не дает в 100% случаев удвоения производительности. Большую роль играет конкретная программная реализация системы передачи данных. В реальности стоит ожидать коэффициент увеличения ширины канала в диапазоне 1,4-1,7 от первоначальной величины.

Действительно ли системы хранения iSCSI так дешевы?

В свое время стандарт iSCSI получил прозвище «Fibre Channel для бедных». В то время, в самом начале развития, считалось, что достаточно всего лишь приобрести несколько сетевых карт и простой коммутатор и можно построить сеть хранения данных. Впоследствии оказалось, что это не совсем так.

Во-первых, пропускная способность сетей семейства Ethernet довольно долго ограничивалась максимальной скоростью 1 Gb/s. В то время Fibre Channel уже поддерживал сети SAN в 2 и 4 Gb/s

Во-вторых, практически вся нагрузка для обеспечения работы iSCSI ложится на конечные устройства на iSCSI target и iSCSI initiator. Поэтому применение iSCSI требует дополнительных системных ресурсов. Именно это побудило к созданию устройств для «разгрузки» вычислительных мощностей – TOE и Full iSCSI HBA.

В-третьих, не следует забывать, что использование iSCSI требует дополнительных ресурсов в виде сетевого оборудования. Сетевые адаптеры, коммутаторы, патчпанели – все это стоит денег. Например, стоимость сетевой карты 10 Gigabit Ethernet сопоставима со стоимостью FC HBA 8 или даже 16 Gb/s

Из всего этого следует вывод, что не существует универсальных решений по принципу «бери вот это – будет дешево и сердито». Каждый вариант, будь то сеть хранения данных на базе iSCSI или Fibre Channel, требует тщательного изучения как с технической, так и с финансовой точки зрения.

С другой стороны, применение оборудования и протокола iSCSI на начальном этапе значительно проще, чем создание с нуля SAN на основе Fibre Channel. Достаточно иметь подходящий сервер с сетевыми адаптерами, сетевое оборудование и программное обеспечение для установки iSCSI target и iSCSI initiator. При этом не нужно обучаться на дорогих курсах или приобретать весьма недешевую литературу для изучения специфичного оборудования и ПО.

Как ускорить работу iSCSI SAN?

  • Используйте выделенный коммутатор. При работе iSCSI target «в общей сети» коммутаторы, помимо доступа к СХД, вынуждены обслуживать множество конкурентных транзакций, например, между серверами и офисными компьютерами, что снижает фактическую скорость сетевого обмена. Также выделенный коммутатор является отличной мерой безопасности (см. ниже).
  • Не используйте излишние средства безопасности. Чем больше механизмов безопасности используется, тем медленнее работает СХД в целом. Да, современные iSCSI-хранилища позволяют применять одновременно программное ограничение сетевого доступа, двунаправленную аутентификацию и шифрование IPsec. Но насколько все это необходимо в обычной ситуации? При решении простых задач достаточно просто использовать выделенный коммутатор.
  • Используйте самую быструю сеть. Однако следует помнить: самая скоростная сеть будет бесполезна, если используются другие комплектующие слабой или устаревшей конфигурации, например старенький процессор или отживший контроллер дисковой подсистемы.
  • Найдите узкое место и проведите модернизацию оборудования СХД (iSCSI target). Не забывайте про возможности применения сетевых адаптеров со встроенными функциями поддержки iSCSI.
  • По возможности используйте Device Extent для снижения накладных расходов при работе с дисковой подсистемой iSCSI target.
  • Следите за свободным пространством. Избегайте заполнения подключаемых iSCSI-томов более чем на 75-80% от их объема во избежание деградации производительности. Помните, любая система хранения, будь то жесткий диск или SAN-хранилище, после превышения указанного предела будет работать медленнее.
  • Не создавайте очень больших дисковых томов. Большие дисковые разделы, подключаемые по сети в режиме блочного доступа, могут вызывать падение производительности из-за проблем в индексации, поиске и размещении информации на дисковом разделе. Также следует понимать, что при пропадании сети возможно появление ошибок на файловой системе подключаемых блочных ресурсов. Проверить огромный том на наличие ошибок может оказаться крайне сложной задачей.

Использование стандартов и технологий iSCSI позволяет быстро подключить систему хранения данных в качестве устройств блочного доступа. Однако при дальнейшем развитии ИТ-инфраструктуры необходимы определенные финансовые и технические ресурсы для обеспечения надежности и приемлемой скорости передачи данных.

Рейтинг материала
[Голосов: 2 Рейтинг: 5]
29 марта 2017, 04:56

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *