Нормативная документация

Универсальные системы хранения данных HP 3PAR StoreServ 20000

20 июня 2015 г. | Категория: Теория и практика SDDC, Программно-определяемые сети, Программно-определяемые системы хранения, Программно-определяемый ЦОД

В июне  2015 года HP представила два новых массива 3PAR StoreServ 20000, которые позиционируются как СХД старшего уровня. Обе модели 3PAR StoreServ 20000 (20800 и 20850) сохраняют основные черты семейства 3PAR StoreServ, а именно: массивы адаптированы к использованию в них твердотельных накопителей SSD и к тому же являются в полном смысле этого универсальными, поскольку с равным успехом могут работать с блочными, файловыми и объектными данными.

Фамильные качества, присущие всем членам семейства, обеспечивает управляющая интегральная схема специального назначения ASIC (Application-Specific Integrated Circuit). В СХД 3PAR StoreServ 20000 уславливается новая микросхема пятого поколения HP 3PAR Gen5 Thin Express ASIC, она обеспечивает перечисленные выше свойства, а также  синхронную дедупликацию перед записью на диск (inline deduplication), отличающуюся большей эффективностью чем асинхронная дедупликация, осуществляемая после записи. В 3PAR StoreServ 20000 чип ASIC позволяет обрабатывать и данные, и метаданные независимо друг от друга, что снижает время отклика. К тому же каждый логический том обслуживается одновременно всеми контролерами массива и реализована функция Persistent checksum, гарантирующая целостность данных между серверами и дисками.

 В состав семейства HP 3PAR StoreServ входят:

•       20850 AFA-массив старшего уровня (All-Flash Array)
•       20800 конвергентный массив (flash/disk) старшего уровня
•       7450 AFA-массив среднего  уровня  
•       7440 и 7400 конвергентные массивы среднего уровня
•       7200 AFA-массив начального уровня

Массивы 20850 и 7450 соответствуют классу All-Flash Array по классификации Gartner, они рассчитаны на установку в них только SSD, в то время как в массивы 20800, 7400 и 7200 могут быть установлены как SSD, так и HDD, это делает их конвергентными флэш-массивами (converged flash array).

Массивы  AFA 20850 и 7450c предоставляют широкие  возможности масштабирования в диапазоне от сотен тысяч до миллионов   IOPS.  Конвергентные системы хранения 3PAR сочетают в себе производительность с возможностью расширения жестким дисками HDD. Все они построены по  единой архитектуре, работают под управлением общей для всех операционной систем HP 3PAR Operating System и предлагают общий набор корпоративных сервисов данных.

Основные технические характеристики систем хранения данных HP 3PAR StoreServ 20000

Появление СХД HP 3PAR StoreServ 20000 стало возможным благодаря долговременной технической политике HP. В  своем программном выступлении на конференции HP Discover 2014 в декабре 2014 года вице-президент HP по маркетингу СХД Крейг Нюнес выделил ее ключевые моменты, критичные для развития всего этого направления. Таковых моментов два: первый -- снижение сложности использования, второй – ориентация на  решения и технологии, предназначенные для программно-определяемых ЦОДов (SDDC). Именно эти моменты  реализуются в новых членах семейства СХД 3PAR StoreServ.

Крейг Нюнес подчеркнул, что инвестиции, направленные несколько лет назад на  развитие СХД 3PAR, сегодня начинают давать свои плоды. В рамках одной статьи перечислить все функциональные возможности СХД 3PAR StoreServ технически невозможно, поэтому остановимся на двух, во-первых, на универсальности, то есть на способности с равным успехом поддерживать блочный, файловый и объектный, во-вторых, на готовности архитектуры СХД 3PAR StoreServ к переходу на твердотельные накопители SSD.

Универсальность

В качестве средства достижения универсальности было разработано  ПО Storage Device Management Software HP 3PAR File Persona Software. Его главное  достоинство в возможности интегрировать в одну операционную систему, предназначенную для HP 3PAR StoreServ, все три известные подхода к хранению данных -- блочный, файловый и объектный. Внедрение  File Persona  позволяет применять один продукт из семейства HP 3PAR StoreServ  для всего широкого круга современных задач, связанных с хранением данных,  сокращая тем самым разнообразие, если не сказать зоопарк, используемого оборудования. Это значит, что сделав выбор в пользу   СХД HP 3PAR StoreServ, работающего под управлением  File Persona, пользователь может ограничиться приобрести всего одну систему хранения, вместо трех разных,  по одной под каждый тип данных  (блочный, файловый и объектный).

Прежде, чем говорить о том, как реализована универсальность HP 3PAR StoreServ и работа этого семейства СХД с различными типами данных под управление  File Persona, необходимо описать в общих чертах особенности объектных СХД  (Object storage или Object-based storage) в целом. Принципы работы с двумя первыми типами данных не секрет, они хорошо известны, чего нельзя сказать о третьем -- объектном.  Объектный подход  сейчас активно распространятся -- объектные языки программирования, объектные СУБД и т.д. Из  названия Object-based storage, то есть СХД, основанная на объектах, следует, что элементами хранения в таких СХД являются не блоки или файлы, эти хорошо известные издавна структуры данных, происхождение которых уходит корнями в технологии хранения данных, а те или иные объекты, которые  в большей степени  соответствуют реальной картине окружающего  мира. Объектный подход возник под влиянием требований со стороны внешней среды, а не в угоду собственно технологиям хранения. Для представления всего разнообразия хранимых данных достаточно трех компонентов:

• Собственно данные, это может быть что угодно, тексты, изображения, видео или аудио записи
• Метаданные, то есть расширяемый по мере необходимости набор сведений о том, кто и когда создал данные, сведения о контексте,   о том как следует интерпретировать и обеспечивать конфиденциальность и как выполнять другие служебные функции
• Уникальный глобальный идентификатор, позволяющий обеспечить доступ к данным в распределенной системе хранения, без необходимости для пользователя знать что-то о физических адресах и реальных месте или местах хранения данных, эту функцию берет на себя объектная СХД

Появление объектных СХД можно рассматривать как очередной этап эволюции систем хранения от  стародавних и потому примитивных с логической точки зрения блочных до будущих интеллектуальных.  Весь процесс эволюции во времени можно разделить на 5 этапов:

• Direct Access Storage (DAS)
• Storage Area Networks (SAN)
• Network Attached Storage (NAS)
• Object-Based Storage  (OBS)
• Intelligent Storage  (IS)

Какими бы особенностями не обладали каждый из пяти перечисленных типов СХД, как бы их не называть, все их объединяет то обстоятельство, что в конечном итоге каждый из типов по своему реализуют логически весьма схожие между собой технологический цепочки, связывающие приложения с физическими носителями данных. Общим является то, что любым приложениям в конечном счете нужны числа и символы на входе и выходе, а хранятся эти числа и символы записанными в двоичной форме на том или ином носителе. Вопрос в том, как организовать эту цепочку.

За последние 60 лет СХД эволюционируют  по пути усложнения цепочки между приложениями и байтами данных на носителе, на  каждом из этапов эволюции цепочка приобретает новую форму, но содержательно она мало изменяется.  Когда-то сами программы-приложения  читали и писали блоки, затем появились драйверы как часть операционной системы. На первых трех этапах эволюции (DAS, SAN и NAS) цепочка состоит из трех звеньев -- первое звено -- создание RAID-массивов, второе -- обработка метаданных, позволяющих интерпретировать двоичные данные в виде файлов и записей,  и третье -- сервисы по предоставлению данных приложению.

Главное различие между DAS, SAN и NAS в том, где и как реализованы эти звенья.  В случае DAS СХД является "голой" она только лишь предоставляет  возможность хранения и доступа к данным, а все остальное делается на стороне сервера. С появлением SAN обеспечение RAID переносится на сторону СХД, все остальное остается так же как в случае DAS. А NAS отличается тем, что хранит в СХД переносятся к тому же и метаданные для обеспечения файлового доступа,  здесь клиенту остается только лишь поддерживать сервисы данных. СХД типа OBS отличается новым типом объектного  интерфейса, здесь клиентские сервисы данных взаимодействуют с метаданными по  объектному  API (Object API). В OBS хранятся не только данные, но еще и поддерживается  RAID, хранятся метаданные, относящиеся к объектам и поддерживается объектный интерфейс.  В IS еще и функции сервиса данных перейдут к СХД. Детальный анализ эволюционного процесса представлен в учебном пособии "The storage evolution: from blocks, files and objects to Object-Based Storage Systems", подготовленном Storage Networking Industry Association. Отличительная особенность данного эволюционного процесса в отсутствии отрицания предшествующих этапов, и DAS, и  SAN, и NAS, и OBS сосуществуют во времени, но каждый из типов доступа в большей мере соответствует определенному типу, не следует забывать и наследуемых приложениях.

Итак мы видим три возможных типа хранимых компонентов -- блок, файл и объект, для каждого из них существуют методы доступа. Основной принцип блочного доступа мало изменился с середины пятидесятых годов, то есть со времен первых жестких дисков. Он обеспечивает произвольную запись/считывание физических порций данных или блоков (chunk of data) из которых на основании метаданных собираются логические структуры -- файлы.  Блоки идентифицируются по их адресам, поэтому  приложение для работы с данными с помощью операционной системы формируют необходимые адреса для последующего обращения по шине SCSI или SAS к контролеру дика. Приложение и операционная система определяют где и как хранить данные, следовательно блок не должен иметь ассоциированных с ним метаданных, что существенно ускоряет работу с данными. Такого рода цепочка от приложения для битов на носителе отличается простотой и, как следствие, обеспечивает высокую скорость обмена, по этой причине блочный проход незаменим для в случаях, когда критична скорость обмена, а это классические традиционные системы, базы данных и другие подобные задачи.

Файловый доступ, реализуемый в сетевых СХД (NAS), предполагает использование файловой системы, которая представляет собой ни что иное как  иерархический способ организации хранения файлов,  где для каждого файла пописан путь для доступа к нему и здесь к метаданным относятся описание файла, его контента, указание владельца и прав доступа, размер и другое.  Хотя NAS  является лучшим способом для обеспечения безопасного распределенного доступа к файлам, но у этого метода доступа есть количественные ограничения. Он отлично работает в локальных сетях LAN, однако при  переходе к  WAN, когда количество файлов измеряется не десятками или сотнями тысяч, а миллионами и даже более, он перестает быть эффективным.

OBS можно считать развитием NAS, этот подход возник в конце девяностых, прежде всего с целью преодоления упомянутых выше ограничений NAS, позже он получил дальнейшее  развитие в связи с возрастающей ролью неструктурированных данных.  Объектами это чаще всего включают в себя те же файлы, но упакованные в объекты вместе с метаданными. Каждому объекту ставится в соответствие его идентификатор-удостоверение, по-английски  чаще всего называемый ID, он чаще всего вычисляется по содержимому файл плюс метаданные. ID является уникальным и при необходимости обращения к объекту приложение предъявляет его.  В отличие от  файлов в файловой системе объекты хранятся в плоской структуре, представляющей собой  просто набор объектов. Плоская адресация позволяет делать такие хранилища неограниченно большими и географически распределенными. Крупнейшим объектным хранилищем является Amazon Simple Storage Service (Amazon S3), оно содержит в себе триллионы объектов хранения. Возможность расширения до таких масштабов обеспечивается простотой плоской инфраструктуры, объект в ней представлен только своим ID, все остальные метаданные упакованы внутри него. При такой организации объектное хранилище не имеет ни каких размерных ограничений. Но естественно. что расплатой за гибкость является меньшая чем NAS и тем более SAN или DAS производительность.

В 2015 году рост объемов неструктурированных  стал проблемой не только для таких провайдеров облачных услуг как Amazon и географически распределенных организаций, но и для большинства крупных компаний. Ответом на новый вызов стали унифицированные решения, называемые  Unified Storage. Исторически этот термин ассоциировался с такими СХД, где консолидировались два типа доступа – файловый и блочный с целью снижения стоимости владения (TCO) и упрощения администрирования. В современных условиях к этим двум прибавился третий -- объектный.  OBS реализуется трех семействах продуктов, образующих решение HP File and Object Storage:  HP StoreEasy Storage, HP StoreAll Storage и HP 3PAR StoreServ Storage. Первые два в данной статье не рассматриваются.

Теперь мы можем возвратиться к роли и месту HP 3PAR File Persona Software Suite. В этом управляющем ПО качественно новой функциональной возможностью является поддержка конвергенции всех трех типов доступа к данным. Образно говоря ПО HP 3PAR File Persona Software Suite в сочетании с операционной системой HP 3PAR Operating System и контролерами Converged Controller позволяет раскрыть внутренний потенциал HP 3PAR StoreServ Storage, заложенный в архитектуру этих массивов. Органичность решения является преимуществом этого решения по сравнению известными на рынке конвергентными СХД. ПО File Persona работает на всех современных системах HP 3PAR StoreServ.

Использование Solid State Device

Потенциальная производительность твердотельных устройств хранения (Solid State Device, SSD) делает их невероятно привлекательными и они могут оказать заметное влияние  на ИТ не только на СХД, но и на ИТ в целом.  На отдельных приложениях всего 10 устройств SSD по скорости обмена могут заменить собой 500 HDD, что ведет к существенной экономии эксплуатационных расходов (OPEX). Но снять с SSD такую производительность и реализовать ее на практике далеко не просто. Главные сложности связаны с архаичной по нынешним временам архитектурой классических СХД,  сложившейся под влиянием врожденных особенностей вращающихся дисков, такие накопители не позволяют раскрыть потенциал SSD. Следует учесть, что на протяжении всех предшествующих лет при проектировании  СХД приходилось учитывать и каким-то образом преодолевать тот факт, что HDD не являются в полном смысле устройствами с прямым доступом  к данным, хотя скорость обмена в большинстве случаев приемлема, но им свойственна задержка, вызванная необходимостью перемещать головки и подводить нужный сектор дорожки, задержка измеряется миллисекундами. В тех же случаях, когда нужна более высокая скорость обмена, диски приходится распараллеливать в ущерб эффективности использования дискового пространства. Вся современная школа проектирования СХД сложилась под влиянием этих факторов, но с появлением SSD перечисленные ограничения отпали, здесь задержка на несколько порядков меньше, скорость операций чтения/записи на несколько порядков выше, казалось бы все хорошо, но возникла новая проблема -- накопители старой школы  могут быть лишь как-то условно адаптированы к SSD. Другой вариант решения проблемы -- создание качественно новых конструкций.

Анализ рынка  СХД показывает, что он на данный момент распадается на два сегмента. Один старый, это массивы с традиционной архитектурой, они могут комплектоваться только HDD или совместно HDD и SSD, тогда получаются гибридные системы хранения HFA (Hybrid-Flash Array).  Даже в том случае, если старый массив комплектуется исключительно SDD, то такие систем  все же относятся не к AFA, а к HFA, поскольку в них не удается полноценно использовать потенциал SSD. Второй сегмент новый, он представлен конструкциями, где возможности SSD  использованы в полной мере, он главным образом представлен стартапами, часть из которых была в дальнейшем приобретена ведущими ИТ-компаниями мира.

На этом фоне исключение составляют СХД HP 3PAR, в них удалось заблаговременно создать удовлетворяющие современным требованиям  решения и теперь, когда на рынке есть в достаточном количестве твердотельные накопители,  их можно органично включить в СХД HP 3PAR, в том числе в любых сочетаниях SDD с HDD. 

Массивы HP 3PAR StoreServ, в отличие от всех остальных, оказались "генетически" готовы к установке в них SSD, переход от HDD к SSD поддержан комплексом уникальных основных фамильных свойств семейства  HP 3PAR StoreServ   Все его члены построены по единой архитектуре, допускающей возможность  создания не только гибридных накопителей HFA, сочетающих в себе твердотельные диски SSD с традиционными HDD, но и полноценных массивов, относящихся к категории построенных полностью на флэш-памяти AFA.

Не менее существенно то, что  массивы  HP 3PAR StoreServ  изначально полностью готовы в той части СХД, которую называют Tier-1, наиболее критичной для современных приложений. Определение Tier-1  за последние годы заметно менялось и его современная интерпретация требует дополнительного уточнения.

Деление внешней памяти на уровни новость, оно  известно очень давно, но в разные периоды времени  его понимали по-разному и оно осуществлялось с использованием разных технических средств. Когда-то давно данные в зависимости от частоты обращения к ним достаточно просто, естественным образом распределяли между дисками и лентами.  Затем с появлением представления о жизненном цикле информации ILM  и деления дисков а более быстрые SAS и более емкие SATA появилось более формальное деление на уровни от двух до пяти. Тогда же возник термин   Tier-1, им  стали называть  класс СХД, который обладает высокой производительностью, выраженной в IOPS, и готовностью не менее "пяти девяток" (99, 999%, годовой простой менее 6 минут) или даже "шесть девяток" (99,9999%, годовой простой 30 секунд). Tier-1  связывали с высокопроизводительными транзакционными системами. В современных условиях под влиянием облачных и мобильных технологических тенденций представление о памяти верхнего уровня изменилось, оно теперь связано не столько с количественными, сколько с качественными показателями СХД. Аналитическое  агентство ESG опубликовало по этому поводу содержательный отчет, выполненный по заказу  HP. Он озаглавлен "Определение СХД Tier-1 в современных ЦОДах. Критерии Tier-1 в эпоху виртуализации, облаков и гибкости ИТ". Его стоит посмотреть, чтобы лучше понять конструктивные решения, заложенные в  3PAR StoreServ 7000.

Несложно убедиться в том, что семейство HP 3PAR StoreServ  Storage, обладая перечисленным ниже списком свойств, полностью удовлетворяет современным критериям  принадлежности к Tier-1:

• Готовность "шесть девяток" в сочетании с мобильностью данных и сохранением принадлежности к среднему ценовому диапазону
• Автоматическое  восстановление после отказа  
• Способность к работе со смешанными нагрузками
• Отказоустойчивость уровня Tier-1 
• Снэпшоты, обеспечивающие восстановление в онлайновом режиме
• Объединение СХД в федеративное хранилище, обеспечивающая мобильность данных и балансировку нагрузки 
• Криптографическая защита данных
• Технологии дедупликации сокращающие использование пространства хранения до 75%
• Гибкие правила изменения приоритетов для обеспечения требуемого уровня обслуживания для разных бизнес-приложений
• Масштабирование до 15 Пбайт на единичную систему и до 60 Пбайт для федеративного хранилища.

От всех остальных известных СХД других производителей семейство HP 3PAR StoreServ отличается устройством  магистрали (backplane), объединяющий отдельные  в систему, в отличие от них она построена по принципу Full-mesh.  Топология Full-mesh представляет собой полностью связанную сеть,  где каждая пара узлов объединена собственной связью, для N узлов число связей равно N(N-1)/2. Надежность таких сетей чрезвычайно велика, она обеспечивается   множественным резервированием, но по причине дороговизны их применение ограничивалось военными системами. В гражданских системах до 90-х годов доминировали шинные магистрали, затем появились коммутаторы разных конструкций, но все они по определению уступают Full-mesh.

Соединение каждого с каждым имеет очевидные ограничения, в семействе  HP 3PAR StoreServ число узлов ограничено восемью. Системная магистраль  HP 3PAR StoreServ full-mesh представляет собой пассивное соединение для контролеров, которых в зависимости от модели их может быть от  2 до 8. Каждый из контроллеров  связан с другими двунаправленной магистралью со скоростью передачи 2 Гбайт/сек. В HP  принято называть такую конструкцию  Mesh-Active. Выбор в пользу пассивной платы в сочетании с активными контролерами позволил ограничить стоимость решения, сохраняя при этом свойственную такому типу коммутации высокую скорость передачи и минимальные задержки.

Можно сказать, что такое решение является компромиссом между более  дорогим монолитным и более дешевыми модульным. Монолитные СХД не только дороги  и сложны, к тому же они имеют ограничения на масштабирование. Модульные СХД лишены этого недостатка, но имеют свои собственные. Главный недостаток – то, что каждый из томов (LUN) связан только со своим контролером, в то время как в  Mesh-Active любой контролер имеет доступ к любому тому.

Архитектура  Mesh-Active  обеспечивает наиболее полные возможности для низкоуровневой виртуализации дискового пространства (system-wide striping), что чрезвычайно важно для достижения оптимума при балансировке нагрузки. К тому же это позволяет повысить скорость обмена, что имеет значение для полноценного использования SSD, автоматизировать восстановление RAID в случае выхода их строя того иди иного накопителя, беспрепятственно осуществлять обновление оборудования.

HP 3PAR StoreServ Architecture открывает возможность для сборки кластеров, состоящих из 2-8 контроллеров.   Контролеры узлов добавляются парами, для узлов предусмотрена горячая замена (hot-pluggable). Собственно устройство контролеров тоже отличается оригинальностью.  В контролерах  HP 3PAR StoreServ Storage обработка команд и перемещение данных разделены на два независимых потока. Такое решение исключает возможность скрещивания двух потоков и возникновения узких мест в случае необходимость выполнения различны по природе нагрузок одновременно, допустим транзакционной обработки OLTP с работой с хранилищем данных. Микросхема HP 3PAR ASIC реализует RAID 5 и RAID MP/Fast RAID 6. Функция HP 3PAR Thin Conversion позволяет  выполнять на аппаратном уровне преобразование «толстых» томов в «тонкие», в том числе и в момент миграции с массивов других производителей.

Подготовленность платформы HP 3PAR StoreServ Storage  к внедрению SSD с использованием всех достоинств этого типа устройств обеспечивает операционная система HP 3PAR Operating System Software. Все модели HP 3PAR StoreServ Storage  от младших, средних, высокопроизводительных, гибридных и построенных на флэш используют одну и ту же операционную систему. В основе этой ОС лежит трехуровневая  методология отображения (tri-level mapping methodology) данных. Эта методология делает возможным тонкогранулированный  подход к виртуализации (fine-grained virtualization approach), при котором на первом уровне физический диск разбивается на небольшие порции размеров 1 Гбайт (chunklet), каждая из которых является независимой единицей, она может быть назначена любому логическому диску. Это и есть основа виртуализации дискового пространства. Мелкая грануляция обеспечивает высокую эффективность использования дискового пространства. На втором уровне из ломтиков-порций собираются логические диски (Logical Disk, LD), нарезанные по физическим диска, естественно в LD собираются фрагменты из физических дисков одного типа.  Преимущество такого подхода заключается в возможности формирования LD с требуемыми показателями по производительности, стоимости, емкости и готовности. На третьем уровне из LD собираются виртуальные тома (Virtual Volume, VV), эти VV предоставляются  пользователям в виде привычных LUN по каналам Fibre Channel, iSCSI или  FCoE. Один VV может экспортироваться по разным портам. При таком VV, ассоциированная  с определенным  LD  может быть легко переброшена на другой  LD.  

Массивы 3PAR StoreServ  Storage хорошо задокументированы, ниже приведены ссылки на несколько документов, внимательный читатель сможет найти в них ответы на вопросы, оставшиеся за рамками данной статьи.

• Family guide HP File and Object Storage
• Technical white paper HP 3PAR Adaptive Flash Cache
• Technical white paper HP 3PAR StoreServ Architecture
• HP 3PAR StoreServ 7000 Storage
• HP 3PAR StoreServ 7450 all‑flash array 
• Technical white paper HP 3PAR StoreServ Storage: optimized for flash 
• HP 3PAR StoreServ 20000 Storage Family
• Technical white paper HP 3PAR StoreServ Architecture

Автор: Леонид Черняк

Теги: HP, SDDC