Нормативная документация

Модульный дата-центр: взгляд изнутри

03 октября 2017 г. | Категория: Модульный ЦОД (МЦОД)

О модульных дата-центрах написано немало, в том числе на страницах нашего издания. В то же время всегда интересно изучить любой вопрос на практике. Поэтому мы и решили посетить действующий МЦОД, выполняющий конкретные задачи реального заказчика, чтобы самим узнать, как все-таки устроены подобные решения. Помогла нам в этом компания GreenMDC, директор которой, Федор Клименко, провел для нас небольшую экскурсию и рассказал об особенностях построения и эксплуатации объекта.

Компания GreenMDC предлагает на рынке достаточно интересный МЦОД линейки FixedSized MDC. Как возникла идея разработки такой модели? Это была разработка под заказчика?

Линейка решений фиксированного размера (FixedSized MDC) — это то, с чего мы начинали. Первая модель FixedSized MDC CompactIndoor24 была реализована в компании «Миран» еще в 2014 году, и решение StandardOutdoor12, о котором мы будем говорить дальше, — это, по сути, МЦОД из той же серии (рис. 1).

Рис. 1. Модульный ЦОД GreenMDC FixedSized MDC StandardOutdoor12, установленный на объекте

В составе МЦОДа два отдельных технологических помещения — для энергетики, которое в нашей терминологии называется «энергоблок», и размещения стоек (серверный блок). При этом в решениях серии Compact энергоблок устанавливается сверху на серверный блок, а в модели серии Standard — рядом с ним. В последнем случае получается одноэтажное здание с двумя помещениями — одно для энергетики (рис. 2), другое для стоек. Также их объединяет общая входная группа (рис. 3). Помещение серверного блока — составное, т. е. состоит из элементов, каждый из которых по размерам помещается в разрешенный транспортный габарит, при этом размеры собранного помещения получаются достаточно большими. Особенностью такого подхода является то, что в его рамках можно реализовать достаточно гибкие конфигурации с точки зрения организации пространства для размещения ИТ-оборудования и различных схем охлаждения.

Рис. 2. Внутреннее оснащение энергоблока МЦОДа StandardOutdoor12

То есть принципиальное отличие от классического КЦОДа в размерах?

Так, например, высота серверного блока позволяет разместить канальные кондиционеры над стойками. Также в серверный блок можно устанавливать очень высокие стойки, более 47U. Вся серия FixedSized задумывалась как достойная альтернатива контейнерным ЦОДам. Но, в отличие от классического КЦОДа в стандартном контейнере, наше решение большое, высокое, широкое, к тому же надежное и удобное.

Рис. 3. и Рис. 6. Внутри МЦОДа StandardOutdoor12: входные двери в энергоблок и в серверный блок

То есть принципиальное отличие от классического КЦОДа в размерах?

С одной стороны, да — решение отличается, прежде всего, размерами. Если типичная ширина контейнера 2,5, реже 3,2 метра, то в нашем решении StandardOutdoor12 ширина серверного блока составляет 3,5 м по наружным габаритам или 3,2 м, если мерить полезное внутреннее пространство. К тому же помещение серверного блока составное, из четырех элементов. Это самостоятельное помещение, которое выделено в отдельный противопожарный отсек. Еще одно помещение — комфортная входная группа. С точки зрения функциональности наше решение очень отличается от классических контейнеров, оно гораздо больше похоже на полноценный стационарный дата-центр. В первую очередь — с точки зрения удобства заполнения стойками. Можно ставить конструктивы любого размера в произвольной последовательности, вынимать, доставлять новые и т. д. Глубина стоек тоже может быть различной: 800, 1000, 1200 мм, при этом размеры сервисных зон в любом варианте остаются большие. Например, на холодный коридор при глубине стоек 1200 мм остается 1300 мм, на горячий — 700 мм. Соответственно, здесь можно устанавливать серверы любого размера, использовать внутрирядные кондиционеры (рис. 4). Таким образом, наш МЦОД имеет гораздо больше вариантов адаптации к требованиям и задачам заказчика, чем классический КЦОД.

Рис. 4. Серверные стойки и рядные кондиционеры в серверном блоке

Получается идея разработки такого решения возникла как альтернатива контейнерным ЦОДам?

Совершенно верно. Изначально при формировании концепции было желание взять все лучшее, что есть у стационарных ЦОДов, — надежность, удобство, гибкость и так далее, и совместить эти качества с легкостью перемещения контейнерного ЦОДа. То есть в результате получился компромиссный вариант, который существенно превосходит по ряду характеристик и контейнеры, и стационарные решения.

МЦОД, который мы рассматриваем, FixedSized MDC Standard­Outdoor12, был создан GreenMDC для нужд научно-производственной компании, которая разместила там свой вычислительный кластер. Какие ключевые параметры стали определяющими при выборе данного решения?

История взаимоотношений с упомянутым заказчиком достаточно интересна. Его офис расположен в здании, где уже есть коммерческий дата-центр. То есть, по сути, на старте проекта все вычислительные мощности находились именно там. Когда у нас состоялся первый разговор о выборе модульного решения, я, честно говоря, был убежден, что в итоге заказчик примет решение остаться в том же коммерческом ЦОДе. С учетом расположения объекта, доступность инфраструктуры выходила практически такой же, как и при эксплуатации собственного дата-центра. Но при этом у заказчика все равно возникли некоторые сложности, побудившие его все-таки задуматься о приобретении собственного решения.

Вот пример. В результате программно-аппаратного сбоя потребовалось ночью в выходной день попасть в автозал, а требования и регламент эксплуатации коммерческого дата-центра этого не предусматривает. В итоге получилось так, что ликвидировать аварию удалось только в понедельник. Еще один эпизод: заказчик всерьез планировал расширять свой вычислительный научный кластер, и этот коммерческий ЦОД не удовлетворял техническим требованиям с точки зрения допустимой мощности стоек.

В результате заказчик поставил это оборудование в наш модульный ЦОД, где максимальная потребляемая мощность одной стойки достигает 20 кВт. К тому же эти стойки нетипового размера, и в коммерческий дата-центр их просто технически невозможно было поставить, в отличие от нашего МЦОДа.

Исходя из этого было принято решение о начале проекта по созданию собственного дата-центра. Но свободных площадей в капитальном здании у заказчика не было, строить новое здание под дата-центр было бессмысленно из-за сроков, стоимости и т. д. Таким образом, единственным разумным решением стал модульный ЦОД внешней установки. На первом этапе GreenMDC был не единственным рассматриваемым вариантом. Для принципиального выбора решения заказчик посмотрел контейнерный ЦОД, понял, что это не то, что нужно, и объявил тендер среди производителей модульных решений, в котором приняли участие несколько производителей, не только из России. Однако зарубежное решение оказалось ощутимо дороже, чем российские аналоги, поэтому выбыло из тендера на начальном этапе. В результате отбора победил GreenMDC, даже несмотря на то, что наше предложение по цене немного превосходило решение ближайшего конкурента. То есть конкурс был выигран не за счет банального демпинга, а благодаря именно техническим преимуществам нашего решения.

И сколько времени заняло создание ЦОДа?

Согласно контракту, на проект было отведено 18 недель: 16 на изготовление и тестирование и две недели для установки и пусконаладки. При этом работы по проектированию и подготовке площадки велись параллельно с изготовлением дата-центра, что очень важно с точки зрения экономии времени. На начальном этапе в течение недели после заключения контракта мы выдали все необходимые требования для площадки под установку дата-центра, провели необходимые консультации с подрядной организацией, которая занималась подготовкой участка и подведением инженерных коммуникаций. В результате в качестве основания был выбран свайно-винтовой фундамент, также бюджетное и быстрое в строительстве решение, подключены кабели электроснабжения от трансформаторной подстанции, которая находится буквально в 20 м от дата-центра; подведены каналы связи и слаботочные кабели для интеграции инфраструктуры дата-центра в части систем безопасности, охраны, диспетчеризации в те же системы, которые уже работают на площадке.

Рис. 5. Вход в МЦОД, внешний вид

Каковы основные этапы изготовления такого дата-центра? Принимал ли заказчик участие в процессе создания решения?

Этапы рассматриваемого ЦОДа, в общих чертах, следующие. Первый этап — это производство компонентов — основных блоков, из которых состоит ЦОД. Начинается все, естественно, с металлоконструкций, параллельно производится заказ на инженерное оборудование с большим сроком поставки — ИБП, кондиционеры. Затем производится монтаж конструктива  — установка сэндвич-панелей и фасонных элементов. Дальше монтаж инженерной инфраструктуры и сборка модуля у нас на производстве.

Потом начинается этап тестирования. Для его проведения у нас есть необходимое оборудование, имитирующее работу серверных стоек, — тепловые пушки, вентиляторы и т. д. На свою производственную площадку мы привозим арендованные дизельные генераторные установки и подключаем дата-центр. На завершающем этапе происходит тестирование всех систем, которые установлены в ЦОДе: электроснабжение, ИБП, охлаждение, автоматика, пожарная сигнализация, контроль доступа, системы мониторинга. Все системы проходят первоначальную проверку именно на нашем производстве. Финалом тестирования становится демонстрация готового ЦОДа заказчику. Таким образом, есть некая наша стандартная методика испытаний, но при необходимости мы ее можем дополнить по требованию заказчика — проверить какие-то моменты дополнительно.

Инженеры заказчика видят готовый дата-центр в работе. В случае рассматриваемого нами проекта было проведено тестирование в режиме начала работы дата-центра (10 кВт полезной нагрузки), с половиной нагрузки (40 кВт), с полной нагрузкой (80 кВт), а затем — с превышением до 100 кВт. И все работало отлично. Но это еще не все. При полной нагрузке мы имитировали отказ кондиционеров — одного, двух (из трех имеющихся), провоцировали иные аварийные ситуации, чтобы понять, как будет вести себя инженерная инфраструктура ЦОДа в случае той или иной нештатной ситуации. Для заказчика это очень важно. Самое главное, что все тесты проводятся в реальных условиях, но при этом все риски, связанные с повреждением инженерных систем дата-центра в этот период, несет GreenMDC.

После того, как проведено тестирование, выполняется частичный демонтаж компонентов инженерных систем. Процесс подразумевает отключение всех межблочных магистралей, частичную разборку дата-центра, его подготовку к транспортировке, упаковку и т. д. По опыту выходит, что с момента окончания тестирования до отгрузки с производства проходит около недели. По приезде на площадку заказчика ЦОД монтируется и снова тестируется. Точно так же проверяются абсолютно все системы.

В модульном дата-центре ступеньки при входе. Как же осуществляется внос и вынос оборудования?

Многие привыкли видеть наклонный пандус на входе в дата-центр. Такое решение популярно у большинства производителей. Но по факту тяжелое оборудование в дата-центр доставляется на автомобиле с гидролифтом, и именно с него, а не с земли, обычно осуществляется разгрузка. Исходя из этого была разработана конструкция крыльца, где есть ступеньки (рис. 5) для людей и калитка, через которую можно занести в ЦОД тяжелое оборудование.

Как обустроен вход в помещение?

Входная группа дата-центра представляет собой отдельное помещение, просторный тамбур, где можно установить бахилонадеватель с запасом бахил, вместительный шкаф для ЗИП, а также небольшой стол, чтобы можно было произвести какие-то манипуляции с оборудованием (рис. 6).

Объем помещения это позволяет. Естественно, здесь имеется тепловая завеса, задача которой зимой поддерживать в помещении входной группы необходимую температуру не ниже +15 °C. Также во входной группе установлена дверь, которая имеет в своей конструкции терморазрыв. Сделано это для того, чтобы исключить возможные варианты обмерзания и образования конденсата на внутренней поверхности. Следует добавить, что вся конструкция МЦОДа сделана таким образом, чтобы «мостиков холода» не было. Даже сэндвич-панели закреплены к несущему каркасу МЦОДа при помощи специальных термоизолирующих элементов. В процессе сборки все детали конструктива дата-центра стыкуются друг с другом через специальный уплотнитель, все стыки герметизируются полиуретановым герметиком для наружных работ. Каков результат? За достаточно холодную зиму 2016–2017 года в рассматриваемом модульном ЦОДе не было зафиксировано ни одного места, где бы образовывался конденсат. Хотя лето и осень были очень дождливыми — ни одного случая протечки. Конструктив герметичный и очень крепкий, притом что достаточно быстро монтируется.

Все двери в модуле оборудованы системами контроля доступа?

Обязательно. Можно разделить именно персонал по зонам доступа. То есть, допустим, чтобы у людей, которые занимаются обслуживанием энергетики, не было полномочий для прохода в серверный блок или чтобы у ИТ-службы отсутствовала возможность доступа в помещения для энергетики. Наше решение все это предусматривает.

Зайдем в энергоблок. Что здесь?

Энергоблок в данной конфигурации представляет собой самостоятельный контейнер, наружные размеры которого Ш х В х Д — 2,5 х 3 х 9,6 метра. Он поставляется заказчику в собранном виде, но без АКБ, которые устанавливаются отдельно уже на площадке. Обратите внимание, слева у входа стоит 19-дюймовый шкаф со вспомогательным оборудованием слаботочных систем (видеонаблюдение, контроль доступа, сигнализация, мониторинг и так далее). Дальше два больших шкафа и ИБП, за ними установлен главный распределительный щит.

В общем, это большое комфортное помещение, которое позволяет без проблем эксплуатировать дата-центр. За отвод тепла в энергоблоке отвечают три канальных кондиционера, зарезервированных по схеме N+1. Естественно, в энергоблоке есть своя автономная система газового пожаротушения.

Перейдем в автозал. Какие инженерные системы находятся в серверном блоке?

— Здесь мы видим конструкции для прокладки кабелей, три внутрирядных кондиционера холодопроизводительностью 40 кВт каждый. Кстати, хочу обратить внимание на тот факт, что, несмотря на наличие фальшпола в машзале (где проходит, в частности, электрическая проводка и дренаж кондиционеров), уровень пола во всех помещениях одинаков. Начиная с крыльца нет никаких ступенек или перепадов. Притом что энергоблок и входная группа фальшполом не оборудованы. Сборная конструкция позволяет сделать многое. И, конечно же, машзал оборудован собственной системой газового пожаротушения и сигнализацией. В серверном блоке (как и в энергоблоке) имеется приточно-вытяжная вентиляция. Кроме того, здесь реализована эффективная изоляция тепловых коридоров, несмотря на то, что заказчик разместил здесь стойки различной высоты (рис. 7).

Рис. 7. Адаптеры для обеспечения изоляции коридоров при установке стоек различной высоты

Про систему энергораспределения стоит рассказать отдельно (рис. 8). В этом дата-центре она выполнена с помощью шинопроводов. Такой подход и для капитальных дата-центров является не слишком распространенным решением, а если говорить про модульные и контейнерные дата-центры, то, по-моему, мы вообще первые, кто поставили шинопровод в ЦОДе такого размера. Но для данного проекта такой подход был технически и экономически оптимальным, что стало ясно после проведения детального анализа задачи заказчика.

К шинопроводу подключаются коробки отбора мощности, в них можно устанавливать автоматические выключатели различного номинала, одно- и трехфазные. При этом установка новой коробки на шинопровод не требует его отключения — подключение стойки происходит в горячем режиме. Шинопроводы устанавливаются в МЦОД на нашем производстве и дальше переезжают в одном из перевозимых элементов.

Рис. 8. Шинопроводы энерго­распределения, установленные над серверными стойками 

Внешние блоки кондиционеров установлены на специальной площадке, которая смонтирована на крыше дата-центра, к ним организован удобный доступ по специальным настилам. Вообще, удобство эксплуатации и конструктивная продуманность всего комплекса — ключевая особенность, которая отличает наши модульные дата-центры от других подобных решений, представленных на российском рынке.

Тем не менее мы продолжаем активно работать над совершенствованием наших разработок. Ищем новые пути оптимизации существующих решений. Ведь чтобы занимать и удерживать лидирующие позиции в таком высококонкурентном сегменте, как рынок МЦОД, необходимо постоянное технологическое развитие. В этом плане мы стремимся всегда быть на шаг впереди других производителей, и нам это, похоже, удается.

Полный текст статьи читайте в журнале ЦОДы.РФ №19

Теги: GreenMDC, FixedSized MDC Standard­Outdoor12