Нормативная документация

Вопросы к эксперту

16 февраля 2016 г. | Категория: Проектирование ЦОД

На вопросы отвечает Денис Хамитов, технический директор компании Huawei. Продуктовый портфель Huawei включает полный комплекс решений для построения инженерной инфраструктуры центров обработки данных. В структуре компании также есть собственное инженерное подразделение, занимающееся разработкой комплексных решений для дата-центров.

Данные строительной экспертизы по остаточной несущей способности перекрытий могут свидетельствовать о следующем:

⎯ либо перекрытия здания изначально не были предназначены для размещения тяжелого оборудования ЦОДа,

⎯ либо по полу второго этажа выполнена тяжелая набетонка толщиной более 10 см (удельный вес набетонки пола на 1 кв. м высотой 10 см составляет порядка 250 кг) .

Оценим необходимые нам минимумы по остаточной несущей способности пола, чтобы ЦОД можно было разместить на втором этаже здания:

⎯ вес ИТ-оборудования в стойках — 694 кг/м² (в шкафах типоразмера 600 х 1200);

⎯ вес ИТ-оборудования в стойках — 833 кг/м² (в шкафах типоразмера 600 х 1000);

⎯ один блок фреонового кондиционера холодопроизводительностью 86 кВт весит примерно 950–1000 кг, что при соответствующих габаритах 2500 х 800 мм составляет порядка 500 кг на 1 кв. м.

Исходя из грубых оценок, без учета дополнительных кратковременных нагрузок (пребывание персонала, доставка и транспортировка оборудования), остаточная несущая способность перекрытия второго этажа недостаточна для размещения ЦОДа.

Учитывая большое количество свободных площадей второго этажа и возможность разместить оборудование системы электроснабжения ЦОДа на первом этаже, имеет смысл рассмотреть комплекс мер по усилению несущих конструкций здания и перекрытия в зоне над помещениями, где установлено оборудование системы электроснабжения. Это необходимо сделать, чтобы разместить над ними серверный зал, но для этого потребуются данные о фундаментах и несущих конструкциях здания, их текущем состоянии, а также выполнение комплексных поверочных расчетов, разработка проекта усиления несущих конструкций и перекрытия.

Выполнить комплекс мер по усилению перекрытия над помещениями с непрерывным производственным процессом не представляется возможным ввиду правил техники безопасности и производства строительных работ: потребовалось бы исключить весь эксплуатирующий данное оборудование персонал и остановить эксплуатацию оборудования первого этажа.

Вариант демонтажа выполненной набетонки по полу второго этажа также невозможен по аналогичным причинам. Помимо этого высока вероятность повреждения самого перекрытия при производстве демонтажных работ.

Здание, в котором должен быть размещен ЦОД, находится в жилом районе. В ста метрах от него расположен детский сад. Холодопроизводительность системы охлаждения составит не менее 430 кВт. Наружные блоки кондиционеров, которые предоставляет заказчик, создают уровень шума 112 Дб. По условиям контракта ЦОД будет принят заказчиком после всех официальных согласований о сдаче объекта в эксплуатацию. В чем заключаются основные риски и что необходимо сделать в текущей ситуации?

Максимально допустимый уровень шума регулируется санитарными нормами СН 2.2.42.1.8.562–96 и для жилой застройки равен 70 дБА (с 07:00 до 23:00) и 60 дБА (с 23:00 до 07:00), а на территории детских и школьных учреждений — 40 дБА.

Поскольку параметры звукового давления внешних блоков заказчика составляют 112 дБ, что по шкале измерения шума сопоставимо с уровнем звука взлетающего вертолета, исполнителю проекта необходимо учесть риск несоответствия системы кондиционирования санитарным нормам. В данной ситуации исполнителю потребуется произвести расчеты по фактору шумового воздействия внешних блоков системы кондиционирования, оценить возможность и разработать проект устроения санитарно-защитной зоны, предусмотреть мероприятия по снижению уровня шума (озеленение, установка шумовых барьеров и т. п.) до разрешенного нормативными документами в зонах жилой застройки вблизи территории детских и школьных учреждений и согласовать разработанный проект в установленном порядке в органах санэпидемнадзора. По результатам расчетов шума исполнитель также может обосновать экономическую целесообразность замены внешних блоков на аналоги с меньшим уровнем звукового давления.

В целях экономии бюджета строительства ЦОДа заказчик настаивает на сокращении большинства некритичных, с его точки зрения, систем, в том числе и системы подготовки воды. В ЦОДе будут установлены пароувлажнители общей производительностью более 120 литров в час. Можно ли соглашаться на сокращение этой системы? Как в этом случае аргументировать свою точку зрения? Оправданно ли будет построить такую систему «бесплатно для заказчика»?

Качество подаваемой к пароувлажителям воды главным образом влияет на срок службы бачков пароувлажнителя, и в представленной ситуации все будет зависеть от типа применяемых пароувлажнителей и соответствующих требований к качеству воды.

Если параметры качества водопроводной воды на объекте не выходят за границы допустимых к применению в пароувлажнителях, то вся система подготовки будет заключаться в установке фильтров очистки от механических частиц. В этом случае бюджет проекта не будет слишком зависеть от системы водоподготовки и вполне возможно реализовать такую систему как за счет заказчика, так и «бесплатно для заказчика».

Если же требования к качеству воды предусматривают систему очистки методом обратного осмоса, то заказчику необходимо рассказать о последствиях отказа от нее, а именно о необходимости частой замены бачков пароувлажнителей во время эксплуатации из-за того, что вода — несоответствующего качества, а это повлечет за собой увеличение эксплуатационных расходов. Это и будет основным аргументом в пользу данной системы. Возможность реализации «бесплатно для заказчика» необходимо оценивать исходя из текущих экономических показателей проекта, степени лояльности или партнерских взаимоотношений с заказчиком.

По исходным требованиям заказчика проектируемый ЦОД общей потребляемой мощностью 7 МВт должен иметь показатели PUE не больше 1,35. ЦОД представляет собой единое здание, состоящее из пяти серверных залов площадью 1000 м² каждый, комплекса вспомогательных технологических помещений и административного блока. Площадь вспомогательных помещений — около 4000 м², административного блока — 1200 м². На этапе согласования рабочей документации заказчик потребовал включить в расчет PUE 700 кВт тепловой энергии, получаемой от централизованной сети отопления. Тепловая энергия необходима для отопления административного блока и отдельных серверных залов, пока те не будут заполнены серверным оборудованием. Прав ли заказчик? Каким образом проектировщик может выйти из сложившейся ситуации без существенных затрат на перепроектирование? Проектный PUE без учета тепловой энергии на отопление был 1,34.

В этом примере исполнитель проектирует ЦОД, включая зону административного блока, непосредственно относящегося к ЦОДу, и заказчик прав в своем требовании включить в расчет PUE тепловую энергию, получаемую от централизованной сети для отопления административного блока дата-центра. Но требование включить в расчет PUE также и тепловую энергию централизованной сети для отопления отдельных серверных залов, пока те не будут заполнены серверным оборудованием, некорректно:

⎯ расчет PUE выполняется на 100-процентную или 70-процентную нагрузку ЦОДа, то есть серверные залы в этом случае не могут считаться пустыми;

⎯ если необходим обогрев пустующих серверных залов, то он производится тепловыми пушками или электрокалориферами и потребляемая ими электрическая энергия уже учтена в расчете (70-процентная или 100-процентная нагрузка) .

В данной ситуации проектировщику следует определить долю из предлагаемых к включению в расчет 700 кВт тепловой энергии, необходимую на отопление административного блока ЦОДа, распределить потребление данной тепловой энергии в соответствии с годовым графиком потребления и, приняв поправочный коэффициент для учета тепловой энергии административных блоков ЦОДа, пересчитать PUE.

На начальной стадии обсуждения строительства ЦОДа общей мощностью 12 МВт заказчик настаивает на создании единого серверного помещения и общих инженерных систем без разделения на логические или физические блоки. ЦОД планируется заполнить сразу. Основная аргументация заказчика связана с уверенностью, что на большие объемы будут специальные скидки. Какой вариант построения ЦОДа будет оптимальным с учетом совокупной стоимости владения? Какова основная аргументация в случае, если подход заказчика не совпадает с оптимальным вариантом?

В погоне за потенциальными скидками заказчик явно упускает из виду преимущества последовательного ввода мощностей ЦОДа в эксплуатацию, с разбиением на логические и физические блоки. Доля капитальных затрат при схеме реализации всего ЦОДа ра­зом будет несопоставимо выше в сравнении с вариантом, когда мощности ЦОДа строятся и вводятся в эксплуатацию последовательно. Кроме того, при последовательной реализации часть введенных в эксплуатацию мощностей ЦОДа начнут генерировать операционную прибыль, что положительно скажется на совокупной стоимости владения дата-центром.

С технической точки зрения ввести в эксплуатацию блок ЦОДа мощностью 12 МВт без разбиения на логические и физические модули не представляется возможным в силу того, что на сегодняшний день типовая низковольтная аппаратура рассчитана на максимальный рабочий ток 6300 А; таким образом, единичный блок ЦОДа ограничен мощностью 4,158 МВт. Главный распределительный щит (ГРЩ) единичного блока ЦОДа не может быть выполнен более чем на 4,158 МВт, при этом автоматические выключатели на такую мощность являются мелкосерийными, с длительными сроками поставки и высокой стоимостью.

Оптимальным решением с точки зрения технико-экономических показателей является физический модуль ЦОДа, рассчитанный на мощность 2–2,5 МВт, при этом ГРЩ будет рассчитан на ток 3200–4000 А. Энергоснабжение такого модуля может быть обеспечено трансформаторами и установками ДГУ 1600–2000 кВА, имеющими широкое распространение.

Заказчик принимает решение модернизировать свое серверное помещение без остановки ЦОДа. В нем установлено четыре ряда серверных стоек, образующих два открытых холодных коридора и три горячих. Каждый ряд включает 10 стоек 42U размером 600 х 1100 мм. Ширина холодного коридора 1200 мм, горячего 800 мм. Размеры помещения 10 х 10 метров, высота от фальшпола до основного потолка 3,5 м, высота фальшпола 350 мм. Средняя потребляемая мощность серверной стойки до начала модернизации составляла 3 кВт. Максимальная мощность стойки не превышает 5 кВт. Оборудование охлаждается прецизионными кондиционерами с подачей воздуха под фальшпол. Резервирование по кондиционерам — N+1. Всего установлено четыре шкафных кондиционера, явная холодопроизводительность каждого из них — 50 кВт. ИБП и батареи находятся в отдельном помещении — три ИБП мощностью 100 кВА каждый работают в параллель.

Заказчик планирует поэтапную замену серверов, причем заменять серверные стойки он не собирается. Средняя мощность стойки после модернизации составит 8 кВт, при этом планируется установить ряд стоек с производительностью до 15 кВт на одну стойку. Суммарная потребляемая мощность ИТ-оборудования после модернизации составит не менее 480 кВт. 

В ходе работ по модернизации остановка ЦОДа не допускается. У заказчика есть выделенная мощность 1 МВт. Какие возможны варианты по модернизации системы?

В прошлом году мы с коллегами успешно разработали и реализовали аналогичный проект модернизации действующего ЦОДа без останова его работы. Прежде всего хотелось бы отметить, что модернизация действующего ЦОДа — это всегда комплекс взаимосвязанных и взаимовлияющих задач по технологическому обследованию существующей инженерной инфраструктуры ЦОДа и анализу исполнительной документации, по разработке и выбору оптимальных технических решений с обязательной их увязкой как с результатами технологического обследования, так и по технологии и плану модернизации ЦОДа.

При технологическом обследовании существующей инженерной инфраструктуры особое внимание следует уделить тому, чтобы выявить возможные дефекты первичного монтажа, что при дальнейшем производстве работ поможет избежать неприятных сюрпризов.

Для ответа на вопрос о том, какие варианты по модернизации существующего ЦОДа возможны, помимо представленных данных необходима дополнительная информация: по текущей компоновке шкафов и кондиционеров в машинном зале; однолинейная электрическая схема; информация о наличии ДГУ; тип существующей системы кондиционирования и параметры свободных площадей для размещения систем холодоснабжения и электроснабжения; требования заказчика к уровню надежности инженерной инфраструктуры дата-центра. Без учета всех этих данных концепция модернизации ЦОДа не может быть реалистичной.

Если говорить в общем, то из наиболее возможных решений по модернизации системы кондиционирования, в зависимости от компоновки серверных шкафов и кондиционеров в ЦОДе (все кондиционеры установлены в ряд вдоль одной стены или установлены два кондиционера по двум стенам), видятся два варианта:

⎯ установка дополнительной системы кондиционирования (Liebert Hirros XDFN) над серверными шкафами и/или на потолке над холодным коридором;

⎯ изоляция холодных коридоров и установка рядных блоков кондиционеров.

С модернизацией системы электроснабжения ЦОДа все гораздо сложнее, так как вряд ли коммутационная аппаратура и кабельное хозяйство проектировались с учетом последующего роста электрических мощностей. В таком случае возможно единственное решение модернизировать ЦОД без останова — путем создания дополнительной независимой системы бесперебойного электроснабжения с установкой дополнительных блоков распределения электропитания в серверные шкафы.

Денис Хамитов,
Технический директор проектов компании HUAWEI

Источник: Журнал «ЦОДы.РФ» № 11

Теги: Huawei, Денис Хамитов