Внедрение крупнейшего предсобранного МЦОД для органов государственной власти в Волгограде

15 февраля 2019 г. | Андреев Роман

В феврале 2018 года в Волгограде для администрации области введен в эксплуатацию крупнейший предсобранный модульный ЦОД из созданных для органов исполнительной власти России. Производством дата-центра занималась санкт-петербургская компания GreenMDC. О том, почему было выбрано именно такое решение и как проходила реализация проекта, нам рассказал Роман Андреев, начальник отдела системного администрирования ГКУ «ЦИТ ВО».

Несколько лет назад ИТ-инфраструктура органов исполнительной власти Волгоградской области представляла собой разнокалиберное оборудование: это были стоечные серверы, расположенные в разных точках региона. Понимая, что такой подход не позволит активно развивать доступные и надежные государственные ИТ-сервисы, мы начали прорабатывать идею создания единой инженерной и серверной инфраструктуры для нашего региона, отвечающей всем современным требованиям. Подготовили нормативную базу, введя понятие единого центра обработки данных органов исполнительной власти, и начали оснащать имеющимся оборудованием серверную в здании обладминистрации.

Развитие государственных сервисов и высокие требования к их доступности привели к необходимости внедрения высокопроизводительной отказоустойчивой информационной инфраструктуры в Волгоградской области. Для этого был проведен анализ сложившейся ситуации. Самым простым, на первый взгляд, решением была модернизация уже существующей серверной. На этапе предпроектной подготовки по дооборудованию серверной мы пришли к выводу, что реализация данного проекта потребует значительных затрат. При этом из-за ограничений, связанных с используемым помещением, было невозможно реализовать все требования по надежности и отказоустойчивости инженерной инфраструктуры. В результате рассматривались два варианта: либо строительство отдельно стоящего здания, либо реконструкция существующего. Однако на этапе проектирования здания для ЦОДа мы столкнулись с рядом проблем, которые существенно увеличивали срок реализации данного проекта и, как следствие, грозили неисполнением поставленных руководством задач.

С самого начала мы обратили внимание на контейнерные решения для ЦОД. Производители поясняли: модульное — значит собранное из контейнеров. То есть привозит их грузовик — три контейнера рядом ставим. И действительно, решения производителей, которые мы рассматривали в качестве вариантов, были выполнены по такому принципу: морской контейнер, оборудованный всеми необходимыми системами. При необходимости увеличения мощности можно обеспечить масштабирование, просто добавив несколько таких же контейнеров.

Однако мы не получали никакой информации, как оборудован контейнер внутри. Нам презентовали технологию, рассказывали, насколько быстро привозят и устанавливают контейнер — и все работает. Но вживую посмотреть на внутреннее оснащение не удавалось, никто нам его так и не показал — только обещали: привезем, наладим, все будет хорошо. И тут вмешался его величество случай: нашего руководителя — председателя комитета информационных технологий Волгоградской области Сергея Пантелеевича Торбина — пригласили принять участие в выставке «Связь‑2017». Мероприятие проходило в рамках Российской недели высоких технологий, один из разделов которой был посвящен центрам обработки и хранения данных. После посещения выставки Сергеем Пантелеевичем и начало созревать решение о покупке модульного ЦОДа.

Побывав на нескольких действующих МЦОД, мы поняли, что ранее немного заблуждались, так как для нас существовала стройка или контейнеры. Оказалось, есть решение, которое позволяет создать полноценную инженерную инфраструктуру без строительства и без использования контейнеров.

В августе 2017 года был проведен электронный аукцион на поставку и установку модульного сооружения, оборудованного комплексом инженерно-технических систем и предназначенного для размещения ИТ-оборудования единого центра обработки данных органов исполнительной власти Волгоградской области. Победителем аукциона стало ООО «Инжиниринговая компания "Санлайн"».

Уже в январе 2018 года МЦОД был доставлен к нам на площадку. Рано утром в мороз -15 °C началась разгрузка, а уже вечером все модули были состыкованы в герметичный контур — перед нами стояло собранное здание. Отладка и запуск заняли еще несколько недель. Коллеги из МЧС, на территории которых все происходило, пребывали в шоке. Представляете, они в пятницу уходят с работы — видят пустую площадку, в понедельник приходят — на ней стоит сооружение.
Немного о территории размещения. Нас взял под крыло комитет по обеспечению безопасности жизнедеятельности. Это режимный объект, и ЦОД туда вписался как нельзя лучше. Территория охраняется, все строго: следят и за подачей электричества, и за соблюдением пропускного режима. Земля принадлежит не центру информационных технологий и не комитету, а областной администрации, где нам выделили участок ровно под размещение МЦОД.

Возвращаясь к процессу закупки и поставки, который проходил в соответствии с 44-м Федеральным законом, можно сказать, что немаловажным в этом процессе оказалось не только само решение, но и команда и ее отношение к выполнению государственного контракта. Оглядываясь назад, отметим: техническое задание, представленное на конкурс, было далеко не идеальным — многие моменты были просто не прописаны, но мы со своей стороны постарались отразить все необходимые требования к закупаемому решению. Например, в электрике в распределительных щитах установлены модульные переключатели, и то, какие они должны быть, в ТЗ не отражалось. Указывать конкретного производителя запрещает все тот же 44-й ФЗ. Фактически можно было поставить самые дешевые. Когда же мы принимали МЦОД, оказалось, что используются дорогие качественные компоненты. То же самое касается системы мониторинга ЦОД: в наших требованиях описывались различные инциденты и реакция системы на их возникновение — рассылка электронных уведомлений и других сообщений. В готовом решении мы получили не только удобную систему мониторинга и диспетчеризации, но и дисплеи, позволяющие инженеру видеть всю необходимую информацию без обследования каждого помещения. Если какая-либо из дверей в ЦОДе касается стены, на ней наклеена специальная подложка, чтобы дверь при закрытии не повреждала стеновые панели. Это мелкая деталь, но из подобных деталей складывается качество. И самое главное — многие из таких деталей действительно очень нужны и удобны, но это понимаешь, когда тебе уже, собственно, их предоставили.
Второй немаловажный параметр, о котором я хотел бы сказать, — это гибкость и отзывчивость производителя МЦОД — компании GreenMDC. В процессе реализации проекта мы поняли, что в нашем дата-центре необходимо небольшое помещение под хранение ЗИП. Мы озвучили свои мысли производителю, и специалисты GreenMDC тут же откликнулись, предложив решение, которое нас устроило. Теперь мы имеем складское помещение, в котором храним запасные комплектующие. И это всего лишь один из многих подобных примеров.

Что же касается самого ­дата-центра, то за 5 месяцев мы получили модульный ЦОД, обладающий всеми теми характеристиками, что и капитально построенный дата-центр. Ширина холодного коридора — 1200 мм; горячих коридоров — 600 мм; 26 серверных шкафов шириной 600 мм и четыре шкафа шириной 800 мм с глубиной 1050 мм с полезной нагрузкой в 160 кВт. При этом дата-центр был предварительно протестирован на производстве, что позволило минимизировать вероятность возникновения различных инцидентов. Срок поставки и ввода в эксплуатацию не превысил шести месяцев с момента заключения государственного контракта. Дата-центр сделан так, чтобы его можно было максимально комфортно эксплуатировать и обслуживать.

В серверной у нас была вечная проблема с влажностью. С температурой мы еще как-то могли бороться, но с влажностью ничего невозможно было сделать, поскольку серверная находилась в подвальном помещении. Сейчас такой проблемы нет, хотя система, которая контролирует влажность, на данный момент в ЦОД отключена. Нет необходимости: людей в помещении нет, влажность не повышается благодаря хорошей герметичности сооружения.

В ЦОДе обрабатываются данные государственных структур — это государственные информационные системы, ведомственные сервисы. У муниципалитетов есть свои серверные, но систем нет — они используют наши. По региону в каждом муниципальном районе есть узел с СУиПД — сетью управления и передачи данных. То есть физически они в нашей локальной сети со своим доменом, но используют наши сервисы.

ЦОД действительно стал центром размещения информационных систем органов исполнительной власти Волгоградской области: на данный момент примерно 80 % региональных систем успешно функционируют в новом дата-центре. Среди них — Региональный центр управления транспортом, ведь в городе — управляемые светофоры: диспетчер, сидя за компьютером, может дать зеленую улицу из аэропорта, чтобы гости доехали без проблем, и так далее. Системы межведомственного взаимодействия, государственного управления — это больше 200 серверов. Медицинская информационно-аналитическая система (МИАС) и многие другие системы, позволяющие сделать наш регион удобным и комфортным. На данный момент миграция серверного оборудования продолжается.

Сегодня новый ЦОД позволяет размещать очень высокоплотное оборудование. Загруженность дата-центра — около 70 %. При этом по энергетике мы его будем использовать примерно на 30 %. Это целая проблема, поэтому сейчас закупаем новое серверное оборудование: блейд-серверы, высокоплотное оборудование, которое по своему масштабированию укладывается в меньшее количество юнитов, но с большей производительностью.

Немного о перспективах. Мы понимаем, что нам понадобится и резервный ЦОД. Поэтому старое помещение мы не бросаем, под склад не отдаем — будем реконструировать, доделывать, доводить до ума. Конечно, там не будет такого уровня, как в основном ЦОДе. Тем не менее у нас будет помещение, где разместятся клоны информационных систем, заглушки с оповещением о проведении регламентных работ и другие системы на случай непредвиденных обстоятельств. Правда, при наличии двух вводов, дизеля и резервирования инженерных систем я с трудом себе представляю ситуацию, в которой наш основной ЦОД перестанет предоставлять сервис. Скорее всего, это может быть ситуация, которая ясно покажет, что в городе небезопасно находиться. 

Подробно ознакомиться с инсталляцией можно здесь

Теги: ЦИТ ВО, GreenMDC, Волгоград, Россия