Lefdal Mine Datacenter – гигантский ЦОД в угольной шахте

15 января 2016 г. | Категория: Мир

Некоторые слова превратились в клише и неизменно вызывают в воображении совершенно определенные образы­. «Стартап» — одно из таких слов. Когда его слышишь, немедленно представляются компьютерные нерды, которые сидят в коворкинге, составляют бизнес-план и занимаются веб-программированием­. А в перерывах играют раунд-другой в настольный футбол­...

Однако при первом же знакомстве с норвежцами это представление ­быстро отступает, потому что важнейший стартап в стране реализуют состоявшиеся менеджеры и «семья бывших шахтеров».

На западном побережье Норвегии глубоко под землей, в бывшей шахте ­создается Lefdal Mine Datacenter (LMD) — самый большой в мире центр обработки данных­. «Довести проект до сегодняшнего состояния стоило нам огромных усилий», — подчеркивает ­Анита Крон Траасет, возглавляющая государственное норвежское ­инновационное агентство Innovasjon Norge. «Было много попыток его остановить», — говорит она в обращении к участникам первой официальной пресс-конференции в Осло в августе 2015 года и очевидно гордится, что входит в число тех, кто помог состояться этому ­инновационному начинанию­, которое может стать основой для новой экспортной отрасли в Норвегии­. «Участники проекта в Лефдале —норвежские предприниматели, ориентированные на инновационные решения».

«Участники проекта в Лефдале —норвежские предприниматели, ориентированные на инновационные решения».
Анита Крон Траасет, норвежское инновационное агентство Innovasjon Norge

В городке Молёй с населением 6000 человек постоянно растет количество регистрируемых предприятий в области энергетики и новых технологий, и уже началось что-то похожее на золотую лихорадку­­. Основание LMD пробудило в людях дух предпринимательства — доля группы местных инвесторов в компании составляет ­50,7 %. Таким образом, деньги возвращаются в регион, который когда-то ­существовал за счет горнодобывающей промышленности. Во главе эксплуатирующей организации LMD стоит Эгиль Скибенес. Председатель правления чувствует облегчение от того, что проект наконец-то вступил в фазу «начала конца». С момента, когда впервые возникла идея использовать законсервированную шахту в качестве пространства для ЦОД, до начала отделочных работ прошло шесть лет. Шестиуровневая система штолен с 75 камерами предлагает 120 000 кв. м площадей для инфраструктуры, потенциальная суммарная мощность которой составляет 200 МВт. «Это именно тот случай, когда чем больше — тем лучше, — говорит Скибенес. — А шахта Лефдаль — очень, очень большая. Мы планируем создать здесь один из лучших ЦОД в мире». Скибенес намерен сделать LMD вычислительным центром номер один в Европе по рентабельности, безопасности, гибкости и экологической устойчивости.

«Лефдаль затмит собой все, что существовало до сих пор», — признает Андреас Кайгер, руководитель подразделения Rittal по сбыту в Европе. Компания Rittal уже много лет выступает в качестве стратегического партнера в области высоких технологий. Первичный анализ технической осуществимости был выполнен в IBM, а следующим шагом при осуществлении проекта в Лефдале стало обращение в Rittal для разработки концепции монтажа серверных компонентов. «Это будет самое эффективное решение в мире, которое мы можем осуществить, — объясняет Кайгер. — Лефдаль будет получать энергию только из возобновляемых источников, так что коэффициент эффективности использования энергии (PUE) составит всего 1,1». Более экологичную систему охлаждения серверов сложно вообразить, так как в Лефдале для этого будет использоваться вода из соседнего фьорда. «Фьорд станет нашим "холодильником"», — говорит Матс Андерссон, директор LMD по маркетингу. «Благоприятные местные условия позволяют Rittal обеспечить максимально возможную эффективность инфраструктуры внутри шахты», — говорит Кайгер. С учетом общей стоимости владения (TCO) рентабельность LMD будет на 40 % выше, чем у других ЦОД в Европе.

ПОДЗЕМНЫХ ПРОБОК НЕ БУДЕТ: на каждый из уровней LMD можно попасть по центральной дороге — «авеню». От нее отходят прямые улицы к отдельным камерам. Даже на самых глубоких уровнях грузовые автомобили могут разъехаться на двух полосах. «У нас лучшие дороги в регионе», — говорит директор по маркетингу Матс Андерссон.

ПРОСТОЕ РАСШИРЕНИЕ — СТАНДАРТ PLUG-AND-PLAY

Чтобы предлагать клиентам максимально гибкие и рентабельные решения, в LMD используются большие модульные системы. «Наши клиенты смогут наращивать или сокращать свои мощности в зависимости от потребностей, — объясняет Андерссон, — мы предусмотрели расширение технического парка по принципу Plug-and-play». Чтобы обеспечить такую возможность, в ИТ-инфраструктуре LMD широко применяются стандартизированные модули ЦОД. Здесь снова речь идет о заслуге Rittal, так как возможность масштабирования ЦОД опирается на модульное стандартизированное решение RiMatrix S, положившее начало индустриализации производства ЦОД.

Специалисты Rittal разрабатывали модули для этого масштабного проекта в тесном сотрудничестве с LMD и IBM. Говорит Мартин Киппинг, директор международных ИТ-проектов: «Благодаря нашим стандартизированным модулям ЦОД Лефдаль станет решением, в котором эффективно используется пространство и затраты сокращены до минимума, так как модули поставляются в виде контейнеров». Будут предлагаться пять различных модулей, имеющих по десять или двенадцать серверных стоек и одной сетевой стойке. В зависимости от потребностей клиенты смогут выбирать варианты мощностью 5, 10 или 20 кВт на стойку. «Одна позиция для заказа представляет собой полностью укомплектованный и предварительно сконфигурированный ЦОД с ИТ-стойками, электрораспределительным оборудованием и программным обеспечением для мониторинга ИТ-инфраструктуры и управления ей», — объясняет Киппинг. Также в модуль входит решение для контроля микроклимата Liquid Cooling Package. «Эта система всасывает отработанный воздух серверов, охлаждает его в высокопроизводительных теплообменниках, где циркулирует морская вода температурой 7 °С, и подает обратно в модуль». Также модуль имеет резервную систему электрораспределения и защиты по схеме 2N. Мартин Киппинг объясняет, что такая концепция применима почти во всех ситуациях: «Решение может быть смонтировано в отдельном контейнере или в имеющихся помещениях».

ТРИ УРОВНЯ НА ЭТАЖ: ширина улиц позволяет размещать контейнеры с оборудованием обеспечения безопасности на обеих сторонах. Поскольку высота отдельных уровней достигает 18 м, контейнеры на 12 стоек можно устанавливать друг на друга в три этажа. Также возможно возведение бетонированных трехэтажных конструкций площадью до 2500 кв. м.

«Данные — это новое сырье современного мира, и я не представляю себе лучшего места для их хранения, чем Лефдаль».
Арне Норхайм (Arne Norheim), генеральный директор IBM в Норвегии

ГОТОВНОСТЬ К ЭКСПЛУАТАЦИИ ЗА ШЕСТЬ НЕДЕЛЬ

«Таким образом, клиент может выбрать подходящее ему индивидуальное решение, не отказываясь от преимуществ стандартизации», — рассказывает Кайгер. Заказчик получает готовое решение ЦОД значительно быстрее и при этом может опираться на проверенные, сертифицированные системные компоненты. «Нам потребуется всего шесть недель с момента получения заказа до ввода в эксплуатацию в шахте», — поясняет Киппинг. Для сравнения он приводит такие данные: «Проектирование и строительство ЦОД с нуля может занимать до двух лет». При необходимости срочной модернизации или расширения мощностей это не может быть серьезной альтернативой.

Уникальное для Европы предложение LMD отвечает на растущий спрос на площади для ЦОД. «Окружающий нас мир меняется быстрее, чем когда-либо раньше», — говорит Арне Норхайм, генеральный директор IBM в Норвегии. На мир цифровых систем значительное влияние оказали четыре тенденции. «Большие данные, облачные системы в качестве новой модели бизнеса, использование мобильных устройств и социальных сетей. Вследствие этих тенденций ежедневно генерируются миллиарды гигабайтов данных». Этот рост имеет экспоненциальный характер. «90 % данных, которые хранятся во всем мире, созданы за последние два года», — так говорят специалисты из IBM. «Мы исходим из того, что объем данных во всем мире будет удваиваться приблизительно каждые 18 месяцев», — прогнозирует Кайгер.

СПРОС БУДЕТ РАСТИ ДО 2020 ГОДА

В том числе по этой причине для предприятий все более важным будет обеспечение надежного хранения конфиденциальных данных и управления ими с момента их создания и до уничтожения. «Только на период до 2020 года мы видим потребность в 60 новых крупных ЦОД в Европе, что означает ежегодный рост инвестиций в размере от 10 до 12 %», — говорит Эгиль Скибенес. Большое значение имеет возможность быстрого предоставления мощностей. Обычные индивидуальные решения этого не позволяют. С другой стороны, значение стандартизированных решений для ЦОД, таких как RiMatrix S, растет благодаря более низкой стоимости и высокому уровню гибкости и масштабируемости. Кайгер объясняет: «Рентабельность и энергоэффективность — два определяющих фактора при принятии решений об оптимальном размещении ИТ-инфраструктур». И это снова приводит нас к западному побережью Норвегии.

ПЯТЬ АРГУМЕНТОВ В ПОЛЬЗУ RIMATRIX S

1) Готовая конфигурация модулей ЦОД, упрощающая проектирование

2) Короткие сроки поставки (до шести недель) и быстрый ввод в эксплуатацию

3) Возможность расчета окупаемости на основе полной документации модуля ЦОД в момент приемки

4) Упрощенная окончательная сертификация готового к эксплуатации ЦОД для заказчика

5) Гарантированный коэффициент эффективности использования энергии не более 1,15

ГОРОД ПОД ЗЕМЛЕЙ

Lefdal Mine Datacenter (LMD) станет суперцентром обработки данных. Он строится сейчас в горном массиве на побережье Норвегии в штольнях выведенной из эксплуатации шахты. В ней достаточно места для освоения — много тысяч квадратных метров, распределенных широкой сетью на пяти уровнях глубины в толще горной породы.

ПАРА СЛОВ ОБ ЭКОЛОГИИ

Отличительной чертой LMD является применение возобновляемых источников энергии. 100 % используемой энергии добывается при помощи ветра и воды. Несколько гидроэлектростанций, расположенных вблизи шахты, обеспечивают более чем достаточное энергоснабжение. Совокупное производство электроэнергии в районе шахты составляет сейчас 12,7 ТВтч, причем по статистике за последние десять лет надежность электроснабжения составила 99,97 %. Это отвечает требованиям сертификации уровня Tier III.

СОЛЕНАЯ ПРОХЛАДА ИЗ СОСЕДНЕГО ФЬОРДА

Для охлаждения используется морская вода из соседнего фьорда. Она циркулирует в закрытом контуре, который охлаждает водяные контуры всех этажей и улиц через водо-водяные теплообменники, к которым, в свою очередь, подключены вентиляционные контуры модулей ЦОД. Фьорд глубиной 565 м связан с четырьмя ледниками и обеспечивает неограниченную подачу холодной морской воды температурой 7,5 °С. Расположение шахты ниже уровня моря сокращает расход энергии на подачу воды до минимума.

НОРВЕЖСКАЯ ТЕХНИКА БЕЗОПАСНОСТИ

LMD соответствует требованиям по безопасности и эксплуатационной готовности для ЦОД уровня Tier III. Центр имеет только один вход, что обеспечивает удобство управления доступом и наивысший уровень безопасности. Скальный массив гарантирует естественную защиту от электромагнитных импульсов. Специально обученные охранники ведут круглосуточное наблюдение за объектом и окружающей территорией без выходных и праздников. В дополнение к этому на предприятии внедрены трехуровневый процесс идентификации личности и интеллектуальная система видеонаблюдения.

ДООБОРУДОВАНИЕ МОДУЛЬНЫХ СИСТЕМ

Для ИТ-инфраструктуры проекта компания Rittal совместно с LMD и IBM разработала на базе RiMatrix S стандартизированные модули ЦОД: собираемые на заводе, испытанные, масштабируемые, с возможностью быстрой поставки. На данный момент ассортимент включает пять различных модулей на десять или двенадцать серверных стоек и одну сетевую стойку. Модули включают систему контроля микроклимата Rittal ­Liquid Cooling Package и электрораспределительное оборудование.

СООТНОШЕНИЕ РАЗМЕРОВ: Если бы инфраструктура, спрятанная в глубине скалы, была размещена на поверхности, это потребовало бы огромных площадей и затрат на строительство.

СПРОС НА СОВМЕСТНОЕ РАЗМЕЩЕНИЕ РАСТЕТ

ЗАТРАТЫ — ВАЖНЫЙ ФАКТОР ДЛЯ РАЗМЕЩЕНИЯ ЦОД

Популярность среди компаний размещения, эксплуатации и подключения к сети технической инфраструктуры в вычислительных центрах сторонних поставщиков услуг (совместное размещение) с 2007 года значительно выросла по сравнению со строительством собственных ЦОД. Развитию этой тенденции способствуют новые технические разработки и возможность сократить таким образом затраты на ИТ.

Данные в миллионах квадратных метров.

СТАНДАРТИЗИРОВАННЫЙ УСПЕХ

AAC TECHNOLOGIES

Два модуля RiMatrix S Double 9 обеспечивают вычислительные мощности для китайского предприятия AAC Technologies. Фирма занимается изготовлением микрокомпонентов для громкоговорителей, смартфонов и наушников.

DFS DEUTSCHE FLUGSICHERUNG

В новом ЦОД в Мюнхене установлено 500 стоек TS IT фирмы Rittal. Этот ЦОД используется для контроля значительной части воздушного пространства Южной Германии и частично — Восточной.

PROSEGUR

Компания Prosegur — лидер рынка перевозок денег и ценностей в Германии — разместила все важные сетевые компоненты, а также более 50 физических и 50 виртуальных серверов на двенадцати серверных стойках Rittal TS IT.

В Норвегии уже сам процесс строительства экономит средства, в отличие от классического возведения ЦОД с чистого листа. «Ведь шахта у нас уже есть», — отмечает Скибенес. Таким образом, о наружных стенах и электроснабжении можно не беспокоиться. «По сравнению со строительством наземного ЦОД затраты вдвое меньше». Поскольку шахта дает естественную защиту от электромагнитных импульсов, а также уменьшает потребность в ограждении и наблюдении у обеих входных зон, это значительно сокращает финансовые затраты на обеспечение безопасности. «С учетом стоимости электроэнергии мы предлагаем лучший в Европе проект в плане рентабельности», — говорит Матс Андерссон. — Если бы мы сейчас подключили готовый LMD к сети на полную мощность, стоимость электроснабжения составила бы около 150 миллионов евро. В Германии аналогичные расходы составили бы 300, а в Великобритании — целых 500 миллионов евро».

НОРВЕГИЯ — СТРАНА ПРИКЛЮЧЕНИЙ

Рентабельность LMD в значительной степени обусловлена также экономической политикой Норвегии. LMD поддерживается правительством и представителями отрасли, которые признают, что данное решение для ЦОД — это возможность стать одним из ведущих мировых игроков на рынке услуг по обработке данных. Пока что основными отраслями экономики Норвегии являются рыболовство, лесное хозяйство, а также добыча нефти и газа. Избыточное производство энергии с использованием исключительно возобновляемых источников позволяет предлагать низкие цены. «Именно потому, что вычислительным центрам требуется очень много энергии, Норвегия с ее возобновляемыми источниками, надежным снабжением и невысокой стоимостью энергии оказывается очень привлекательной. Также наш климат предлагает оптимальные условия для естественного охлаждения», — рассказывает норвежский министр нефтяной промышленности и энергетики Торд Лиен. На растущие потребности цифровой революции, требующей увеличения мощностей ЦОД, Норвегия отвечает возможностями гидроэнергетики, улучшением сетевой инфраструктуры и административными преимуществами крупных вычислительных центров. «Мы намерены стать участниками этого захватывающего приключения в новой отрасли, — добавляет министр и поясняет: — Вслед за энергетической революцией наступает революция цифровая». Так почему бы Норвегии не экспортировать данные так же, как она уже сейчас экспортирует в другие страны энергию?

При таких честолюбивых намерениях в перспективе Норвегия сможет улучшить свое экономическое положение в целом и создать дополнительные рабочие места. Вычислительные центры — это стратегический фактор выбора местоположения для промышленности. Связь между расположением вычислительных центров и эффективностью экономики подтверждает анализ института рыночных исследований DCD Intelligence, проведенный в 2013 году. Этот анализ установил, что США, Япония, Великобритания, Германия, Китай и Франция — шесть стран, имеющих крупнейшие в мире площади ЦОД, — согласно данным Международного валютного фонда являются также шестью странами с самым высоким в мире внутренним валовым продуктом.

LMD может стать для Норвегии важным фактором, способствующим развитию целых экономических отраслей. Проект уже сейчас является образцом для европейского рынка вычислительных центров, хотя первые клиенты въедут в помещения LMD только в августе 2016 года. В их числе — IBM. Компания, которая с первого дня принимала участие в планировании, реализации и обеспечении качества проекта LMD, сама станет арендатором, чтобы использовать преимущества высокой безопасности, современных производственных характеристик и низких эксплуатационных затрат. «Данные — это новое сырье современного мира, и я не представляю себе лучшего места для их хранения, чем Лефдаль», — утверждает Норхайм. Это высказывание напоминает девиз IBM, который в полной мере применим и к LMD: «Мы задумываем большое, начинаем с малого и быстро растем». Ведь LMD продвигается к поставленной цели тоже поэтапно. Хотя в действительности даже начало проекта нельзя назвать малым. «На первом этапе мы устанавливаем охлаждающую инфраструктуру на 30 МВт. По мощности это соответствует всей индустрии ЦОД в Норвегии», — объясняет Андерссон. Затем производственная мощность ЦОД будет поэтапно прибавляться по 7,5 МВт, пока не достигнет полного проектного значения — 200 МВт.

«Никто не ожидал, что через много лет после закрытия шахта снова сможет создавать рабочие места», — радуется Рольф Кристиансен (Rolf Kristiansen), технический директор LMD.

Как и многие его коллеги, которые будут работать на LDM после открытия, он уже сейчас каждый день спускается в шахту под фьордом, поскольку там еще идет добыча минералов из горной породы. Тем любопытнее, как идеально подходят к этой ситуации современные выражения «добыча данных» или «гора информации». Ирония эпохи ИТ.

ЗАПУСК ЛЕТОМ 2016: Первый этап строительства происходит на уровне 3. Здесь первые четыре "улицы" длиной 85, 110, 120 и 130 метров оборудуются необходимой инфраструктурой для установки модульных стандартизированных решений и удовлетворения индивидуальных потребностей заказчиков.

Теги: Lefdal Mine Datacenter, LMD, Норвегия