Сервер для хостинга

03 октября 2015 г. | Чаянов Петр

Чтобы предложить услуги по конкурирующей цене, компании, работающие на рынке хостинга, постоянно ищут пути снижения расходов ― как капитальных, так и операционных. Прежде чем сдать сервер в аренду, надо позаботиться о том, чтобы бизнес-модель была жизнеспособной. Петр Чаянов, генеральный директор хостинговой компании Hostkey, знает о потребностях хостеров не понаслышке. Четыре года тому назад вместе с фондом "Т-Нано" он создал новый бизнес ― компанию Cool Systems, которая специализируется на разработке и производстве серверов семейства Cool Systems Aero10, ― привлекательного по цене и обеспечивающего гибкую конфигурацию решения для задач хостинга. Еще одно направление работы Cool Systems – производство систем иммерсионного охлаждения. Прежде чем предложить на рынок эти продукты, хостер тщательно оттестировал их на собственной площадке.

Основная услуга, которую предоставляет хостер своим клиентам – это сдача серверов в аренду. По каким критериям хостеры выбирают серверное оборудование для пополнения своего парка?

Многие хостеры стараются вовремя обновлять парк своих серверов. Поэтому хостер, у которого есть стабильный приток клиентов, постоянно находится в поиске оборудования, приемлемого по техническим характеристикам и цене. Чтобы снизить расходы, некоторые компании стараются покупать серверы б/у с небольшим сроком службы или даже компоненты на распродажах. Общий срок службы сервера до момента его полного морального износа составляет 7‒10 лет. Поэтому сервер б/у со сроком службы до 5 лет вполне может стать кандидатом на запчасти. Из таких мы, как правило, используем корпус. Готовый сервер в сборке владельцы этого бизнеса обычно не покупают, ― иначе бизнес-модель не сходится.

Компания Hostkey – не новичок на этом рынке. По Вашему опыту, в чем основная проблема этого бизнеса?

Чтобы модель хостингового бизнеса финансово «сходилась», его владелец должен предложить это оборудование по конкурентной цене. Такой сервер должен быть максимально недорогим в закупке и эксплуатации, а по завершении жизненного цикла ― иметь остаточную стоимость для продажи и сохранять ликвидность на рынке.

Мы занимается бизнесом хостинга с 2008 года, ― сдаем серверы в аренду. Это наш основной бизнес. Мы покупаем сервер, устанавливаем его в стойку в ЦОДе и предоставляем клиенту удаленный доступ со всеми сопутствующими условиями. Предлагаем как физические, так и виртуальные серверы. В России у нас сейчас примерно 700 машин, и в Голландии около 600. Каждый месяц мы где-то пару десятков серверов добавляем в свои ЦОДы ― иногда больше, иногда меньше. Что-то старое мы продаем, новое покупаем. Всегда приходится это делать по-разному. Периодически мы что-то покупаем на распродажах, и это нормально. В Голландии ситуация проще, там у нас лизинг. Впрочем, и в Голландии компоненты тоже приходится покупать. Готовые сервера в сборе уже давным-давно не брали.

Проблема в том, что заказчик ищет услугу подешевле или хотя бы сравнимо с аналогичными услугами на зарубежном рынке. А если мы будем действовать традиционным образом, то есть, если мы покупать сервер в магазине, устанавливать в стойку и сдавать в аренду, то возврат на капитал, норма рентабельности, не будет отвечать целям этого бизнеса.

И дело не только в цене готового сервера, но также и в том, что мы повторно используем компоненты. Если мы купили сервер в какой-то фиксированной конфигурации, то нам потом будет сложно его продать следующему клиенту. Поэтому мы каждый сервер рассматриваем просто как набор компонентов.

У нас есть конфигуратор на сайте, там можно скомпоновать любой нужный сервер, и потом собрать по требованию клиента. Соответственно, компоненты нам нужно покупать. В результате получается сервер, в котором, например, может быть установлена новая материнская плата, диски, а корпус может быть и постарше. Если мы будем поступать по-другому, то просто не сможем работать эффективно, не сможем конкурировать на рынке. Главное ― мы тщательно следим за безотказностью работы оборудования. Все тщательно проверяется и тестируется.

А на энергоэффективность Вы обращаете внимание?

Конечно. Прогресс не стоит на месте, сейчас на рынке появились процессоры другой мощности, с другим энергопотреблением. Например, сейчас машины на 771 сокете эксплуатировать просто бессмысленно ― они электричество пожирают в огромных количествах, занимают много места, а производительность при этом очень низкая.

К выбору компонентов подходим аккуратно. Например, 771 машины мы еще в 2009‒2010 году покупали. С тех пор пять лет прошло, и эти машины уже не могут конкурировать с современными серверами. Но продать их еще можно, просто вовремя нужно обновлять парк. Соответственно, если мы покупаем аналогичные машины 2011 года, которые какая-нибудь крупная компания списала по понятным причинам, то это значит, что у нас осталось возможность еще 2‒3 года их поэксплуатировать или апгрейдить, или продать по компонентам.

Мы находимся в вечном поиске, как сделать это технологично и оптимизировать издержки. В результате тщательного отбора мы пришли к тому, что остановились на форм-факторе «мини». Мы экспериментировали с этим форм-фактором еще в 2009‒2010 годах. Изначально мы просто собирали серверы в штатных маленьких корпусах китайского производства, потом захотели более аккуратно сделать и стали проектировать сами. И где-то в прошлом году, в марте, мы договорились с «Т-Нано» (это совместная компания «Т-Платформы» и «Роснано»), о совместном проекте, который помимо серверных конструкций охватывает еще и иммерсионное охлаждение. Эти серверы в мини форм-факторе нам были нужны, чтобы сдавать клиентам в рамках бизнеса Hostkey и чтобы «откатать» все необходимые технологии, сделать решение, которое бы заинтересовало весь рынок. Сейчас я понимаю, что это был очень правильный шаг – в том, что мы большинство нюансов оттестировали на этих мини-блейдах.

А с «Т-Нано» вы обсуждаете какие-то технические вопросы?

Да, обсуждаем, и именно технические.

Какие требования предъявляют к серверу клиенты хостера?

Многие клиенты хостинговых компаний интересуются маленькими и недорогими однопроцессорными выделенными серверами. Для экономии операционных издержек хостеры предпочитают модульные серверные системы, которые экономят место в стойках ЦОДа. На мировом рынке такие решения есть, в первую очередь у таких компаний как Supermicro, Dell, Tyan, у HP есть что-то похожее. Они вполне технологичны, но бизнес-модель по их сдаче в аренду из-за высокой стоимости становится нежизнеспособной. А вот удобные и недорогие модульные серверы, ориентированные на «малый» сегмент, на рынке практически не представлены.

Расскажите о вашей разработке серверного решения.

То, что нам было нужно, то, что спрашивал клиент, ― готового решения на рынке не было. Все универсальные серверы, как правило, были избыточные. И мы занялись собственной разработкой, стараясь сделать ее подешевле. В результате поисков пришли к оптимальному форм-фактору, который всех устраивает.

Специально для задач хостинга мы разработали и начали поставлять по весьма привлекательной цене модульный блейд-сервер Cool Systems Aero 10. Простые комплекты на лезвиях под сокет 1150 (Intel Core) без удаленного управления стоят 13 500 руб. за лезвие, что в два раза дешевле, чем, например, Supermicro Microcloud. Полный комплект на 10 лезвий под сокет 1150 для процессоров Intel Xeon с удаленным управлением обойдется в 21 500 руб. в расчете на лезвие, то есть на 26 % дешевле аналогичного решения от Supermicro.

Важная задача хостера — экономия пространства (юнитов) в стойке и затрат на ЦОД. Платформа Cool Systems Aero 10 с микролезвиями выполнена в компактном 4U-корпусе стандартной глубины 700 мм. Шасси рассчитано на установку до десяти однопроцессорных серверных лезвий, которые обеспечиваются воздушным охлаждением и горячей заменой. В каждое лезвие можно поставить практически любую материнскую плату формата Mini-ITX, до четырех жестких дисков 2,5" или один диск 3,5". В Cool Systems Aero 10 предусмотрено до трех совместно используемых блоков питания Mean Well мощностью 750 Вт с возможностью горячей замены (суммарно ― до 2 кВт, или 200 Вт на лезвие), а также три разъема для подключения к различным вводам сети 220 В.

Экономия бюджета здесь очевидна: 10 серверных лезвий размещаются в форм-факторе 4U. Если бы это были отдельные серверы, они заняли бы ровно десять юнитов. Тем самым экономия на одной машине составляет как минимум 5 тыс. рублей в месяц, или 60 тыс. рублей в год. Учитывая, что у Cool Systems Aero 10 довольно низкое энергопотребление, такими решениями можно целиком укомплектовать стойку 42U и с учетом коэффициента спроса на 100 лезвий уложиться в лимит потребляемой мощности (4‒5 кВт).

Каков срок жизни этого сервера?

Мы продумали вопрос о защите инвестиций. Хостинговая компания обязана вовремя избавляться от морально устаревающего, хотя и еще ликвидного оборудования. С сервером Cool Systems Aero 10 это просто: замена типовых материнских плат при смене поколений процессоров, высокая ликвидность компонентов после апгрейда, возможность использования разнотипных лезвий в одной платформе, унификация блоков питания ― все это обеспечивает защиту инвестиций на долгие годы, так как основа платформы остается неизменной.

Где расположены ваши производственные мощности?

Весь цикл производства платформы ― от изготовления корпусов и необходимой электроники до полной сборки ― находится в России. Для московских клиентов обслуживание производится на месте установки или на следующий рабочий день после подачи заявки, а зачастую и в тот же день. При этом любой компонент системы будет заменен сразу и на месте. После истечения гарантийного срока оборудование может быть модернизировано — для лезвий предлагается выгодная схема приобретения trade-in. При желании серверы могут быть полностью укомплектованы процессорами, памятью и дисками. Учитывая, что мы как производитель предоставляем рассрочку и лизинг, хостеру остается лишь сделать разумный выбор.

А если сравнить ваше решение с MicroCloud от Supermicro?

Там используется проприетарный специфический форм-фактор. Корпус MicroCloud чуть пониже, и в него можно усановить до 12 лезвий. Такую плотность мы повторить не в состоянии ― материнских плат нет. Но и цена нашего продукта существенно ниже.

Впрочем, везде есть ограничения. Например, в модели MicroCloud используются 8 трехдюймовых дисков, ― ограничение связно с тем, что горячая замена производится со стороны передней панели.

В наш сервер на лезвие можно поставить либо один диск на 3,5" или до четырех 2,5" жестких дисков или SSD. Нам удалось добиться достаточно высокой плотности размещения. Компактнее на этих компонентах сделать уже нельзя.

А Вы не можете прибрести аналогичные материнские платы?

Обсуждение этого вопроса начинается с партии 50 тысяч, причем с предоплатой. Нужен гораздо более массовый рынок. Если бы мы были дистрибьютором, то может быть, подумали, как сделать свою марку, и под ней что-нибудь заказать. Но, по-моему, все в эти игры уже наигрались в свое время.

Мы остановились на широкодоступных материнских платах. Мы берем материнские платы у дистрибьюторов напрямую, там, где дешевле. Главное, чтобы разъем питания в правильном месте стоял, чтобы не использовать переходник.

Какие диски используете?

Сейчас все больше и больше SSD спрашивают. Мы покупаем в основном серию Samsung 850 Pro. Они очень надежные, их сложно убить в обычной эксплуатации, если конечно целенаправленно этим не задаваться.

Корпус сами проектировали?

Да, нарисовали корпус. Сделали так, что он стал технологичный в производстве. Наше производство на малых партиях расположено здесь, в городе. Это лазерная резка, гибка на цифровых гибочных машинах, клепка. Используем обычную оцинкованную сталь. Мы сейчас хотим попробовать сделать это все из черной стали и оцинковать, как положено, на заводе. Потому что после резки края остаются необработанными.

Кроме самого форм-фактора мы разработали распределительный бэкплейн, который бы позволил подключать до трех блоков питания с разделением нагрузки. В большинстве случаев хватает одного блока питания. Но, если какая-то сложная конфигурация, можно будет и два блока питания поставить, например, или даже три ― для резерва. Мы подобрали блок питания, доработали его. Сделали систему управления включением и выключением, с индикацией. Соответственно, сделали систему питания самих лезвий. Пользуемся интегрированным блоком питания 12 В китайского производства. Там их массово производят, он стоит порядка 25 долларов, надежные, не видел ни одного сгоревшего.

Как долго тестировали свой продукт?

С момента первой пробы прошло около четырех лет. Очень важна надежность и простота эксплуатации ― когда все должно устанавливаться, ничего не застревать, аккуратно и легко меняться, позволять менять конфигурацию. Еще очень важный момент, ― мы можем в любой момент снять материнскую плату и поставить на нее более современную машину, а потом эту материнскую плату продать, а сам корпус останется дальше работать. А с решением Supermicro такой номер не пройдет. Придется выкинуть в сборе.

Сколько стоит ваш сервер?

Основная часть стоимости – это материнские платы. Корпус, все печатные платы, внутренние бэкплейны, переходные платы – отечественного производства. Платы мы заказываем в Зеленограде. Они обычные двухслойные, ничего специального. Но ничего больше и не надо. Цена сформировалась где-то на уровне 25‒30 тыс. рублей.

Если бы мы его сделали продукт целиком на таких дорогих платах как Supermicro, которые по 12 тысяч стоят, то все равно бы вышло дешевле, примерно на 20% ― существенная цифра. Но дело в том, что большинству клиентов не нужен ни удаленный доступ, ни другие «навороты». То есть клиенту нужно что-то самое простое, но в виде выделенного сервера. Они вполне готовы довольствоваться простой вещью. В результате мы можем сдавать сервер не за 8000 руб., а за 4000. То есть радикально дешевле. И для клиента это принципиально.

Другие хостеры заинтересовались Вашим решением?

О нас узнают, обращаются, мы работаем с рядом хостинговых компаний, отгружаем свою продукцию. Но мы пока не занимались серьезным маркетинговым продвижением на этот рынок, возможно, о нас пока далеко не все знают. Пока мы только на рынок заходим, и стараемся быть максимально клиентоориентированными. Производство находится в Москве, поэтому московским заказчикам мы гарантируем при необходимости замену в течение дня. Все компоненты у нас есть в наличии на складе, то есть мы можем приехать и быстро поменять.

А в регионы пробовали выходить?

Там местного спроса нет.

А дальше идею не развивали?

Мы сейчас изменили формат блока питания, по-другому выстроили систему управления блоками питания. По-другому сделали управление самими лезвиями.

Еще была мысль сделать головную станцию кабельного телевидения на базе нашего сервера. У нее будет достаточно мощности чтобы, например, рендер на ней сделать рендер. Если поставить три блока питания, плату цифрового видеозахвата, разогнать их ― получится как раз то что надо. Но большинство предпочитают традиционную бизнес-модель. Все ведь свой интерес очень по-разному понимают. И такое возможно: чем дороже купят, тем больше откат.

Еще одна интересная разработка, которой Вы занимаетесь ― технология иммерсионного (погружного) охлаждения. Расскажите о ней.

За технологией погружного охлаждения – будущее. Прежде всего благодаря невысоким затратам и возможности быстрого развертывания дата-центра буквально в складских условиях.

Свою разработку на базе технологии погружного охлаждения компания мы также ведем совместно с компанией «Т-НАНО». Она нацелена не на специализированные приложения, а на массовый рынок коммерческих ЦОДов, предоставляющих услуги хостинга и виртуализации, а также организации частных облаков. Подобные решения есть смысл применять при плотности мощности от 4–5 кВт на стойку.

Система устроена следующим образом. На обычную складскую паллету устанавливается рама, а поверх нее – шесть баков для однопроцессорных серверов или три для двухпроцессорных. Серверы целиком погружаются в полимер, который используется в качестве охлаждающей жидкости. Полимер – абсолютно пассивное соединение, которое по своим характеристикам (теплоемкости, вязкости и др.) хорошо подходит для целей охлаждения. Достоинство состоит в том, что в отличие от минерального масла полимер не окисляется и не горит, а значит, не подпадает под специальные требования высокого класса пожарной безопасности.

Готовый продукт уже есть?

На данный момент уже созданы конструктив и силовая плата, которая позволяет питать серверные «лезвия». Разработана система гидравлики, определено, какие системы охлаждения надо использовать для отвода тепла от баков, и проведена серия тестовых испытаний. Мы сейчас устанавливаем одну систему в ЦОД DataPro в Москве для реальной эксплуатации.

Вы используете полимер в качестве охлаждающей жидкости. Другие разработчики используют масла. В чем разница?

С маслами всегда проблема в том, что они горючие. Когда большой объем масла сконцентрирован в одном месте, это все накладывает определенные обязательства на класс пожароопасности объекта. Тут могут быть нюансы, ― например, 500 литров масла рядом с силовым щитком на 380. Если что-то пойдет не так, то гореть это будет сильно и долго. И потом обычное масло окисляется от воздуха и его нужно изолировать, какое бы оно хорошее ни было. У полимеров таких проблем нет. Теплопроводность примерно как у масла.

Тестовые испытания прошли нормально?

Была одна проблема ― когда тестировали, мы гидравлическую сборку прогоняли в воде. И там где-то литр воды, наверное, остался в насосе. Тестирование показало, что лучше так не делать. Дальнейшие испытания пошли гладко.

Какие рынки сбыта у продукции этого класса?

Есть несколько центральных рынков сбыта. Первый рынок сбыта – это когда нужно расширить свой ЦОД. То есть у них может быть электричество, но нет либо площади, либо кондиционеры не справляются. Еще один рынок – это те, кто занимается облачными вычислениями, массовой виртуализацией, но не хочет вкладываться в строительство ЦОДа с воздушным охлаждением. Мы можем предложить все то же самое, только без кондиционеров.

Все что нужно для развертывания такого ЦОДа ― подвал, склад, в который достаточно поставить бесперебойник на входе. Следующий шаг, который мы запланировали на будущее ― это и бесперебойник упаковать в полимер.

На самом деле 220 В не очень нужно. Можно было бы постоянным током обходиться. Ведь все эти выпрямители, инверторы ― они греются. И, чтобы не выстраивать какое-то даже маленькое охлаждение, которое бы потребовалось для этих систем, их тоже можно упаковать. Будем экспериментировать.

На своих площадках Вы уже используете такие системы?

Как я уже сказал, этот комплект мы сейчас ставим в выделенное для нас небольшое помещение в дата-центре DataPro, и будем его эксплуатировать как площадку для выделенных серверов.

Теги: хостинг, Петр Чаянов, Cool Systems, Hostkey