Оперативность в принятии и реализации стратегических решений уже давно стала ключевым фактором конкурентной борьбы в условиях рыночной экономики. На развитых рынках борьба даже за минимальное и самое кратковременное бизнес-преимущество приобретает зачастую иррациональные масштабы. Это в полной мере относится и к отрасли корпоративных ИТ, в том числе к сфере центров обработки данных. В какой-то момент производители оборудования решили распространить подход «коробочных» решений даже на такой сложный комплекс, как инженерная инфраструктура ЦОД. В результате родилась концепция контейнерных дата-центров. На первом этапе главной задачей и преимуществом таких решений была их мобильность, которая состояла в возможности оперативно перевозить дата-центр с одного места в другое, быстро вводить его в эксплуатацию и так же быстро сворачивать. Отсюда и название - «мобильный ЦОД» или МЦОД. Многие западные компании вскоре оценили такую концепцию, и вместо того, чтобы использовать мобильность системы, стали применять эти комплексы для ускорения запуска в эксплуатацию стационарных вычислительных площадок. В этом контексте собранный, настроенный и протестированный производителем контейнер подходит как нельзя лучше. Таким образом, появилось второе название концепции - модульный ЦОД (снова же, МЦОД) его еще называют «контейнерным».

Идея показалась многим очень удачной, в результате в «докризисный» период 2006-2008 годов свои разработки МЦОД представили десятки компаний по всему миру. APC, Emerson, IBM, Hewlett-Packard, Dell, Sun Microsystems (ныне Oracle), SGI - вот неполный список международных производителей, работающих над созданием подобных решений.

Резкое ухудшение общемировой экономической ситуации заморозило спрос на подобные решения. Но наметившаяся «оттепель» снова начинает подогревать интерес к модульным дата-центрам.

Использование систем такого класса пока что оказывается дороже аналогичных стационарных ЦОД, но цена решений постоянно снижается. К тому же экономика постепенно возрождается, а вместе с ней - и интерес к решениям, повышающим оперативность работы и скорость разворачивания бизнеса. В то же время нельзя забывать и о том, что к выбору МЦОД надо подходить взвешенно, поскольку подобные решения имеют немало подводных камней.

Начинка «контейнера»

С инженерной точки зрения контейнерный ЦОД представляет собой небольшой автономный готовый к эксплуатации модуль, который внутри оборудован , СКС, системами бесперебойного электропитания и кондиционирования, средствами противопожарной защиты и условного доступа, мониторинга и управления инфраструктурой (рис. 1, 2). Важной характеристикой МЦОД является устойчивость к воздействиям окружающей среды, ведь такой комплекс зачастую могут установить на улице.

Подобные комплексы зачастую помещают в стандартные 20-ти или 40-футовые металлические контейнеры для морских перевозок (хотя это и «пережиток» первоначальной ориентации на подвижность). Есть и другие варианты исполнения, предполагающие размещение в специальных, более крупных контейнерах. В одном МЦОД помещается от нескольких до десяти и более полноразмерных (вплоть до 60U) серверных стоек, а мощность установленного оборудования колеблется в пределах от нескольких десятков до сотен киловатт.

Сейчас, на первый план выходит возможность использовать модули в качестве базовых составляющих для создания и масштабирования дата-центров. Разработчики стали предлагать такие системы в качестве полноценной замены традиционным ЦОД или как автономные модули расширения. В число важных преимуществ МЦОД можно включить тот факт, что заказчик избавляется от необходимости разработки и построения собственного объекта со сложной инженерной инфраструктурой. Нет необходимости выполнения строительных работ для размещения комплекса, и, как следствие, уменьшается количество необходимой разрешительной документации и согласований с госорганами. Вместо этого можно взять уже готовое и проверенное решение, которое к тому же легко масштабируется - по мере необходимости добавляются такие же контейнеры. Поскольку монтажные работы и тестирование всех подсистем выполняются на заводе-изготовителе, то при вводе модульного ЦОД в эксплуатацию потребуется выполнить на месте только пуско-наладочные работы, которые, как показывает практика зарубежных внедрений, занимают от нескольких дней до недели.

Отдельный вопрос - время поставки комплекса заказчику. Сроки выполнения проекта составил немногим более трех месяцев - с 9 июля по 15 сентября 2009 года (рис. 3).

Отметим, что «мобильность», с которой все начиналось, является весьма условной. Чтобы ввести МЦОД в эксплуатацию, его надо подключить к электросети и каналам передачи данных. Кроме того, если используется водяная система охлаждения, то необходимо также обеспечить подвод воды и наличие внешней холодильной машины (чиллера). Теоретически возможен вариант, когда МЦОД питается от автономного дизельного генератора, использует воздушную систему охлаждения (тогда чиллер не нужен), но при нынешней стоимости топлива экономическая эффективность такого решения будет весьма сомнительной.

Отметим также, что контейнерный (модульный) и мобильный варианты ЦОД отличаются. Комплекс, предназначенный для транспортировки, будет значительно дороже, поскольку он должен быть оснащен специальной демпферной платформой, обеспечивающей безопасную погрузку и перевозку.

МЦОД - критерии выбора

Выбор сложного комплексного решения, будь то обычный или контейнерный ЦОД, связан с необходимостью детального анализа потребностей компании, формированием четких требований и критериев оценки эффективности проекта. Например, в масштабных проектах, где используется множество контейнеров, не всегда рационально применять для каждого из них индивидуальную систему электропитания или охлаждения. Выгоднее подключить эти подсистемы централизованно, используя принцип контейнерных групп - особенно если ЦОД не предполагается передвигать.

Также при выборе контейнерных дата-центров крайне важно обращать внимание на адаптированность решения к нашей разрешительной системе, в том числе в вопросах систем пожаротушения, соответствия требованиям НБУ по экранированию и т.д. Надо учитывать и местные климатические нормы, диапазоны температурных колебаний, количество осадков, ведь комплекс будет находиться на улице круглый год. Нельзя сбрасывать со счетов и вопросы подключения технического обслуживания, для которого необходимы опытные технические специалисты узкой направленности, знающие нюансы работы именно мобильных решений.

Цена одного контейнерного ЦОД достаточно высока. Его стоимость выше, чем стационарного дата-центра аналогичной мощности. Однако следует учитывать, что цена мобильного ЦОД не включает стоимости организации внешних систем обеспечения - ДГУ, чиллера, трансформаторной подстанции, склада ГСМ, обязательно с заземлением, и так далее (в каждом случае это индивидуальный набор), а традиционный ЦОД при указанной стоимости уже содержит все эти подсистемы, составляющие значительную долю проекта.

А как быть с персоналом? Для него необходимо отдельное помещение, соответствующее санитарным нормам, а там элементарно должны быть санузлы, не предусмотренные базовой конструкцией МЦОД, следовательно, надо делать пристройку. На (рис. 3) хорошо видны дополнительные боковые помещения для персонала, пристроенные к 20-футовому контейнеру с торцов, а также трубы системы охлаждения.

В ряде случаев при масштабном использовании контейнеров (в проектах от 1 МВт и выше), разница в стоимости может сократиться; в том числе за счет использования общих подсистем гарантированного электропитания и кондиционирования. Однако здесь стоит учитывать тот момент, что крупное внедрение, даже основанное на контейнерных ЦОД, в значительной мере лишено гибкости. Электрическую мощность надо получать сразу весь будущий комплекс (равно как и разрабатывать систему гарантированного электропитания и кондиционирования), даже если сначала планируется установить только несколько контейнеров и наращивать их количество по мере необходимости. Кроме того, обслуживать большое количество МЦОД под открытым небом неудобно, следовательно, надо возводить укрытие, а это уже работа с архитектором, БТИ - в общем, все то же строительство.

При прочих равных условиях, стоимость мобильного или модульного ЦОД заведомо выше ЦОД стационарного. Но в ряде случаев его мобильность (модульность), основное требование заказчика. Не всегда бывает возможность развернуть строительство стационарного ЦОД например, в условиях крайнего севера. И в этом случае модульность ЦОД преимущество. А так же при временной необходимости одного и того же ЦОД, но в разных местах.

Количество показов: 4019

Центр обработки данных (ЦОД) представляет собой здание, его часть или мобильный модуль. Основной функцией ЦОД является размещение оборудования, необходимого для хранения и обработки информации. Также в центре обработки данных размещаются вспомогательные средства, обеспечивающие его работу в соответствии со стандартом EIA/TIA-942.

Мобильные центры обработки данных

Контейнерные (модульные) ЦОД представляют собой комплексы телекоммуникационной, информационной и обеспечивающей инфраструктуры, смонтированные в одном или нескольких мобильных модулях. Отдельные элементы таких ЦОД создаются в виде специализированных контейнеров. Они обеспечивают оперативное развертывание модулей, а также удобство транспортировки. Модули обладают важной антивандальной функцией.

Типовая комплектация МЦОД

Модульные ЦОДы: основные достоинства

• Возможности для быстрой организации в любой точке и оперативность развертывания. На производство, доставку и подключение необходимо не более 3-5 месяцев.
• Невысокая стоимость (по сравнению со стандартными стационарными центрами).
• Масштабируемость. При необходимости вы сможете быстро увеличить вычислительные мощности.
• Обособленность. Помещение не нужно делить с другими центрами.
• Гибкость. Возможна настройка решения, полностью соответствующая особым требованиям клиента.
• Высокая отказоустойчивость. Осуществляется резервирование критичных систем.
• Максимальная степень готовности к эксплуатации. На объекте не требуется проведение каких-либо работ по строительству и монтажу МЦОД.
• Высокая надежность всех систем. Применяется только оборудование ведущих мировых производителей.

Надежность ЦОД: уровни

При построении ЦОД учитывают жесткие требования к помещению, высокие затраты на электроэнергию. Различают 4 уровня надежности ЦОД.

• Tier I. Этот уровень является базовым. Инженерная структура на этом уровне разрабатывается только для удовлетворения текущих потребностей. В ЦОД могут отсутствовать такие элементы, как резервные источники питания, фальшполы. В режиме простоя центр может работать 28,8 часов в год. ЦОД применяется в качестве серверной. Отказоустойчивость центра составляет 99,6%.
• Tier II. Для создания ЦОД данного уровня необходимы резервные источники охлаждения и питания, фальшполы. Для проведения ремонтных или профилактических работ осуществляется остановка оборудования. В режиме простоя центр может работать 22 часа в год. ЦОД используется для организации веб-серверов, бэк-офисов. Отказоустойчивость: 99,75%.
• Tier III. Для создания данного уровня ЦОД необходимо несколько источников резервного охлаждения и питания, устройство фальшпола. Для проведения профилактики, обновления оборудования, его установки или удаления можно не останавливать работу центра. Применяется для организации важных для бизнеса приложений (BusinessCritical). Время простоя не превышает 1,6 часа в год. Отказоустойчивость: 99,98%.
• Tier IV. Этот уровень гарантирует практически 100: отказоустойчивость центра (99,995%). Любые работы (в том числе внеплановые) проводятся без остановки рабочих процессов. Зарезервировать можно даже структурированную кабельную систему. В режиме простоя в год ЦОД работает 0,4 часа. Используется для организации Business Continuity, размещения критических сервисов.

Компания ООО «Айсо-энерго» готова предложить свой опыт в области выполнения и реализации проектов производства и поставки мобильных комплексов связи и ЦОД. Одним из направлений деятельности фирмы является производство контейнеров связи и мобильных центров обработки данных для таких Заказчиков как: ПАО «МТС», Пенсионный фонд России, Группа «Еврохим», ОАО «Холдинг МРСК», Вооруженные силы РФ и другие.

Обладая всеми необходимыми ресурсами:

• Специалисты высочайшей квалификации.
• Цеховые помещения 1400 кв. м.
• Полный комплекс производственных инструментов и специализированных станков
• Соответствующая техническая база.
• Партнерские отношения с ведущими производителями и поставщиками оборудования.
• Опыт реализации проектов различной сложности.
• Наличие всех необходимых лицензий и сертификатов.

Специалисты компании готовы:

• Разработать и внедрить современные концепции по созданию Центров обработки данных (ЦОД) и Узлов связи.
• Подобрать отвечающее Вашим требованиям современное оборудование.
• Выполнить весь комплекс работ по построению систем гарантированного бесперебойного энергоснабжения (СГБЭ), начиная с проектирования, заканчивая сдачей объекта «под ключ» государственным надзорным органам.
• Обосновать применение энергосберегающих технологий в сложных промышленных комплексах.
• Обеспечить качественный сервис СГБЭ и МЦОД.
• Провести обучение обслуживающего персонала Заказчика для повышения его квалификации.

Специалисты «Айсо-энерго» готовы создать ЦОД любого уровня надежности, учесть ваши индивидуальные пожелания. Мы предлагаем центры обработки данных на основе контейнеров и модулей различных типов.

Как всегда, мы постарались сделать модельную задачу максимально приближенной к реальным проектам. Итак, вымышленный заказчик планировал на 2015 год строительство нового корпоративного ЦОД по традиционной технологии (начиная с капитального строительства или реконструкции здания). Однако ухудшение экономической ситуации заставило его пересмотреть планы. От масштабного строительства решено отказаться, а для решения текущих ИТ-задач - организовать небольшой модульный ЦОД во дворе на своей территории.

Изначально от ЦОД требуется обеспечить установку 10 стоек с ИТ-оборудованием мощностью до 5 кВт каждая. При этом решение должно масштабироваться по двум параметрам: по числу стоек (в перспективе, при благоприятной экономической ситуации и развитии бизнеса заказчика, ЦОД должен вмещать до 30 стоек) и по мощности отдельной стойки (20% всех стоек должны поддерживать работу оборудования мощностью до 20 кВт на стойку). Предпочтительный «квант» наращивания - 5 стоек. Более подробно - см. врезку «Задача».

ЗАДАЧА

Вымышленный заказчик планировал на 2015 год строительство нового корпоративного ЦОД по традиционной технологии (начиная с капитальной реконструкции здания). Однако ухудшение экономической ситуации заставило его пересмотреть планы. От масштабного строительства решено отказаться, а для решения текущих ИТ-задач - организовать небольшой модульный ЦОД.

Задача. Заказчик собирается на своей промышленной территории развернуть небольшой, но хорошо масштабируемый ЦОД. Изначально нужно обеспечить установку 10 стоек с ИТ-оборудованием, мощность каждой стойки до 5 кВт. При этом решение должно быть масштабируемым по двум параметрам:

• по числу стоек: в перспективе, при благоприятной экономической ситуации и развитии бизнеса заказчика, ЦОД должен будет вмещать до 30 стоек;
• по мощности отдельной стойки: 20% всех стоек должны обеспечить работу оборудования мощностью до 20 кВт (на стойку).

Желательно инвестировать в развитие ЦОД по мере необходимости. Предпочтительный «квант» наращивания - 5 стоек.

Особенность площадки. Площадка обеспечена электричеством (максимальная подведенная мощность - 300 кВт) и каналами связи. Размеры площадки достаточны для размещения любого внешнего оборудования, такого как ДГУ, чиллеры и пр. Площадка расположена в городской черте, что накладывает дополнительные условия на уровень шума от оборудования. Кроме того, нахождение ЦОД в городе подразумевает высокий уровень загрязнения воздуха.

Инженерные системы. Уровень отказоустойчивости - Tier II.

Охлаждение. Заказчик не специфицировал конкретную технологию охлаждения (фреоновая, чиллерная, адиабатика, естественное охлаждение) - ее выбор отдается на усмотрение проектировщиков. Главное - обеспечить эффективный съем тепла при указанных в задаче мощностях стоек. Минимизация энергопотребления приветствуется - необходимо уложиться в ограничения по подведенной мощности.

Бесперебойное электропитание. Конкретная технология тоже не специфицирована. Время автономного питания в случае аварии - минимум 10 мин от аккумуляторов с переходом на работу от ДГУ. Запас топлива - на усмотрение проектировщиков.

Другие инженерные системы. Проект должен предусматривать следующие системы:

• автоматическая установка газового пожаротушения (АУГПТ);
• система контроля и управления доступом (СКУД);
• структурированная кабельная система (СКС);
• фальшпол и другие системы - на усмотрение проектировщиков.

ЦОД должен иметь комплексную систему управления , обеспечивающую мониторинг и контроль всех основных систем: механической, электрической, противопожарной, системы безопасности и пр.

Дополнительно:

• заказчик просит указать срок реализации ЦОД и особенности доставки оборудования (подъездные пути, специальные механизмы для разгрузки/монтажа);
• если проектировщик считает необходимым, можно сразу предложить ИТ-оборудование для ЦОД.

Мы обратились к ведущим поставщикам модульных ЦОД с просьбой разработать проекты для заказчика. В результате были получены 9 подробных решений. Прежде чем приступить к их рассмотрению, заметим, что «Журнал сетевых решений/LAN» уже много лет отслеживает тенденции и пытается классифицировать модульные ЦОД. Этим вопросам посвящены, например, статьи автора « » (LAN, № 07–08, 2011) и « » (LAN, № 07, 2014). В этой статье не будем тратить время на изложение трендов, а интересующихся отсылаем к указанным публикациям.

(НЕ)КОНСТРУКТИВНЫЙ ПОДХОД

Очень часто принадлежность к категории «Модульный ЦОД» определяют по типу конструктива. На первом этапе становления этого сегмента рынка «модульными» обычно называли ЦОДы на базе стандартных ISO-контейнеров. Но в последние год-два на контейнерные ЦОДы обрушился вал критики, особенно со стороны поставщиков решений «новой волны», которые акцентируют внимание на том факте, что стандартные контейнеры не оптимизированы для размещения ИТ-оборудования.

Относить ЦОД к категории модульных исходя из типа конструктива - неверно. «Модульность» должна определяться возможностью гибкого масштабирования путем согласованного наращивания числа стоек, мощности систем бесперебойного гарантированного питания, охлаждения и других систем. Конструктив при этом может быть разный. Так и нашему заказчику поступили предложения на основе и стандартных ISO-контейнеров, и специализированных контейнеров и/или блоков, и модульных помещений, и собираемых на месте конструкций (см. таблицу).

Скажем, специалисты Huawei выбрали для нашего заказчика решение на основе стандартных ISO-контейнеров, хотя в портфеле решений компании имеются модульные ЦОД на основе конструктивов других типов. Михаил Саликов, директор направления ЦОД этой компании, объяснил данный выбор тем, что традиционное контейнерное решение, во-первых, дешевле, во-вторых, позволяет быстрее реализовать проект и, в-третьих, менее «требовательно» к подготовке площадки. По его мнению, в нынешних условиях с учетом поставленных заказчиком условий именно этот вариант может оказаться оптимальным.

Сразу несколько поступивших заказчику предложений основаны на контейнерах, но не стандартных (ISO), а специально разработанных для построения модульных ЦОД. Такие контейнеры могут стыковаться, образуя единое пространство машинного зала (см., например, проект компании Schneider Electric).

Одной из особенностей вариантов на основе контейнеров являются более жесткие требования к средствам транспортировки и установки. Так, например, для доставки модулей-контейнеров NON-ISO25 компании Schneider Electric необходимо низкоплатформенный прицеп с полезной длиной не менее 7,7 м. Для разгрузки и установки потребуется кран грузоподъемностью не менее 25 т (см. рис. 1).

При использовании модулей меньшего размера требования мягче. Например, модули DCoD компании CommScope перевозятся в стандартном евротраке, а их разгрузка и установка могут осуществляться обычным автопогрузчиком - грузоподъемностью не менее 10 т (см. рис. 2).

Наконец, для монтажа быстровозводимой (на месте) конструкции, напри мер МЦОД NOTA компании «Утилекс», тяжелые подъемные механизмы вообще не требуются - достаточно самопо грузчика с подъемной мощностью 1,5 т.

Все составляющие этого МЦОД перевозятся в разобранном виде в стандартном ISO-контейнере, что, по словам представителей «Утилекс», существенно снижает стоимость и сроки доставки до площадки размещения. Эта возможность особенно важна для удаленных мест без развитой транспортной инфраструктуры. В качестве примера приводится проект по реализации распределенного ЦОД в Магаданской области для компании «Полюс Золото»: общая протяженность пути доставки составила более 8900 км (5956 км ж/д транспортом, 2518 км - морским; 500 км - автотранспортом).

ЭЛЕКТРОПИТАНИЕ

В части системы гарантированного бесперебойного электропитания выбор различных вариантов для дан ного проекта невелик - только классическое «трио»: статические ИБП, аккумуляторные батареи и дизель-генераторная установка (ДГУ). Рассматривать в качестве альтернативы динамические ИБП при таких мощностях нецелесообразно.

В большинстве проектов используются модульные ИБП, мощность которых наращивается путем добавления силовых модулей. Предлагаются и моноблочные ИБП - в этом случае увеличение мощности системы происходит путем установки ИБП в параллель. Одни компании указали конкретные модули ИБП, другие ограничились общими рекомендациями ().

Схожа ситуация и с ДГУ: одни компании рекомендовали конкретные модели, другие ограничились расчетом мощ ности. Более подробная информация по ДГУ представлена в полных описа ниях проектов, доступных на сайте .

ОХЛАЖДЕНИЕ

А вот вариантов охлаждения предложено немало. Большая часть проектов основана на фреоновых кондиционерах - не самое энергоэффективное, но наиболее дешевое решение. Две компании - Huawei и Schneider Electric - сделали ставку на чиллерные системы. Как поясняет Денис Шарапов, менеджер по развитию бизнеса компании Schneider Electric, проект системы охлаждения с фреоновыми кондиционерами получается дешевле, однако для обеспечения отказоустойчивого функционирования потребуется установить ИБП гораздо большей мощности (для питания компрессоров), в результате стоимость проектов окажется примерно равной. Поэтому на основании проведенных расчетов специалист Schneider сделал выбор в пользу чиллерного варианта - более надежного и функционального. (Для аварийного охлаждения в чиллерных системах используется бак-аккумулятор с холодным теплоносителем, а потому потребность в бесперебойном питании существенно ниже - достаточно запитать от ИБП только насосы для прокачки теплоносителя.)

В рекомендованном заказчику специалистами «Крок» решении CommScope используется прямой фрикулинг с адиабатическим охлаждением. Как отмечает Александр Ласый, технический директор департамента интеллектуальных зданий компании «Крок», применение прямого фрикулинга почти круглый год дает существенную экономию электроэнергии, а предлагаемая (в решении CommScope) система адиабатического охлаждения не требует серьезной подготовки воды, так как увлажнение происходит с применением недорогих заменяемых элементов. Расходы на их замену несопоставимы с расходами на глубокую подготовку воды. Для доохлаждения и резервного охлаждения ЦОД в этом случае, по мнению специалиста «Крок», наиболее целесообразно использовать фреоновую систему прямого испарения (DX). При наличии фрикулинга и адиабатического охлаждения суммарное время использования резервной/дополнительной системы в течение года крайне мало, поэтому нет смысла стремиться к ее высокой энергоэффективности.

Компания «ЛАНИТ-Интеграция» предложила систему непрямого фрикулинга с адиабатическим охлаждением. В такой системе не происходит смешивания потоков внешнего и внутреннего воздуха, что особенно важно при размещении ЦОД в черте города ввиду высокого загрязнения воздуха. В качестве дополнительной в этом проекте выбрана чиллерная система - она будет включаться лишь в самые неблагоприятные для основной системы периоды.

МИССИЯ (НЕ)ВЫПОЛНИМА?

В нашей задаче был скрытый подвох, который не заметили (скорее, не захотели заметить) большинство конкурсантов. Указанные заказчиком общая полная мощность ИТ-оборудования (240 кВт) и максимальная подведенная мощность (300 кВт) оставляют для инженерных и прочих вспомогательных систем всего 60 кВт. Выполнение этого условия требует применения очень энергоэффективных инженерных систем: PUE = 1,25 (300/240).

Теоретически достижение такого показателя вполне возможно при использовании прямого фрикулинга и адиабатического охлаждения, предложенных «Крок» и CommScope. И у последней есть примеры проектов за рубежом, где достигается даже меньшее значение PUE. Но эффективность применения указанных технологий охлаждения сильно зависит от уровня загрязнения и климатических параметров в месте размещения. В поставленной задаче достаточных данных предоставлено не было, поэтому на данном этапе нельзя однозначно утверждать, поможет ли прямой фрикулинг «уложиться» в ограничение по подведенной мощности.

В решении с непрямым фрикулингом, предложенным компанией «ЛАНИТ-Интеграция», указан расчетный PUE 1,25–1,45. Таким образом, этот проект не укладывается в заданные ограничения. Что касается решений с системами чиллерного охлаждения и фреоновыми кондиционерами, их энергоэффективность еще ниже, а значит, общее потребление ЦОД выше.

Например, по расчету Дениса Шарапова, пиковое энергопотребление предложенного Schneider Electric решения составляет 429,58 кВт - при максимальной ИТ-нагрузке (240 кВт), температуре окружающего воздуха выше 15°С, в момент заряда батарей ИБП, с учетом всех потребителей (в том числе систем мониторинга, АГПТ, внутреннего освещения, СКУД). Это на 129 кВт превышает подведенную мощность. Как вариант решения задачи он предложил исключить из конфигурации высоконагруженные стойки (20 кВт) или обеспечить регулярную поставку топлива для обеспечения постоянной работы ДГУ мощностью не менее 150 кВт.

Конечно, эксплуатация ЦОД с загрузкой 100% очень маловероятна - на практике такого почти никогда не случается. Поэтому для определения общей потребляемой мощности МЦОД специалисты компании GreenMDC предложили принять коэффициент спроса на суммарную мощность ИТ-оборудования равным 0,7. (По их данным, для корпоративных ЦОД значение этого коэффициента находится в интервале от 0,6 до 0,9.) С учетом этого предположения расчетная мощность для машзала составит 168 кВт (24 шкафа по 5 кВт; 6 шкафов по 20 кВт; коэффициент спроса - 0,7: (24х5 + 6х20)х0,7 = 168).

КОРРЕКТИРОВКА ЗАДАЧИ

Но даже с учетом высказанного выше замечания о неполной загрузке, для надежного электроснабжения ЦОД заказчику, видимо, придется решать вопрос об увеличении подведенной к площадке мощности и отказаться от мечты создать ЦОД со значением PUE на уровне лучших мировых показателей объектов масштаба Facebook и Google. Да и не нужна такая энергоэффективность обычному корпоративному заказчику - особенно с учетом невысокой стоимости электроэнергии.

Как полагает Александр Ласый, поскольку мощность ЦОД совсем небольшая, то и обращать повышенное внимание на энергоэффективность не имеет особого смысла, поскольку стоимость решений, позволяющих существенно сократить потребление электроэнергии, может значительно превышать величину экономии за период жизненного цикла ЦОД.

Итак, дабы заказчик вообще не остался без ЦОД, мы снимаем ограничение по подведенной мощности. Какие еще корректировки возможны? Заметим, что немало компаний скрупулезно выполнили пожелания заказчика относительно числа/мощности стоек и «кванта» наращивания в 5 стоек. А компании «Крок» и CommScope предложили даже меньший «квант» - модули на 4 стойки.

Однако ряд компаний, основываясь на имеющихся в их портфеле предложений типовых конструктивах, несколько отошли от условий задачи. Например, как отмечает Александр Переведенцев, главный специалист департамента поддержки продаж компании «Техносерв», «по нашему опыту на данный момент актуально развитие (масштабирование) ЦОД кластерами с шагом 15–20 стоек при средней мощности на стойку не менее 10 кВт». Поэтому «Техносерв» предложила решение на 36 стоек по 10 кВт электрической мощности на одну стойку с шагом наращивания 18 стоек. Контейнеры на 18 стоек фигурируют и в проекте Huawei, благодаря чему в итоге заказчик может получить на 6 стоек больше, чем запрашивал.

ПОДГОТОВКА ПЛОЩАДКИ

Площадку для установки ЦОД следует подготовить - по меньшей мере выровнять. Для ЦОД, предложенного заказчику компанией «Крок», необходимо наличие бетонного фундамента в виде несущей плиты, рассчитанной на соответствующую нагрузку.

Кроме того, площадка должна быть снабжена отливами для стекания дождевой и талой воды. «Поскольку снега в нашей стране иногда выпадает достаточно много, во избежание поломок и протечек целесообразно оборудовать площадку легкосборными односкатными навесами», - рекомендует Александр Ласый.

Строительство на площадке бетонного фундамента предусматривается в большинстве проектов. При этом ряд специалистов указали на то, что стоимость возведения фундамента несопоставима с общей стоимостью проекта, поэтому на нем экономить не стоит.

Особняком стоит МЦОД NOTA компании «Утилекс», для которого фундамент не требуется. Такой ЦОД можно устанавливать и запускать на любой ровной площадке с уклоном не более 1–2%. Подробности - ниже.

ВРЕМЯ…

Как отмечает Александр Ласый, самый важный и трудоемкий процесс - это проектирование ЦОД, так как ошибки, допущенные на стадии проектирования, после выпуска модулей из производства крайне трудно устранить. По его данным, обычно на подготовку и согласование ТЗ, проектирование, согласование и утверждение проекта уходит от 2 до 4 месяцев. Если заказчик выбирает типовые решения, то процесс может сократиться до 1–2 месяцев.

В случае если заказчик предпочтет решение CommScope, производство и поставка предварительно собранных модулей и всего сопутствующего оборудования займут 10–12 недель для стартовых комплектов и 6–8 недель для дополнительных модулей. Сборка стартового комплекта линейки из 5 модулей на подготовленной площадке - не более 4–5 дней, пусконаладочные работы - 1–2 недели. Таким образом, после согласования и утверждения проекта, заключения договора и оплаты необходимого аванса (обычно это 50–70%) через 12–14 недель ЦОД будет готов к эксплуатации.

Срок реализации проекта на базе решения «ЛАНИТ-Интеграция» - около 20 недель. При этом на проектирование потребуется около 4 недель, на производство (включая системы охлаждения) - 8 недель, на доставку - 4 недели, на установку и запуск - еще 4 недели.

Подобные сроки указывают и другие компании, причем нет большой разницы, где находятся сборочные мощности - за рубежом или в России. Скажем, средний срок сдачи под ключ МЦОД Schneider Electric - 18–20 недель (без проектирования). Продолжительность основных этапов (связанных с установкой первого и последующего модулей и сдачей их под ключ) при сооружении МЦОД «Утилекс» NOTA составляет от 12 недель. А продолжительность этапов, связанных с расширением каждого модуля (добавлением в него 5 стоек и соответствующих инженерных систем) - от 8 недель.

Очевидно, что указанные сроки приблизительны. Многое зависит от географического расположения площадки заказчика, качества организации работ и взаимодействия всех участников процесса (заказчика, интегратора и производителя). Но в любом случае от идеи до полной реализации проекта проходит всего полгода или немного больше. Это в 2–3 раза меньше, чем при строительстве ЦОД традиционными методами (с капитальным строительством или реконструкцией здания).

…И ДЕНЬГИ

Информацию о стоимости мы получили далеко не от всех участников. И тем не менее полученные данные позволяют составить представление о структуре и примерной величине затрат.

Александр Ласый подробно расписал заказчику структуру и последовательность его затрат при выборе решения от «Крок» и CommScope. Итак, 10% уйдет на проектирование, 40% - на запуск стартового комплекта (12 ИТ-стоек), 5% - на завершение первой линейки (расширение + 4 ИТ-стойки), 35% - на запуск стартового комплекта второй линейки (8 ИТ-стоек), 5% - на расширение (+4 ИТ-стойки) и еще 5% - на дальнейшее расширение (+4 ИТ-стойки). Как видим, распределение затрат равномерное - именно этого и хотел заказчик, когда задумался о выборе модульного ЦОД.

Немало заказчиков полагают, что после недавних скачков курса рубля важным в деле снижения и/или фиксирования стоимости является локализация предлагаемых решений. По словам Александра Переведенцева, сотрудники компании «Техносерв» последние полгода активно занимаются поиском производителей отечественного оборудования, в частности в области инженерных систем. На данный момент при реализации ЦОД степень локализации инженерных систем составляет 30%, а в решениях высокой готовности, к которым относится последняя версия модульного ЦОД «ИТ Экипаж», - не менее 40%. Стоимость МЦОД «ИТ Экипаж» на 36 стоек мощностью 10 кВт каждая с возможностью дальнейшего расширения и уровнем отказоустойчивости Tier III будет варьироваться от 65 до 100 тыс. долларов за одну стойку. При пересчете по курсу 55 руб. за доллар получается от 3,5 до 5,5 млн руб. за стойку. Но это, подчеркнем, решение уровня Tier III, тогда как большинство других компаний предложили уровень Tier II, как запрашивал заказчик.

Если «Техносерв» не преминул похвалиться уровнем локализации 40%, то представители «Утилекс» скромно умолчали о том, что в их решении этот показатель существенно выше, поскольку все основное инженерное оборудование, включая кондиционеры и ИБП, - отечественного производства. Стоимость МЦОД «Утилекс» NOTA (из расчета 24 стойки по 5 кВт и 6 стоек по 20 кВт) - 36 400 долларов на стойку. По курсу 55 руб. за 1 доллар получается около 2 млн руб. за стойку. В эту сумму входят все расходы по доставке до места размещения в пределах РФ и стоимость всех работ по монтажу и запуску, включая командировочные и накладные расходы. Как отмечают представители «Утилекс», общую стоимость МЦОД можно снизить, разместив всю инфраструктуру в одном модуле NOTA больших размеров (5,4х16,8х3 м): 10 стоек на первом этапе и добавление по 5 стоек на последующих. Но в этом случае капитальные затраты на первом этапе потребуется увеличить, а при отказе заказчика от масштабирования МЦОД средства будут потрачены неэффективно.

Дмитрий Степанов, директор бизнес-направления компании «Президент-Нева» Энергетический центр», оценил стоимость одного модуля (контейнера) на 10–12 стоек в 15–20 млн рублей. В эту сумму входит стоимость всех находящихся в составе модуля инженерных систем, включая кондиционеры и ИБП, но не включена стоимость ДГУ. По его словам, при выборе вместо ИБП и кондиционеров компании Emerson Network Power более дешевых инженерных компонентов возможно снижение стоимости до 11–12 млн рублей.

Стоимость проекта GreenMDC на первом этапе составляет примерно 790 тыс. евро (подготовка площадки - 130 тыс. евро, первая очередь МЦОД - 660 тыс. евро). Итоговая стоимость всего проекта на 32 стойки, включая ДГУ, - 1,02 млн евро. По курсу на момент подготовки материала (59 рублей за евро) получается 1,88 млн рублей в пересчете на одну стойку. Это один из самых выгодных вариантов.

В целом, если говорить о решении на базе фреоновых кондиционеров, «точкой отсчета» для заказчика может служить уровень в 2 млн рублей в пересчете на одну стойку. Вариант на основе чиллерной системы примерно в 1,5 раза дороже. Причем разница в стоимости «российских» и «импортных» решений вряд ли будет сильно различаться, поскольку даже в отечественных кондиционерах («Утилекс») используются импортные комплектующие. К сожалению, не производится в России современных компрессоров, и ничего тут не поделаешь!

ОСОБЕННОСТИ ПРЕДЛОЖЕННЫХ РЕШЕНИЙ

«ГрандМоторс»

Основной - ИТ - модуль («Машинный зал») формируется на базе цельнометаллического блока-контейнера и состоит из аппаратного отсека и тамбура. Для обеспечения заданного «кванта» наращивания в аппаратном отсеке каждого ИТ-модуля устанавливаются 4 стойки мощностью до 5 кВт (охлаждение рядными кондиционерами) и 1 стойка мощностью до 20 кВт (охлаждение непосредственно пристыкованным к ней аналогичным кондиционером) (см. рис. 3). В этом же отсеке располагается ИБП с батареями. В качестве кондиционеров заказчику предложены (на выбор) агрегаты Emerson CRV или RC Group COOLSIDE EVO CW, а в качестве ИБП - устройства серии GMUPS Action Multi или ABB Newave UPScale DPA.

В тамбуре размещаются электрические щиты и оборудование системы газового пожаротушения. При необходимости в тамбуре возможна организация рабочего места диспетчера или дежурного персонала.

Как отмечает Даниил Кулаков, технический директор «ГрандМоторс», применение рядных кондиционеров продиктовано наличием разнотипных по мощности стоек. В случае стоек одной мощности для увеличения эффективности заполнения площади машинного зала возможно использование кондиционеров наружного размещения (например, Stulz Wall-Air) - такое решение позволит сократить энергопотребление системы охлаждения за счет применения режима фрикулинга.

На первом этапе достаточно смонтировать на площадке два модуля «Машинный зал» и один «Энергетический модуль» - в последнем размещается ДГУ GMGen Power Systems компании SDMO Industries на 440 кВА. Впоследствии возможно наращивание доступных вычислительных мощностей ЦОД с дискретностью один модуль «Машинный зал» (5 стоек), при этом заложенная мощность ДГУ рассчитана на 6 таких модулей. Система мониторинга и управления обеспечивает доступ к каждой единице оборудования и на верхнем уровне реализована на базе SCADA-системы.

Все предусмотренные инженерные решения обеспечивают резервирование N+1 (за исключением ДГУ - при необходимости может быть установлен дублирующий генератор). Предложенная архитектура построения инженерных систем позволяет повысить уровень резервирования уже в ходе создания ЦОД.

«Крок»/CommScope

Ведущий мировой производитель решений в области кабельной инфраструктуры компания CommScope относительно недавно вышла на рынок модульных ЦОД, что позволило ей учесть многие недостатки продуктов первого поколения. Она предложила строить ЦОДы из предварительно собранных на производстве модулей высокой степени готовности, назвав свое решение «ЦОД по требованию» (Data Center On Demand, DCoD). Эти решения уже инсталлированы и успешно используются в США, Финляндии, ЮАР и других странах. В России при участии «Крок» сейчас прорабатывается три проекта DCoD.

Базовые модули DCoD рассчитаны на установку 1, 4, 10, 20 или 30 стоек с ИТ-оборудованием. Александр Ласый, технический директор департамента интеллектуальных зданий «Крок», представивший нашему заказчику проект, предложил собирать решение из типовых модулей DCU-4, рассчитанных на 4 стойки (можно заказать и нетиповые, но это удорожит проект примерно на 20%). Такой модуль включает в себя системы охлаждения (в том числе автоматику для управления), первичного распределения и коммутации электропитания.

Стартовый блок будет состоять из 4 типовых модулей (см. рис. 4). Его полная емкость -16 стоек, что позволит на 6 избыточных стойко-местах разместить ИБП необходимой мощности и АКБ, а также оборудование систем безопасности и мониторинга. Итоговая конфигурация «машзала» (линейки) будет состоять из 5 модулей по 4 стойки, то есть всего 20 стоек, 2 из которых могут иметь суммарную мощность ИТ-оборудования до 20 кВт. При этом 1 модуль (4 стойки) будет отведен под систему бесперебойного электропитания (СБЭ) и может быть изолирован от основного машзала перегородкой для разграничения доступа обслуживающего персонала.

Вторая линейка полностью аналогична по конструкции первой, но ее стартовый комплект состоит не из 4, а из 3 модулей на 4 стойки. В нем сразу будет выделено место для СБЭ, систем безопасности и мониторинга. Впрочем, как отмечает Александр Ласый, в результате накопления опыта эксплуатации первой линейки в первоначальный план конфигурации могут быть внесены коррективы.

Мощность ИТ-оборудования первой линейки в первоначальной инсталляции (12 стоек) составит около 60 кВт, а после наращивания (16 стоек) - 90 кВт, включая каналообразующее оборудование провайдеров и главные коммутаторы ЦОД. Для обеспечения работоспособности ЦОД при отказе внешнего электропитания необходимо предусмотреть бесперебойное питание вентиляторов и контроллеров системы охлаждения. Мощность этого оборудования составит еще примерно 10 кВт. Итого, мощность СБЭ превысит 100 кВт. Модульный ИБП для такой нагрузки со временем автономии не менее 10 мин и шкафом коммутации электропитания будет занимать примерно 4 стойко-места.

Как уже говорилось выше, изюминка предложенного решения - в использовании для охлаждения прямого фрикулинга с адиабатическим увлажнением. Для доохлаждения и резервного охлаждения предложена фреоновая система (DX).

«ЛАНИТ-Интеграция»

Заказчику предложено решение на основе модульного помещения физической защиты SME E-Module (см. рис. 5): из стандартных компонентов могут быть быстро возведены защищенные помещения любой геометрии для ЦОД площадью от 15 до 1000 м 2 . Для нашей задачи площадь помещения - не менее 75 м 2 . Среди особенностей конструкции - высокий уровень физической защиты от внешних воздействий (за счет стального несущего каркаса балочно-колонного типа и усиленных панелей конструктива), огнестойкости (60 мин по EN1047-2) и пылевлагозащищенности (IP65). Хорошие теплоизолирующие свойства позволяют оптимизировать затраты на охлаждение/обогрев.

Для охлаждения ИТ-оборудования выбрана система непрямого фрикулинга SME FAC (Fresh Air Cooling) с адиабатическим увлажнением. В такой системе не происходит смешивания потоков внешнего и внутреннего воздуха. Для проекта выбраны блоки SME FAC, позволяющие отводить до 50 кВт тепла каждый (для 10 стоек по 5 кВт). Они будут добавляться по мере необходимости - при увеличении числа стоек, а также при повышении нагрузки отдельных стоек до 20 кВт.

Вокруг МПФЗ E-Module необходимо предусмотреть зону для установки и обслуживания установок охлаждения SME FAC шириной по периметру не менее 3 м. Кроме того, проектом предусмотрена чиллерная система, однако задействована она будет лишь в самые неблагоприятные для основной системы периоды. По оценкам «ЛАНИТ-Интеграции», ЦОД сможет работать без включения чиллеров до 93% времени в году (при температуре внешнего воздуха до +220C).

Раздача холодного воздуха будет осуществляться под фальшполом. При необходимости МЦОД можно оснастить системой контейнеризации холодных рядов SME Eficube.

СБЭ реализуется на базе моноблочных ИБП Galaxy 5500 компании Schneider Electric. На первом этапе будут установлены 2 источника Galaxy 5500 по 80 кВА. В последующем в параллель будет добавляться необходимое число ИБП. В параллельной системе может быть до 6 таких модулей, соответственно, она способна поддерживать нагрузку 400 кВА в режиме N+1.

Решение по обеспечению контроля и безопасности среды также строится на базе продукта Schneider Electric - системы InfraStruXure Central.

Предложение «ЛАНИТ-Интеграции» выглядит одним из самых солидных, особенно в части уровня защищенности помещения и состава системы охлаждения. Однако ряд моментов - например, предложение развернуть полноценную чиллерную систему, которая будет использоваться лишь небольшую часть времени в году, - предполагают высокую стоимость этого проекта. К сожалению, информация о стоимости нам не была предоставлена.

«Президент-Нева»

Компания предложила заказчику решение на базе блок-контейнера класса «Север». Благодаря такому конструктиву решение может работать при температуре до –50°С, подтверждением чего является положительный опыт эксплуатации трех МЦОД «Газпромнефть-Хантос» на Приобском месторождении в районе Крайнего Севера (всего в активе компании «Президент-Нева» - 22 построенных МЦОД).

Контейнер имеет поперечные перегородки, разделяющие его на три помещения: тамбур и два помещения для шкафов с ИТ-оборудованием, - а также перегородку между холодным и горячим коридорами внутри ИТ-помещений (см. рис. 6). В одном помещении будет установлено 8 стоек на 5 кВт, в другом - 2 высоконагруженные стойки на 18 кВт. Между помещениями установлены роллетные двери, при открытии которых в аппаратном отсеке обеспечиваются единые холодный и горячий коридоры.

Инженерную «начинку» ЦОД составляет оборудование Emerson Network Power. Для охлаждения помещения со стойками на 5 кВт используются потолочные кондиционеры Liebert HPSC14 (холодопроизводительность 14,6 кВт) с поддержкой фрикулинга. В нем размещаются четыре таких кондиционера. Еще один Liebert HPSC14 инсталлируется в помещении с высоконагруженными стойками и СБЭ (ИБП и АКБ). Но он служит лишь доводчиком, а основную нагрузку снимают более мощные рядные кондиционеры Liebert CRV СR035RA. Благодаря функции аварийного фрикулинга Liebert HPSC14 способен обеспечить охлаждение на протяжении того небольшого периода времени при отключении основного электропитания, когда происходит запуск ДГУ.

СБЭ состоит из модульного ИБП Emerson серии APM (резервирование N+1) и блока батарей. Внешний байпас ИБП предусмотрен во вводно-распределительном устройстве (ВРУ), размещенном в тамбуре. В качестве ДГУ предложен агрегат FG Wilson мощностью 275 кВА.

Заказчик может начать развитие своего ЦОД с решения для стоек на 5 кВт, а затем, когда возникнет необходимость, контейнер будет дооборудован кондиционерами CRV и модулями ИБП, необходимыми для работы высоконагруженных стоек. При заполнении первого контейнера будет установлен второй, далее - третий.

Хотя в данном решении заказчику предложены инженерные системы Emerson Network Power, как подчеркивает Дмитрий Степанов, МЦОДы компании «Президент-Нева» исполняются и с использованием оборудования других производителей - в частности, таких компаний, как Eaton, Legrand и Schneider Electric. При этом учитываются корпоративные стандарты заказчика по инженерным подсистемам, а также все технические требования производителя.

«Техносерв»

Модульный ЦОД «ИТ Экипаж» - это комплексное решение на основе быстровозводимых конструкций с предустановленными (на заводе) инженерными системами. Один модуль ЦОД включает в себя серверный блок для установки ИТ-оборудования, а также инженерный блок для обеспечения его бесперебойной работы. Блоки могут быть установлены рядом на одном уровне (горизонтальная топология) или друг на друге (вертикальная топология): внизу инженерный блок, вверху - серверный. Для нашего заказчика выбрана вертикальная топология.

На рассмотрение заказчика представлены два варианта реализации МЦОД «ИТ Экипаж»: комплектации «Стандарт» и «Оптимум». Основное их отличие - в системе кондиционирования: в варианте «Стандарт» реализована система прецизионного кондиционирования с использованием чиллерной воды, в «Оптимуме» - система с использованием фреонового холодоносителя.

Серверный блок один и тот же. В одном блоке могут быть установлены до 18 серверных стоек для размещения активного оборудования. Машинный зал предлагается сформировать из 2 серверных блоков. Серверные блоки и коридорный блок располагаются на втором этаже и объединяются в единое технологическое пространство (машинный зал) путем демонтажа перегородок (см. рис. 7).

В пространстве под фальшполом серверного блока МЦОД «Стандарт» установлены кондиционеры (водяного охлаждения). В МЦОД «Оптимум» охлаждение ИТ-оборудования осуществляется с помощью прецизионных кондиционеров, размещаемых в инженерном блоке. Системы кондиционирования зарезервированы по схеме 2N.

Инженерный блок разделен на 3 отсека: для установки СБЭ; средств холодоснабжения и (опционально) сухой градирни. В отсеке СБЭ находится шкаф с ИБП, аккумуляторные батареи и щитовое оборудование. СБЭ имеет резервирование N+1.

В отсеке холодоснабжения МЦОД «Стандарт» установлены два чиллера, гидромодуль, аккумулирующие баки. Реализованная система холодоснабжения позволяет достичь уровня резервирования 2N в пределах одного модуля ЦОД и 3N в пределах двух соседних модулей ЦОД - за счет объединения контуров системы охлаждения. В системе холодоснабжения реализована функция фрикулинга, позволяющая существенно сократить эксплуатационные расходы и увеличить ресурс холодильных машин.

Выше уже говорилось о высоком (40-процентном) уровне локализации инженерных систем МЦОД «ИТ Экипаж». Однако представители «Техносерв» так и не раскрыли информацию о том, кондиционеры и ИБП какого производителя они используют. Видимо, этот секрет заказчик сможет узнать в ходе более детальной проработки проекта.

«Утилекс»

Модульный ЦОД NOTA создается на базе быстровозводимой легкодемонтируемой каркасной конструкции, которая перевозится в стандартном ISO-контейнере. Его основу составляет металлический каркас, который собирается на месте установки из готовых элементов. Основание состоит из герметичных несущих панелей, которые монтируются на ровной площадке, выполненной из теплоизоляционных плит «Пеноплэкс», уложенных в 3 слоя в шахматном порядке. Фундамент не требуется! Стены и кровля МЦОД выполнены из сэндвич-панелей. Для установки оборудования в ЦОД монтируется фальшпол.

Проект по созданию ЦОД предлагается реализовать в 5 этапов. На первом этапе создается инфраструктура МЦОД для размещения 10 стоек со средним потреблением 5 кВт на стойку и возможностью увеличения потребления 2 стоек до 20 кВт каждая (см. рис. 8). СБЭ реализуется на базе модульного ИБП производства «Связь Инжиниринг» и АКБ, обеспечивающих автономную работу на протяжении 15 мин (с учетом потребления технологического оборудования - кондиционеры, освещение, СКУД и т. д.). При необходимости поддержки ИТ-нагрузки 20 кВт в 2 стойках, в состав ИБП добавляются силовые модули и дополнительные батареи.

Система кондиционирования реализуется на базе 4 прецизионных рядных кондиционеров Сlever Breeze производства «Утилекс» c охлаждающей способностью 30 кВт каждый. Внешние блоки располагаются на торцевой стене МЦОД. Входящие в состав кондиционеров Clever Breeze контроллеры служат основой для системы дистанционного мониторинга и управления. Последняя обеспечивает мониторинг температуры холодного и горячего коридоров, состояния ИБП и влажности в помещении; анализирует состояние и хладопроизводительность кондиционеров; выполняет функции системы контроля и управления доступом в помещение.

На втором этапе устанавливается второй модуль МЦОД на 5 стоек с нагрузкой 5 кВт (в этом и последующих «квантах» расширения предусмотрена возможность увеличения нагрузки на 1 стойку до 20 кВт). При этом площадь модуля имеет резерв для размещения еще 5 стоек (см. рис. 9), которые будут установлены на третьем этапе. Четвертый и пятый этапы развития ЦОД аналогичны второму и третьему. На всех этапах используются рассмотренные выше элементы инженерной инфраструктуры (ИБП, кондиционеры), которые наращиваются по мере необходимости. ДГУ устанавливается в расчете сразу на всю планируемую мощность ЦОД - специалисты «Утилекс» выбрали агрегат WattStream WS560-DM (560 кВА/448 кВт), размещаемый в собственном климатическом контейнере.

Как отмечают специалисты «Утилекс», инфраструктура МЦОД NOTA позволяет наращивать площадь модулей по мере увеличения числа стоек за счет добавления необходимого количества несущих панелей в основание. Это дает возможность равномерно распределять капитальные затраты на создание модулей по этапам. Но в данном варианте создание меньшего модуля (с габаритами 5,4х4,2х3 м) экономически нецелесообразно, поскольку небольшое снижение капитальных затрат на модуль будет «компенсировано» потребностью дважды инвестировать в систему пожаротушения (на втором и третьем этапах).

Важным преимуществом МЦОД «Утилекс» NOTA в условиях ориентации на импортозамещение является производство большинства подсистем центра обработки данных в России. Автономная инфраструктура МЦОД NOTA, стойки, системы кондиционирования, дистанционного мониторинга и управления производятся самой «Утилекс». СБЭ - компанией «Связь Инжиниринг». Система автоматического газового пожаротушения - компанией «Пожтехника». Вычислительная и сетевая инфраструктура ЦОД также может быть реализована на базе решений российского производства - компании ETegro Technologies.

GreenMDC

Заказчику предложен модульный ЦОД Telecom Outdoor NG, состоящий из модулей Telecom (предназначен для размещения стоек с ИТ-оборудованием), Cooling (системы охлаждения) и Energy (СБЭ, электрощиты). Все модули изготавливаются на производстве GreenMDC, а перед отправкой заказчику МЦОД собирается на тестовой площадке, где осуществляется полное тестирование. Затем МЦОД разбирается и модули транспортируются до места назначения. Отдельные модули представляют собой металлические конструкции с установленными и подготовленными для транспортировки стенами (см. рис. 10).

Система отвода тепла от оборудования реализована на базе прецизионных шкафных кондиционеров HiRef с подачей холодного воздуха под фальшпол. СБЭ - на модульных ИБП Delta. Распределительная электрическая сеть выполнена резервированными шинопроводами - подключение стоек производится путем установки на шинопроводы ответвительных коробок с автоматическими выключателями.

В рамках первого этапа проекта выполняются подготовка площадки, установка ДГУ, а также 3 модулей ЦОД (см. рис. 10): модуль Telecom на 16 стоек (10 стоек по 5 кВт, 6 стойко-мест остаются незаполненными); модуль Cooling с 2 кондиционерами по 60 кВт и модуль Energy с 1 модульным ИБП. ИБП состоит из шасси на 200 кВА и 3 модулей по 25 кВт (для ИБП Delta DPH 200 значения в киловаттах и в киловольт-амперах идентичны). Для обеспечения бесперебойной работы инженерных систем устанавливается 1 модульный ИБП: шасси на 80 кВА и 2 модуля на 20 кВт.

На втором этапе расширение осуществляется в рамках имеющихся модулей МЦОД: в модуль Telecom добавляются еще 6 стоек. Повышение электрической мощности достигается путем добавления силовых модулей в модульные ИБП, а мощности охлаждения - увеличением числа кондиционеров. Все коммуникации (фреонопроводы, электрика) для кондиционеров прокладываются еще на первом этапе. При необходимости установки стойки с высоким потреблением реализуется аналогичный алгоритм увеличения мощности. Кроме того, практикуется изоляция холодного коридора и, при необходимости, установка активных плиток фальшпола.

На третьем этапе устанавливается второй модуль Telecom, что позволит разместить в МЦОД до 32 стоек. Увеличение мощности инженерных систем происходит аналогично тому, как это делалось на втором этапе - вплоть до максимальной проектной мощности МЦОД. Операция расширения МЦОД выполняется сотрудниками поставщика без прерывания функционирования установленных модулей. Срок производства и установки дополнительного модуля Telecom - 10 недель. Установка модуля - не более одной недели.

Huawei

Мобильный ЦОД Huawei IDS1000 состоит из нескольких стандартных 40-футовых контейнеров: один или несколько контейнеров для ИТ-оборудования, контейнер для СБЭ, контейнер для системы холодоснабжения. При необходимости также поставляется контейнер для дежурного персонала и склада.

Для нашего проекта выбран вариант ИТ-контейнера на 18 стоек (6 рядов, в каждом 3 стойки) - см. рис. 11. На первом этапе предлагается разместить 10 стоек для ИТ-оборудования, 7 рядных кондиционеров, шкафы распределения питания, баллоны АГПТ и прочее вспомогательное оборудование. На втором и последующих этапах - добавить 8 стоек и 5 рядных кондиционеров в первый контейнер, установить второй контейнер и разместить в нем необходимое количество стоек с кондиционерами.

Максимальная мощность одного ИТ-контейнера составляет 180 или 270 кВт, а значит, от каждой стойки можно отвести до 10 и 15 кВт соответственно. В предложении Huawei отдельно не рассматривается размещение стоек на 20 кВт, но, поскольку допустимая мощность на каждую стойку выше запрошенных заказчиком 5 кВт, нагрузку можно перераспределить.

Холодоснабжение рядных кондиционеров осуществляется от системы чиллеров, расположенных на каркасе отдельного контейнера. Кроме того, в отдельном контейнере размещается СБЭ (ИБП и АКБ). ИБП конфигурируется в зависимости от расчетной нагрузки с шагом 40 кВт (максимально 400 кВА).

В состав решения Huawei включила систему управления нового поколения NetEco, которая позволяет контролировать функционирование всех основных систем: электроснабжения (ДГУ, ИБП, PDU, АКБ, распределительные щиты и АВР), холодоснабжения (кондиционеры), безопасности (СКУД, средства видеонаблюдения). Кроме того, она способна отслеживать состояние окружающей среды, используя различные датчики: дыма, температуры, влажности и протечки воды.

Главная особенность и преимущество предложения Huawei заключаются в том, что все основные компоненты, включая кондиционеры и ИБП, от одного производителя - самой компании Huawei.

Schneider Electric

В основе предложенного МЦОД - типовые модули NON-ISO25 всепогодного исполнения с высокими огнеупорными характеристиками (EI90 согласно EN-1047-2). Доступ контролируется СКУД с биометрическим датчиком. Модули доставляются на место установки независимо, затем стыкуются, образуя единый конструктив.

Первая стадия - самый объемный и затратный этап, на котором выравнивается и укрепляется основание (наливается стяжка), устанавливаются два чиллера (агрегаты Uniflair ERAF 1022A с функцией фрикулинга), ДГУ, энергомодуль и один ИТ-модуль (10 стоек), полностью монтируется вся трубная проводка. Энергомодуль и ИТ-модуль образуют три помещения: энергоцентр, машинный зал, входной шлюз/тамбур (см. рис. 12).

В помещении энергомодуля устанавливаются ИБП APC Symmetra 250/500 (с комплектом батарей и байпасом), щитовое оборудование, система газового пожаротушения, основное и аварийное освещение, система охлаждения (2 (N+1) кондиционера SE AST HCX CW 20kW). От ИБП запитываются ИТ-оборудование, кондиционеры и помпы. ИТ-модуль первой стадии поставляется с 10 предустановленными стойками (AR3100), PDU, шинопроводом, системой изоляции горячего коридора и системой охлаждения на базе SE AST HCX CW 40kW (2+1). Указанные кондиционеры специально разработаны для модульных ЦОД: они крепятся над стойками и в отличие, скажем, от рядных кондиционеров не занимают полезное место в ИТ-модуле.

На второй стадии к первому ИТ-модулю пристыковывается второй, который поставляется с 5 стойками, а в остальном комплектуется так же, как первый (только на данной стадии активируются 2 (1+1) из 3 кондиционеров). Кроме того, устанавливается еще один чиллер, а модульный ИБП дооснащается необходимым комплектом батарей и инверторов. Третья стадии развития ЦОД сводится к добавлению во второй ИТ-модуль 5 стоек и активации третьего кондиционера. Четвертая и пятая стадия аналогичны второй и третьей.

В качестве системы управления предложен комплекс StruxureWare класса DCIM.

В результате заказчик получит решение, полностью соответствующее его требованиям, от одного из мировых лидеров в области модульных ЦОД. На данном этапе Schneider Electric не предоставила информацию о стоимости решения.

ЗАКЛЮЧЕНИЕ

Выше были кратко рассмотрены основные конструктивные особенности предложенных ЦОД, а также их систем охлаждения и электропитания. Более подробно эти системы представлены в описаниях проектов, доступных на сайте . Там же дана информация о других системах, включая средства газового пожаротушения, систему контроля и управления доступом (СКУД), комплексную систему управления и т. д.

Заказчик получил 9 проектов, в основном удовлетворяющих его требования. Представленные описания и характеристики продуктов убедили его в главном: современные модульные решения позволяют получить полнофункциональный ЦОД, при этом сроки реализации проекта в несколько раз меньше, чем при традиционном подходе (с капитальным строительством или реконструкцией здания), а средства можно вкладывать постепенно, по мере роста потребностей и соответствующего масштабирования ЦОД. Последнее обстоятельство для него чрезвычайно важно в нынешних условиях.

Александр Барсков - ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу:

Группа Компаний «4х4» представлена на рынке Контейнерных ЦОД более 10 лет. В портфеле реализованных проектов компании как Контейнерные ЦОД собственного производства.

В 2016 году было разработано второе поколение собственного решения, которое получило название Mtech (Modular Technology).

Модульные ЦОД собственной разработки, предназначенные для эксплуатации в любых регионах РФ, имеющие порядка 50% российских комплектующих, разработанные с учетом многолетнего опыта работы в этой области и мнения наших Уважаемых Заказчиков.

Особенности и преимущества КЦОД и МЦОД 4х4 MTech

Разработан в России для Российских условий

Конструкция контейнерного модуля разработана командой профессиональных архитекторов и предназначена для размещения инженерного ИТ оборудования с обеспечением максимальной защиты от внешних условий (ветровая и снеговая нагрузка, внешняя температура) в любом регионе РФ;

Широкий тамбур

Позволяет разместить шкаф для одежды персонала (входит в состав поставки) и поставить автомат для одевания бахил, для поддержания постоянной чистоты в Машинном зале МЦОД, а также обеспечить возможность заноса или выноса оборудования из/в Машинный зал МЦОД;

Дополнительная скатная крыша

Позволяет не допустить скапливание снежного покрова в зимний период и накапливания воды при таянии снежного покрова;

Достаточное место для комфортного обслуживания внутри

Внутренняя ширина контейнерного модуля 3000 мм, что позволяет установить серверные стойки 1200 мм глубиной в статическом положении и при этом обеспечить пространство для обслуживания перед ними не менее 1200 мм. Такой подход позволяет предложить Заказчику решение с возможностью наращивания мощности в процессе эксплуатации и снизить капитальные затраты на первом этапе. Также это обеспечивает удобство обслуживания и установки ИТ оборудования в серверные стойки.

Контейнеризация горячего коридора

В решениях с мощностью ИТ нагрузки на стойку от 8 кВт планируется установка системы контейнеризации горячего коридора, для максимально эффективной работы системы кондиционирования.

Заводские приемочные испытания

Проведение заводских приемочных испытаний решения перед отправкой на площадку Заказчика, а также испытаний на площадке Заказчика, по согласованной с ним программе методике испытаний, позволяет добиться гарантированной и безотказной работы решения в процессе эксплуатации;

Надежность

Использование наиболее надежного на рынке оборудования для реализации основных инженерных систем позволяет обеспечить спокойный сон Заказчика на следующие не менее чем 10 лет (средний срок службы инженерного оборудования ЦОД);

Скачать презентацию по Контейнерным и Модульным ЦОДам 4х4 Mtech (3,5 МБ) >>>

Недостатки ISO контейнерного

Первоначально произволители предлагали КЦОД в стандартных ISO контейнерах, однако такое решение имеет ряд недостатков. В первую очередь, это ширина стандартного ISO контейнера - 2,44 м.

При размещении стоек в стандартном ISO контейнере получается, что 10см уходит на утепление контейнера, 1м - глубина стойки и 1м перед стойкой для установки оборудования. Таким образом, сзади стойки остается только 34 см. В это пространство человек не протиснется, а значит операции коммутации для стоек посередине будут затруднены. Поэтому производители либо делали выкатные стойки (требует их обесточивания при передвижении), либо сервисные двери в задней части контейнера (невозможно использовать зимой).

Также, стандартные ISO модули имеют плоскую и очень мягкую крышу, которая не выдерживает снеговой нагрузки в России. При попытке очистки от снега крыша без дополнительного усиления будет прогибаться и деформироваться. Если же крышу не чистить от снега, с высокой вероятностью весной она протечет.

Учитывая данные недостатки 4х4 предлагает предлагают решения в non-ISO модулях нестандартного размера, как правило это 3,3 метра в ширину и высоту, что позволяет обеспечить нормальный горячий коридор. Нестандартный контейнер имеет ISO-модули для подъема краном. Перевозка нестандартного контейнера требует получения разрешения на перевозку негабаритного груза, сейчас это не представляет никаких сложностей. Хороший контейнерный ЦОД ничем не отличается с точки зрения сопровождения от обычной серверной. Очень желательно иметь входной тамбур, который позволит нивелировать перепады климата при входе в контейнер, а также предоставит место для размещения необходимых в ЦОД вещей (бахиллы, пылесос, присоска для фальшпола и т.п.).

Модульный ЦОД отличается от контейнерного тем, что состоит из отдельных модулей, которые стыкуются между собой. Мы устанавливали модульные решения в России и знаем, что современные технологии позволяют обеспечить полную герметичность конструкции. Модульный ЦОД теоретически может быть любого размера. Чем больше модулей в одной сборке, тем дешевле обходится ЦОД в пересчете на стоимость одной стойки.

Если сравнивать стоимость традиционного и модульного ЦОДов, то модульный ЦОД оказывается выгоднее по цене уже при размещении 20 стоек и более. Но основным преимуществом контейнерных и модульных ЦОДов является скорость развертывания. Как правило, от момента заказа, первые модули начинают работать уже через 4 месяца. Традиционный ЦОД в здании, по нашим оценкам, требует около 2 лет на строительство.

Недавно группа компаний Softline вывела на рынок принципиально новую форму предоставления услуг дата-центра - «ЦОД как сервис» (DCaaS) . Решение включает в себя производство модульного центра обработки данных (МЦОД), его установку на площадке заказчика, сервисное сопровождение и помесячную схему оплаты.

Услуга «ЦОД как сервис» предполагает производство модульного дата-центра, его поставку, установку и подключение на площадке заказчика, а также его дальнейшее сопровождение на условиях ежемесячной арендной платы, то есть без необходимости капитальных вложений и расширения штата со стороны заказчика. Пожалуй, в этом состоит главная концептуальная особенность нашего решения, которая ставит его в один ряд с такими сервисами, как, к примеру, IaaS или HaaS.

Этапы реализации

После подписания договора и проведения авансового платежа запускается производство модулей будущего дата-центра на заводе нашего партнера, петербургского производителя модульных ЦОДов GreenMDC. Одновременно с этим, если на объекте отсутствует площадка для установки модуля, мы проводим работы по ее подготовке. Важно, чтобы к площадке была обеспечена возможность подъезда грузового транспорта и подъемного крана для доставки и установки готовых модулей ЦОДа.

Уже через 4-5 месяцев заказчик получает «под ключ» готовый модульный ЦОД, произведенный с учетом рекомендаций Uptime Institute не ниже уровня TIER-III. Каждый МЦОД от GreenMDC проходит программу заводских испытаний в присутствии наших специалистов. В дальнейшем это позволяет избежать возможных неисправностей на площадке заказчика. В конфигурацию решения входят все инженерные системы, необходимые для обеспечения бесперебойной работы вычислительного оборудования (шкафы, системы электроснабжения, пожаротушения, охлаждения, мониторинга и др.). Доставку и подключение готового модульного дата-центра к инженерным сетям Softline производит собственными силами. Заказчику остается наполнить МЦОД собственным вычислительным и коммуникационным оборудованием (серверами, СХД, сетевыми коммутаторами и др.) и использовать по своему усмотрению. Впрочем, в рамках дополнительного проекта мы готовы оснастить дата-центр и вычислительной техникой.

Далее в течение срока действия договора, опять же на основании ежемесячных платежей, совершается сервисное сопровождение МЦОДа. В него включены необходимые работы согласно регламенту, которые проводятся, как правило, раз в три месяца. К регламентным работам относятся визуальный контроль, проверка работоспособности систем, диагностика и устранение неисправностей, удаленный мониторинг инженерных систем с подключением к первой линии поддержки с информированием о возможных неисправностях, своевременная гарантийная замена вышедших из строя компонентов инженерного оборудования и другие мероприятия, необходимые для обеспечения бесперебойной работы МЦОДа.

Плановые контракты рассчитаны на 3-5 лет (36 месяцев - минимальный срок): в течение этого времени заказчик эксплуатирует МЦОД по мере своих потребностей, однако до истечения срока договора инженерное оборудование числится на балансе Softline.

Фокус услуги

Идея предлагать ЦОД как сервис возникла после анализа запросов наших клиентов. Многим из них стали требоваться мощности собственного дата-центра, причем в максимально короткие сроки и часто в условиях ограниченного бюджета. Поскольку сегодня компания Softline активно развивает различные схемы «услуги как сервис» (инфраструктура, ПО, оборудование), то ЦОД не стал исключением. Мы выработали оптимальное по стоимости и скорости развертывания качественное и надежное решение, нашли партнера - компанию GreenMDС.

Что касается фокуса услуги, то в оценке потенциальных заказчиков мы не ориентируемся на конкретную вертикаль. Целевые заказчики DCaaS - это крупный бизнес в самых разных отраслях: ритейл, нефтяная промышленность, телеком, госсектор и т. д. Потребности у них тоже могут быть разными: кому-то необходимо построить резервный ЦОД, кому-то - быстро оснастить собственным дата-центром только что открытый филиал или новую производственную площадку.

Каковы выгоды?

Прежде всего, заказчик получает готовый модульный ЦОД без значительных первоначальных инвестиций, которые при строительстве «классического» дата-центра достигали бы десятков и сотен миллионов рублей. По схеме ежемесячного платежа, применяемой Softline, он, не выплатив полной стоимости ЦОДа, уже может им пользоваться здесь и сейчас. В сервисный платеж включена даже страховка от гибели оборудования и халатности. Также это позволяет задействовать разные статьи бюджета и перенести затраты в операционный бюджет.

Второе преимущество - скорость производства и запуска МЦОДа в эксплуатацию. Softline предлагает несколько типовых проектов, каждый из которых может быть реализован за 4-5 месяцев, - но не ограничивается ими. При необходимости мы совместно с партнерами можем разработать решение под специфические требования заказчика.

Третье: пока Softline оказывает сервисную поддержку и техническое обслуживание МЦОДа, заказчику не требуется дополнительно увеличивать штат и вообще заботиться о технических вопросах, мониторинге, устранении неисправностей. Подчеркну: в рамках данного решения имеется в виду поддержка со стороны Softline только инженерной инфраструктуры, но при необходимости мы готовы взять на обслуживание все ИТ-оборудование заказчика.

Четвертое - высокий уровень защиты решения. Мы строим модульный ЦОД, соответствующий рекомендациям Uptime Institute не ниже уровня TIER3.

Наконец, заключая договор с Softline, заказчик пользуется всеми преимуществами «принципа одного окна»: он получает подрядчика, платит фиксированную плату и точно знает, когда МЦОД будет запущен в эксплуатацию. Взаимодействие с производителем (GreenMDC), поиск финансирования, доставку, установку модуля - все это Softline берет на себя.

Как и облачный ЦОД, решение «ЦОД как сервис» хорошо масштабируется: при росте потребностей заказчика в вычислительных мощностях можно расширить его, присоединив необходимый дополнительный модуль к существующему МЦОДу. Но модульный ЦОД устанавливается на территории заказчика, и все корпоративные данные не выходят за пределы его ИТ-периметра.

GreenMDC - российский разработчик

Компания GreenMDC является российским разработчиком и производителем модульных центров обработки данных. И у слуга «ЦОД как сервис» стала возможной благодаря совместным усилиям Softline и GreenMDC. Наш партнер производит надежные модульные ЦОДы, обеспечивающие стабильную работу ИТ-инфраструктуры и простоту эксплуатации. Для совместных проектов с нами специалисты GreenMDC используют весь свой многолетний опыт по разработке модульных дата-центров, многоступенчатому контролю качества сборки и нагрузочному тестированию всех инженерных систем МЦОД перед отправкой заказчику. Softlinе выступает как оператор проекта и ведет проект от начала до конца: от документооборота и согласования работ до последующего обслуживания уже готового и введенного в эксплуатацию ЦОДа.

Офис и производство компании GreenMDC находятся в Санкт-Петербурге, поэтому комплексное решение и конечный продукт являются отечественным - несмотря на присутствие в нем как отечественных, так и импортных комплектующих. Кроме того, заказчик фактически не покупает оборудование, а арендует.

Базовая комплектация услуги

Существует несколько типовых конфигураций модульного ЦОДа, с количеством стоек от 6 до 10 и максимальной ИТ-нагрузкой от 30 до 80 кВт на машинный зал, 5 или 8 кВт на стойку. Также мы можем предоставить микро-ЦОД, рассчитанный на две стойки - это совсем небольшие мощности для каких-то небольших объектов. Если же заказчику необходимо развернуть более масштабный ЦОД, мы готовы рассмотреть и индивидуальное решение.

В отдельных, очень редких случаях заказчик не может определить оптимальный для него вариант ЦОДа. Тогда мы готовы провести аудит, определить количество серверов, приложений, систем, которые будут храниться в дата-центре - и, соответственно, вычислить необходимую мощность дата-центра.

Распространение

Продуктовое предложение услуги «ЦОД как сервис» разработано для российских клиентов, но для строительства в удаленных регионах мы можем строить ЦОД и осуществлять поддержку с помощью наших авторизованных партнеров. Компания Softline ведет бизнес в странах СНГ, включая страны Единого таможенного союза, поэтому в будущем вполне возможен запуск данного решения и в этих государствах.