Технические характеристики

datacenter3

Физические характеристики

Проектирование здания с учетом требований к дата-центру и его характеристик — непростая задача. К объектам такого рода предъявляются жесткие требования, касающиеся расположения, количества этажей, несущей способности перекрытий, подъездных путей, прилегающей площади, мощности электропитания, наличия резерва для ее увеличения.

ЦОД КОМПЛИТ расположен на первом этаже офисного здания и включает в себя основной машинный зал на 70 стоек. Дополнительные технические помещения ЦОД предназначены для размещения демонстрационного центра вычислительного и сетевого оборудования (Демоцентра), системы электропитания, организации доступа провайдеров, помещений для распаковки оборудования и переговоров. Все основные параметры работы ЦОД можно контролировать из двух диспетчерских.

Несущая способность основания полов технических помещений составляет не менее 1500 кг/кв. м. Дверные проемы обеспечивают возможность ввоза и установки крупногабаритного оборудования (стойки 48U). Угол наклона пандуса не превышает 15°.

 

Надежность

ЦОД КОМПЛИТ строился с учетом поэтапного ввода в эксплуатацию: на первом этапе закупалась и монтировалась только часть системы, а применение модулей (ДГУ, ИБП, кондиционеров) позволяет постепенно докупать оборудование и наращивать систему.

Замену и профилактику отдельных узлов можно проводить в «горячем» режиме, не нарушая работы других компонентов системы.

По завершении первого этапа системы электропитания ЦОД обеспечивают мощность 126 кВт для питания 22 стоек высотой 48U. На втором этапе эта мощность вырастет более чем втрое — до 440 кВт.

Все инженерные системы (холодоснабжение, ИБП, ДГУ) выполняются по схеме с резервированием N+1, предусмотрены резервные трассы, а система электропитания машзала имеет резервирование 2N.

По уровню надежности ЦОД в точности соответствует Tier III в классификации Uptime Institute. Инженерные системы полностью зарезервированы, имеется несколько каналов распределения электропитания и охлаждения, есть возможность проведения ремонтных работ (включая замену любых компонентов, удаление вышедшего из строя оборудования и добавление нового) без остановки работы ЦОД, поэтому ежегодные плановые полномасштабные отключения не требуются.

Благодаря этому дата-центр демонстрирует высочайшую доступность — 99,98%.

 

Кабеленесущие системы и технические помещения

kabelenesushie-sistemyБольшинство инженерно-технических коммуникаций ЦОД скрыто в пространстве под фальшполом. Лотки для СКС сделаны максимально доступными, что упрощает и сокращает время работ по кросс-коммуникациям.

Электрические кабели проходят под съемным фальшполом в обслуживаемых лотках. Съемные плитки фальшпола имеют антистатическое покрытие и рассчитаны на распределенную нагрузку до 1500 кг/кв. м. Фальшполы обеспечивают свободный доступ к коммуникациям, что облегчает их монтаж и обслуживание.

Для организации слаботочных кабельных систем в пространстве над шкафами и под потолком над уровнем коммуникационных шкафов служат проволочные лотки. Все силовые распределительные и групповые кабели проложены в лотках под фальшполом.

Конструкция открытого типа позволяет ввести или вывести кабель в любом месте трассы, благодаря чему можно оперативно создавать соединительные линии. В то же время обеспечивается простота поиска и замены поврежденных проводов, хорошее охлаждение для кабелей, работающих под высокой нагрузкой, их доступность для периодического осмотра и прокладки новых силовых и коммуникационных линий, легкость укладки и крепления кабеля.

В ЦОД имеются вспомогательные и технические помещения, предназначенные для размещения оборудования системы холодоснабжения — насосная (23 кв. м) и бак-аккумуляторная (22 кв. м.), а также диспетчерская (9 кв. м) и два помещения (по 4 кв. м) для ввода «темной оптики» в здание и размещения пассивного кроссового оборудования ВОЛС.

 

Шкафы

shkafyИТ-оборудование размещается в шкафах NetShelter SX 48U производства компании APC, оснащенных устройствами распределения питания PDU (Power Distribution Unit) и модулями мониторинга окружающей среды с датчиками температуры, влажности, вибрации и задымленности. Данные с датчиков поступают в единую систему мониторинга ЦОД и там же обрабатываются. Многофункциональные стоечные шкафы NetShelter SX оптимизированы для простой установки, управления кабелями, интегрированного распределения электропитания и поддержания воздушного потока. Эти шкафы предусматривают возможность высокоплотного размещения различных устройств, в том числе сетевого оборудования, а благодаря тому вниманию, которое их разработчики уделили охлаждению, распределению электропитания, управлению кабелями и контролю условий среды, шкафы NetShelter обеспечивают требуемую среду для установки ответственного стоечного оборудования. Большие прорези в крыше шкафа упрощают доступ к верхним кабельным отводам, а конструкция с нижней подводкой кабеля предусматривает беспрепятственный доступ к кабелю через фальшпол.

Перфорированные передние и задние дверцы пропускают воздушный поток, достаточный для охлаждения серверов и сетевого оборудования.

Шкафы комплектуются монтажными элементами для соединения в ряд, что обеспечивает большую устойчивость в целом. Конструкция рамы, толстые опорные балки и прочные ролики выдерживают статическую нагрузку до 1364 кг и динамическую нагрузку до 1023 кг.

 

Система распределения электроэнергии

sistema-raspredeleniya-ehlektroehnergiiЭнергоснабжение здания, в котором расположен ЦОД, осуществляется по второй категории надежности, однако для самого дата-центра фактически обеспечивается первая особая категория. Внешнее электроснабжение выполнено от двух независимых источников с резервированием электропитания при помощи дизель-генераторной установки (ДГУ), расположенной на прилегающей охраняемой территории.

Вводно-распределительное устройство — главный распределительный щит (ГРЩ) — располагается на первом этаже здания в отдельном помещении общей площадью 33 кв. м. Сюда подведены силовые фидерные кабели от трансформаторных подстанций и ДГУ, смонтирован автоматический ввод резерва (АВР), установлены электрические счетчики и автоматические выключатели с электроприводом. Суммарная мощность оборудования ЦОД рассчитана на 850 кВА. В электротехнических помещениях, куда от ГРЩ проложены продублированные трассы электрокабелей, смонтированы вводные и выводные распределительные щиты резервного и гарантированного электропитания, распределительные щиты питания внешних и внутренних блоков прецизионных кондиционеров, а также щит аварийного освещения.

 

Бесперебойное питание

besperebojnoe-pitanieСистема бесперебойного энергоснабжения обеспечивает устойчивую работу оборудования. Используемая схема электропитания превышает рекомендации Tier III, улучшая качество и надежность ЦОД. Вычислительные мощности дата-центра защищаются на нескольких уровнях: помимо входных фидеров бесперебойное питание обеспечивают ДГУ и ИБП переменного тока. Для достижения требуемого уровня доступности ЦОД применяется дублирование компонентов защиты энергетической системы и путей подключения нагрузки. Проектом строительства предусмотрено разделение на несколько пусковых очередей. Полная расчетная мощность, потребляемая ЦОД, составляет 850 кВА.

Электроснабжение всего объекта осуществляется от двух выделенных трансформаторных подстанций с двумя независимыми трансформаторами 6/0,4 кВ. В ГРЩ установлены устройства АВР на моторизованных автоматах.

Машинный зал разделен на три независимые группы потребителей: каждая питается от отдельного сдвоенного ИБП по двум независимым трассам. Для системы бесперебойного питания машзала применяются ИБП MGE Galaxy 7000 от APC by Schneider Electric. Они работают по параллельной схеме, при этом в проекте предусмотрена избыточность по общей мощности. Система, состоящая из 2N ИБП, позволяет при выходе из строя любого источника получать питание от другого и продолжать работу. Эти ИБП поддерживают ИТ-оборудование во время кратковременных неполадок в сети электропитания и гарантируют его функционирование в течение периода, необходимого для запуска ДГУ. Питание ИБП зарезервировано по вводу, т. е. предусмотрены основной ввод, резервный (от трансформаторной подстанции) и дополнительный (от группы дизель-генераторов). Площадь специально выделенного помещения с шестью ИБП, системой бесперебойного электропитания и аккумуляторными батареями составляет 48 кв. м. Аккумуляторные батареи AGM размещаются вместе с ИБП на стеллажах, а кабели и шинопроводы проложены в лотках под фальшполом.

Расчетное время автономной работы с обеспечением бесперебойным электропитанием и параллельным функционированием любого из шести ИБП составляет 9 минут. Этого времени достаточно для запуска дизель-генераторных установок, которые берут на себя снабжение ЦОД электроэнергией.

 

Система резервного электроснабжения

sistema-rezervnogo-ehlektrosnabzheniyaДля электроснабжения ЦОД по 1-й особой категории в качестве дополнительного источника питания на площадке установлены ДГУ, автоматизированные по второй степени. ДГУ эксплуатируются в режиме «горячего» резерва, т. е. постоянно, в любое время года, поддерживаются оптимальный заряд стартовых аккумуляторов, а также оптимальная температура масла в картере и охлаждающей жидкости. Время выхода ДГУ на рабочий режим не превышает 40 секунд.

Как резервные источники электроэнергии ДГУ обеспечивают гарантированное бесперебойное снабжение ЦОД электроэнергией и представляют собой совокупность генератора и дизеля на общей платформе, включающей вспомогательное оборудование, которое поддерживает их совместную работу и осуществляет контроль.

На первом этапе в ЦОД применяются ДГУ FG Wilson — две установки мощностью 450 кВА (1+1). На следующих этапах их количество будет увеличено до четырех (3+1). Автоматическая панель управления Easy Gen 2500 и панель переключения нагрузки позволяют контролировать электрические и эксплуатационные параметры ДГУ, стабилизацию напряжения и частоты, обеспечивают полностью автоматизированное управление системой гарантированного электроснабжения.

В каждом контейнерном ДГУ, кроме стандартного бака, предусмотрен дополнительный — вместе они обеспечивают около суток непрерывной автономной работы. Договор на подвоз дизельного топлива позволяет продлить их работу на любой необходимый срок.

 

Система холодоснабжения

Стабильное электропитание обеспечивается с помощью ИБП и резервных генераторов, но высокая эксплуатационная готовность оборудования ЦОД, соответствующего уровню Tier III, возможна только при условии бесперебойного охлаждения. В задачи системы холодоснабжения входит поддержание внутри ЦОД рабочей температуры в пределах 21°С +/- 5% и влажности 45% +/- 15%.

Система холодоснабжения в дата-центре представляет собой двухпутную систему, где в качестве хладоносителя применяется 40%-ный пропиленгликоль с температурой +10/+15°С. Для поддержания этих параметров используются четыре холодильные машины Emerson SBH023 с конденсатором моноблочного исполнения, который охлаждается воздухом. На первом этапе установлено два уличных чиллера, резервируемых по схеме 1+1. Позднее планируется поэтапное расширение системы до четырех чиллеров (3+1).

В целом систему охлаждения ЦОД можно разделить на три условно независимые составляющие:

  • система непосредственного охлаждения зала ЦОД и вспомогательных помещений, выполняемого с помощью прецизионных жидкостных кондиционеров и вентиляторных доводчиков;
  • система вывода излишков тепла на улицу. Она построена на моноблочных чиллерах внешней установки с функцией естественного охлаждения (фрикулинг): охлаждение теплоносителя в холодный период года осуществляется посредством наружного воздуха без привлечения холодильной машины;
  • система резервирования — накопительные баки с охлажденной жидкостью и насосы.

sistema-holodosnabzheniyaСистема 1 (кондиционеры и баки, находящиеся внутри помещения) и система 2 (чиллеры, установленные снаружи) работают с одним объемом охлаждающей жидкости.

Холодильные машины — три основные и одна резервная — подобраны с учетом возможной максимальной температуры наружного воздуха до +40°С. Холодильная система состоит из четырех наружных и двух внутренних контуров охлаждения. В случае выхода из строя одного из компонентов основного наружного холодильного контура вместо него запускается резервный.

Внутренний контур системы холодоснабжения ЦОД образуют 29 прецизионных кондиционеров межрядного типа, пять вентиляторных доводчиков канального типа, четыре настенных вентиляторных доводчика и один фанкойл кассетного типа. В насосной смонтированы два расширительных бака системы охлаждения, два циркуляционных насоса, бак заполнения системы и запиточный насос. В случае остановки одного из циркуляционных насосов реле протока автоматически запускает резервный.

Контур подачи хладоносителя от чиллеров и внутренний контур подачи хладоносителя до потребителей замыкаются на двух аккумулирующих баках. В случае выхода из строя баков (одного или обоих) можно воспользоваться байпасной линией, причем останавливать всю систему не потребуется. Объем баков способен обеспечить работу системы охлаждения в течение 9 минут, если внешний контур останется без электроэнергии. Это позволяет добиться высокой отказоустойчивости всей системы охлаждения.

Если необходимо увеличить мощность потребляемую ИТ-оборудованием, к системе можно подключить дополнительные устройства — водоохлаждаемые компьютерные шкафы, дополнительные внутрирядные кондиционеры и др. Для охлаждения помещения ИБП, где не столь критична точность, используются фанкойлы — доводчики канального типа с резервированием 4+1.

В зале ЦОД применяются внутрирядные прецизионные кондиционеры APC, а для улучшения охлаждения стоек используется дополнительная система изоляции холодных и горячих коридоров.

В зале ЦОД установлены прецизионные внутрирядные кондиционеры APC InRow 600 мм, рассчитанные (с запасом) на общую мощность ИТ-оборудования 125 кВт.

В дата-центре используются чиллеры Emerson в моноблочном исполнении и с системой свободного охлаждения. Они расположены на площадке рядом с ЦОД.

 

Характеристики чиллерной системы

Количество/исполнение 3+1, моноблок
Мощность полная (в конфигурации N+1) 649 кВт (216,3×3)
Теплоноситель в системе чиллера 40%-ный пропиленгликоль
Рассчитано на температуру наружного воздуха до +40°C
Объем бака аккумулятора (хладоноситель) 15 куб. м
Мощность фрикулинга при температуре воздуха 429 кВт (143×3) при +5°C и ниже
Рабочая температура чиллерного раствора 10/15°C

Хладоноситель по трубопроводам от каждого чиллера движется в насосную и попадает в коллектор — накопительный бак, объем которого рассчитан исходя из времени работы от ИБП (без возможности подключения уличных чиллеров). Из аккумуляторного бака охлажденная жидкость (пропиленгликоль) подается насосом к потребителям холода. Кондиционеры и вентиляторные доводчики вспомогательных помещений тоже запитываются от общего объема. Оборудование аккумуляторных баков, насосные группы и магистраль рассчитаны на полную мощность системы.

 

Система безопасности и пожаротушения

Важнейшие атрибуты современного ЦОД — контроль доступа, видеоконтроль, система раннего пожарообнаружения, газовое пожаротушение, пожарная и охранная сигнализация. Комплексная система безопасности в дата-центре предназначена для защиты помещений и оборудования. Она позволяет управлять доступом сотрудников и посетителей, осуществляет запись и вывод информации о состоянии объекта и событиях.

Комплексная система безопасности состоит из четырех систем:

  • охранного телевидения (видеонаблюдения);
  • контроля и управления доступом (СКУД);
  • автоматической охранной сигнализации и оповещения людей о пожаре (ПС и ОС);
  • оповещения и управления эвакуацией при пожаре (СОУЭ).

Все системы безопасности ЦОД общие со зданием и контролируются службой безопасности предприятия, при этом изображение с ряда камер дублируется на диспетчерский пост ЦОД.

Система безопасности объекта имеет три рубежа:

  • внешний — въезд на охраняемую территорию комплекса (шлагбаумы, камеры);
  • вход в здание — получение пропуска и сопровождающего;
  • вход в зону ЦОД и машинный зал (СКУД контролирует оба входа в зону ЦОД и оба входа в машзал) в сопровождении инженера.

sistema-bezopasnosti-i-pozharotusheniyaВ охранной системе используются адресные датчики движения, установленные во всех помещениях, а каждая дверь контролируется на открытие датчиками ESMI.

Автоматической установкой модульного газового пожаротушения оснащены машинный зал, помещение ИБП и Демоцентр. Она предназначена для обнаружения и тушения пожара с одновременной подачей в помещение охраны сигнала, информирующего о срабатывании системы пожаротушения или о неисправности.

Системы ПС и СОУЭ выполнены в соответствии с нормами Госпожнадзора РФ. Штатная система пожарной безопасности дополнена системой сверхраннего обнаружения дыма VESDA производства Xtralis, a в качестве огнетушащего вещества выбран биобезопасный газ Хладон 318Ц. При возникновении пожара выполняются отключение кондиционерных блоков и блокировка системы вентиляции.

Сигнал на запуск автоматической установки газового пожаротушения подается от системы пожарной сигнализации. Ее можно также активировать кнопками дистанционного пуска, которые располагаются около выходов в защищаемые помещения.

 

Система диспетчеризации

Автоматизированная система диспетчеризации и управления (АСДУ) собирает данные о работе всех инженерных систем ЦОД. Информация выводится на экраны мониторов, где наглядно отображаются состояния всех датчиков и оповещающие сообщения. АСДУ ведет непрерывный мониторинг с регистрацией основных параметров и событий. Системы контролируют протечку жидкостей, следят за температурой и влажностью, качеством электроэнергии, положением автоматических выключателей, за работой системы гарантированного электропитания, открыванием и закрыванием телекоммуникационных шкафов.

Пост наблюдения за работой информационных и инженерных систем ЦОД располагается в диспетчерской.

 

Структурированная кабельная система

Кабельные системы для ЦОД должны обеспечивать экономное использование монтажного пространства, возможность повторной инсталляции, гарантировать надежный высокоскоростной обмен данными между многочисленным и постоянно варьируемым оборудованием. Кроме того, они должны способствовать решению таких задач, как консолидация приложений, снижение энергопотребления, улучшение управляемости сети.

Согласно стандартам телекоммуникационной инфраструктуры ЦОД ANSI/TIA/TIA-942 и EN 50173-5 кабельная система должна удовлетворять следующим требованиям: высокие надежность и пропускная способность, минимальное время развертывания и внесения изменений, высокая плотность проводки, совместимость со средствами управления телекоммуникационной инфраструктурой.

В ЦОД использована структурированная кабельная система AMP NetConnect компании TE Connectivity с медножильными линиями категории 6а и многомодовыми оптическими кабелями, на которую предоставляется 25-летняя компонентная и системная гарантия. Для резервирования соединения выполняются двумя маршрутами. Все магистральные и распределительные линки проложены в верхней лоточной системе — в проволочных лотках Cablofil. На первом этапе проложены магистральные соединения и кабельные тракты для подключения установленного оборудования, остальные линии появятся по мере заполнения ЦОД.

callback-buttonexcursion-buttoninfo-button

Напишите нам. Ответим быстро!

Если у вас появились вопросы, просто укажите свои контактные данные в форме ниже. Наш менеджер свяжется с вами в ближайшее время

Обратный звонок
Заявка на экскурсию
Заказ