Depois de ingressar na equipe Rostelecom-DPC, os especialistas da DataLine também operarão esse data center. Você provavelmente já ouviu algo sobre "Udomlya". Hoje decidimos contar em detalhes como tudo funciona lá.
Paisagens industriais: data center de 32.000 m² e usina nuclear em segundo plano. Udomlya, amostra da primavera de 2019.
Mais de 40 fotos de sistemas de engenharia de data center com uma descrição detalhada foram coletadas sob o corte. Uma surpresa agradável aguarda aqueles que chegam ao fim.
Sobre logística
O data center está localizado na região de Tver. De Moscou a Udomlya, a estrada levará cerca de três horas: 1 hora e 45 minutos de Sapsan até a estação Vyshny Volochek e, a partir daí, mediante solicitação prévia, um ônibus o encontrará e o levará ao data center. De São Petersburgo a Vyshny Volochok um pouco mais - 2 horas e 20 minutos.De carro, você pode chegar de Moscou em 4,5 horas, de São Petersburgo - em 5.
Sim, por duas unidades, você provavelmente não vai querer ir aqui. Mas se você precisar de um novo lar para dezenas de racks, vale a pena dar uma olhada mais de perto. Há espaço e eletricidade suficientes, mesmo que você queira dobrar esse valor a qualquer momento. Em Moscou, onde, em nossa experiência, os data centers são contratados mesmo na fase de construção, esse truque nem sempre funciona.
Além disso, a localização do data center entre Moscou e São Petersburgo pode ser usada para redundância geográfica. Se as principais capacidades estiverem em Moscou ou São Petersburgo, o local da reserva se encaixará bem aqui.
Uma equipe de mãos inteligentes ajudará em todas as operações padrão no local. Eles receberão, desempacotam e instalam equipamentos em racks, conectam-no à energia e à rede e fornecem acesso remoto ao equipamento. No caso de um mau funcionamento, eles ajudarão no diagnóstico e substituirão os componentes com falha.
A primeira etapa do data center consiste em 4 salas de computadores, ou módulos, com 205 racks cada. No primeiro andar há 2 salas de máquinas e um centro de energia, no segundo há mais duas salas e um centro frio. Vamos ver como tudo funciona aqui.
Segurança física
O datacenter ocupa uma área dedicada, que não pode ser inserida sem um passe e um documento de identidade. Quem chega de carro também recebe um passe de transporte e só então pode entrar no data center. Para quem tem tudo em ordem com um passe, o data center está aberto 24 horas por dia, 7 dias por semana.
O primeiro posto de segurança 24 horas é a entrada no território.
Vamos mais longe e chegamos ao ponto de verificação diretamente na entrada do data center.
A equipe de segurança não apenas atende aos clientes e passa passes, mas também monitora a parede de vídeo 24 horas, onde são exibidas imagens de todas as instalações internas do datacenter e territórios adjacentes.
Fonte de energia
A eletricidade começa no centro de dados a partir de uma usina nuclear. O data center é fornecido com 10 kV para 6 transformadores redutores. Além disso - já 0,4 kV por duas rotas independentes vão para o quadro de distribuição de baixa tensão (LVSN). Em seguida, através do DIBP, a energia é fornecida aos equipamentos de TI e de engenharia. Duas entradas independentes são adequadas para o rack, ou seja, redundância 2N. Falaremos mais sobre como tudo funciona em termos de fonte de alimentação em um artigo separado.
O caminho da eletricidade no data center "Udomlya"
Barramentos de energia através dos quais a eletricidade passa do painel de baixa tensão para os painéis de energia DIBP Linhas de painéis de baixa tensão
Apesar de uma usina nuclear estar por perto, em qualquer data center confiável, a principal fonte de alimentação é considerada garantida. Nos nossos data centers, como você sabe, as DGUs são responsáveis por isso, mas aqui eles usam UPSs dinâmicos (DIBPs). Eles também fornecem fonte de alimentação ininterrupta. Os RIBPs são N + 1 redundantes.
Euro-Diesel DIBP (Kinolt) com uma capacidade de 2 MW Eles rugem de tal maneira que é melhor não ir lá sem tampões para os ouvidos.
E é assim que funciona. O DIBP é uma combinação de três componentes principais: um motor diesel, uma máquina elétrica síncrona e um acumulador de energia cinética com um rotor. Todos eles são fixados no eixo principal.
A máquina elétrica pode operar no modo de um motor elétrico e um gerador. Quando o DIBP é fornecido normalmente da cidade, a máquina elétrica é um motor elétrico que gira o rotor e armazena energia cinética na bateria.
Bloco cinza em primeiro plano - máquina síncrona DIBP
Motor diesel DIBP
Se a energia da cidade falhar , a máquina elétrica passará para o modo gerador. Graças à energia cinética acumulada, o rotor faz o eixo principal do DIBP girar, a máquina elétrica continua a operar sem energia da cidade e a tensão de saída não desaparece. Isso garante uma fonte de alimentação ininterrupta no data center. Ao mesmo tempo, o sistema de controle DIBP emite um sinal para dar partida no motor diesel. A mesma energia cinética do rotor inicia o diesel e o ajuda a atingir a frequência de operação. O rotor continua girando até um minuto, e isso é suficiente para o motor diesel assumir o controle. Após a partida, o motor diesel gira o eixo principal e através dele - e a máquina elétrica (aqui está um vídeo visualalternar DIBP de um modo para outro).
Como resultado, a energia nos racks não é perdida nem por um segundo.
Cada tanque gerador a diesel é projetado para 3 horas. O data center também possui armazenamento de combustível próprio para 80 toneladas, o que manterá toda a carga do data center por 24 horas. No caso de blecautes muito hipotéticos (uma usina nuclear nas proximidades não permitirá isso), existem contratos com vários contratados que prontamente entregam diesel no local em uma chamada. Em geral, tudo é como deveria ser.
Toda semana, os DIBPs se autotestam e iniciam o diesel. Uma vez por mês, os testes são realizados com uma desconexão de curto prazo da rede da cidade.
Painel de controle DIBP
Room ShGP e ShbP
"Magistrali" e "desacoplamento" de cabos de energia
Salas de máquinas
Cada módulo está localizado em uma área de contenção, em uma caixa especial. Essas paredes e teto adicionais protegem a sala de máquinas contra poeira, água e fogo. Ao aceitar um data center, a área de contenção é tradicionalmente derramada em água para verificar se há vazamentos.
O telhado do prédio e o telhado da sala das turbinas com canos de drenagem A
água que entra no telhado da área de contenção passa pelas calhas do duto e
cada sala está pronta para receber 205 racks com uma potência média de 5 kW.
A disposição dos equipamentos no salão é organizada de acordo com o esquema de corredores frios e quentes.
Sistemas sólidos de detecção precoce de incêndio e extinção de gás são instalados ao longo do teto.
Os detectores de fumaça também estão localizados sob o piso elevado. É suficiente acionar dois sensores e a sirene de alarme de incêndio tocará, mas falaremos sobre isso um pouco mais tarde.
Imediatamente ao longo das fileiras de aparelhos de ar condicionado, existem sensores de vazamento de fita.
Cada corredor entre os balcões é "baleado" por câmeras de vigilância por vídeo.
Se desejado, os racks podem ser colocados atrás de uma cerca especial (gaiola) e câmeras adicionais, ACS e sensores de movimento, sensores de volume etc. podem ser instalados nele.
Fornecimento a frio
O data center de Udomlya usa um circuito de resfriador de etileno glicol. Existem condicionadores de ar nas salas de máquinas, refrigeradores no teto e, no segundo andar, um centro de refrigeração com tubulações, um sistema de automação e controle, bombas, tanques de armazenamento, etc.Existem 12 condicionadores de ar em cada sala, metade deles com umidificadores a vapor. Esquema de redundância N + 1.
O corredor frio mantém uma temperatura de 21-25 ° C e uma umidade de 40-60%.
Condicionadores de ar de precisão Stulz CyberAir 3PRO CW
Existem dois anéis em cada sala de computador: uma linha "fria" que fornece etileno glicol resfriado ao condicionador de ar e uma linha "quente" que remove o glicol aquecido dos condicionadores de ar para os chillers. Se abrirmos o piso elevado no corredor, veremos quedas nas salas de máquinas do sistema de refrigeração.
A rota do etileno glicol é a seguinte: do ar condicionado, o etileno glicol aquecido entra primeiro na linha de retorno ao redor da sala de máquinas e depois no anel geral. Em seguida, o etileno glicol vai para a bomba e depois para o chiller, onde é resfriado a 10 ° C. Após o resfriador, o etileno glicol retorna ao ar condicionado através da linha de suprimento de anéis comum, tanques de armazenamento e um anel ao redor do módulo.
Esquema de
refrigeração do data center É assim que se parece um centro frio , através do qual passam 100 m 3 de etileno glicol.Os
tanques cinza são tanques de expansão. O etileno glicol aquecido passa por eles no caminho para o resfriador. No verão, o etileno glicol se expande e requer espaço adicional.
Essas impressionantes capacidades são tanques de armazenamento de 5 m 3 cadacada. Eles fornecem resfriamento ininterrupto do data center em caso de falha do chiller.
O etileno glicol resfriado dos tanques é fornecido ao sistema, o que permite manter a temperatura do ar na saída do ar-condicionado a 19 ° C por 5 minutos. Mesmo se fora da janela for +40 ° C.
Bombas do sistema de refrigeração Os
filtros de bolso de malha e os tanques separadores para limpar o etileno glicol das partículas mecânicas e do ar.A
fina linha vermelha no chão sob os tubos são sensores de vazamento de fita. Eles percorrem todo o perímetro do centro frio.
Se algum dos tubos vazar, o etileno glicol passará pelo sistema de drenagem e entrará em um tanque especial na sala de tratamento de água. Existem também dois tanques com etileno glicol "sobressalente" para alimentar o sistema de refrigeração em caso de grandes vazamentos.
E sobre refrigeradores. Existem 5 chillers no telhado com redundância N + 1. Todos os dias, a automação determina, dependendo do tempo de operação, qual resfriador colocar em reserva.
Os chillers da marca Stulz CyberCool 2, com uma capacidade de 1096 kW,
oferecem três modos:
- compressor - a partir de 12 ° C;
- misturado - a 0–12 ° C;
- resfriamento livre - de 0 e abaixo. Este modo envolve o resfriamento do etileno glicol usando os ventiladores, não o compressor.
Segurança contra incêndios
O data center possui duas estações de extinção de incêndio a gás. Cada um tem duas baterias de 11 cilindros: o primeiro é o principal, o segundo é a reserva.O sistema de proteção contra incêndio do data center está ligado ao servidor da central nuclear de Kalinin e, se necessário, o próprio serviço de incêndio da estação chegará ao local em minutos.
Na foto, há um sistema de alarme de incêndio e um botão de saída de emergência na sala de máquinas. Este último é necessário se, durante um alarme de incêndio, as portas não forem destrancadas por algum motivo: interrompe a alimentação da fechadura elétrica.
Telecom
Duas rodovias Rostelecom chegam ao data center por rotas independentes. Cada um dos sistemas DWDM tem capacidade para 8 Terabits.O data center possui duas entradas de telecomunicações, localizadas a uma distância de mais de 25 metros uma da outra.
Os operadores Raskom, Telia Carrier Russia, Consist também estão presentes no site; o DataLine aparecerá em um futuro próximo.
De Udomlya, você pode construir um canal para Moscou, São Petersburgo ou qualquer lugar da Rússia e do mundo.
Monitoramento
Os engenheiros de serviço estão trabalhando 24 horas no centro de monitoramento.Todas as informações sobre os sistemas de engenharia são recebidas aqui: condições climáticas no salão, condições das entradas, DIBP, etc. A
cada duas horas, os oficiais de serviço fazem uma rodada de todas as instalações de infraestrutura para inspecionar as condições dos equipamentos de engenharia e TI.
Infraestrutura de suporte
Uma zona de descarga é fornecida para a entrega do equipamento ao data center.
Área de descarga por dentro.
Se sua academia estiver no segundo andar, essa empilhadeira hidráulica levará qualquer equipamento para lá.
Armários para armazenar ferramentas de clientes e muito mais.
Um pouco sobre a vida cotidiana
Para funcionários permanentes, você pode alugar locais de trabalho equipados na parte do escritório. Se você visitar de vez em quando, poderá ficar em um hotel temporário com todas as comodidades no território do data center.A área de escritório também possui uma sala de jantar e uma cozinha.
E também há uma natureza incrível ao redor, com florestas, lagos, rios, pesca e outras atividades ao ar livre. Venha visitar minha casa.
Como prometido, um bom bônus para quem chegou ao fim. Nos primeiros seis meses, o aluguel de um rack em Udomla com uma potência fornecida de 5 kW será gratuito. Pague apenas pela eletricidade realmente consumida. Envie sua inscrição para request@dtln.ru .