Como construímos um sistema de fonte de alimentação de backup no data center de Tushino: engenharia e finanças





DPC "Tushino" é um data center de varejo comercial de meio megawatt para tudo e todos. O cliente pode não só alugar o equipamento já instalado, mas também colocar o seu próprio lá, incluindo dispositivos não padronizados como servidores em gabinetes convencionais de PCs desktop, fazendas de mineração ou sistemas de inteligência artificial. Simplificando, essas são as tarefas populares mais diversas que são mais demandadas por empresas domésticas em vários graus de magnitude. Isso é o que o torna interessante. Neste post você não encontrará soluções técnicas exclusivas e um vôo do pensamento da engenharia. Ele se concentrará em problemas e soluções padrão. Ou seja, cerca de 90% dos especialistas empregam 90% do seu tempo de trabalho.



Camada - quanto mais, melhor?



A tolerância a falhas do data center Tushino está em conformidade com o nível Tier II. Em essência, isso significa que o data center está localizado em uma sala normalmente preparada, fontes de alimentação redundantes são usadas e há recursos de sistema em excesso.



No entanto, ao contrário do equívoco comum, os níveis de camada não caracterizam a "resistência" do data center de forma alguma, mas o grau em que ele atende aos objetivos de negócios atuais. E entre eles há muitos para os quais a alta tolerância a falhas é insignificante ou não tão importante a ponto de pagar a mais de 20-25 mil rublos por ano, o que em uma crise pode ser muito doloroso para o cliente.



De onde veio esse valor? É ele que faz a diferença entre os preços de colocação de informações em data centers de níveis Tier II e Tier III em termos de um servidor. Quanto mais dados você tiver, maior será a economia potencial.



Que tarefas você quer dizer? Por exemplo, armazenar backups ou minerar criptomoedas. Nesses casos, um tempo de inatividade permitido do servidor de Nível II é mais barato do que o Nível III.



A prática mostra que, na maioria dos casos, a economia é mais importante do que o aumento da tolerância a falhas. Existem apenas cinco centros de dados Tier III em Moscou. E não há nenhum Tier IV totalmente certificado.



Como é organizado o sistema de fornecimento de energia do data center de Tushino?



Os requisitos para o sistema de fonte de alimentação do data center Tushino está em conformidade com as condições do Nível II. Trata-se de redundância de linhas de alimentação de acordo com o esquema N + 1, redundância de fontes de alimentação ininterrupta de acordo com o esquema N + 1 e redundância do grupo gerador a diesel de acordo com o esquema N.N + 1, neste caso significa um esquema com um elemento de reserva, que permanece sem uso até o sistema um dos principais elementos irá falhar, e N - um esquema sem redundância, em que uma falha no funcionamento de qualquer elemento leva ao encerramento de todo o sistema



Muitos problemas relacionados à energia são resolvidos escolhendo o local certo para o data center. O data center "Tushino" está localizado no território da empresa, de onde já chegam duas linhas de 110 kV de diferentes usinas da cidade. No próprio equipamento da usina, a alta tensão é convertida em média tensão, e duas linhas independentes de 10 kV são alimentadas na entrada do data center.



A subestação transformadora dentro do edifício do data center converte a voltagem média em voltagem do consumidor 240-400 V. Todas as linhas funcionam em paralelo, portanto, o equipamento do data center é alimentado por duas fontes externas independentes.



A baixa tensão das subestações transformadoras é alimentada por chaves de transferência automática, que fornecem comutação entre as redes da cidade. Os acionamentos do motor instalados no ATS requerem 1,2 segundos para esta operação. Todo esse tempo, a carga recai sobre as fontes de alimentação ininterrupta.



Um ATS separado é responsável por ligar automaticamente o gerador a diesel no caso de perda de energia em ambas as linhas. Ligar um gerador a diesel não é um processo rápido e leva cerca de 40 segundos, durante os quais o fornecimento de energia é totalmente fornecido para as baterias do no-break.



Quando totalmente carregado, o gerador a diesel garante o funcionamento do data center por 8 horas. Levando isso em consideração, o data center firmou dois contratos com fornecedores independentes de óleo diesel, que se comprometeram a entregar uma nova parcela do combustível em até 4 horas após a ligação. A probabilidade de que ambos tenham algum tipo de força maior ao mesmo tempo é extremamente baixa. Assim, a autonomia pode durar o tempo que for necessário para as equipes de reparo restaurarem a energia de pelo menos uma das redes da cidade.



Como você pode ver facilmente, não há refinamentos de engenharia aqui. Isto se deve, entre outras coisas, ao fato de que, na construção da infraestrutura de engenharia, foram utilizados módulos prontos, cujos fabricantes são orientados por um certo "consumidor médio".



Obviamente, qualquer profissional de TI dirá que a média não é “nem peixe nem carne” e sugerirá o desenvolvimento de um conjunto exclusivo de componentes para um sistema específico. No entanto, aqueles que querem pagá-los por esse prazer claramente não estão fazendo fila. Portanto, você tem que ser realista. Na prática, tudo será exatamente assim: a compra de um equipamento pronto e a montagem de um sistema que resolverá problemas urgentes do negócio. Aqueles que discordarem dessa abordagem serão rapidamente devolvidos do céu à terra pelo diretor financeiro da empresa.



Quadros de distribuição



No momento, nove quadros de distribuição fornecem a operação dos dispositivos de distribuição de entrada e quatro quadros de distribuição são usados ​​diretamente para conectar a carga. Não havia restrições sérias em vigor, mas nunca há muitas delas, então um momento interessante de engenharia ainda estava presente.



Como você pode ver facilmente, o número de placas de "entrada" e "carga" não coincide - o segundo é quase duas vezes menor. Isso se tornou possível porque os designers da infraestrutura do data center decidiram usar grandes painéis para adicionar três ou mais linhas de entrada. Existem aproximadamente 36 ramais para cada máquina de entrada, protegidos por máquinas separadas.



Assim, às vezes, o uso de modelos maiores permite economizar um espaço escasso. Simplesmente porque menos escudos são necessários.



Fontes de alimentação ininterrupta



Eaton 93PM com capacidade de 120 kVA, operando em modo de dupla conversão, é usado como fonte de alimentação ininterrupta no data center de Tushino.





O no-break Eaton 93PM está disponível em uma variedade de designs. Foto: Eaton



Os principais motivos para a escolha deste dispositivo específico são as seguintes características.



Em primeiro lugar, a eficiência deste UPS atinge 97% no modo de dupla conversão e 99% no modo de economia de energia. O dispositivo ocupa menos de 1,5 metros quadrados. me não ocupa o espaço da sala do servidor do equipamento principal. O resultado são baixos custos operacionais e a economia de que as empresas precisam.



Em segundo lugar, com gerenciamento térmico integrado, o no-break Eaton 93PM pode ser colocado em qualquer lugar. Mesmo perto da parede. Mesmo que não seja necessário imediatamente, pode ser necessário posteriormente. Por exemplo, para liberar espaço que não é suficiente para um rack adicional.



Terceiro, facilidade de uso. Incluindo - Software Intelligent Power usado para monitoramento e controle. As métricas enviadas por SNMP permitem controlar o consumo e algumas falhas globais, o que permite responder rapidamente a situações de emergência.



Quarto, modularidade e escalabilidade. Esta é talvez a qualidade mais importante, devido à qual apenas um UPS modular é usado no sistema de backup do data center de Tushino. Inclui dois módulos de trabalho e um backup. Isso fornece o esquema N + 1 necessário para o Nível II.



É muito mais simples e confiável do que uma configuração de três UPS. Portanto, a escolha de um dispositivo no qual a possibilidade de operação paralela é inicialmente fornecida é bastante lógica.



Mas por que os projetistas não escolheram o DRIBP em vez de UPS e gerador a diesel separados? As principais razões para isso não estão na engenharia, mas nas finanças.



A estrutura modular é afiada a priori para atualização - conforme a carga cresce, fontes e geradores são adicionados à infraestrutura de engenharia. Ao mesmo tempo, os antigos trabalharam e ainda funcionam. Com o DRIBP, a situação é radicalmente diferente: você precisa comprar um dispositivo desse tipo com uma grande reserva de energia. Além disso, existem poucas "colheitadeiras pequenas" e custam muito decentemente - incomparavelmente mais caro do que um gerador a diesel separado e no-break. O DRIBP também é muito caprichoso no transporte e na instalação. Isso, por sua vez, também afeta o custo de todo o sistema.



A configuração existente resolve suas tarefas com bastante sucesso. O no-break Eaton 93PM pode suportar os principais equipamentos do data center por 15 minutos, ou seja, com mais de 15 vezes a reserva.



Mais uma vez, a onda senoidal pura produzida pelo UPS online salva o proprietário do data center da necessidade de comprar estabilizadores separados. E aí vem a economia.



Apesar da simplicidade declarada, o UPS Eaton 93PM é um dispositivo bastante complexo. Por isso, a manutenção técnica do data center de Tushino é realizada por empresa terceirizada, que conta com especialistas altamente qualificados em seu quadro de funcionários. É um prazer caro manter um funcionário treinado em sua própria equipe para esse propósito.



Resultados e perspectivas



Foi assim que nasceu o data center, que permite oferecer serviços de alta qualidade a consumidores cujas tarefas não requerem alto nível de redundância e não implicam em grandes custos econômicos. Esse serviço sempre estará em demanda.



A construção já planejada da segunda fase usará o já adquirido no-break da Eaton para criar um sistema de alimentação de backup. Devido ao design modular, sua modernização se reduzirá à compra de um módulo adicional, mais conveniente e barato do que a substituição completa do aparelho. Essa abordagem será aprovada pelo engenheiro e pelo financiador.



All Articles