Contos da cripta de plantão

Aviso prévio: esta postagem é estritamente uma postagem de sexta-feira e é mais divertida do que técnica. Você encontrará histórias engraçadas sobre foda de engenharia, contos do lado negro do trabalho da operadora de celular e outros rumores frívolos. Se eu embelezar algo em algum lugar, é apenas para o bem do gênero, e se estou mentindo, então tudo isso é obra de dias tão passados ​​que não fará mal a ninguém. Mas se você pegar um olhar técnico ou outra coisa, corrija-me sem piedade, eu sempre estive do lado da justiça.



Atenção, estou começando sem overclock!



Porta dos fundos para o quintal



Nossa sala de serviço no andar térreo tinha grandes janelas, do porão e quase até o teto. Eles saíram para o estacionamento de serviço, de onde saíram todos os tipos de medidores e outros trabalhadores de campo pela manhã. O estacionamento estava localizado a uma distância suficiente da frente e de todas as entradas de serviço, e mesmo atrás de duas barreiras.



Uma manhã, quando os carros da polícia chegam ao prédio, os policiais se levantam em todos os pontos de controle e inspecionam todos os que estão saindo. Um alerta chega na lista de correio do serviço: de repente (realmente de repente, não como de costume) uma verificação do software licenciado apareceu, eles inspecionarão as estações de trabalho. Qualquer pessoa que tiver algo pirata em seus computadores deve demoli-lo!



Claro, tudo relacionado a sistemas operacionais, software de escritório e utilitário foi licenciado em sua maioria. Mas nem tudo, nem sempre e nem em todos os lugares; e o que os funcionários se instruíram nos laptops do escritório é uma história completamente sombria. Corri para verificar os carros da minha área de responsabilidade por pirataria, demolindo algo rapidamente ...



... E nesse momento, os engenheiros, com laptops e engenheiros de sistema nos braços, começam a entrar na sala de serviço com passo apressado e nervoso. Entram pela porta e saem, rindo do absurdo da situação, pela janela: bloquearam todos os postos de controle, mas os demônios da lei e da ordem não pensaram em tal porta dos fundos. Assim, enquanto o departamento de contabilidade verificava (onde tudo era exemplar), os funcionários retiravam tudo.



O passado esta aí



Se você está interessado e não fechou a guia, aqui está uma exposição do que está acontecendo no tempo, no espaço e nas pessoas. Eu sou um jovem lindo, verde como uma folha de azeda, um graduado em TI que conseguiu um emprego como engenheiro de plantão no Samara Megafon (que era então também a região MSS Volga). Para mim, este foi o primeiro contato real com Technics com letra maiúscula e Technicians com uma ainda maior: sendo o mais jovem diabinho desta cozinha infernal, observei com alegria o trabalho de engenheiros de demônios altamente experientes , tentando sem sucesso compreender sua sabedoria. Até que essa sabedoria penetrasse nos poros do cérebro, eu só poderia vasculhar um monte de monitores variados, me preocupando cada vez que um "vermelho" aparecia ali.







Se um dos personagens mencionados aqui de repente se reconhecer - olá para você!



Funciona - não toque (mas toque se não funcionar)



Um dos supertécnicos mencionados acima foi Misha Basov. Ao longo dos anos na Mega, ouvi muitas coisas boas e interessantes sobre ele no espírito de que ele estava quase na origem e lançou um monte de processos. Não consegui me comunicar com ele direito: a gente se encontrou literalmente no departamento de pessoal, quando trouxe os documentos, ele pegou.



Um dos sistemas de monitoramento com o qual trabalhamos foi escrito por Misha. Não me lembro bem o que foi monitorado lá, mas sei que Misha escreveu uma solução temporária, que rapidamente se tornou permanente. E é bom: muito do que os verdadeiros técnicos fazem para atender às suas próprias necessidades rapidamente acaba bem. Esse monitoramento também agradou a todos, funcionando sem nenhum suporte e manutenção, porém ninguém sabia como.



Alguns anos após a demissão de Misha, o monitoramento começou a mostrar uma página em branco.

Eu imediatamente soei o alarme. O líder do turno soou o alarme. O chefe do setor soou o alarme.



O chefe do departamento soou o alarme. O chefe do serviço deu o alarme. O chefe do departamento tocou sinos. A convocação foi ouvida pelo diretor de TI de toda a região do Volga, convocando imediatamente uma reunião. Lá ele chamou o chefe do departamento. Este último latiu para o chefe do serviço. Ele, não entendendo a essência do problema, ligou para o chefe do departamento. Este, sem entender o que havia acontecido, chamou o chefe do setor, que chamou o supervisor de turno. Bem, ele apontou a flecha para mim.



Tendo de alguma forma mudado de dever, fui a esta reunião. Muitas palavras foram ditas, foi chamado o responsável pelo monitoramento (não ouvimos nada inteligível), foi lembrado que monitoramento foi escrito por Basov que monitorar é muito importante, mas que ninguém entende e não sabe como funciona ... Tudo se resumia ao fato de que um sistema que não funciona e incompreensível deve ser removido e, em vez disso, uma solução comprovada de um fornecedor confiável deve ser implementada.

Enquanto tudo isso estava sendo dito, pedi a alguém um laptop e acesso ssh a esse servidor. Foi interessante para mim ver que tipo de sistema super legal o lendário Basov escreveu.



Eu entro, primeiro que tudo por hábito eu digito:



df -h


O comando me responde algo como:



Filesystem      Size  Used Avail Use% Mounted on
/var            10G   10G  0G    100% /


Eu limpo o / var / log que transbordou ao longo dos anos, atualizo o monitoramento - tudo funciona. Reparado!

A reunião para, desmorona, todos vão embora. No caminho, o chefe do departamento se alegra e me promete um bônus! ...



... Em vez de um bônus, recebi então uma vara mental pelo fato de que acidentalmente interrompi uma reversão para pedir um sistema de monitoramento de um fornecedor confiável.



Onde moram as casas



Uma das funções dos engenheiros de plantão era controlar as chaves eletrônicas de acesso às salas de informática. Os corredores em si eram então muito impressionantes para mim: fileiras de racks entupidos com servidores e equipamentos de comutação, linhas de fibra ótica e cabos cruzados (em algum lugar - perfeitamente colocados, em algum lugar - se transformou em um pedaço incrível de espaguete), o zumbido constante de ar-condicionado e piso falso, sob o que o tornava tão conveniente para resfriar bebidas ... As entradas dos corredores eram fechadas por pesadas portas pressurizadas projetadas para fornecer bloqueio automático em caso de incêndio. A entrada e a saída foram estritamente registradas contra assinatura para que se soubesse quem estava lá dentro e por quê.



Acima de tudo nesses corredores gostei, é claro, dos gabinetes de servidores das “super casas” - dois HP SuperDome 9000, que garantiam o trabalho de faturamento. Dois nós idênticos, um era sempre um nó de combate e o outro era um hot standby síncrono. A única diferença entre eles estava nos endereços IP, um era xxx45, o outro era xxx46. Todos os engenheiros conheciam esses dois IPs, pois se algo acontecesse no sistema de faturamento, a primeira coisa a fazer é ver se as super-casas estão visíveis. Invisibilidade de super-casas - akhtung.



Uma manhã, um Achtung semelhante acontece. Em dois segundos, todos os serviços desaparecem em ambos os servidores, o faturamento se reduz a nada. Verificamos rapidamente os servidores - eles respondem, mas realmente não há nada neles!



Nem mesmo temos tempo de iniciar o conjunto de medidas, quando ouvimos um grito " MATE, ALUNO!"; o archiadmin de todos os servidores corre para a sala de serviço, arranca a chave eletrônica da sala da turbina da prateleira e executa lá.



Muito rapidamente depois disso, o monitoramento volta ao normal.



Veja o que aconteceu: um novo funcionário da contratada que configurou um pacote de novas máquinas virtuais escreveu para eles endereços IP estáticos sequenciais com canetas, de xxx1 a xxx100. O "estudante" não sabia sobre os endereços sagrados intocáveis, e nunca ocorreu aos veteranos que alguém poderia invadi-los dessa forma.



Serviço "Antispam"



Nossa, turnos noturnos! Eu os amei e odiei, porque era 50/50: seja um trabalho planejado no equipamento, onde você participa ativamente, ajudando um engenheiro com o cérebro sonolento e mãos trêmulas, ou o silêncio com tranquilidade. Os assinantes estão dormindo, o equipamento está funcionando, nada se interrompe, o atendente está relaxado.





O relógio funciona de acordo com o plano.



Uma vez que tal calmaria da meia-noite é perturbada por uma ligação para o telefone do escritório: alô, eles estão preocupados com o Sberbank, seu cartão SIM parou de funcionar conosco, com o qual nossas notificações são enviadas.



Afinal, isso foi há muito tempo, antes mesmo da introdução das conexões IP no gateway SMS. Portanto, para que o Sberbank pudesse enviar SMS de seu famoso número 900, eles pegaram o cartão SIM fornecido (muito provavelmente, nem um), inseriram-o no modem GSM e assim funcionaram.



Ok, aceitei o problema e comecei a cavar. Em primeiro lugar, verifico o estado do cartão SIM na faturação, está bloqueado. Que diabos - ao lado da inscrição vermelha "NÃO BLOQUEAR" e um link para a ordem do arquidemônio geral. Uau, isso é muito interessante.



Verifico o motivo do bloqueio, faço das minhas sobrancelhas uma casa e vou para o escritório ao lado, onde uma garota do departamento de fraude está olhando para o monitor.



"Helen", digo a ela, "por que você bloqueou o Sberbank?"



Ela está confusa: dizem que chegou uma reclamação de que há spam do número 900. Bem, eu bloqueei, de manhã teríamos descoberto.



E você diz - as reclamações dos assinantes são ignoradas!



Simka estava excitado, é claro.



Uma história muito assustadora



Quando consegui um emprego, eu e outros recém-chegados fizemos uma espécie de passeio turístico. O equipamento foi mostrado: servidores, conduítes, inversores, extintores de incêndio. Eles mostraram a estação base, que ficava em uma das salas de teste, explicando que embora os transmissores estivessem ligados na potência mínima, era melhor não entrar pela porta blindada neste momento. Eles explicaram sobre o dispositivo da rede móvel, sobre a alimentação principal e reserva, sobre tolerância a falhas e sobre o fato de a rede ser projetada para funcionar mesmo após um bombardeio atômico. Não sei se foi dito por bordão, ou verdadeiro, mas foi depositado na minha cabeça.



E de fato: não importa o que akhtung às vezes aconteça localmente, a rede de voz do Volga sempre funcionou continuamente. Não sou operador de comunicações, mas tenho conhecimento que os equipamentos (tanto estações de base como terminais de clientes) estão pensados ​​para a máxima sobrevivência da “voz”. A fonte de alimentação do BS está desligada? Isso reduzirá a energia, mudará para geradores / baterias a diesel, desligará a transmissão do tráfego de pacotes, mas a voz irá. Cortar o cabo? A base mudará para o canal de rádio, o que é suficiente para voz. Perdeu seu telefone BS? Ele aumentará a potência e sentirá o éter até que se prenda na torre (ou até que a bateria caia). Etc.



Mas um dia uma luz piscou no escritório e geradores a diesel chocalharam na rua. Todos correram para verificar novamente o hardware: nada de crítico aconteceu na parte de TI, mas uma "merda" intrigada veio do monitoramento do BS. E depois: "pessoal, temos TODAS as bases estabelecidas, vejam a conexão."

Tiramos telefones celulares - não há sinal.



Tentando telefonia IP - não há saída para a comunicação móvel.



Não há rede. Geralmente. Lugar algum.



Lembrando as palavras sobre o bombardeio atômico, inconscientemente esperei alguns segundos até que a onda de choque nos atingisse - por algum motivo, não pensei em outro motivo para a perda da rede. Foi assustador e curioso ao mesmo tempo: de alguma forma entendi que não teria tempo para fazer nada. O resto dos caras também ficaram surpresos, ninguém conseguia entender nada.



Não houve onda de explosão. Após um choque de cinco segundos, eles correram para o telefone com fio da rede municipal disponível para esse caso, começando a ligar para os escritórios regionais. A rede da cidade, felizmente, funcionou, mas nas regiões foi confirmado: toda a Samara está "morta", nem ping de hardware, nem discagem.



Cinco minutos depois, um dos engenheiros de energia trouxe a notícia: houve um estouro em algum lugar da usina, pelo menos toda Samara, possivelmente a região, foi desenergizada. Exalado; e quando havia um interruptor para reserva de energia, eles até inspiravam.



Outra história assustadora (mas um pouco boba)



A maior confusão na minha memória aconteceu durante a próxima linha reta com agora zerado. Naquela época, eles estavam introduzindo um truque com o envio de perguntas por SMS, então se prepararam para um pico de carga na rede com antecedência: tudo era revisado e preparado, e uma semana inteira antes do dia X, qualquer trabalho era proibido, exceto os de emergência. Um protocolo semelhante é usado em todos os casos em que é esperado um aumento de carga, por exemplo, em feriados. E para os engenheiros de plantão, é como um dia de folga, porque quando o equipamento não é tocado nada pode acontecer com ele e, mesmo que aconteça, todos os especialistas, por via das dúvidas, sentam no escritório antecipadamente.



Em geral, sentamos, ouvimos o líder nacional e não nos preocupamos com nada.



Do lado dos comutadores, um silencioso "F *** t" é ouvido.



Eu me olho - realmente "f *** s": a rede do campus caiu.



Em um segundo, tudo morre (então ainda não havia meme sobre Natasha e gatos, mas teria sido útil). O segmento de usuário da rede desaparece, o tecnológico desaparece. Com horror crescente, tentamos verificar o que resta em funcionamento e, após a verificação, alcançamos o armário atrás de uma garrafa escondida de conhaque medicinal: restam apenas chamadas de voz (como eu disse, são tenazes!). Todo o resto está morto. Não há Internet - sem assinante GPRS, sem ótica, que é atribuído a vários sub-provedores. SMS não são enviados. Bunda! Chamamos as regiões - eles têm uma rede, mas não veem Samara.



Em meia hora, o fim do mundo tornou-se quase materialmente tangível. Dez milhões de pessoas que quebraram tudo de repente e não conseguem chegar ao call center, porque os terminais de voz do call center funcionam via VOIP.



E isso durante o discurso do governante mais sombrio! Mais uma vitória do Departamento de Estado e de Obama pessoalmente!



Os técnicos de plantão explodiram de um começo baixo e funcionaram com muita clareza: em uma hora, a rede ganhou vida.



Tal vôo não é regional, e nem mesmo regional, isso deve ser comunicado a Moscou com todos os detalhes e a extradição dos responsáveis. Portanto, aqueles que participaram da investigação foram proibidos de dizer a verdade sob pena de demissão, e para o GO eles escreveram um relatório cheio de água e névoa, segundo o qual de alguma forma se descobriu que "é ele mesmo, ninguém tem culpa".



O que aconteceu na realidade: um dos chefes teve os prazos de implantação e as bonificações estouradas. E o chefe do chefe foi quebrado, e assim por diante; portanto, eles pressionaram um dos novos engenheiros, ordenando-lhe que fizesse as conexões de rede necessárias "enquanto tudo estava silencioso". O engenheiro não se atreveu a objetar, ou pelo menos exigir uma ordem por escrito: este foi seu primeiro erro. A segunda - errou ao configurar remotamente o tsiska, alcançando resultados recordes no fakap no menor tempo possível.



Pelo que eu sei, ninguém foi punido.



O feriado chega até nós



Férias, como mencionei, sempre foram dias especiais para nós. Nesses dias, a carga da rede aumenta drasticamente, o número de chamadas e SMS de congratulações dispara. Não sei como é agora, com o desenvolvimento da comunicação pela Internet, mas só no ano novo, opsos dispararam uma espuma muito significativa nas chamadas de saudação.



Portanto, na véspera de Ano Novo, engenheiros de todas as divisões estavam de plantão no escritório (e fora do escritório havia equipes prontas para se espremer entre os montes de neve para eliminar o acidente na estação base na aldeia de pequenos drishchi). Especialistas em faturamento, administradores de hardware, encanadores de software, networkers, switches, técnicos de serviço, suporte de empreiteiros - cada criatura tem uma criatura. E, se as condições permitissem, eles ficavam em nossa sala de serviço, observando em nossos dispositivos de monitoramento as explosões de tráfego seguindo fusos horários em toda a região do Volga.



Três ou quatro vezes por noite festejávamos o Reveillon, porém, não era tanto festa quanto nervosismo: será que o equipamento aguentará a sobrecarga, algum elo de uma complexa corrente técnica se romperá ...







Sasha, que era responsável pelo faturamento, estava especialmente nervosa. Em princípio, ele sempre parecia que passava a vida inteira com os nervos à flor da pele, porque tinha que juntar tudo de bom que acontecia com o faturamento, se responsabilizar por todas as ombreiras, era acordado com mais frequência que os outros à noite; em geral, não tenho ideia de como e por que ele trabalhou onde trabalhou. Talvez eles lhe pagaram muito dinheiro ou a família foi mantida refém. Mas naquela noite, geralmente tive a sensação de que se você clicar em Sasha com a unha, a partir da tensão interna acumulada nele, ele se desfará em pó. Temos uma vassoura para um caso tão desagradável, mas enquanto isso, estamos trabalhando, lambendo os lábios para o conhaque que espera na fila.



Hora após hora, todas as explosões de carga passaram, todos começaram a verificar novamente seus sistemas. O switch fica pálido: em um dos switches regionais, todo o tráfego de faturamento desapareceu. E esses são os dados de todas as chamadas passadas pela central; eles são gravados em um arquivo que é fragmentado via FTP (kondo, mas confiável) baixado para o BRT para faturamento.



O comutador, imaginando a quantidade de enema de aguarrás que receberia pela perda de parte da arrecadação de Ano Novo em toda a região, já tremia. Virando-se para Sasha, ele se voltou para o brilhante senhor especialista em faturamento com uma voz cheia de esperança: “Sasha, olhe, por favor, talvez o BRT tenha conseguido esvaziar a tarifa? Oh, olhe, por favor! "



Sasha bebeu um gole de conhaque, comeu com sanduíche de caviar, mastigou devagar e, revirando os olhos de prazer pelo fato de não ter o baseado, respondeu: "Já verifiquei, não há arquivos ...".



(Meu revisor maravilhoso perguntou o que aconteceu com a pobre central telefônica depois. Oh, o destino dele foi terrível: ele foi condenado a uma semana de serviço na primeira linha de apoio do call center, proibido de jurar. Brrrr!)



Jogue uma pedra sem pecado



Dessas histórias, pode-se ficar com a impressão de que nem eu pessoalmente, nem os outros atendentes de plantão erramos. Nada disso, fakapili, mas de alguma forma sem um épico interessante e consequências. O trabalho foi considerado adequado para os alunos de ontem sem cérebro e experiência, não há nada a tirar de tal funcionário, para chutar para um baseado - então o novo não é um fato que será mais inteligente. Mas os engenheiros tinham uma disciplina esportiva separada para despejar suas ombreiras na "sala de serviço": eles erraram, não descobriram, não foram notificados a tempo, portanto, punam-nos. "Dzhurka" domina perfeitamente a ciência da esquiva, nem sempre funciona, mas todos entendem tudo. Portanto, ele voou - mas, como regra, sem consequências graves.





Analisamos o próximo "vôo" no turno de mudança.



Por vários anos de trabalho lá, lembro-me de três casos em que alguém foi demitido do departamento.

Certa vez um engenheiro resolveu beber cerveja no turno da noite, e então o diretor técnico veio para a sala de plantão. Às vezes, ele podia entrar assim de uma forma simples para dizer olá (mais ou menos como se ele começasse com os atendentes). Demitiu um cara com uma lata de cerveja, clicou no telefone, atirou. Não bebíamos mais cerveja à noite.



Outra vez, o oficial da mesa telefônica de plantão perdeu um acidente muito terrível. Não me lembro dos detalhes.



E a terceira vez - no final do meu trabalho lá. As condições de trabalho caíram muito, houve uma grande rotatividade e um terrível excesso de trabalho. Às vezes, as pessoas trabalhavam um dia, depois dormiam 12 horas e voltavam à vigilância diária. Eu mesmo trabalhei assim, desde que minha saúde permitisse e fosse paga; depois, praticamente pararam de pagar as horas extras (como norma prometiam compensação com folga quando houvesse oportunidade - mas todos entendiam que ninguém daria um passeio), e foram expulsos do serviço com quase ameaças. Um engenheiro não aguentava um cuco, levantava-se do local de trabalho a meio do turno e ia para casa para sempre, no caminho olhava para o gabinete do chefe do serviço e enviava-lhe três cartas. Lembro-me de uma mailing list, na qual este engenheiro foi rotulado de fascista e traidor após o fato, em cada linha lia-se como as autoridades foram queimadas por tal ato.



Com relação às minhas falsificações pessoais, um caso é lembrado por ser incomum. Novamente, vigília noturna, tudo está quieto, nada acontece. Na passagem de plantão, verificamos o monitoramento: opa, o processamento dos dados das centrais caía à noite, a luz vermelha está acesa há muito tempo. Eu olhei para este sinal a noite toda - e não percebi ou algo assim. Apesar de ser um dos monitoramentos mais óbvios e visuais, ainda não entendo porque não o vi.

Não havia desculpas para continuar, o baseado estava limpo e cem por cento, um acidente de quinta categoria e muito provável demissão. Depois de doze horas de serviço noturno até a hora do almoço, fui forçado a escrever notas explicativas. Já que ninguém acreditaria na verdade, tive que inventar algum tipo de balbucio que, por causa do ferimento, engoli o analgésico e adormeci. O chefe do serviço gritou comigo em seu escritório, em geral, ia ser demitido tudo - mas resultou em uma reprimenda com demissão. Os prêmios da Mega naquela época não eram vistos há vários anos, então não sofri nenhum dano.



Relembrando o episódio com a chegada do techdir: uma noite um caipira entrou na sala de plantão e começou a gritar que estávamos sentados destrancados (a sala de plantão não devia ser trancada em princípio), que éramos renas aqui e que pela manhã ele espera de todos nós explicativo sobre todas as nossas ombreiras. Aquele caipira era o chefe do serviço de segurança e doeu. Depois de gritar, o nachbez caiu na escuridão e de manhã perguntamos ao nosso chefe - eles dizem, o que fazer? "Foda-se, mande-o", respondeu ele, e esse foi o fim do incidente.



Como quebrei o departamento



Naquela época, Bashorg (então ainda bash.org.ru, e não o que é agora) era um recurso de culto. As citações ali apareciam quase um par de um mês, e tenha as SUAS! QUOTE !!! NA BASE !!! era tão legal quanto, digamos, seu domínio de segundo nível no ano 2000. Esse Bashorg era de alguma forma mais anime de TI, embora fosse engraçado para todos.



Todas as manhãs de trabalho do engenheiro mais jovem (isto é, o meu) começavam com a leitura de um bashorg - trinta segundos de riso antes de doze horas de sofrimento.



Um dia, um colega me perguntou do que eu estava rindo. Eu mostrei a ele o quê. Ele enviou o link para o departamento.



O trabalho parou por alguns dias: para minha surpresa, nenhum dos meus colegas sabia sobre o bash até aquele momento. Houve risos na sala de dever: "Ah-haha-haha, patch KDE, ahaha-haha!" "Yogo-ho-ho, afogue pés-de-cabra em mercúrio, corredor!" A jornada de trabalho foi perdida, por outro lado, a vida foi então estendida a eles notavelmente.



Bônus para quem leu



Lembre-se, em tempos de barbas, havia uma anedota popular “Vejo dois discos C no Norton, acho - por que preciso de dois? Bem, eu apaguei um! " É uma reminiscência de uma das minhas histórias favoritas, que não é contada por mim, mas para mim. E toda vez é engraçado, como a primeira:



18+, mas você não pode apagar palavras de uma música


P.S



Essas histórias são uma compilação processada de algumas postagens do meu canal TG. Às vezes, jogos semelhantes caem lá; Não estou insinuando nada, mas ainda assim vou deixar uma referência .



Tenham todos uma boa sexta-feira livre de moda passageira!



All Articles