O ML é realmente útil para reduzir o ruído de alerta? Nós estudamos pelo exemplo de um método

fundo

Nos últimos dois anos, o mercado de sistemas de monitoramento foi agitado pela sigla AIOps. Todos os fornecedores começaram a buscar o uso de inteligência artificial em seus sistemas complexos e caros. Os termos “análise de causa raiz”, “correlação”, “ferramentas de ML”, “detecção de anomalias”, “previsão de incidentes”, “redução de ruído” são completa e provavelmente para sempre definidos em materiais de marketing e sites de vários sistemas de monitoramento.

Como sabemos, brochuras publicitárias são uma coisa, mas projetar a vida cotidiana é outra. Provavelmente, muitos enfrentaram uma situação quando as promessas dos vendedores de certas inovações tecnológicas colidiram, como o Titanic com um iceberg, com a prática de implementação, principalmente no complexo ambiente de TI de grandes empresas. Portanto, inicialmente olhei com grande ceticismo e não compartilhei o entusiasmo em torno deste tópico. Além disso, quando existem soluções de concreto armado como Zabbix, Prometheus e Elastic. Mas hype hyip, ceticismo, ceticismo, e ainda somos engenheiros e devemos verificar e estudar tudo na prática, e não nos perguntarmos se acreditamos ou não no “botão mágico” de fornecedores eminentes e startups promissoras. E assim, após outra apresentação do integrador e promessas de muito dinheiro "o paraíso em nossa terra pecaminosa de engenheiros de operação", reunimos um pequeno grupo de iniciativa,que decidiu “sentir” o que esta mágica da inteligência artificial e do aprendizado de máquina representa em nossa prática. Assim, nasceram materiais e até um pequeno projeto pet que gostaria de compartilhar com vocês.

— , . . - . : -. — “ ”, .. , “ ”, . — “ ”.

ML- . , . - , .

. HTTP- . “”, . , downdetector , , , ;)

2020-10-14 14:00 +03:00 38 ( ), .. [2020-10-12 23:00:00 +03:00 – 2020-10-14 14:00 +03:00]. : 3612.

(threshold), , 0, 1, 179 . (. . 1: . UTC. ,

).

. 1. . UTC. , — .

, 3- , 44 (. . 2). 4 . “0110010011101010…”, , , % ( 1 ), - .

. 2. 3- . , — .

“” : - , . - , . , AI/ML.

ML?

, , Data Scientist . , , -, , 3- :

1. . — , .
2. , , , .
3. , , "" . .. " " , , .

DetectIidSpike ML.NET. : . , . "" , . .

DetectIidSpike :

• confidence — [0, 100]. , , , , ;
• pvalueHistoryLength — p-value. - " ", .

, . HTTP- , .. . . - . , .. 5 : . , , .. . (, ), "", .

“”. , , , (), «» ( ). 5 . , websockets , . , ( kubernetes ).

(confidence: 95, pvalueHistoryLength: 5), 36 . , , .. . , 24 . (, ).

. 3. (confidence: 95, pvalueHistoryLength: 5) , —

(. 3), , . , , ( ).

. 4 pvalueHistoryLength=12 confidence: 98. : 14 .

. 4. (confidence: 98, pvalueHistoryLength: 12)

, DetectIidSpike (24 44) 3 , 7,5 (24 179) . , , . , ML . , :)

P.S.: ML, -, . .

PPS: Abaixo darei mais alguns screenshots do nosso pet-projeto com os dados reais das verificações realizadas e as anomalias geradas. Você pode ver com que eficiência ou ineficaz (para quem como) o algoritmo funciona (círculo amarelo - anomalias no intervalo selecionado).