Nosso rake é a chave do seu sucesso. DevOps e casos de comando SQL

Sexta-feira é a hora de histórias interessantes. Hoje, convidamos você a ouvir os relatórios das direções DevOps e SQL da conferência YuMoneyDay. Os especialistas falarão sobre:



  • dispositivo de um cluster de logs, que nos permite entender o que está acontecendo com pagamentos e transações (bem como em geral com componentes e serviços);
  • o trabalho de engenheiros de dados em aprendizado de máquina;
  • implementação e transformação de CI / CD.


Compartilhamos experiências valiosas para que você não cometa nossos erros. Esperamos que seja útil!







Nosso rake é a chave para o seu sucesso



Maxim Ogryzkov, administrador sênior do sistema

A palestra será sobre o processamento de logs de diversos data centers com acesso por meio de uma única interface. Vamos discutir os motivos e as consequências da atualização do cluster. Vou falar sobre o transporte de entrega de logs de diferentes sistemas e ambientes, e onde o Apache Kafka tem a ver com isso. E também porque não usamos o logstash e como "anexar" um cluster com uma solicitação em Kibana.



1:17 Sobre o que será a conversa: um cluster de logs

1:43 Como os logs entram no cluster?

3:50 Por que escolhemos o Apache Kafka

5:02 Rsyslog: vantagens de usar

9:00 Onde armazenar logs de diferentes DCs?

12:08E se a quantidade de dados for muito grande?

14:00 Atualização do cluster.

20:30 Nosso rake e soluções

22:35 Translog

24:25 Bulk request

26:28 Opendistro-perfomance-analyser

28:28 Índice Reduzir

29:49 Librdkafka

31:37 Resumo: como é o nosso cluster agora








Engenheiros de dados em aprendizado de máquina



Evgeny Vinogradov, Chefe do Departamento de Desenvolvimento de Data Warehouse

Uma história sobre como o trabalho industrial em experimentos em ML se parece - quais problemas são resolvidos no nível do modelo e quais são apenas no nível dos dados e como fornecer um processo de aprendizado controlado.



1:40 Sobre o palestrante

2:41 Quem está envolvido em projetos de DS?

8:30 O que é um projeto de Data Science?

14:15 A ordem das ações no projeto DS

15:42 O processo de coleta do conjunto de dados

20:26 Como tudo

funciona no Apache Kafka 29:10 O que acontece após a coleta do

conjunto de dados 29:21Como escolher um modelo?

30:40 Exemplos de problemas que um engenheiro de dados pode resolver

34:38 ​​Em quais tecnologias tudo isso funciona?

35:03 Conclusões do relatório








CI / CD para engenheiro de dados: ida e volta



Anton Spirin, Desenvolvedor Sênior de BI

Apresentação sobre a implementação dos princípios de CI / CD no desenvolvimento de BI, objetivos, sua transformação e superação de dificuldades.



2:00 Pergunta sobre o palestrante

2:44 Descrição do problema

4:28 Quem é engenheiro de dados?

5:43 CI / CD - qual é o trabalho de um engenheiro?

6:55 Mais sobre a pilha e os sistemas de informação

8:00 Ponto de partida: onde começamos

10:34 Primeiro estágio de mudanças

15:50 Tudo parece estar bem, mas ... segundo estágio de melhorias

19:01 Quase demo: JenkinsFile, Pipelines

20:44 O que encontramos na saída?

22:43 Quanto tempo demorou? Estatísticas da versão

23:37 Nossos desafios e o que poderia ter sido feito de forma diferente. Planos futuros










Todos os relatórios da grande conferência de TI YuMoneyDay . Materiais sobre PM, testes e desenvolvimento móvel estão a caminho.






All Articles