- dispositivo de um cluster de logs, que nos permite entender o que está acontecendo com pagamentos e transações (bem como em geral com componentes e serviços);
- o trabalho de engenheiros de dados em aprendizado de máquina;
- implementação e transformação de CI / CD.
Compartilhamos experiências valiosas para que você não cometa nossos erros. Esperamos que seja útil!

Nosso rake é a chave para o seu sucesso
Maxim Ogryzkov, administrador sênior do sistema
A palestra será sobre o processamento de logs de diversos data centers com acesso por meio de uma única interface. Vamos discutir os motivos e as consequências da atualização do cluster. Vou falar sobre o transporte de entrega de logs de diferentes sistemas e ambientes, e onde o Apache Kafka tem a ver com isso. E também porque não usamos o logstash e como "anexar" um cluster com uma solicitação em Kibana.
1:17 Sobre o que será a conversa: um cluster de logs
1:43 Como os logs entram no cluster?
3:50 Por que escolhemos o Apache Kafka
5:02 Rsyslog: vantagens de usar
9:00 Onde armazenar logs de diferentes DCs?
12:08E se a quantidade de dados for muito grande?
14:00 Atualização do cluster.
20:30 Nosso rake e soluções
22:35 Translog
24:25 Bulk request
26:28 Opendistro-perfomance-analyser
28:28 Índice Reduzir
29:49 Librdkafka
31:37 Resumo: como é o nosso cluster agora
Engenheiros de dados em aprendizado de máquina
Evgeny Vinogradov, Chefe do Departamento de Desenvolvimento de Data Warehouse
Uma história sobre como o trabalho industrial em experimentos em ML se parece - quais problemas são resolvidos no nível do modelo e quais são apenas no nível dos dados e como fornecer um processo de aprendizado controlado.
1:40 Sobre o palestrante
2:41 Quem está envolvido em projetos de DS?
8:30 O que é um projeto de Data Science?
14:15 A ordem das ações no projeto DS
15:42 O processo de coleta do conjunto de dados
20:26 Como tudo
funciona no Apache Kafka 29:10 O que acontece após a coleta do
conjunto de dados 29:21Como escolher um modelo?
30:40 Exemplos de problemas que um engenheiro de dados pode resolver
34:38 Em quais tecnologias tudo isso funciona?
35:03 Conclusões do relatório
CI / CD para engenheiro de dados: ida e volta
Anton Spirin, Desenvolvedor Sênior de BI
Apresentação sobre a implementação dos princípios de CI / CD no desenvolvimento de BI, objetivos, sua transformação e superação de dificuldades.
2:00 Pergunta sobre o palestrante
2:44 Descrição do problema
4:28 Quem é engenheiro de dados?
5:43 CI / CD - qual é o trabalho de um engenheiro?
6:55 Mais sobre a pilha e os sistemas de informação
8:00 Ponto de partida: onde começamos
10:34 Primeiro estágio de mudanças
15:50 Tudo parece estar bem, mas ... segundo estágio de melhorias
19:01 Quase demo: JenkinsFile, Pipelines
20:44 O que encontramos na saída?
22:43 Quanto tempo demorou? Estatísticas da versão
23:37 Nossos desafios e o que poderia ter sido feito de forma diferente. Planos futuros
Todos os relatórios da grande conferência de TI YuMoneyDay . Materiais sobre PM, testes e desenvolvimento móvel estão a caminho.