Construindo uma infraestrutura de rastreamento distribuída Netflix

Para os futuros alunos do curso "Highload Architect" e todos os interessados, preparamos a tradução de um artigo interessante.



Também convidamos você a assistir a aula aberta
"Padrões de escala horizontal de armazenamentos".










Nosso grupo -  Kevin LewNarayanan ArunachalamElizabeth CarrettoDustin Haffner , Andrey Ushakov,  Seth KatzGreg BurrellRam Whiteheilling (Ram Vaithilingam)Mike Smith  e  Maulik Pandey





«@Netflixhelps  " " ?» — Netflix Twitter





, , — , . . Edgar, . , , Edgar.





:

Edgar , Netflix,    , - . , () Netflix, (CDN) . , . , . .





, , , . , . Edgar — , .





Figura 1. Solução de problemas de falha de sessão do Edgar
1. Edgar

Edgar, , . , , Java- . 2017 , Open-Tracing Open-Zipkin, , , Netflix.





Open-Zipkin, Java Spring Boot.  Mantis  , Cassandra. : , . , , . .





: ?

, . , , . . , , , .





. - .   HTTP B3  Open-Zipkin. , , , Java Node, ( paved road). legacy-, , Spring Boot. « », (Python, NodeJS, Ruby on Rails .), paved road.  ,   .





, , . Edgar . , Edgar . , , .





: ?

, , , , . , , , . , , , .





, , , . , .





( ).   , 100 % , . , . , , . - . .





 





Mantis — Netflix. Mantis , , backpressure. Mantis   Mantis Publish. , . , . Mantis . Mantis  Raven    Mantis (MQL). , .





Elasticsearch: , . , . - Elasticsearch, . , Elasticsearch . - , .  Cassandra  : . Cassandra , .





Cassandra. , . ,    . , :





  1.  Elastic Block Store (EBS) EC2 SSD.





  2. , .





  3. , .





Cassandra, EC2 SSD. EBS Elastic SSD , AWS EBS EC2. , Cassandra . 2019 Cloud Database Engineering (CDE) EBS EBS Elastic.





Time Window Compaction Strategy (TWCS, « ») Cassandra SSTable, - EBS. , , SSTable , . , Zstd Cassandra . Cassandra 71 % 35 , .





, Edgar 1 % . , , , , . Mantis . , Edgar. , , , , , . 20 % . , .





, . Edgar 10 . . , , . , Cassandra Cassandra S3.  Cassandra, , , S3.





Tabela 1. Cronograma de otimização de armazenamento
1.

Edgar, .









,  Telltale  Netflix. Telltale -  Atlas. .









- , -    (FIT).









, ,     . , , AWS.





A-/B-





data science  A-/B-  , A/B.





?

Netflix . Edgar :





  • . , , .





  • , Netflix .





  • , , , .





, Edgar , « " " ?». , Netflix , « »!





, . ,   .






"Highload Architect".





" ".












All Articles