Apache Software Foundation publicou o lançamento da plataforma Apache Hadoop 3.3.0



A Apache Software Foundation lançou uma nova versão de sua plataforma - Apache Hadoop 3.3.0 . Um ano e meio se passou desde a última atualização. A própria plataforma é uma ferramenta para organizar o processamento distribuído de grandes quantidades de dados usando MapReduce. O Hadoop inclui um conjunto de utilitários, bibliotecas e estruturas para desenvolver e executar programas distribuídos que podem ser executados em clusters de milhares de nós.



Para o Hadoop, foi criado um sistema de arquivos especializado Hadoop Distributed File System (HDFS), que fornece backup de dados e otimização de aplicativos MapReduce. O HDFS se destina ao armazenamento de arquivos grandes distribuídos entre nós individuais de um cluster de computação. Graças aos seus recursos, o Hadoop é usado pelas maiores empresas e organizações. O Google até concedeu ao Hadoop o direito de usar tecnologias que afetam patentes relacionadas ao método MapReduce.



Em geral, encontramos o Apache Hadoop 3.3.0 .





Aqui está uma lista das mudanças mais importantes na nova versão:



  • Suporte para plataformas baseadas em ARM (a propósito, Selectel tem servidores ARM; aqui está um link se você quiser tentar).
  • Protobuf (Protocol buffers) 3.7.1. Protobuf .
  • S3A Delegation Token (), 404, S3guard .
  • ABFS.
  • Java 11.
  • Tencent Cloud COS, COS.
  • DNS Resolution, DNS . , .
  • YARN (Yet Another Resource Negotiator) .
  • Adicionado suporte para agendar containers OPPORTUNISTIC para serem executados por meio do Resource Manager .


Devido ao fato de que o Hadoop está se desenvolvendo ativamente, o mercado de soluções baseadas nele está crescendo rapidamente. Se em 2019 o volume do mercado era de cerca de US $ 1,7 bilhão, então, de acordo com especialistas, em 2024 ele atingirá US $ 9,4



bilhões.Agora o Hadoop ocupa o primeiro lugar entre os repositórios Apache em termos de número de alterações. A base de código da plataforma tem cerca de 4 milhões de linhas. Os maiores repositórios são Netflix, Twitter, Facebook.



All Articles