Analytics
Novos recursos da AWS Lake Formation (visualização)
Novos recursos da AWS Lake Formation , como transações, segurança em nível de linha e melhorias de desempenho, estão disponíveis para visualização. A funcionalidade funciona por meio de APIs novas, abertas e públicas para atualizar e acessar data lakes.
As transações são implementadas usando “tabelas governadas”, um novo tipo de tabela baseado no Amazon S3 que suporta transações ACID. As transações permitem simplificar os scripts de transformação de dados (ETL) e permitir que diferentes usuários adicionem, excluam e modifiquem registros em diferentes tabelas gerenciadas ao mesmo tempo e com segurança.
O AWS Lake Formation compacta e otimiza automaticamente o armazenamento de tabelas gerenciadas em segundo plano para melhorar o desempenho ao consultar dados.
Mais detalhes aqui
Redshift
Nós RA3.xlplus e anúncios adicionais para Amazon Redshift
RA3.xlplus é o terceiro e menor tipo de nó na família RA3. O RA3 permite dimensionar computação e armazenamento separadamente, expandindo as opções de computação para clusters do Amazon Redshift.
Mais detalhes aqui
Capacidade de mover um cluster entre Zonas de Disponibilidade (AZ)
O recurso de movimentação de cluster move um cluster para outro AZ em uma única etapa, sem a necessidade de fazer alterações no aplicativo. Quando um cluster é movido para um AZ diferente, o novo cluster terá o mesmo ponto de extremidade para que os aplicativos possam continuar a ser executados inalterados. O recurso é gratuito e está disponível para clusters RA3.
Mais detalhes aqui
Otimização automática da tabela
A Otimização Automática de Tabela monitora constantemente como as consultas interagem com as tabelas e usa o aprendizado de máquina para selecionar a melhor classificação e as chaves de distribuição para otimizar o desempenho da consulta no cluster.
Mais detalhes aqui
Compartilhamento de dados entre clusters do Amazon Redshift (visualização)
Um novo recurso de compartilhamento de dados no Amazon Redshift está disponível para teste, o que permite que você compartilhe dados com segurança e facilidade entre clusters Redshift em tempo real. O compartilhamento de dados permite simplificar o processamento de dados, aumentar a produtividade e reduzir custos - tudo a que você está acostumado em um único cluster Redshift agora está disponível em vários clusters enquanto trabalha nos dados.
Aproveitando um armazenamento de dados gerenciado separado dos nós de computação da família RA3, o acesso instantâneo de alto desempenho aos dados de vários clusters é possível sem ter que copiar ou mover dados. A leitura de dados desatualizados também é excluída - todos os clusters trabalham em uma única cópia sempre atualizada dos dados, com todas as alterações mais recentes. Não há custo adicional para compartilhar dados entre clusters do Amazon Redshift.
Mais detalhes aqui
Amazon Redshift e Amazon RDS MySQL Databases e Amazon Aurora MySQL Federated Queries (visualização)
As consultas federadas do Amazon Redshift permitem que você conecte dados de bancos de dados transacionais para BI e aplicativos de relatórios para análises operacionais. O Amazon Redshift Optimizer descarrega e distribui parte da computação para bancos de dados remotos para acelerar o desempenho reduzindo o tráfego de rede. Hoje, estamos expandindo os recursos de consulta federada do Amazon RDS para MySQL e do Amazon Aurora para MySQL. A função está disponível para visualização.
Suporte JSON integrado (visualização)
Hoje estamos introduzindo JSON nativo e suporte a dados semiestruturados no Amazon Redshift para uma prévia. Um novo tipo de dados 'SUPER' é usado para armazenamento, o que permite armazenar dados semiestruturados em tabelas Redshift. Também foi adicionado suporte para a linguagem de consulta PartiQL para consultar e processar esses dados.
Mais detalhes aqui
Visualização do Amazon EMR Studio
O Amazon EMR Studio, um IDE baseado em Jupyter, foi anunciado. Ele oferece suporte à autenticação com provedores de SSO corporativos e permite que analistas e engenheiros de dados desenvolvam aplicativos analíticos e sistemas de processamento de dados em R, Python, Scala e PySpark. Spark UI e YARN Timeline Service também estão disponíveis para facilitar a depuração. Os laptops EMR Studio serão executados em clusters EMR existentes ou lançarão novos usando modelos CloudFormation prontos para uso para EMR.
Detalhes aqui
Amazon EMR no Amazon EKS
Com a nova implantação de EMR ( Amazon EMR no Amazon EKS ), os clientes podem automatizar a criação e o gerenciamento de estruturas de big data de código aberto com o Amazon EKS. Os clientes agora podem executar aplicativos Spark em conjunto com outros tipos de aplicativos no mesmo cluster EKS e obter melhorias na utilização de recursos e facilidade de gerenciamento de infraestrutura.
O Amazon EMR empacota automaticamente seu aplicativo em um contêiner de big data e fornece conectores prontos para integração com outros serviços da AWS. Em seguida, o EMR implanta o aplicativo no cluster EKS e gerencia o registro e o monitoramento. Com EMR no EKS, você pode obter 3x o desempenhousando o tempo de execução do Spark com desempenho otimizado incluído no EMR versus o Apache Spark padrão no EKS.
Mais detalhes aqui
Networking
Analisador de Acessibilidade VPC
O novo serviço VPC Reachability Analyzer permite diagnosticar a disponibilidade da rede entre dois pontos de tráfego (endpoints) sem a necessidade de enviar pacotes de rede. O serviço lê a configuração de todos os recursos no VPC e usa o raciocínio automático para determinar os caminhos de tráfego de rede disponíveis. Ele analisa todos os caminhos de tráfego possíveis na rede sem enviar pacotes de rede. Para saber mais sobre como funcionam os algoritmos de análise automatizada, consulte a sessão re: Invent ou leia este documento .
Mais detalhes aqui
AWS Transit Gateway Connect
Overlay SD-WANs (Redes de longa distância definidas por software) são usados para conectar escritórios ou centros de dados pela Internet pública. A infraestrutura em nuvem agora precisa estar conectada às mesmas redes. O AWS Transit Gateway é frequentemente usado na extremidade da rede para conectar suas redes ao backbone da AWS.
E com a adição da funcionalidade AWS Transit Gateway Connect, há uma maneira fácil de expandir sua infraestrutura SD-WAN na nuvem AWS. Em vez de vários túneis VPN IPsec entre os dispositivos de rede Transit Gateway e SD-WAN, o Transit Gateway Connect usa túneis GRE. Ele também oferece suporte a roteamento BGP dinâmico, integra-se ao serviço de monitoramento AWS Transit Gateway Network Manager e um conjunto de soluções de parceiros .
Tudo isso simplifica o projeto da rede, melhora o desempenho e torna mais fácil expandir SD-WANs para AWS.
Mais detalhes aqui
Suporte IGMP no AWS Transit Gateway
O AWS Transit Gateway apresenta o suporte ao protocolo IGMP (Internet Group Management Protocol), facilitando o gerenciamento de aplicativos que usam multicast IP.
Os clientes já usaram o AWS Transit Gateway para executar aplicativos multicast na nuvem. Agora, com suporte IGMP, é mais fácil dimensionar e gerenciar membros de grupos multicast. Você não precisa mais configurar grupos multicast estáticos, fontes e coletores, o Transit Gateway adiciona e remove automaticamente membros do grupo usando IGMP.
IGMP é um padrão aberto e muitos aplicativos multicast dependem dele. Agora é mais fácil migrá-los para a nuvem.
Mais detalhes aqui
Sessão Twitch em russo
Todas as notícias na área de análise e infraestrutura de rede serão discutidas hoje no fluxo de twitch em russo. Os principais arquitetos de soluções da AWS escolheram todos os mais interessantes, já usaram muito e agora trocarão suas impressões sobre os novos produtos e responderão a todas as suas perguntas. Se você ainda não se conectou aos streams - link para o registro . A propósito, você pode assistir as gravações de streams em russo anteriores no tweet, caso tenha perdido.
Notícias anteriores da AWS re: Invent 2020:
AWS re: Invent. Principais anúncios do primeiro dia (Andy Jassy, Aplicativos comerciais)
AWS re: Invent. AWS re: Keynotes do Invent 2020 - Anúncios principais do aprendizado de máquina do dia 1 (armazenamento)