
Como os astrônomos costumam trabalhar? Eles combinam com o observatório a data e hora de uso do telescópio, e no dia marcado realizam as observações, carregando os dados coletados. Mas devido ao fato de que os telescópios geram cada vez mais informações úteis, os métodos tradicionais param de funcionar. E os cientistas encontraram uma saída usando tecnologias de nuvem. Cloud4Y explica como os Stargazers agora funcionam.
O Observatório Vera Rubin no Chile pode coletar 20 terabytes de dados por noite. Isso se deve em grande parte à sua boa localização. O telescópio espelho grande angular de pesquisa está localizado a uma altitude de 2.715 m no pico de El Peñon (no norte do Chile). O design do telescópio é único por ter um campo de visão muito amplo: 3,5 graus de diâmetro ou 9,6 graus quadrados. Em comparação, o Sol e a Lua são visíveis da Terra como objetos que são 0,5 ° horizontalmente ou 0,2 graus quadrados. Combinado com a grande abertura, isso permite que tenha uma força de coleta extremamente alta. Em outras palavras, o telescópio é capaz de adquirir dados de vastas áreas do céu simultaneamente. A "engenharia" da primeira luz está prevista para ser recebida em maio de 2021, todo o sistema - em outubro de 2021, e em outubro de 2022 para entrar em operação plena
20 terabytes é quase o mesmo que o Sloan Digital Sky Survey , que oferece os mapas 3D mais detalhados do universo e que coleta todos os dados de 2000 a 2010. Mas isso não é tudo. O projeto Square Kilometer Array , que deve entrar em operação em 2020, aumentará esse volume por um fator de 100, para 2 petabytes por dia (quando atingir a capacidade máxima em 2028). E o equipamento de última geração (ngVLA), segundo os chefes dos observatórios, vai gerar centenas de petabytes.
Não é fácil processar esses volumes de dados. Você não pode simplesmente baixá-los e armazená-los em algum lugar. E criar suporte para recursos de computação locais para o trabalho é muito caro. De acordo com algumas estimativas, o custo de organizar uma infraestrutura de TI do zero e manter a equipe necessária para dar suporte ao Observatório Vera Rubin pode chegar a US $ 150 milhões em 10 anos. Assim, os astrônomos do Chile, como muitos de seus colegas, se voltaram para a nuvem. E aqui estão as conclusões que eles já tiraram.
Investir em poder de computação é bom para a ciência
Não é suficiente mover os dados para a nuvem; os pesquisadores devem ser capazes de interagir com eles. Em vez do modelo tradicional de trabalho, em que os astrônomos transferiam dados para seus computadores, eles agora baixam seu código para trabalhar com os dados disponíveis na nuvem. Graças à disponibilidade de acesso online à plataforma científica do observatório (cadernos Jupyter para programação em Python, Julia, R, etc., interfaces de programação de aplicativos (APIs) para analisar, visualizar e pesquisar dados), os usuários podem escrever e executar o código Python para análise remota de tudo o conjunto de dados do observatório em servidores hospedados no National Center for Supercomputing Applications em Urbana, Illinois. E você não precisa baixar nada para o seu computador.
Em outros ramos da ciência, essa abordagem é muito eficaz. Por exemplo, o projeto Pangeo, que é uma plataforma de análise de big data para ciências da terra, tornou petabytes de dados climáticos públicos e computáveis, facilitando a colaboração dos pesquisadores.
Conveniente, mesmo ao trabalhar sem big data
Evelina Momcheva, que trabalha com um telescópio espacial em Baltimore, Maryland, diz que encontrou casos em que projetos usando apenas dados de médio porte se beneficiaram da computação em nuvem. Até porque os pesquisadores conseguiram acessar recursos muito superiores ao desempenho de seus laptops. E, o que é importante, a um custo relativamente baixo. E alguns provedores de nuvem oferecem recursos gratuitos para fins educacionais.
Em 2015, Momcheva e seus colegas tinham apenas um servidor de 8 núcleos para seu projeto 3D-HST, que analisava dados do Telescópio Espacial Hubble para entender as forças que moldam as galáxias no universo distante. Os recursos eram escassos e eles se voltaram para as nuvenslevando cinco máquinas de 32 núcleos. Por quê? Mas porque, após cálculos preliminares, descobrimos que a análise em nossas próprias máquinas levaria pelo menos três meses. Com um provedor de nuvem, demorou cinco dias e menos de US $ 1.000. ”
Preço não é tudo
Disputas sobre se os serviços em nuvem são mais baratos em comparação com sua própria infraestrutura de TI, caso diminuam, não irão em breve. Ambos os lados têm argumentos fortes. Por exemplo, um relatório de 2011 do Departamento de Energia Magellan dos EUA sobre computação em nuvem concluiu que os centros de computação do departamento são geralmente mais baratos do que alugar serviços em nuvem. No entanto, muita água fluiu sob a ponte desde aquela época e as tecnologias mudaram drasticamente.
A otimização do trabalho com serviços em nuvem, segundo a University of Washington, pode nivelar essas diferenças. Os pesquisadores conseguiram provar que o experimento em nuvem de $ 43 custava apenas $ 6 depois de alguns meses de trabalho e otimização de custos. Eles também calcularam que completar as mesmas tarefas em tempo comparável usando seus próprios recursos custaria à equipe cerca de US $ 75.000 (para hardware, eletricidade e salários da equipe), com os servidores tendo que estar ativos 87% do tempo por três anos.
Economizar tempo geralmente influencia a tomada de decisões. Quando sua infraestrutura de TI leva nove meses para processar seus dados, e a nuvem leva apenas um mês, e por aproximadamente o mesmo dinheiro, a diferença de oito meses se torna muito interessante.
Os astrônomos dizem que não desejam passar para o lado. Ao contrário, o uso de infraestrutura local para tarefas cotidianas e "nuvens" - para computação complexa - é o modelo ideal para muitos centros de pesquisa.
A consolidação de dados abre novos horizontes
Outra coisa que os astrônomos adoram é a capacidade de combinar vários conjuntos de dados grandes. Sua combinação pode fornecer algumas informações que não seriam óbvias para cada conjunto separadamente. Ou seja, quanto mais informações os astrônomos reúnem, mais útil elas se tornam.
Inspirado pelo NIH Data Commons Project, onde os cientistas armazenam e trocam dados biomédicos e comportamentais e software, os pesquisadores planejam criar o Astronomy Data Commons. Cientistas da Universidade de Washington já publicaram um conjunto de dados chamado Zwicky Transient Facility, que inclui 100 bilhões de observações de aproximadamente 2 bilhões de objetos celestes. Se este trabalho for útil, outros astrônomos podem seguir o exemplo. Então, todo um ecossistema astronômico será criado, cujas possibilidades só podem ser sonhadas.
Não basta ir para a nuvem, você precisa saber como usá-la
Para trabalhar com dados na nuvem, os usuários precisam criar uma conta, escolher uma das muitas opções para interagir com as informações, instalar seu próprio software (muitas vezes escrito por conta própria ou personalizado). Além disso, configure tudo para que o software possa ser executado em várias máquinas ao mesmo tempo. Os erros são inevitáveis e podem custar caro aos pesquisadores, desencorajando seu interesse pela tecnologia de nuvem. Houve um caso em que estudantes de graduação ineptos "queimaram" alguns milhares de horas de processamento para nada. Portanto, os cientistas são aconselhados a primeiro treinar "em gatos", lançando pequenos projetos-piloto usando sua própria infraestrutura.
Também é importante não esquecer os requisitos de segurança. Embora privacidade e segurança na nuvem sejam melhores do que recursos locais, configurar uma infraestrutura em nuvem pode ser um desafio. E o erro de um programador inexperiente levará ao fato de seus dados ficarem disponíveis para todo o mundo. Ao usar nosso próprio parque de TI, esses problemas são controlados de forma mais rígida. E na nuvem, é fácil estragar se você não ouvir as recomendações dos especialistas técnicos do provedor.
Em geral, o desejo dos astrônomos de usar recursos de nuvem para estudar sistemas estelares, construir modelos da formação de Universos e armazenar "lagos de dados" é compreensível. A computação pesada há muito tempo fica à mercê dos equipamentos dos data centers. As plataformas em nuvem transformaram muito a ciência e os negócios, tornando-se uma importante ferramenta para o desenvolvimento do pensamento humano. O principal é usar essa ferramenta corretamente.
O que mais há de interessante no blog Cloud4Y
→ Faça você mesmo, ou um computador da Iugoslávia
→ O Departamento de Estado dos EUA criará seu próprio grande firewall
→ A inteligência artificial canta sobre a revolução
→ Qual é a geometria do Universo?
→ Ovos de Páscoa em mapas topográficos da Suíça
Assine o nosso canal Telegram , para não perder mais um artigo. Escrevemos no máximo duas vezes por semana e apenas a negócios.