Neste artigo, veremos as opções de upload de dados para o armazenamento em nuvem do Google BigQuery. Isso inclui maneiras fáceis de carregar dados de arquivos CSV / JSON e maneiras de carregar via API ou extensão.
Com o Google BigQuery (GBQ), você pode coletar dados de várias fontes e analisá-los usando consultas SQL. Entre as vantagens do GBQ estão a alta velocidade de computação, mesmo para grandes quantidades de dados, e o baixo custo.
Por que você precisa fazer upload de dados para um único repositório? Se você deseja usar análises de ponta a ponta, gerar relatórios de dados brutos e medir a eficácia de seu marketing, você precisa do Google BigQuery.
Se você precisa analisar terabytes de dados em segundos, o Google BigQuery é a escolha mais fácil e acessível. Você pode aprender mais sobre este serviço assistindo a um pequeno vídeo no canal do Google Developers no YouTube .
Criação de um conjunto de dados e tabela
Antes de fazer upload de quaisquer dados, primeiro você precisa criar um conjunto de dados e uma tabela no Google BigQuery. Para fazer isso, na página inicial do BigQuery, selecione o recurso no qual você deseja criar um conjunto de dados.
As imagens utilizadas no artigo são fornecidas pelo autor.
Especifique o ID do conjunto de dados na janela "Criar conjunto de dados", selecione o local de processamento de dados e defina o período de armazenamento padrão para a tabela.
Nota: Se você escolher "Nunca" como a data de expiração da tabela, nenhum armazenamento físico será definido. Para tabelas temporárias, você pode especificar o número de dias para mantê-las.
Em seguida, crie uma tabela no conjunto de dados.
Feito! Agora você pode começar a baixar os dados.
Carregar dados usando o Planilhas Google (extensão OWOX BI BigQuery Reports).
Se você precisar fazer upload de dados do Planilhas Google para o Google BigQuery, a maneira mais fácil de fazer isso é instalar a extensão gratuita OWOX BI BigQuery Reports.
Você pode instalar esta extensão diretamente do Planilhas Google ou da Chrome Web Store .
Após a instalação, uma caixa de diálogo aparecerá com prompts e pedindo permissões.
Agora é hora de voltar ao Planilhas Google. Para fazer upload de dados para o BigQuery, basta selecionar Upload data to BigQuery no menu Add-ons -> OWOX BI BigQuery Reports.
Especifique o projeto, o conjunto de dados e o nome da tabela para carregar os dados. E isso é tudo :) Uma
vantagem indiscutível da extensão OWOX BI BigQuery Reports é sua facilidade de uso. Você também pode usar a extensão para personalizar relatórios programados.
Para gerar relatórios com base em dados brutos precisos de todas as fontes e carregá-los automaticamente no repositório do Google BigQuery, recomendamos o uso do serviço OWOX BI Pipeline .
Com o Pipeline, você pode configurar a coleta automática de dados de serviços de anúncios, sistemas de rastreamento de chamadas e CRM. Isso permite que você recupere de forma rápida e fácil conjuntos de dados completos das fontes de sua escolha.
Basta selecionar as fontes de dados e permitir o acesso; deixe o resto para OWOX BI .
Com o OWOX BI você pode criar relatórios para qualquer gosto e cor, desde ROI, efeito ROPO e análise de coorte até análise de LTV e RFM.
Carregando dados de arquivos CSV
Para fazer upload de dados de um arquivo CSV, selecione uma fonte de dados na janela “Criar tabela” e use a opção “Upload”.
Em seguida, selecione o arquivo e seu formato.
Em seguida, você precisa definir o destino dos dados, especificando o nome do projeto e o conjunto de dados.
Nota: No Google BigQuery, você pode selecionar dois tipos de tabelas: nativas e externas.
O Google BigQuery detectará automaticamente a estrutura da tabela, mas se você quiser adicionar campos manualmente, pode usar a função de edição de texto ou o botão + Adicionar campo.
Observação: se você quiser interferir na análise de dados de um arquivo CSV no Google BigQuery, pode usar opções avançadas.
Para obter mais informações sobre o formato CSV, consulte a documentação detalhada da Internet Society.
Carregando dados de arquivos JSON
Para carregar dados de um arquivo JSON, repita todas as etapas acima: crie ou selecione um conjunto de dados e uma tabela com os quais está trabalhando - escolha apenas JSON como formato de arquivo.
Você pode fazer upload de um arquivo JSON de seu computador, Google Cloud Storage ou Google Drive.
Observação: para obter mais informações sobre o formato JSON, consulte a documentação do Google Cloud.
Baixando dados do Google Cloud Storage.
O Google Cloud Storage permite armazenar e transferir dados online com segurança.
Informações úteis sobre como usar este serviço:
Introdução ao Google Cloud Storage Cloud Storage Guias de início rápido da
documentação Escolhendo um armazenamento e banco de dados no Google Cloud Platform Você pode fazer upload de arquivos do Google Cloud Storage para o Google BigQuery nos seguintes formatos:
- CSV
- JSON (delimitado por nova linha)
- Avro
- Parquet
- ORC
- Cloud Datastore
Você pode ler mais sobre como usar o Cloud Storage com big data na documentação oficial .
Você também pode aprender sobre os limites e permissões de upload do Cloud Storage na Central de Ajuda do Google Cloud.
Carregando dados de outros serviços do Google, como Google Ads e Google Ad Manager.
Para fazer download de dados de vários serviços do Google, primeiro você precisa configurar o BigQuery Data Transfer Service. Antes de usá-lo, você deve selecionar ou criar um projeto de dados e, na maioria dos casos, habilitar o faturamento para ele. Por exemplo, o faturamento é necessário para os seguintes serviços:
- Gerente de campanha
- Gerente de anúncios do Google
- Google Ads
- Google Play (beta)
- YouTube - Relatórios de canal
- YouTube - Relatórios do proprietário do conteúdo
Observação: para obter mais informações sobre como configurar e alterar o faturamento, visite a Central de Ajuda do Google Cloud.
Para iniciar o BigQuery Data Transfer Service, na página inicial do BigQuery , selecione Transferências no menu à esquerda.
Nota: você precisa de direitos de administrador para criar uma transferência.
Na próxima janela, tudo que você precisa fazer é selecionar a fonte de dados desejada.
Observação: o BigQuery Data Transfer Service pode ser acessado não apenas no console da plataforma, mas também em:
- lassic bq_ui
- ferramenta de linha de comando bq
- API BigQuery Data Transfer Service
Depois de configurado, o serviço fará upload de dados automática e regularmente para o BigQuery. No entanto, você não pode usá-lo para fazer download de dados do BigQuery.
Carregando dados usando a API
Com as bibliotecas de cliente da nuvem, você pode usar sua linguagem de programação favorita para trabalhar com a API do Google BigQuery.
Nota: Mais informações sobre o carregamento de dados usando a API podem ser encontradas na documentação do Google Cloud .
Primeiro, você precisa criar ou selecionar um projeto com o qual trabalhará. Em seguida, na página principal, vá para a seção API.
Na janela de visão geral da API, você pode conectar APIs e serviços. Você precisa selecionar a API de que precisa na biblioteca.
Na biblioteca, você pode usar a pesquisa de campo ou filtrar a API por categoria.
Você pode usar um conjunto de scripts Python do OWOX BI para automatizar a importação de dados para o Google BigQuery.
Existem scripts para automatizar a importação de dados para o Google BigQuery a partir das seguintes fontes:
- amoCRM
- FTP
- FTPS
- HTTP (S)
- Interfone
- ExpertSender
- MySQL
- SFTP
Esses scripts Python podem ser baixados do GitHub .
Nota: Aprenda como usar Python com a API do Google neste tutorial em vídeo do Google Developers no YouTube .
conclusões
Neste artigo, cobrimos as maneiras mais populares de carregar dados no Google BigQuery. Desde o simples upload de um arquivo de dados até o upload de dados via API, qualquer usuário pode encontrar uma opção adequada.
