O que é dbt e por que você precisa de análises de marketing

Mais cedo ou mais tarde, o analista se depara com o problema de organizar os dados. Há cada vez mais deles, a estrutura não é mais transparente e as mesmas consultas SQL precisam ser reescritas várias vezes. Para resolver esse problema, você pode usar dbt - uma ferramenta que abre uma nova abordagem para a transformação e modelagem de dados. Abaixo do corte está uma tradução do excelente artigo de David Crewitt sobre o que é dbt e como ele ajuda os analistas a tornar seu trabalho mais fácil.

dbt (ferramenta de construção de dados) é uma estrutura de código aberto para executar, testar e documentar consultas SQL que traz um elemento de engenharia de software para o processo de análise de dados.

Esta é uma ótima peça da caixa de ferramentas preguiçosa para ajudá-lo a nunca se repetir ao analisar dados.

Substituindo uma Consulta Salva

Cada consulta SQL merece um bom lar. No dbt, as consultas SQL são estruturadas e organizadas em pastas de projeto, para que todos os membros da equipe sempre saibam onde encontrá-las:

Sempre que você precisar executar consultas, use o comando dbt run.

Este comando pega uma coleção de modelos SQL no projeto dbt e os atualiza no armazenamento de dados.

Simples mas efetivo.

Isso significa que você não precisa mais salvar fragmentos de consultas SQL em sua área de trabalho ou em qualquer outro lugar, como um baú do tesouro.

— . - , .

dbt — , .

ref(‘ ‘)

dbt * * SQL-, {{ ref(‘model name’) }}.

:

, . dbt , , :

• /admin

  
  
  
  
  

• /base

  
  
  
  
  

• /join /

  
  
  
  
  

• /math (, ) ( . .)

  
  
  
  
  

• /visualization + , .

  
  
  
  
  

, .

« Google Analytics?» 

base -> google-analytics.

« ?» 

Math -> cohort-analysis.

SQL-. dbt — Monster Queries™, .

SQL

dbt SQL- : + JINJA.

SQL- .

, CASE 15 :

CASE WHEN x = y THEN z

   WHEN 2x = 2y THEN 2z

--… .

— , :

dbt SQL .

dbt dbt_utils, .

, CIFL :

• union_relations

  
  
  
  
  

• get_column_values

  
  
  
  
  

JINJA

, : FOR, IF-THEN . .

dbt SQL-, JINJA.

, SQL- , .

, Google Analytics :

• 1 №2 №9.

  
  
  
  
  

• 2 №4 №11.

  
  
  
  
  

, « » .

dbt :

dbt , JINJA:

, , , , . «» .

dbt + Git

dbt + Git . «Pull Requests» «Issues». SQL- Slack/Notion/email.

:

• SQL- , . — .

  
  
  
  
  

• , . , .

  
  
  
  
  

• SQL , .

  
  
  
  
  

SQL-

« ?» – . 

dbt .

Fishtown Analytics (, dbt) dbt Cloud, hosted dbt .

dbt Cloud , .

, — $50 .

«»

« ?» 

« ?»

— . :

, .

, , , , 100% , , .

, — , , , .

, : , Google BigQuery Google Data Studio.

dbt :

• `dbt docs` , SQL .

  
  
  
  
  

• dbt + .yml .

  
  
  
  
  

BigQuery:

Data Studio:

(Snowflake . .) (Looker . .) . , .

?

, , . , , .

dbt .

, - , dbt . JOIN , dbt .

, SQL- , dbt .

— BigQuery, Snowflake PostgreSQL —  , SQL. BigQuery Snowflake Redshift BigQuery, SQL, .

dbt ! . dbt . dbt , ( , , MS SQL).

CIFL , , , .

dbt

Se você está pronto para lidar com a implementação de dbt em sua equipe, o seguinte pode ajudar:

• Curso gratuito " Getting Started with BigQuery SQL ", que inclui uma introdução à modelagem de dados com dbt.

  
  
  
  
  

• O curso Build Your Data Agency, lançado recentemente, para um mergulho mais profundo na análise de dados baseada em dbt.