Como automatizamos uploads e outras tarefas ad hoc de analistas usando o Zeppelin

No momento em que este artigo foi escrito, a Cardsmobile, que desenvolve o aplicativo móvel Wallet, empregava 195 pessoas: 8 analistas e 187 clientes analistas em potencial. Fazemos um aplicativo para usuários finais, assim como trabalhamos com varejistas, bancos, marcas e outros parceiros. Por muito tempo, o trabalho de um analista na Wallet consistia não apenas em estudos do comportamento do usuário, mas também em diversos descarregamentos, análises típicas para parceiros e previsões para clientes potenciais. Obviamente, os painéis foram um grande salva-vidas e permitiram que toda a empresa rastreasse o desempenho do produto. Mas ainda perdemos tempo com o resto da rotina e, com o crescimento da equipe (clientes) e do negócio, ficamos presos: havia muitas tarefas ad-hoc e pesquisas, o desejo de desenvolver e um futuro brilhante ficavam ociosos na ausência de tempo.

Existem tantas conferências interessantes por aí, artigos interessantes sobre vários estudos analíticos, ciência de dados, orientada a dados, felicidade de dados. E olhamos para toda essa beleza e não sabíamos onde encontrar tempo para experimentos em meio a todo o fluxo da rotina. Muitos falam sobre como fazer isso legal, mas poucos falam sobre COMO superar o aumento da rotatividade e liberar recursos para tarefas interessantes e criativas. Neste artigo, contarei a você sobre nossa experiência de entrar em um futuro melhor. Abaixo estão alguns exemplos de como automatizamos as tarefas Ad-hoc de analistas no Zeppelin .

O que é Zeppelin

Zeppelin é um Notebook OpenSource da Apache que permite acessar diferentes bancos de dados em diferentes linguagens (Python, R, SQL, Spark). Mas o que o torna especialmente legal é o conjunto de elementos visuais - formas dinâmicas .

api Amplitude, Clickhouse, MSSQL Python. Excel html-, .

notebook, . Zeppelin , : , – ! , . , . Zeppelin, . , !

Input – . , . , , .

Select – . . . , .

Checkbox – . , , , . , . , .

Zeppelin

, , , .

-. , , . . , .

:

• , . Zeppelin . , . , , , .
• . , . : , . , , «». - — , , - .
• . «» , -. , , .

, . . .

, . , . , - , .

. - . , . , , . notebook Zeppelin, , . notebook .

/B-, base-line . , , , . 4 base-line :

Zeppelin , , , , .

Amplitude . - (, , ). : . — — . . , . , , :

• , …
• 5 10
• ,
• 2
• ,

, . . - , .

, , Clickhouse, Amplitude api. , , . Amplitude, , , , .

:

• - Amplitude. .
• id ,
• notebook Zeppelin
• , Amplitude
• sub_id notebook

:

• id api Amplitude
• DataFrame Python
• /
• , ( )
• csv-,

-, , : . Amplitude . , , .

, , , – . , . , , . , , , , . slack , :

• , , Retention.
• , . support. . , , .
• . , .
• , - , Zeppelin , . , .

Success. ,

– ! Ad-hoc . 10%. , , . , . , .

: . , , . , , . . , .

Data- , , .