Foto de Brooke Cagle no Unsplash
Você está lendo o terceiro artigo da série Designer and Metrics. No primeiro, pensamos se um designer de produto precisava de métricas e, no segundo, vimos quais métricas existem. Se você ainda não leu esses artigos, recomendo começar por eles.
Este artigo discutirá como responder à pergunta se melhoramos o produto ou não.
Dias após o lançamento
Depois de lançar a nova funcionalidade, cada designer se pergunta: o que mudou? Conseguimos melhorar o produto?
Para responder a essas perguntas, você precisa ver como as métricas mudaram após o lançamento da funcionalidade. Na verdade, muitas vezes o resultado do trabalho de um designer é a diferença entre as métricas antes e depois do lançamento de uma nova funcionalidade.
À primeira vista, parece que é muito simples comparar essas métricas: olhei os números antes e depois do lançamento, comparei um com o outro, e se ficou melhor, então tudo não foi em vão e se for pior, então tudo precisa ser refeito.
Mas essa abordagem geralmente leva a erros - portanto, antes de tirar conclusões precipitadas, você precisa voltar para a matemática e fazer um pouco de matemática.
Como comparar as métricas antes e depois
O valor real da métrica versus o medido
— R (), — , — Z ().
, , R ≠ Z.
, , , . — .
, , , , R.
, , — , 300 ( ), .
Z, . , , Z ≠ R.
?
. , R.
. , 300 , 5 , , 1,7%.
, R. :
- — 1.7%
- , — 300
- ( ) — — 146 .
- , . 90, 95 99%
, R 90, 95 99% ( , ).
, , R ( ) 0% 3,59% .
, , 0 5 268 274 . ( — 2,6 ).
, .
- «» «»
, . : «» «» , .
, , - .
, , , - . .
, 2 , 5 000 . CTR 2% ( ), 3%. , ?
, :
:
- — 2%
- — 5 000
- 95%
, R 95% [ 1,61% – 2,39% ]
( 5 000 ) [ 2,53% – 3,47% ]
, , , .
- , , .
- .
- Se os intervalos de confiança "antes" e "depois" não se cruzarem, significa que o trabalho do designer definitivamente deu um resultado positivo.
Qual é o próximo
Este foi o terceiro e último artigo da série Designer and Metrics.
No próximo artigo, pretendo dizer por que o usuário não deve ser perguntado do que ele gosta e do que não gosta. Inscreva-se para não perder!