A previsão ajuda a fazer com que o cliente compre na hora certa ou, inversamente, a não tocá-lo se ele comprar e assim por diante. Como parte do teste AB, a mecânica de personalização de sites baseada em previsões ajudou a aumentar a conversão da loja online em 16,5% e o ARPU em 35,7% em relação ao grupo de controle.
Azamat Tibilov, diretor de marketing de Mario Berluchi, fala sobre a mecânica preditiva, medição de resultados, a história dos negócios de ciência de dados e compartilha dicas para varejistas online que também desejam aumentar a receita por meio de marketing orientado a dados útil.
Mario Berluchi é um fabricante russo de sapatos, bolsas e acessórios com cinco lojas offline em Moscou e uma loja online.
Escala. 200 mil visitantes do site por mês.
ISTO. Site em Bitrix, back office em 1C, plataforma de dados de clientes Mindbox.
Tarefa. Aumente a receita trabalhando com dados acumulados.
Resultado. Um aumento na conversão de sites em 16,5% dentro do teste AB, um aumento no ARPU em 35,7%, uma diminuição na proporção de carrinhos abandonados em 17,2%.
Como funciona a mecânica de personalização de sites baseada em previsão
Quando um cliente visita o site, registramos suas ações e executamos através do algoritmo de predição: “compre na sessão atual ou não compre” e “retornará em 7 dias ou não retornará”. A previsão é recalculada a cada 10 segundos para cada cliente.
Condições de acionamento da mecânica:
- se houver itens no carrinho,
- se nenhum cupom de desconto foi aplicado,
- se a probabilidade de compra prevista for inferior a 30%,
- se houver previsão de que o cliente não retorne em 7 dias.
Se as condições forem atendidas, o cliente vê um pop-up na cesta e decide se quer comprar o produto na sessão atual ou não: O
pop-up aparece na cesta se, de acordo com a previsão do algoritmo, o cliente não fizer um pedido na sessão atual e não retornar depois
Resultados de mecânica preditiva
Testes AB com 95% de confiança
Parte dos clientes dentro do teste estavam no grupo de controle e não viram o pop-up - para ela, a mecânica estava desativada e a outra parte viu. Comparamos a conversão, o ARPU e o abandono do carrinho nesses grupos - obtivemos resultados estatisticamente significativos com 95% de confiança:
↑ 16,5% de
aumento na conversão do site em relação ao grupo de controle usando o método t-test
↑ 35,7% de
crescimento do ARPU usando o método bootstrap
↓ 17,2%
na redução da proporção de carrinhos abandonados usando o método z-test
Comparação de conversões e ARPU: em maio de 2019 e maio de 2020 - após a introdução da mecânica preditiva
Conversão antes e depois da implementação da mecânica preditiva
ARPU antes e depois da implementação da mecânica preditiva
Por que lançou a direção de ciência de dados
Inicialmente, queríamos construir análises de ponta a ponta para avaliar a qualidade dos canais de publicidade no contexto de compras reais, porque 50% dos pedidos “caem” na fase de confirmação.
Para análises de ponta a ponta, foi necessário coletar dados de comportamento do usuário no banco de dados do Google BigQuery. Além das ações padrão do usuário - adicionar um item ao carrinho, visitar um cartão de produto de um produto, fazer uma compra - coletamos muito mais ações com o conteúdo do site - acessos. Mais de 20 mil linhas de acessos foram acumuladas diariamente, e esses dados foram armazenados em nosso banco de dados, pelo qual, claro, pagamos.
Com o nosso tráfego - mais de 200 mil usuários por mês - havia dados suficientes e realizamos análises padrão, por exemplo, ações do usuário com conteúdo após alguma alteração, compras após promoções. Em seguida, realizamos uma sessão de brainstorming com o dono da empresa e decidimos tentar, além de análises simples e testes AB, construir algo mais interessante: tentar prever o comportamento do cliente no site usando algoritmos de aprendizado de máquina baseados em nossos dados históricos. Tratamos essas ideias como um produto interno no qual estamos prontos para investir dinheiro e tempo para obter resultados mais tarde - o crescimento das métricas de negócios.
Com isso, o departamento de Data Science foi montado e em seis meses implantou uma mecânica com previsão de ações do usuário, o que aumentou a receita. Assim, descobrimos uma nova linha de negócios, que nos traz mais de 30% da nossa receita e tem bons retornos.
Quais especialistas eram necessários para a ciência de dados
Cada etapa do lançamento de uma mecânica preditiva envolve o trabalho de especialistas de diferentes funcionalidades, mas de áreas afins. Nossa equipe:
Analista. Analisa dados, encontra anomalias e realiza testes AB.
Dois cientistas de dados. Eles escrevem algoritmos que retornam respostas preditivas na forma de probabilidade de uma ação específica do usuário no site.
Profissional de marketing. Desenvolve e lança mecânica usando algoritmos.
Desenvolvedor. Implementa mecânica e algoritmos no site.
Como funciona a mecânica preditiva
1. Marcamos os dados iniciais do Google Analytics usando o Gerenciador de tags do Google e usamos o streaming de BI OWOX para coletar dados no banco de dados do Google BigQuery. Essas etapas levam pouco tempo - desde o primeiro minuto você pode ver como os dados se encaixam no banco de dados.
2. O analista verifica como os dados correspondem ao comportamento do usuário. Se necessário, constrói gráficos de distribuição e verifica se eles são de alta qualidade, se há caudas. Se forem encontrados erros, alteramos a configuração de streaming ou limpamos os dados, porque é impossível trabalhar com dados sujos no aprendizado de máquina.
3. Os cientistas de dados criam recursos (engenharia de recursos) a partir de visitas e conteúdo, por exemplo, o número de produtos visualizados, o número de itens adicionados aos favoritos, o número de itens adicionados por sessão ao carrinho.
Distribuição dos pesos dos recursos do algoritmo - com base em suas previsões, prevemos o comportamento do cliente
4. Treine o modelo com base em dados históricos. Digamos que queremos prever se o usuário terá a próxima sessão ou se retornará para nós em 7 dias. Para fazer isso, pegamos dados históricos, sinais - e implementamos o algoritmo. Para a previsão, usamos a classificação - a resposta binomial na forma de 1 ou 0.
5. Validamos o modelo em dados históricos: precisão das previsões, métricas de negócios.
Em primeiro lugar, olhamos para a proporção de precisão (proporção de respostas corretas) e ROC-AUC (área sob a curva de erro):
Precisão de 0,88 significa que 88% das vezes prevemos com precisão se o usuário voltará ou não. Precisão - o quanto da previsão que o usuário retornará estava correto. Lembre-se (integridade) - sobre a proporção de retornos reais que previmos.
Usamos AUC ROC (área sob a curva de erro) para avaliar o desempenho do algoritmo em uma amostra de dados.
Além das respostas do algoritmo 1 e 0, há também uma probabilidade de ação em porcentagem. E aqui definimos um limite: se a probabilidade de um usuário retornar é superior a 30% e esses usuários costumam retornar, a resposta é 1.
6. Preveja as ações do usuário.
7. O profissional de marketing desenvolve a mecânica para aplicar a previsão.
8. Lançamos o teste AB - apenas para novos usuários que já se familiarizaram com nosso site. O teste dura cerca de três semanas e, durante esse tempo, observamos como o valor p cumulativo muda. Em algum momento, a diferença entre os grupos torna-se significativa, entendemos que em breve o teste poderá ser concluído e a mecânica poderá ser implementada em produção.
9. O analista mede os resultados da mecânica.
Com base em quais dados do cliente a previsão funciona
Com base em visita. Com base em ações no site: visualização de cartões de produtos, adição de produtos ao carrinho, compras.
Baseado em conteúdo. Baseado em ações com conteúdo do site. Primeiro, coletamos dados sobre as ações do usuário: abrir uma tabela de tamanhos, adicionar um produto aos favoritos, ler avaliações. Em seguida, veremos como essas ações afetam as métricas de proxy (conversões intermediárias antes do pedido) - isso é necessário porque há mais dados sobre essas métricas do que pedidos. A seguir, examinamos a correlação das métricas proxy com as taxas de conversão e retorno de compra.
As abordagens baseadas em visitas e em conteúdos se sobrepõem. Mas, com base em visitas, avaliamos o comportamento do usuário e com base no conteúdo - o próprio conteúdo.
Baseado em CRM. Enriquecimento dos dados da loja online de CRM, contabilização do histórico de compras.
Dicas de compras online
1. Analise os dados, mesmo se você for uma pequena loja online. Os pontos de crescimento estão ocultos nos dados que permitem que você leve seu negócio para o próximo nível. No mundo de hoje com grande competição digital, é impossível resolver o problema do crescimento dos negócios com uma injeção banal de dinheiro.
2. O crescimento da conversão, uma métrica chave de uma loja online, é o fator mais poderoso no desenvolvimento do seu negócio.
3. Não tenha medo de construir infraestrutura e introduzir novas tecnologias em seu negócio. A introdução do aprendizado de máquina permite que você dê um passo à frente e se distancie da concorrência.
4. Aprenda a calcular o ROI de investimentos em novas tecnologias. A maioria das empresas tem medo de alocar um orçamento para novas ferramentas porque não entende totalmente como elas se beneficiarão.
Planos adicionais para desenvolvimento de marketing
Agora temos uma precificação dinâmica em nosso trabalho - avaliaremos quando dar um desconto em qual produto ou, ao contrário, não dar. Tudo parece simples: muitas vezes o produto é comprado - não damos desconto, raramente compramos - nós damos. Mas vamos um pouco mais fundo e mais amplo - olhamos onde esse produto estava no catálogo, em que mecânica de marketing ele participou, quantas vezes esse produto foi visto, quantas vezes foi adicionado ao carrinho.
E a próxima etapa é o preço dinâmico para cada usuário.
Como replicar a mecânica preditiva em sua loja online
Estamos desenvolvendo cooperação com a Mindbox e oferecendo aos clientes da plataforma a implementação de nossa mecânica preditiva. Se você quiser repetir em sua loja online, escreva para seus colegas.
***
Autores:
Azamat Tibilov, Mario Berluchi Diretor de Marketing
Maria Baikauskas, Gerente de
Mindbox Sema Semochkin, Editora de Mindbox