Sim sim abra! - Como lançamos o projeto Open Data



Olá! Meu nome é Sergey Folimonov, na DomClik sou responsável pelo marketing direto e comunicação com o cliente. Recentemente, também estou atuando como PO do projeto Open Data , e quero contar a vocês sobre a história da criação deste produto, focando nos problemas que tivemos que enfrentar, nos erros que cometemos e no resultado final e suas variantes. usar.



A cultura baseada em dados dentro da empresa é, claro, boa, mas em um mundo onde os conceitos de conteúdo aberto, soluções de código aberto e dados abertos em geral estão ganhando cada vez mais popularidade, você deseja não apenas usar informações, mas também compartilhar informações. Isso é o que levou o DomClick a criar "Dados abertos".



Vamos começar!



Entrei no desenvolvimento do produto desde o início. Bem, muito cedo. Digamos apenas que tínhamos dois pacotes de maquetes tra 2 de um designer UX contra o fundo de um mapa da Federação Russa e um período de 2 semanas indicado pela gerência antes que o MVP fosse lançado em produção. Em algumas horas, um grupo de entusiastas (desenvolvedores, analistas, designers, engenheiros de dados) foi formado por funcionários de equipes completamente diferentes, prontos para fazer tudo pelo bem de lançar um produto.







Nas duas semanas seguintes, numa viagem real, desenvolvemos o projeto do zero, tentando evitar processos complicados, inserindo muletas sempre que possível, para não atrasar o MVP e verificar: "O que podemos fazer?"



O resultado do primeiro sprint: todos os dados prometidos discriminados por dias / semanas / meses estão disponíveis tanto no mapa (estatísticas para as regiões e principais cidades) como em gráficos (avaliações das cidades, dinâmica). Mas, como você pode imaginar, agora só sobraram screenshots dessa versão:







havia muitos dados aqui, o site funcionava perfeitamente, mas a UX não foi pensada em tudo. E como resultado: os olhos se arregalam, o caminho do cliente não está claro e o que geralmente pode ser aprendido com este projeto. Olhando para o futuro, direi que nada da primeira versão do projeto foi reutilizado no desenvolvimento posterior.



Pareceria duas semanas no ralo ... Porém, foi o olhar para o conceito rápido pronto e a compreensão das suas lacunas que nos permitiu formar os requisitos e desejos finais para o serviço. Sem entrar em detalhes, decidimos no primeiro estágio apresentar os dados em forma tabular, na próxima etapa fornecer aos usuários gráficos com dinâmica e, em seguida, elaborar a visualização no mapa e o uso de modelos preditivos para construir previsões.



Pode-se questionar se as duas primeiras semanas foram um erro, se foi possível não perder tempo e fazer imediatamente um produto que pudesse ser mostrado aos clientes. Sim, provavelmente poderíamos dedicar os primeiros dias para trabalhar a UX, realizar várias entrevistas e pesquisas e não fazer 2 semanas, mas 2 meses para o desenvolvimento. Mas a moral da minha história é que você não deve ter medo de fazer MVPs rápidos. Trabalhar em um ritmo acelerado e com um alto nível de entusiasmo nos motivou fortemente a criar um produto realmente bom. E sim, não tenha medo de jogar os primeiros esboços no lixo: é muito melhor do que transformar a versão bruta em um monólito.



Vida após a morte MVP



No decorrer do trabalho posterior no projeto, encontramos uma série de problemas extraordinários. Vou tentar muito contá-los para não sobrecarregar os leitores com os detalhes do negócio hipotecário.



Aprendendo a chamar as coisas por seus nomes próprios



Na fase de coleta de dados sobre várias métricas, me deparei com o fato de que diferentes pessoas em nossa empresa podem chamar coisas diferentes do mesmo, e as mesmas coisas - de forma diferente. Por exemplo, duas pessoas diferentes me forneceram dados sobre o número de transações no contexto das regiões, e os números não brigavam, pois várias entidades de negócios podem ser chamadas de transações ao mesmo tempo. Acontece que, por um lado, eu tinha transações para o registro eletrônico de objetos imobiliários e, por outro, transações de hipotecas. E os dados para a mesma região dentro de um mês podem não coincidir. Além disso, em ambas as direções: pode haver tantos registros quanto transações de hipotecas (se de repente muitos clientes começarem a comprar imóveis sem hipoteca e simplesmente adquirirem o registro eletrônico),e menos (se o serviço de registro eletrônico não for muito procurado na região e a hipoteca for realizada sem ele).



Tais casos nos levaram à necessidade de criar um livro de referência, para não nos confundirmos nas definições, e de explicar ao usuário do portal todas as métricas o mais detalhadas possível.







Agregamos dados diferentes por intervalos de tempo



Quando se tratava de métricas aditivas (e as primeiras métricas que tínhamos exatamente assim), a agregação não nos levantou dúvidas. Número de transações de hipotecas em agosto: pegamos e contamos todas as transações que foram emitidas de 1º de agosto a 30 de agosto. Fizemos o mesmo com o período "Últimos 30 dias", que fornece a imagem mais relevante para cada métrica.



No entanto, o surgimento de métricas não aditivas nos fez pensar. Por exemplo, o número de anúncios de venda de apartamentos publicados em um determinado momento não pode ser contado "em agosto". Se em 1º de agosto, em alguma região, 1.000 anúncios foram publicados na vitrine, e em 30 de agosto - 1.200 anúncios, qual número deveria ser exibido? Média diária? Mediana mensal? Valor do meio do mês? Decidimos que é mais fácil para nós e para os usuários entender melhor se essas métricas são exibidas não para um período, mas no último dia do período. Se agosto for selecionado, os dados serão de 30 de agosto; se "últimos 30 dias" for selecionado, os dados serão de ontem. E informações sobre isso também são colocadas no diretório.







Determine o grau de nossa abertura



Nos primeiros estágios de preparação dos dados, queríamos mostrar o máximo de informações possível. Se sabemos que 65 transações de registro eletrônico foram feitas na cidade de H em julho de 2020, então vamos contar aos usuários sobre isso! No entanto, em algum momento, pensamos em como nossos concorrentes poderiam tirar vantagem disso. Afinal, a divulgação de valores absolutos no contexto das cidades, e mesmo com dinâmicas semanais, pode levar ao fato de os dados servirem para testar várias hipóteses dentro de assentamentos específicos. Nossos dados são atualizados todos os dias, o que significa que os players do mercado têm a oportunidade de monitorar diariamente quase todas as principais métricas do nosso negócio, realizar várias campanhas e avaliar instantaneamente o seu impacto em nossos resultados. Além disso, a divulgação de duas métricas (por exemploo número de aplicativos e o número de aplicativos aprovados) podem, na verdade, revelar outra métrica (por exemplo, a taxa de aprovação) que você não deseja mostrar de todo.



Para evitar situações desagradáveis, decidimos “fechar” métricas críticas para regiões e cidades com intervalos. Além disso, a construção da classificação e a classificação dentro da tabela sempre ocorrem de acordo com os valores absolutos reais das métricas, elas apenas não são exibidas para o usuário final.







Para quem e por que abrimos dados



Agora, o portal tem quatro seções (fluxos), cada uma contendo de 5 a 6 métricas em uma forma tabular com uma classificação regional. Ao clicar em uma região, você pode entrar nela e ver a classificação das cidades dessa região. Está disponível uma escolha de intervalo de tempo (todos os meses a partir de janeiro de 2019 e "últimos 30 dias"), bem como pesquisa por região e cidade.



Essa granularidade permite que os dados sejam usados ​​como materiais para pesquisas de mercado. Por exemplo, a análise do mercado imobiliário , que foi feita por nós em conjunto com a SberIndex, com base em Open Data. Agradecimentos especiais a Nikolai Korzhenevsky, diretor do laboratório SberIndex, por sua postura pró-ativa na pesquisa.



Copiar e colar o trecho da análise:



  • Os preços de oferta de imóveis no país, em média, nos últimos dois meses aumentaram 3,0% a / a, de acordo com a DomClick. No mercado primário, o crescimento das cotações chega a 6,2% aa.
  • Entre os líderes no aumento dos preços de abastecimento estão as regiões turísticas:

    • Território de Khabarovsk (18,9% A / A),
    • Região de Kaliningrado (18,0% A / A),
    • República de Altai (17,6% A / A).
  • A dinâmica dos empréstimos concedidos em julho-agosto também se manteve próxima de valores recordes, num contexto de rápida queda das taxas hipotecárias. O número de empréstimos hipotecários emitidos, de acordo com nossas estimativas, está crescendo 44% yoy.
  • Desde a pandemia, quase metade dos pedidos de hipoteca aprovados da DomClick foram registrados online, de acordo com a Open Data.


Além de análises e pesquisas de mercado, "Open Data" pode ser útil para vários públicos ao mesmo tempo:



  • , / , ..
  • , .
  • Excel .
  • , / , .
  • // . , :)


Qual é o próximo?



  • Em um futuro próximo, planejamos nos concentrar na construção de gráficos para um acompanhamento mais conveniente da dinâmica das mudanças nas métricas por meses e semanas. Os modelos já estão prontos, os dados estão aí, a obra está a todo vapor.
  • Ao mesmo tempo, selecionamos e começamos a coletar dados para novas seções, tentando entender o que será mais interessante para os usuários.
  • Queremos tornar mais conveniente a exportação de dados agregados para o Excel.
  • E, paralelamente, estamos trabalhando em opções para visualizar métricas no mapa de RF (com um mapa de calor ou pontos). Ou seja, em certa medida, estamos voltando à ideia da primeira versão do produto, mas já com a experiência atrás de nós, uma equipe simpática e um projeto trabalhando em produção.


Se você tiver comentários / dúvidas sobre o portal, ou ideias sobre dados que seriam interessantes para "abrir", então escreva nos comentários, tentarei responder a todos.



All Articles