Seu autor, Juhi Ramzai , falou sobre métodos eficazes de verificação de modelo - PSI (Índice de Estabilidade Populacional) e CSI (Índice de Estabilidade Característica).
Depois que um modelo é lançado em produção, um monitoramento regular de seu desempenho deve ser realizado para garantir que o modelo ainda esteja atualizado e confiável. Anteriormente, escrevi um post sobre validação de modelo e monitoramento de seu desempenho , no qual enfatizei a importância dessas duas etapas.
Agora vamos passar ao tópico principal desta postagem. Aprenderemos tudo sobre o PSI (Índice de Estabilidade da População) e o CSI (Índice de Características de Estabilidade), que são algumas das estratégias de monitoramento mais importantes utilizadas em muitas áreas, especialmente na área de avaliação de risco de crédito.
Ambas as métricas (PSI e CSI) enfocam as mudanças na DISTRIBUIÇÃO DA POPULAÇÃO.
A ideia básica por trás dessas métricas é que um modelo de previsão funciona melhor se os dados usados para treiná-lo não diferem muito dos dados de validação / OOT (fora do tempo) em termos de condições econômicas, suposições subjacentes, estilo de campanha, foco e etc.
Por exemplo, desenvolvemos um modelo para prever a taxa de rotatividade de usuários de cartão de crédito em um ambiente econômico normal. Aí começamos a testar esse modelo, mas já nas condições da crise econômica. É possível que, neste caso, o modelo não produza uma previsão precisa, pois não será capaz de captar o fato de que a distribuição da população poderia ter mudado significativamente nos diferentes segmentos de renda (e isso poderia levar a um alto nível real de rotatividade de usuários). Como resultado, obtemos previsões erradas. Mas como já entendemos isso agora, podemos passar a verificar as mudanças na distribuição da população entre o tempo de desenvolvimento (tempo DEV) e o tempo presente. Isso nos dará uma ideia clara de se os resultados previstos do modelo podem ser confiáveis ou não.Isso é exatamente o que mostram as importantes métricas de monitoramento de PSI e CSI.
Índice de estabilidade populacional (PSI)
Essa métrica mede o quanto uma variável mudou na distribuição entre duas amostras ao longo do tempo. É amplamente utilizado para monitorar mudanças nas características da população e diagnosticar problemas potenciais com o desempenho do modelo. Se o modelo para de fazer previsões precisas devido a mudanças significativas na distribuição da população, então este costuma ser um bom indicador.
A definição acima é melhor explicada neste artigo de pesquisa . Eu também forneci um link para ele no final deste post.
O Índice de Estabilidade da População (PSI) foi originalmente desenvolvido para monitorar as mudanças na distribuição entre amostras ad hoc e de tempo de desenvolvimento na avaliação de risco de crédito. Atualmente, o uso do índice PSI tem se tornado mais flexível, o que permite estudar mudanças tanto nas distribuições associadas aos atributos do modelo quanto nas populações em geral, incluindo as variáveis dependentes e independentes do CSI . Veremos isso na próxima seção.
O PSI reflete a tendência de mudança na população como um todo, enquanto o CSI geralmente se concentra nas variáveis individuais do modelo utilizado.
A
mudança da fonte na distribuição da população pode estar relacionada a:
- com mudanças no ambiente econômico, como a crise econômica, COVID-19, etc.;
- mudanças nas fontes de dados;
- mudanças na política interna que afetam direta ou indiretamente a distribuição da população;
- problemas de integração de dados que podem levar a erros de dados;
- problemas na programação / codificação, como implementação do modelo ou falta de algumas etapas importantes no código para avaliar a qualidade do modelo.
Visto que uma mudança na distribuição não precisa ser acompanhada por uma mudança na variável dependente, o PSI também pode ser usado para examinar a similaridade / diferença entre quaisquer amostras. Por exemplo, para comparar o nível de educação, renda e estado de saúde de duas ou mais populações em estudos sociodemográficos.
ETAPAS PARA CALCULAR O ÍNDICE PSI ( Link )
- Classificamos a variável estimada em ordem decrescente na amostra estimada.
- 10 20 ().
- .
- .
- 3 4.
- ( 3 / 4).
- 5 6.
EXCEL PSI:
()
- PSI < 0,1 — . .
- PSI >= 0,1, 0,2 — .
- PSI >= 0,2 — . . / .
Você também pode usar o intervalo de formatação condicional - zonas vermelha, amarela e verde (zona vermelha-âmbar-verde). Vermelho é um estado de alarme em que o PSI é superior a 20%, amarelo é de 10-20%, enquanto o modelo deve ser monitorado e verde é o estágio em que o modelo é considerado utilizável, ou seja, < dez%.
Agora, com base no caso de uso, esses limites são ajustados de acordo com a relevância do negócio, mas a ideia permanece a mesma - rastrear mudanças na população.
Índice de estabilidade (CSI)
, . , , .
, .
Quando o desempenho do modelo se deteriora, a verificação de mudanças na distribuição das variáveis do modelo pode ajudar a identificar as possíveis causas. Regra geral, isto é feito após verificação, pelo que se verificou que o índice PSI não se encontra na zona verde (<0,1 no geral). Desta forma, você pode verificar quais variáveis determinam principalmente a distribuição da população.
Se até mesmo uma variável mudou significativamente, ou se o desempenho de várias variáveis mudou ligeiramente, pode ser hora de treinar novamente o modelo ou substituí-lo por outro.
No cálculo do CSI, são executados os mesmos passos que no cálculo do PSI. A única diferença é que a decisão é tomada com base nos valores de amostra do estágio de design para uma variável específica (dividindo-os em intervalos e definindo os limites desses valores como limiares). Então, ao calcular os valores de frequência para qualquer amostra de validação / não programada (AD), você simplesmente aplica os mesmos limites aos dados e calcula os valores de frequência (usando a mesma fórmula que usamos para calcular o PSI).
TABELA EXCEL DE CSI INDEX
Imagem cortesia do autor
Assim, o PSI pode ajudar a identificar diferenças nas distribuições das populações como um todo, se forem significativas, e o CSI pode ajudar a restringi-las ainda mais a algumas variáveis responsáveis.
Link de pesquisa