Process Mining as Evolution of "Scientific Management" - and Our Open Library for Analysis

Process Mining é uma ponte entre Data Mining e Gerenciamento de Processos. É uma abordagem para extrair, analisar e otimizar processos com base em dados de logs de eventos disponíveis em sistemas de informação. Desenvolvemos e inauguramos uma biblioteca que permite processar de forma rápida e fácil os dados dos sistemas de informação de produção a fim de encontrar gargalos e pontos de ineficiência.



A primeira teoria científica, cujo objetivo era analisar e otimizar os processos de trabalho, é a Gestão Científica. Na virada dos séculos 19 e 20, por meio dos esforços do pesquisador americano Frederick Taylor e seus associados, foi criada a teoria da administração clássica. Parte-se da premissa de que existe uma “melhor maneira” de realizar qualquer trabalho, e o problema da baixa produtividade pode ser resolvido por meio de um método denominado “timing científico”. A essência do método consiste em dividir o trabalho em uma sequência de operações elementares, que são cronometradas e registradas com a participação dos trabalhadores. Como resultado, isso permite que você obtenha informações precisas sobre o tempo necessário para concluir um determinado trabalho.



imagem



Assim, há mais de 120 anos, um passo tão simples deu origem a uma abordagem científica para o estudo de processos. Com o desenvolvimento da sociedade e da tecnologia, as abordagens à análise e otimização de processos evoluem e melhoram: há uma transição para a "produção em massa", que se baseia na especialização com possibilidades de otimizar a montagem, informatização e análise de estatísticas.



Modern Process Mining é uma evolução dessa abordagem com big data em mente.



Evolução



No final dos anos 1980, o conhecido Taichi Ono fez uma descoberta ao desenvolver e implementar uma abordagem chamada "Manufatura Enxuta" na Toyota. A abordagem é baseada no trabalho constante com todos os tipos de perdas que surgem no processo. Eliminar perdas a priori aumenta a eficiência.



O próximo passo qualitativo no campo da otimização de processos é o desenvolvimento e implementação da ferramenta "ciclo DMAIC", e o uso de métodos de controle estatístico de processos Seis Sigma, que também dispensam introdução. As principais características da etapa são - inserir KPIs e lidar com desvios, com foco no cliente e garantindo a melhoria contínua dos processos.



Essas abordagens, que funcionavam bem de 5 a 10 anos atrás e dependiam de ferramentas manuais como gemba, cronometragem, pesquisas de clientes e especialistas e sessões de design, hoje em dia, em uma era de complexidade e aceleração de processos cada vez maiores, não fornecem uma imagem completa.



Hoje, o desenvolvimento onipresente de tecnologias digitais, robotização e automação, Internet das coisas, redes globais e digitalização em massa fornecem a base para uma etapa qualitativamente nova na pesquisa e otimização de processos, a implementação de recursos de ML e IA.

Process Mining é uma ferramenta de transformação de IA.



Para que exatamente essa abordagem é necessária?



Inventada pelo Professor Wiel van der Aalst no início da última década, a tecnologia de Process Mining ganhou popularidade rapidamente em ambientes científicos e corporativos. Hoje, com o crescimento do volume de informações e a velocidade das mudanças nos negócios, está substituindo os métodos clássicos de descrição e modelagem manual de processos.



Ao restaurar os diagramas dos processos de negócios conforme eles realmente ocorrem, o Process Mining permite obter insights - conhecimento objetivo necessário para eliminar gargalos, otimizar imperfeições e melhorar a eficiência de uma organização. Assim, usando o kit de ferramentas do Process Mining, a empresa resolve tanto os problemas de conformidade quanto os problemas de desempenho do processo.



Visualização de insights (gargalos, retornos, loops, grande variabilidade) no gráfico do processo:



imagem



A transformação digital é um dos principais motores dos negócios modernos. Seus pré-requisitos, ou condições obrigatórias, são tradicionalmente considerados transparência e abertura, que o Process Mining ajuda diretamente a atingir. Na verdade, ele faz um "raio-X" dos processos que ocorrem na empresa, fornecendo uma imagem abrangente e, mais importante, confiável de toda a cadeia de eventos, e não etapas individuais, eliminando assim as barreiras entre vários departamentos e divisões. A avaliação resultante da eficiência operacional atual da empresa é objetiva e, portanto, pode ser usada para identificar oportunidades de otimização, rastrear mudanças e responder rapidamente. O Process Mining, ao apagar as fronteiras organizacionais, fornece insights para qualquer nível de detalhe. O valor desses insights está emque dêem à empresa uma base e um direcionamento para futuras ações de melhoria e digitalização de processos em todas as divisões.



Assim, o Process Mining fornece aos proprietários de processos análises completas para tomar decisões de gerenciamento para melhorar o processo com base em dados objetivos.



Como está indo a implementação



A base para a aplicação do Process Mining é formada por logs de eventos. Os sistemas de informação registram automaticamente todas as atividades realizadas durante um processo. Além das atividades, os logs de eventos contêm carimbos de data / hora de início e término, um ID de caso exclusivo e outros atributos do evento: executores, texto de correspondência, decisão de negócio, atributos territoriais e assim por diante.



imagem



Os arquivos de log, que fornecem informações confiáveis ​​e detalhadas sobre o andamento da execução de um processo de negócio, o tornam mais transparente. Com essas informações, você pode visualizar e analisar um modelo de um processo real, não um processo pretendido. Isso é importante porque é essa lacuna que torna a Mineração de Processos muito eficiente para grandes empresas. No entanto, ele não se limita a restaurar modelos de processo de negócios a partir de arquivos de log. Ao comparar dados de log e diagramas de processo, o Process Mining permite identificar desvios e gargalos no processo, estudar a duração de cada estágio, detectar estágios desnecessários ou pulados e identificar potenciais otimizações e, portanto, ganhos de eficiência.



Uma das tarefas principais é extrair percepções dos dados disponíveis nos sistemas corporativos de TI. Com informações digitais sobre todas as ações realizadas no processo, utilizando a tecnologia de Process Mining, a empresa consegue reproduzir o processo de negócio realmente executável. E a construção de seu esquema visual permite não só obter uma imagem completa da cadeia de eventos, mas também investigar o estado atual do processo em qualquer nível de detalhe. Analisando o modelo do processo reconstruído juntamente com dados sobre a duração e características de sua execução, é possível identificar atrasos na implementação de ações individuais, na relação entre usuários, looping no processo, executores ineficazes, bem como deficiências ocultas e problemas nos processos, pelos quais pode diminuir significativamente a produtividade de toda a organização.Além disso, o Process Mining permite que você veja o processo em dinâmica, o que significa a capacidade de rastrear as mudanças que ocorrem como resultado da introdução de certas medidas de melhoria. Portanto, Process Mining desempenha um papel fundamental no fornecimento de informações valiosas e objetivas necessárias para melhorar a eficiência das soluções para otimizar os processos de negócios. As principais vantagens de uma análise orientada para o processo são as seguintes:As principais vantagens de uma análise orientada para o processo são as seguintes:As principais vantagens de uma análise orientada para o processo são as seguintes:



  1. Aumento de produtividade;
  2. Colaboração mais rápida e eficiente;
  3. Tempo reduzido para trabalhos administrativos;
  4. Transparência;
  5. Reduzindo custos.


Juntos, isso garante o crescimento estável da empresa.



Claro, Process Mining é de grande valor para proprietários de processos de negócios, pois identifica mudanças indesejadas e desvios, gargalos e outros riscos no processo, mostrando exatamente onde existem problemas e vulnerabilidades no sistema e como eles afetam o desempenho geral. No entanto, a pergunta “Por quê?” É muito mais interessante. - qual é a causa desses problemas e desvios? O aprendizado de máquina pode ajudar a responder a essa pergunta.



O que o Sberbank fez?



Para implementar a análise intelectual dos processos, a equipe de P&D Process Mining do Sberbank desenvolveu uma biblioteca especial.



A biblioteca Python inclui todos os métodos de análise de que você precisa e agora são facilmente acessíveis para experimentação. A primeira versão da solução Open Source inclui recursos que permitem a você:



  • reconstruir gráficos de processo com vários algoritmos;
  • converter gráficos de processo em notação bpmn;
  • calcular várias métricas de processo;
  • fazer clustering e encontrar os principais caminhos dos processos.
  • , k-means, , . , .
  • — . , LOF, Isolation Forest , Process Mining , , , . , . , .


Revelando os principais caminhos do processo:



imagem



Mapa de calor do rendimento do processo:



imagem



Gráfico de variáveis:



imagem



Busca automática de insights:



imagem



Algoritmos de aprendizado de máquina são usados ​​na biblioteca para implementar a análise automática de causa raiz (Root Cause Analysis), como resultado de quais pontos fracos críticos do processo são identificados e os pontos de partida para sua otimização são determinados ... Além disso, a Análise de Causa Raiz permite estabelecer os fatores de influência mais prováveis ​​e as causas dos problemas, ou seja, ajuda a responder às perguntas de quando e por que ocorreram desvios no processo.



Assim, Process Mining é, antes de mais nada, visualização e análise de processos de negócio. Com base nos logs armazenados em sistemas de informação, é possível restaurar o esquema (visual) real da execução do processo na forma como realmente ocorre. O aprendizado de máquina, por sua vez, permite determinar as causas raízes e, assim, entender por que o processo prossegue dessa maneira.



Como aplicamos Process Mining nós mesmos



Temos mais de 12 mil escritórios na Rússia, subsidiárias e bancos fora da Federação Russa, empresas de ecossistema. O Process Mining permite que você "alcance" os processos nos bancos regionais, aos colegas do Sberbank International: já temos experiência, vimos os processos do Cazaquistão, Bielo-Rússia; para nossas subsidiárias: SberLeasing, SberFactoring, etc.



Começamos a usar a tecnologia em 2019. O primeiro e bem-sucedido estudo de ponta a ponta foi a análise do processo de empréstimo. O empréstimo é um enorme processo multifuncional, que na época envolvia vários milhares de funcionários e vários sistemas automatizados.



Coletamos e colamos logs de eventos de vários sistemas, graças aos quais recebemos informações detalhadas sobre a duração do processo em cada etapa, reconstruímos versões reais dos caminhos do processo e as comparamos com as normativas. O processo acabou sendo sobrecarregado com uma variedade de caminhos e variações da passagem de estágios individuais, loops, retornos de estágio em estágio, e isso tudo é perda de tempo e, em última análise, dinheiro. Ineficiências encontradas, loops, ping-pong entre performers e saltos. Construímos um mapa de calor de desempenho por território, que mostrou as diferenças na organização do processo e a velocidade de tomada de decisão na aplicação.



Os comentários dos artistas se tornaram uma fonte valiosa de informações. O módulo ML para análise de textos permitiu agrupar automaticamente, sem uma amostra de treino, os textos de correspondência e obter o TOP motivos porque a aplicação regressa às etapas anteriores, porque o processo é lento.



Tudo isso nos deu as respostas onde precisamos "tratar" o processo.



O Process Mining é eficaz em qualquer processo que deixe uma pegada digital: seja um processo de negócio “emissão de um empréstimo” ou um interno que garanta a “aprovação de um acordo comercial”.



A tecnologia se espalhou no Sberbank na auditoria digital. Para auditoria interna, a análise de processos é uma área de assunto. Process Mining permite que você obtenha um tipo completamente diferente de resultados de alta qualidade, porque:



  1. Os dados digitais são usados ​​para 100% das instâncias de processo. Conseqüentemente, a saída é uma imagem 100% objetiva, o que é difícil argumentar: os proprietários do processo sempre podem verificar os dados. Do ponto de vista da auditoria, essa abordagem é muito boa.
  2. Os algoritmos fornecem percepções que não podem ser obtidas por métodos de auditoria padrão.
  3. Uma grande vantagem da tecnologia digital é a ausência de contato; em uma pandemia, não há outras opções de auditoria. Permite cumprir o plano de fiscalização e trabalhar quando todos estão em condições de trabalho remoto.


A biblioteca SberPM Python está disponível no GitHub no link . Todo cientista de dados pode instalar a solução do Sberbank e começar a analisar processos com tecnologia de mineração de processos.



All Articles