Níveis de maturidade dos processos de ML (processos relacionados ao aprendizado de máquina)

O aprendizado de máquina está fora da zona de hype. E é difícil dizer sem ambigüidade o quão bom ou ruim isso é, mas o que é absolutamente claro - mais e mais pessoas estão perguntando “onde está o dinheiro?” Em relação aos projetos de ML. E este artigo não será exceção - o hype acabou, precisamos trabalhar.

Se falamos sobre a construção de qualquer processo, pessoalmente gosto muito de usar o termo “nível de maturidade”. Afinal, se você tem uma escala de avaliação compreensível diante de seus olhos, você sempre pode entender onde está, o que o espera adiante, você pode decidir sobre as prioridades e começar a ajustar o que precisa aqui e agora, e não pular alguns de níveis e fazer uma revolução, reinventando a roda na pechincha ... e pode não ser útil mais tarde. Em geral, um exercício útil de todos os pontos de vista.

Teoricamente, você pode pegar os níveis de maturidade do processo padrão descritos no CMMI, ISO / IEC 33001 ou sua descrição mais prática de TI do ITIL e mudá-los para ML. Tentei várias vezes fazer este exercício na prática, mas acabou por ser uma espécie de cavalo esférico no vácuo, que podia e dava uma resposta à questão atual e futura, mas era difícil desenhar uma caminho compreensível. Portanto, olhando em volta, decidi lembrar e sistematizar meu difícil caminho no trabalho em vários projetos de ML, porque o CMMI é bom, mas para um trabalho real você precisa de algo mais específico e prático. De uma forma geral, como resultado, surgiu a descrição de algumas das etapas básicas de desenvolvimento dos trabalhos em projetos de ML. Se eles podem ser chamados de “níveis de maturidade” ou não, é a segunda questão, mas as questões acima foram respondidas e isso é o mais importante.

Então, vamos aos detalhes. Provavelmente, o único nível em que não descobri nada novo e tirei do ITIL é o nível "0" ou "ausente". Como se costuma dizer, se não há processo, então não é de forma alguma, seja sobre TI ou sobre ML. Mas, falando sério, meus 5 níveis / etapas são os seguintes:

• Nível 1. "Entusiastas"

  
  
  
  
  

• Nível 2. "P&D"

  
  
  
  
  

• Nível 3. "Analisar"

  
  
  
  
  

• Nível 4. "Especialidade"

  
  
  
  
  

• Nível 5 "Automatizar"

  
  
  
  
  

Nível 1 "Entusiastas"

- ( ) . , ( ), , , , «Big Data» . Python ( R Matlab … ) -- - . .

— , . , .

2 «»

- , , , . , :

• – -, .., .

  
  
  
  
  

• – . - 80% , .

  
  
  
  
  

• ML . — , . .

  
  
  
  
  

3 « »

, , , . :

• . ( , ), . , .

  
  
  
  
  

• , .. -. , . . , .

  
  
  
  
  

• . , — , ?

  
  
  
  
  

4. «»

, ( , ..), - . , :

• - PROD- DEV/TEST/PROD

  
  
  
  
  

• , .. – , .

  
  
  
  
  

• – - , - . Run the business/Change the business.

  
  
  
  
  

5 « »

, 4- . DataOps&MLops . DVC Feature Store . .

, :

( , ). , , . , , .

, , :

• , ML? ?

  
  
  
  
  

• ?

  
  
  
  
  

• , ?

  
  
  
  
  

, ML - , — .

— ( ) . , ML — Python, R, Azure ML Studio, SPSS SAS, . 1- 5- . . . , ( ), , .

Mas, na verdade, este é um tópico separado para discussão (ou outro artigo, se houver inspiração) - a escolha do caminho ideal de um nível para outro e do que depende, quando e qual software é necessário, qual expertise é necessária , e onde está o lugar para a terceirização e é claro - mas como determinar o ponto, quando parar.