Ferramentas para concorrentes em competições de aprendizado de máquina

As competições de aprendizado de máquina são um fenômeno relativamente novo.

Ele surgiu como resultado do desenvolvimento de tecnologias de inteligência artificial.

No momento, está se desenvolvendo ativamente e atraindo muitas pessoas interessadas.







Benefícios para os organizadores da competição:







  • Um grande número de pessoas qualificadas que trabalham em suas tarefas e tentam resolvê-las melhor do que outras
  • Custos financeiros relativamente pequenos (em comparação com a contratação de especialistas)
  • A solução para o problema, da mais alta qualidade e mais adequada para ele


E os concorrentes também se beneficiam:







  • Reconhecimento público de altas qualificações
  • Prêmios em dinheiro
  • E apenas o prazer de participar e ganhar


Neste artigo, quero considerar várias ferramentas que podem ajudar os participantes a organizar melhor e mais eficientemente o processo, aumentar a probabilidade de ganhar e, em geral, se tornar um especialista mais qualificado.







Vamos começar!







Determinado







Uma plataforma para treinar modelos de aprendizagem profunda.







  • Treinamento acelerado de modelos usando treinamento distribuído de última geração, sem alterar o código do modelo
  • Pesquisa automática de modelos de alta qualidade, com configurações avançadas de hiperparâmetro - dos criadores da Hyperband
  • Agendamento inteligente de suas GPUs e redução dos custos de GPU em nuvem com instâncias preemptivas
  • , , , -
  • DL-
  • ,


Compose







.







  • ,
  • Featurepools
  • EvalML


Featuretools







.









EvalML







AutoML , .







  • Featuretools Compose end-to-end ML-


Pandas Profiling







DataFrame Pandas.







  • df.describe() — df.profile_report()
  • HTML-
  • :
  • : , ,
  • : , Q1, , Q3, , ,
  • : , , , , , , ,
  • : ,
  • : ,
  • : ( , ), (, ) (ASCII)
  • : , , , EXIF


Tpot







, .







  • , ,
  • Python
  • Scikit-learn


Shap







- ML-.









Feature-engine







ML-.







  • ,
  • , , , , ,


Lale







-.







  • ,
  • — JSON -


Biome







.







  • — , ; ; ;
  • — , ; (, , , , , ), (PDF, Word, Excel, HTML, E-mail ); , ; , ,
  • — , ;


DataSketch







.









PyTextRank







.







  • ( , )
  • ( )


Joblib







.







  • Pickle ,


Shampoo







.







  • ,
  • , ,


Michelangelo







Uber.







  • API


Hasty.ai







.









Cortex







.







  • API


Weights & Biases







.







  • -
  • -


SpeedRun







ML-.







  • Weights & Biases
  • - Weights & Biases
  • ,
  • matplotlib


Great Expectations







— , .









Keras Tuner







-.









NanoEdge AI Studio







AI-, MCU C .







  • MCU C
  • Arm Cortex-M
  • (1-20kB RAM/Flash)
  • (1-20ms M4 80MHz)
  • AI
  • C
  • , MCU
  • ML


LabelBox







End-to-end .







  • API (Python, GraphQL) SDK
  • : ,
  • : , 30 FPS ,
  • : , ,
  • API


LabelML







ML- .







  • (2 )
  • , -s, -
  • Tensorboard
  • API


PyCaret







Low-code ML-.







  • -
  • ( 60 )
  • ( , , , - )


CometML













  • , ,
  • — , -, , , ,
  • — , ,


ClearML







ML- (MLOps).







  • ,
  • — , , , , ,
  • GPU/CPU ,
  • — ; ; ,








, , ,









.







Claro, apenas descrever as ferramentas não é suficiente para vencer sempre.

O sucesso depende de muitos outros fatores - saber onde e quando usar uma ferramenta específica ou não, quais são as limitações, como as ferramentas podem ser combinadas, etc. etc.

Espero que, mesmo assim, este artigo seja útil para você e que sua participação no concurso seja mais frutífera e eficaz.







Avance para as vitórias!








All Articles