Prefácio
Olá!
A pergunta do título não é retórica, estou muito interessado. Se de repente alguém souber a resposta, por favor escreva nos comentários, talvez eu tenha tentado ir do lado errado.
Esclareço também que não tenho objetivo de reclamar de alguém, portanto, nas respostas dos ministérios, retirei todos os carimbos com nomes e assinaturas dos responsáveis. Estou interessado em entender como esse sistema funciona.
Como é que tudo começou?
Tudo começou com o facto de no final de 2019 me aperceber que na minha anterior área de actividade profissional tinha atingido um certo pico e um maior desenvolvimento nesta área para mim:
- não interessado
- é possível, mas corresponde plenamente ao princípio de Pareto, onde eu teria que despender muito esforço por causa de perspectivas ilusórias, e mesmo não tão desejável como me parecia no início da jornada.
Graças a um encontro significativo com amigos, percebi que um desejo antigo, afogado por vários motivos, é “ir para as TI”, nomeadamente no ML e, especificamente, posso ter sucesso. Não vou descrever como estudei, mas foi realmente intenso, produtivo e o mais importante, emocionante, tanto que tive que me forçar a descansar. No final, eu fui para quebrar. Ele largou o antigo emprego e dedicou quase todo o tempo livre aos estudos.
Com o tempo, comecei a pensar em encontrar um emprego em um novo negócio favorito, mas então a história com a Covid começou. Além disso, não é segredo que o aprendizado de máquina recentemente se tornou um tema muito na moda e, como resultado, um número significativo de candidatos a vagas de juniores / trainees na área de DS apareceu no mercado de trabalho. Juntos, esses 2 fatores, para mim pessoalmente, significavam que mesmo com bons resultados em várias competências para o empregador, eu era apenas um dos muitos recém-chegados na área, assim como eu, e tinha poucas chances de chegar ao estágio de entrevista.
Depois de refletir e perceber que a única maneira de me diferenciar favoravelmente das demais é a presença de bons projetos, comecei a buscar um tema para o primeiro projeto. Quando eu estava apenas começando a estudar ML, estava explodindo com o número de ideias, mas na hora que escolhi o tema do projeto, essas ideias diminuíram, porque já tendo me aprofundado um pouco nas especificidades, comecei a pensar um pouco diferente - “sim, é uma boa ideia, mas um currículo aberto não é adequado devido ao seu treinamento preliminar e para ensinar o meu, não terei recursos e dados suficientes, apenas se você não pegar uma rede GAN e gerar imagens com a sua ajuda. Além disso, há restrições às solicitações para a versão gratuita da API e, para descarregar um conjunto de dados normal, você precisa de muito tempo ou dinheiro "e assim por diante.
Decidindo ir do outro lado, voltei ao Kaggle, abri os conjuntos de dados, classifiquei-os por "gostosura" e então me dei conta. Covid está no quintal! O que poderia ser melhor - fazer não apenas um projeto, mas um projeto sobre um tópico exagerado! Então eles provavelmente vão me notar e me arrancar com as mãos. Então pensei então. Sim, schazz.
Olhando para o futuro, não posso deixar de notar que, apesar de todas as minhas pequenas, mas vantagens, minhas respostas a xx foram abertamente ignoradas ou educadamente recusadas, mesmo para as vagas para as quais fui recomendado por um funcionário interno da empresa. Em apenas um mês de procura de emprego, houve cerca de 70 respostas da minha parte, e parece que 3 entrevistas após as quais eu mesmo tomei uma decisão negativa. Não sei exatamente como foi o caso em cada caso individual, mas suspeito que o assunto seja na idade (30+), falta de formação / experiência especializada e projetos tortuosos.
Mas, especificamente, essa história de procura de emprego com um bom final - meu gerente atual me encontrou em xx sozinho, passei rapidamente pelos estágios das entrevistas e agora estou fazendo análises, inclusive usando ML, e realmente gosto disso. Além disso, eles me pagam por isso! Provavelmente não vou dizer isso na cara do meu líder por causa da minha certa introversão, mas muito obrigado se você ler isso de repente)
Bem, ok, eu estava muito empolgado na direção das letras. Mais próximo
Para negócios
Tendo obtido tudo no mesmo conjunto de dados caggle (https://www.kaggle.com/parthachakraborty/pneumonia-chest-x-ray), escrevi uma pequena rede sequencial com uma precisão de cerca de 85%. No final, peguei um conjunto de dados com pneumonia como um todo, e não com pneumonia por covid, pois não encontrei conjuntos com um número significativo de fotos do COVID-19, mas naquela época eu sabia pouco sobre métodos de aumento.
Felizmente, lembrei-me de que tenho um amigo, radiologista, com a ajuda de quem aprendi alguns detalhes sobre as diferenças no diagnóstico da pneumonia pelas tomografias e pelos métodos de raios-X. Enviei-lhe também as imagens classificadas pela modelo, que tirei da imensidão da teia de aranha a pedido de "radiografias de pulmões infectados com pneumonia". Os resultados são um pouco piores do que eu esperava. Assim, em várias fotografias que a rede percebia como pneumonia bacteriana, na verdade, havia tuberculose, que simplesmente não estava na amostra de treinamento, mas fora isso o percentual de erros correspondeu ao model.score (X_valid, y_valid).
Eu estava exultante. Ainda assim, eu estava fazendo ciência de dados real, e não fazendo a 70ª apresentação em uma tentativa de entrar no 1% superior, prevendo preços em Melbourne. Eu não ficaria surpreso se descobrisse que os corretores de imóveis locais têm soluços ao tentar avaliar uma casa. Desculpe, não pude resistir.
Em geral, fiquei inspirado, enviei uma nova dúzia de respostas e ... novamente, nada.
Quando esta ideia me veio à mente, não posso dizer que fui guiado exclusivamente por boas intenções como paz-paz, salvar os pobres e outros. Não, o meu objetivo era encontrar um emprego o mais rápido possível, e para isso eu precisava me destacar de forma positiva na multidão do mesmo “Quero estar no ML”.
Mas ao mesmo tempo, passando pela crise da adolescência “por que estamos aqui?” E sendo ateu, determinei para mim mesmo meu credo - que quero fazer do mundo um lugar melhor, porque o resto, no meu entendimento, não tem valor real em grande escala. Idealista e ingênuo? Sim, isso é verdade e o que eu fiz e por que estou escrevendo este post segue-se dessas minhas qualidades.
Decidi escrever para a recepção do Presidente da Federação Russa uma proposta de aproximadamente o seguinte caráter (não preservei o texto exato, uma vez que está escrito em um formulário especial no site da recepção): “Eu, tal e tal, no âmbito da designação pelo Presidente da Federação Russa de áreas-chave desenvolvimento do estado, nomeadamente, no âmbito da aplicação do ML nas várias esferas do estado, proponho o seguinte: organizar a recolha e armazenamento de imagens radiográficas, e tornar este armazenamento acessível para processamento por métodos de ML e possibilidade de feedback. " Então, descrevi brevemente meu modelo, indiquei que mesmo eu, com minha pequena bagagem de conhecimento, fui capaz de fazer um modelo recomendatório que poderia funcionar em conjunto com um radiologista e ser útil. E na Rússia há um número significativo de entusiastas de DC com alto nível de conhecimento / habilidades que podem fazer muito não apenas no campo da medicina,mas também em outras áreas onde, em princípio, você pode aplicar o ML.
Infelizmente, não lembro o texto exato do apelo, pois foi em março ou abril, mas o sentido geral é exatamente o mesmo.
Desenvolvendo este tópico, agora eu acrescentaria que, em princípio, é necessário coletar e agregar a maior quantidade possível de dados abertos e implementá-los no análogo do Kaggle, onde também seria possível definir tarefas, discutir suas soluções e encontrar as melhores. O Rosstat já está fazendo algo parecido com relação à publicação de dados, até consegui analisar algo, mas esse tópico precisa ser mais desenvolvido.
A mensagem foi registrada, sobre a qual veio uma carta separada, mas ainda assim fiquei bastante surpreso quando vi a resposta. A primeira resposta foi do Ministério da Saúde. Foi curto e conciso.
A essência da resposta, a meu ver, é "ok, obrigado, não faça."
Achei que era o fim da história, mas veio outra resposta do Ministério da Indústria e Comércio. A resposta é muito detalhada e detalhada, mas tive a sensação de que eles receberam informações distorcidas ou simplesmente me compreenderam mal.
Não pedi qualquer ajuda financeira para a implementação deste projecto, aliás, não escrevi uma palavra que queira participar (embora naturalmente não me negue). Bem, eles responderam, bem, e obrigado por isso.
Eu teria me esquecido dessa história com segurança se não tivesse regularmente encontrado notícias como esta ou esta (muito recentes) ou especialmente esta . Depois de ler, ri um pouco, porque foi exatamente sobre isso que escrevi.
Resultado
Fuh, bem, a postagem saiu.
Estas são as perguntas-chave que eu queria fazer.
Quem está envolvido na implantação do ML nos “processos de negócios” do estado? Quem está liderando essas pessoas?
É centralizado ou cada ministério tem seus próprios cientistas de dados? Eles estão mesmo no aparato estatal?
Vi o texto da estratégia nacional de desenvolvimento da inteligência artificial para o período até 2030, mas ainda tenho dezenas de perguntas, a quem posso fazer? Para obter uma resposta razoável, é claro.
Pelas respostas que recebi, tenho algumas dúvidas de que esta estratégia não seja apenas uma declaração de intenções, mas sim um plano real, e que todo este empreendimento não resultará no financiamento de vários projetos vitrines "próprios", que serão então referidos, observando o sucesso da estratégia.
Em geral, alguém que leu este post está implementando algum programa desta estratégia?
Obrigado a todos por dedicarem n minutos do seu tempo!