Unicórnio de rinoceronte mítico. MS TECH / PIXABAY O
treinamento em menos de uma tentativa ajuda um modelo a identificar mais objetos do que o número de exemplos em que treinou.
Normalmente, o aprendizado de máquina requer muitos exemplos. Para que um modelo de IA reconheça um cavalo, você precisa mostrar a ele milhares de imagens de cavalos. É por isso que a tecnologia é tão cara em termos computacionais e muito diferente do aprendizado humano. A criança geralmente precisa ver apenas alguns exemplos de um objeto, ou mesmo um, para aprender a reconhecê-lo para o resto da vida.
Na verdade, as crianças às vezes não precisam de nenhum exemplo para identificar nada. Mostre fotos de um cavalo e um rinoceronte, diga a eles que o unicórnio está no meio e eles reconhecerão a criatura mítica no livro de imagens assim que o virem pela primeira vez.
Mmm ... Na verdade não! MS TECH / PIXABAY
Agora, uma pesquisa da Universidade de Waterloo em Ontário sugere que os modelos de IA também podem fazer isso - um processo que os pesquisadores chamam de aprendizado "em menos de uma" tentativa. Em outras palavras, o modelo de IA pode reconhecer claramente mais objetos do que o número de exemplos em que treinou. Isso pode ser crítico em uma área que se torna cada vez mais cara e inacessível à medida que os conjuntos de dados em uso aumentam.
« »
Os pesquisadores demonstraram essa ideia experimentando um conjunto de dados de treinamento de visão por computador conhecido como MNIST. O MNIST contém 60.000 imagens de dígitos manuscritos de 0 a 9, e o conjunto é frequentemente usado para testar novas ideias nesta área.
Em um artigo anterior, pesquisadores do Instituto de Tecnologia de Massachusetts apresentaram um método de “destilar” conjuntos de dados gigantes em pequenos. Como prova de conceito, eles compactaram o MNIST em 10 imagens. As imagens não foram amostradas do conjunto de dados original. Eles foram cuidadosamente projetados e otimizados para conter o equivalente a um conjunto completo de informações. Como resultado, quando treinado nessas 10 imagens, o modelo AI atinge quase a mesma precisão que o treinado em todo o conjunto MNIST.
Amostras de imagens do conjunto MNIST. WIKIMEDIA
10 retratado, "destilado" do MNIST, pode treinar um modelo de IA para atingir 94 por cento de precisão no reconhecimento de dígitos manuscritos. Tongzhou Wang e outros
pesquisadores da Universidade de Wotrelu queriam continuar o processo de destilação. Se é possível reduzir 60.000 imagens para 10, por que não compactá-las para cinco? O truque, eles perceberam, era misturar vários números em uma imagem e então alimentá-los em um modelo de IA com os chamados rótulos híbridos ou "suaves". (Imagine um cavalo e um rinoceronte que receberam as características de um unicórnio.)
“Pense no número 3, parece o número 8, mas não o número 7”, diz Ilya Sukholutsky, estudante de pós-graduação em Waterloo e principal autora do artigo. - As marcas suaves tentam capturar essas semelhanças. Portanto, em vez de dizer ao carro: "Esta imagem é o número 3", dizemos: "Esta imagem é 60% o número 3, 30% o número 8 e 10% o número 0" ".
Limitações do novo método de ensino
Depois que os pesquisadores usaram com sucesso rótulos suaves para alcançar adaptações MNIST para o aprendizado em menos de uma tentativa, eles começaram a se perguntar até onde a ideia poderia ir. Existe um limite para o número de categorias que um modelo de IA pode aprender a identificar a partir de um pequeno número de exemplos?
Surpreendentemente, parece não haver limitação. Com soft labels cuidadosamente projetadas, mesmo dois exemplos poderiam teoricamente codificar qualquer número de categorias. “Com apenas dois pontos, você pode dividir mil classes, ou 10.000 classes, ou um milhão de classes”, diz Sukholutsky.
Repartição de maçãs (pontos verdes e vermelhos) e laranjas (pontos laranja) por peso e cor. Adaptado da apresentação de Jason Mace Machine Learning 101
Isso é o que os cientistas mostraram em seu último artigo por meio de pesquisas puramente matemáticas. Eles implementaram esse conceito usando um dos algoritmos de aprendizado de máquina mais simples, conhecido como k-mais próximos vizinhos (kNN), que classifica objetos usando uma abordagem gráfica.
Para entender como o método kNN funciona, vamos pegar um problema de classificação de frutas como exemplo. Para treinar o modelo kNN para entender a diferença entre maçãs e laranjas, primeiro você precisa selecionar as funções que deseja usar para representar cada fruta. Se você escolher a cor e o peso, para cada maçã e laranja você insere um ponto de dados com a cor da fruta como valor x e peso como valor y... O algoritmo kNN então plota todos os pontos de dados em um gráfico 2D e desenha uma linha no meio do caminho entre maçãs e laranjas. Agora o gráfico está dividido em duas classes, e o algoritmo pode decidir se os novos pontos de dados representam maçãs ou laranjas - dependendo de qual lado da linha o ponto está.
Para estudar o aprendizado em menos de uma tentativa com o algoritmo kNN, os pesquisadores criaram uma série de minúsculos conjuntos de dados sintéticos e elaboraram cuidadosamente seus soft labels. Eles então deixaram o algoritmo kNN representar graficamente os limites que viu e descobriram que dividiu com sucesso o gráfico em mais classes do que havia pontos de dados. Os pesquisadores também controlaram amplamente onde as fronteiras passam. Usando várias modificações nos rótulos suaves, eles forçaram o algoritmo kNN a desenhar padrões precisos na forma de flores.
Os pesquisadores usaram exemplos de soft-label para treinar o algoritmo kNN para codificar limites cada vez mais complexos e quebrar o diagrama em mais classes do que possui pontos de dados. Cada uma das áreas coloridas representa uma classe separada e os gráficos de pizza ao lado de cada gráfico mostram a distribuição de rótulos programáveis para cada ponto de dados.
Ilya Sukholutskiy et al.,
Vários diagramas mostram os limites construídos usando o algoritmo kNN. Cada gráfico tem mais e mais linhas de limite codificadas em pequenos conjuntos de dados.
Claro, esses estudos teóricos têm algumas limitações. Embora a ideia de aprender com "menos de uma" tentativa fosse desejável para ser transferida para algoritmos mais complexos, a tarefa de desenvolver exemplos com um rótulo "suave" torna-se muito mais complicada. O algoritmo kNN é interpretável e visual, permitindo que as pessoas criem rótulos. As redes neurais são complexas e impenetráveis, o que significa que o mesmo pode não ser verdade para elas. A destilação de dados, que é boa para desenvolver exemplos de soft-label para redes neurais, também tem uma desvantagem significativa: o método requer que você comece com um conjunto de dados gigantesco, reduzindo-o a algo mais eficiente.
Sukholutsky diz que está tentando encontrar outras maneiras de criar esses pequenos conjuntos de dados sintéticos - manualmente ou com outro algoritmo. Apesar dessas complexidades adicionais de pesquisa, o artigo apresenta os fundamentos teóricos da aprendizagem. “Independentemente de quais conjuntos de dados você tem, pode obter ganhos de eficiência significativos”, disse ele.
É isso que interessa a Tongzhou Wang, um estudante de graduação do Instituto de Tecnologia de Massachusetts. Ele dirigiu a pesquisa anterior sobre dados de destilação. “Este artigo se baseia em uma meta realmente nova e importante: treinar modelos poderosos a partir de pequenos conjuntos de dados”, diz ele sobre a contribuição de Sukholutsky.
Ryan Hurana, pesquisador do Instituto de Ética de Inteligência Artificial de Montreal, compartilha esta visão: "Mais importante, aprender em menos de uma tentativa reduzirá drasticamente os requisitos de dados para a construção de um modelo funcional." Isso poderia tornar a IA mais acessível para empresas e setores que até agora têm sido prejudicados por requisitos de dados nesta área. Isso também pode melhorar a privacidade dos dados, pois os modelos de utilidade de treinamento exigirão menos informações das pessoas.
Sukholutsky enfatiza que a pesquisa está em um estágio inicial. No entanto, já excita a imaginação. Sempre que um autor começa a apresentar seu artigo a outros pesquisadores, a primeira reação deles é argumentar que a ideia está além do reino das possibilidades. Quando de repente eles percebem que estão errados, um novo mundo se abre.
