Redes de grafos são uma forma de aplicar modelos clássicos de redes neurais para gerar dados. Os gráficos, por não possuírem uma estrutura regular como as imagens (cada pixel possui 8 vizinhos) ou os textos (uma sequência de palavras), permaneceram por muito tempo fora do alcance dos modelos neurais clássicos, muito difundidos no campo do aprendizado de máquina e inteligência artificial . A maioria dos modelos de vetorização de gráficos (construção de uma representação vetorial de vértices em um gráfico) eram bastante lentos e usavam algoritmos baseados em fatoração de matriz ou decomposição de gráfico espectral. Em 2015-16, surgiram modelos de caminhada aleatória mais eficientes (DeepWalk, Line, Node2vec, Hope). No entanto, eles também tinham limitações, porque não afetaram de forma alguma recursos adicionais ao construir um modelo vetorial do gráfico,que podem ser armazenados em vértices ou arestas. O surgimento de redes neurais de grafos tornou-se uma continuação lógica da pesquisa no campo de embeddings de grafos e tornou possível unificar as abordagens anteriores em uma única estrutura.
Para que servem e como são organizados
Uma camada de uma rede neural de gráfico é uma camada normal totalmente conectada de uma rede neural, mas os pesos nela não são aplicados a todos os dados de entrada, mas apenas àqueles que são vizinhos de um determinado vértice no gráfico, além de sua própria representação da camada anterior. Os pesos dos vizinhos e do próprio vértice podem ser definidos por uma matriz de peso comum ou por duas matrizes separadas. Normalizações podem ser adicionadas para acelerar a convergência; as funções não lineares de ativações podem variar, mas a construção geral permanece semelhante. Ao mesmo tempo, as redes convolucionais de grafos receberam seu nome devido à agregação de informações de seus vizinhos, embora os mecanismos de atenção de grafos (GAT) ou modelo de aprendizagem indutiva (GraphSAGE) estejam muito mais próximos dessa definição.
Aplicativo
Sistemas de recomendação
Os gráficos evoluem no contexto das interações do usuário com produtos em plataformas de e-commerce. Como resultado, muitas empresas usam redes neurais gráficas para criar sistemas de recomendação. Normalmente, os gráficos são usados para modelar a interação dos usuários com os produtos, ensinar embeddings levando em consideração uma amostra negativa devidamente selecionada e, ao classificar os resultados, ofertas personalizadas de produtos são selecionadas e mostradas para usuários específicos em tempo real. Um dos primeiros serviços com esse mecanismo foi o Uber Eats : a rede neural GraphSage seleciona recomendações para alimentos e restaurantes.
Embora os gráficos sejam relativamente pequenos para recomendações de alimentos devido a restrições geográficas, algumas empresas usam redes neurais com bilhões de conexões. Por exemplo, o gigante chinês Alibaba lançou embeddings de gráficos e redes neurais de gráficos para bilhões de usuários e produtos. Apenas criar esses gráficos é um pesadelo para o desenvolvedor. Mas, graças ao pipeline Aligraphvocê pode construir um gráfico de 400 milhões de nós em apenas cinco minutos. Impressionante. O Aligraph oferece suporte a armazenamento de gráfico distribuído eficiente, operadores de busca otimizados e várias redes neurais de gráfico nativas. Este pipeline agora está sendo usado para recomendações e pesquisas personalizadas em vários produtos da empresa.
O Pinterest propôs um modelo PinSage que combina com eficiência os vizinhos usando PageRank personalizado e atualiza os embeddings de vértice agregando informações dos vizinhos. O próximo modelo PinnerSagejá pode trabalhar com multi-embeddings para levar em conta os diferentes gostos dos usuários. Esses são apenas alguns exemplos notáveis na área de sistemas de recomendação. Você também pode ler sobre a exploração da Amazon de gráficos de conhecimento e redes neurais de gráfico ou o uso de redes neurais de gráfico pela Fabula AI para detectar notícias falsas . Mas, mesmo sem isso, é óbvio que as redes neurais de gráfico mostram resultados promissores com um sinal significativo das interações do usuário.
Otimização combinatória
As soluções de otimização combinatória estão no centro de muitos produtos importantes nas áreas de finanças, logística, energia, ciência e design eletrônico. A maioria dessas tarefas é descrita por meio de gráficos. E no último século, muito esforço foi gasto na criação de soluções algorítmicas mais eficientes. No entanto, a revolução do aprendizado de máquina nos deu abordagens novas e atraentes. A
equipe do Google Brain usou redes neurais de gráfico para otimizar o consumo de energia, a área e o desempenho dos chips para um novo hardware como o Google TPU... Um processador de computador pode ser representado como um gráfico de memória e componentes lógicos, cada um com suas próprias coordenadas e tipo. Determinar a localização de cada componente, levando em consideração as restrições de densidade de colocação e roteamento de carga, ainda é um processo demorado, uma obra de arte para engenheiros eletrônicos. A combinação do modelo de gráfico com a política e o aprendizado de reforço permite encontrar o posicionamento ideal do chip e criar chips com mais desempenho em comparação com aqueles projetados por humanos.
Outra abordagem envolve a integração do modelo de aprendizado de máquina às ferramentas de solução existentes. Por exemplo, uma equipe liderada por M. Gasspropôs uma rede de grafos que aprende políticas de seleção de variável branch-and-bound: uma operação crítica em ferramentas de solução de programa linear inteiro misto (MILP). Como resultado, as representações aprendidas tentam minimizar a duração das ferramentas da solução e demonstram um bom equilíbrio entre a velocidade de saída e a qualidade da solução.
Em uma colaboração mais recenteDeepMind e Google usam redes de gráficos em dois subproblemas principais resolvidos por ferramentas MILP: co-atribuição de variáveis e restrição de valores alvo. A abordagem baseada em rede neural proposta acabou sendo 2 a 10 vezes mais rápida do que as ferramentas de solução existentes usando enormes conjuntos de dados, incluindo aqueles usados pelo Google para sistemas de planejamento e embalagem de produtos. Se você está interessado nesta área, pode recomendar alguns estudos recentes ( 1 , 2 ), que discutem a combinação de redes neurais de grafos, aprendizado de máquina e otimização combinatória muito mais profundamente.
Visão computacional
Os objetos do mundo real estão profundamente interconectados, de modo que as imagens desses objetos podem ser processadas com sucesso usando redes neurais de grafos. Por exemplo, você pode perceber o conteúdo de uma imagem por meio de gráficos de cena - um conjunto de objetos em uma imagem com suas relações. Os gráficos de cena são usados para encontrar imagens, entender e dar sentido a seu conteúdo, adicionar legendas, responder a perguntas visuais e gerar imagens. Esses gráficos podem melhorar muito o desempenho de seus modelos.
Em uma das obras do Facebookdescreveu que você pode colocar objetos do popular conjunto de dados COCO em um quadro, definir suas posições e tamanhos e, com base nessas informações, um gráfico de cena será criado. Com a sua ajuda, a rede neural de grafos determina os embeddings de objetos, a partir dos quais, por sua vez, a rede neural convolucional cria máscaras de objetos, quadros e contornos. Os usuários finais podem simplesmente adicionar novos nós ao gráfico (definindo a posição relativa e o tamanho dos nós) para que as redes neurais possam gerar imagens com esses objetos.
Outra fonte de gráficos na visão computacional é a justaposição de duas imagens interconectadas. Este é um problema clássico que costumava ser resolvido manualmente com a criação de descritores. Magic Leap, uma empresa de gráficos 3D criou uma arquitetura baseada em redes neurais de grafos chamada SuperGlue . Essa arquitetura permite a correspondência de vídeo em tempo real para reprodução de cena 3D, reconhecimento de localização, localização e mapeamento simultâneos (SLAM). SuperGlue consiste em uma rede neural gráfica baseada no mecanismo de atenção. Ele ensina a encontrar os pontos-chave da imagem, que são então transferidos para a camada de transporte ideal para correspondência. Em placas de vídeo modernas, o modelo é capaz de funcionar em tempo real e pode ser integrado em sistemas SLAM. Mais sobre a combinação de gráficos e visão computacional é descrito nestes estudos: 1 , 2 .
Física e Quimica
A representação de interações entre partículas ou moléculas na forma de gráficos e a previsão das propriedades de novos materiais e substâncias usando redes neurais de grafos permite resolver vários problemas das ciências naturais. Por exemplo, por meio do projeto Open Catalyst , o Facebook e a CMU estão procurando novas maneiras de armazenar energia solar e eólica renováveis. Uma solução possível é converter essa energia por meio de reações químicas em outros combustíveis, digamos, hidrogênio. Mas para isso é necessário criar novos catalisadores para reações químicas de alta intensidade, e os métodos conhecidos hoje como DFT são muito caros. Os autores do projeto postarama maior coleção de catalisadores, decaimentos DFT e linhas de base para redes neurais de grafos. Os desenvolvedores esperam encontrar novas simulações moleculares de baixo custo que complementem as atuais simulações caras que funcionam ao longo dos dias com estimativas eficientes de energia e forças intermoleculares que são calculadas em milissegundos.
Os pesquisadores da DeepMind também usaram redes neurais de gráfico para emular a dinâmica de sistemas de partículas complexos, como água e areia. Ao prever o movimento relativo de cada partícula em cada etapa, pode-se recriar de forma plausível a dinâmica de todo o sistema e aprender mais sobre as leis que regem esse movimento. Por exemplo, é assim que eles tentam resolver o mais interessante dos problemas não resolvidos na teoria dos sólidos - a transição para o estado vítreo... Redes neurais de grafos não apenas permitem emular a dinâmica durante uma transição, mas também ajudam a entender melhor como as partículas afetam umas às outras dependendo do tempo e da distância.
O laboratório de física americano Fermilab está trabalhando no uso de redes neurais de grafos no Large Hadron Collider para processar milhões de dados e encontrar aqueles que podem estar associados à descoberta de novas partículas. Os autores desejam implementar redes neurais de grafos em circuitos integrados lógicos programáveis e embuti-los em processadores para coleta de dados , de forma que redes neurais de grafos possam ser usadas remotamente de qualquer lugar do mundo. Leia mais sobre sua aplicação em física de alta energia em este estudo .
Desenvolvimento de drogas
As empresas farmacêuticas estão buscando ativamente novos métodos de desenvolvimento de medicamentos, competindo ferozmente entre si e gastando bilhões de dólares em pesquisa. Em biologia, os gráficos podem ser usados para representar interações em diferentes níveis. Por exemplo, no nível molecular, as ligações entre os nós denotam forças interatômicas em uma molécula ou interações entre bases de aminoácidos em uma proteína. Em uma escala maior, os gráficos podem representar as interações entre proteínas e RNA ou produtos metabólicos. Dependendo do nível de abstração, os gráficos podem ser usados para identificação direcionada, predição de propriedades moleculares, triagem de alto rendimento, design de novos medicamentos, design de proteínas e reaproveitamento de medicamentos.
Provavelmente, o resultado mais promissor do uso de redes neurais de grafos nessa área é o trabalho de pesquisadores do MIT, publicado na Cell em 2020. Eles aplicaram um modelo de aprendizado profundo chamado Chemprop , que previu as propriedades antibióticas das moléculas: inibir a proliferação de E. coli. Depois de treinar em apenas 2.500 moléculas de uma biblioteca aprovada pelo FDA, o Chemprop foi aplicado a um conjunto de dados maior, incluindo um Hub de Reaproveitamento de Drogas contendo uma molécula de Halicina renomeada após AI HAL 9000do filme "A Space Odyssey 2001". Vale ressaltar que antes disso o Halicina era estudado apenas em relação ao tratamento do diabetes, pois sua estrutura é muito diferente dos antibióticos conhecidos. Mas experimentos clínicos in vitro e in vivo mostraram que o Halicin é um antibiótico de amplo espectro. A comparação extensiva com modelos de rede neural fortes destacou a importância das propriedades Halicin descobertas usando redes neurais de gráfico. Além do papel prático deste trabalho, a arquitetura Chemprop é interessante para outros: ao contrário de muitas redes neurais de grafos, ela contém 5 camadas e 1600 dimensões ocultas, o que é muito mais do que os parâmetros típicos de redes neurais de grafos para tais tarefas. Espero que esta tenha sido apenas uma das poucas descobertas de IA em novos medicamentos futuros. Leia mais sobre essa direção aquie aqui .
Quando as redes neurais gráficas se tornaram uma tendência
Os embeddings de grafos atingiram o pico em 2018, quando os modelos de embedding estrutural e de redes neurais de grafos propostos em 2016 foram testados em diversas aplicações práticas e apresentaram alta eficiência, incluindo o exemplo mais famoso do modelo PinSAGE utilizado nas recomendações da rede social Pinterest. Desde então, o crescimento da pesquisa neste tópico tornou-se exponencial, e há cada vez mais aplicações em áreas onde os métodos anteriores não eram capazes de levar em conta com eficácia a comunicação entre objetos em modelos. Vale ressaltar que a automação do aprendizado de máquina e a busca por novas arquiteturas de rede neural eficientes também receberam um novo impulso para o desenvolvimento graças às redes neurais de grafos.
Eles também são uma tendência na Rússia?
Infelizmente, a Rússia, na maioria dos casos, fica atrás da pesquisa moderna no campo da inteligência artificial. O número de artigos em conferências internacionais e em periódicos importantes é uma ordem de magnitude menor do que artigos de cientistas dos Estados Unidos, Europa e China, e o apoio financeiro para pesquisas em novas áreas encontra resistência no ambiente ossificado de acadêmicos que estão presos em abordagens do século passado e conceder concessões mais com base no princípio do nepotismo gerontocrático, do que realizações reais. Como resultado, em conferências importantes como TheWebConf, ICDM, WSDM, KDD, NIPS, os nomes dos cientistas russos são principalmente afiliados a universidades ocidentais, o que reflete a tendência de fuga de cérebros, bem como a concorrência séria de países avançados no campo de desenvolvimento de IA, especialmente a China. ...
Se você olhar para conferências no campo da ciência da computação com a classificação A * mais alta de acordo com o Core, por exemplo, conferências sobre computação de alto desempenho, o tamanho médio da bolsa para artigos aceitos na trilha principal é de $ 1 milhão, que perde para os programas máximos da fundação científica russa em 15 30 vezes. Nessas condições, pesquisas realizadas em grandes empresas com organização de P&D, de fato, são os únicos impulsionadores na busca por novas abordagens baseadas em redes neurais de grafos.
Na Rússia, a teoria das redes neurais de grafos está sendo estudada na Escola Superior de Economia sob minha liderança, também há grupos na Skoltech e MIPT, a pesquisa aplicada é realizada na ITMO, Universidade Federal de Kazan, bem como no Laboratório de IA de Sber , em projetos de P&D JetBrains, Mail.ru Group, Yandex.
No cenário mundial, os pilotos são Twitter, Google, Amazon, Facebook, Pinterest.
Tendência passageira ou de longo prazo?
Como todas as tendências, a moda das redes neurais de grafos deu lugar a transformadores com suas grandes arquiteturas descrevendo todas as dependências possíveis em dados não estruturados, mas gerando modelos que custam milhões de dólares para treinar e estão disponíveis apenas para megacorporações. As redes neurais de grafos não apenas ocuparam com sucesso seu lugar como um padrão para construir aprendizado de máquina em dados estruturais, mas também provaram ser um meio eficaz de construir atenção estrutural em setores relacionados, incluindo alta eficiência em problemas de aprendizado de múltiplos exemplos e aprendizado métrico . Tenho certeza que é graças às redes neurais graficadas que teremos novas descobertas na ciência dos materiais, farmacologia e medicina. Talvez existam modelos novos e mais eficientes de big data com propriedades de transferência de conhecimento entre diferentes dados de gráfico.Os modelos vão superar os problemas de aplicabilidade de grafos, cuja estrutura é oposta à semelhança de recursos, mas, em geral, essa área de aprendizado de máquina se tornou uma ciência independente, e é hora de mergulhar nisso agora, isso é uma rara chance de participar do desenvolvimento de uma nova indústria, tanto na ciência quanto nas aplicações industriais.
Se você deseja aprimorar suas habilidades em aprendizado de máquina e estudar redes neurais de grafos, estamos esperando por você em nossa MADE Big Data Academy .