
O novo Flight Simulator da Microsoft é uma maravilha tecnológica que estabelece novos padrões no gênero. A Microsoft e a Asobo Studios usaram o trabalho de vários parceiros para recriar um mundo que parece ser real e vivo, contendo bilhões de edifícios nos lugares certos.
Um deles é uma pequena startup austríaca Blackshark.ai da cidade de Graz, que com apenas cerca de 50 funcionários foi capaz de recriar todas as cidades do mundo usando inteligência artificial e enormes recursos de computação em nuvem.
Antes do lançamento do novo Flight Simulator, nos encontramos com o cofundador e CEO da Blackshark, Michael Patz, para discutir a parceria com a Microsoft e o futuro de sua empresa.

Blackshark é uma ramificação do estúdio de jogos Bongfish , que desenvolveu World of Tanks: Frontline, Motocross Madness e a série de snowboard Stoked. Foi graças a Stoked que a empresa criou o Blackshark, diz Patz.
“Um dos primeiros jogos que desenvolvemos em 2007 foi um jogo de snowboard chamado Stoked and S Stoked Bigger Edition. Foi um dos primeiros jogos com montanhas simuladas em 360 graus: o jogador poderia voar ao redor da montanha em um helicóptero, pousar em qualquer lugar e rolar para baixo. A própria montanha foi criada e descrita procedimentalmente, e obstáculos na forma de vegetação, outros snowboarders e pequenos animais foram colocados. Em seguida, passamos para os gêneros de corrida, atiradores e controle de carro, mas não esquecemos a ideia de colocação processual e descrição de objetos. "
Bongfish voltou a essa ideia enquanto trabalhava no World of Tanks, porque criar mapas enormes com cada pedra colocada à mão seria muito lento.
Aproveitando sua experiência, a Bongfish começou a construir seu próprio departamento de desenvolvimento de IA. Este departamento usou um conjunto de técnicas de aprendizado de máquina para construir um sistema que pode aprender como os designers constroem mapas e, com o tempo, podem criá-los eles próprios. A empresa já começou a utilizar este sistema em vários dos seus projetos, após o que a Microsoft a contactou.
“Quase por acaso, conheci pessoas na Microsoft que procuravam um estúdio para ajudá-los com o novo Flight Simulator. A ideia principal por trás do Flight Simulator era usar o Bing Maps como campo de jogo, mapa e plano de fundo ”, diz Patz.
Mas os dados de fotogrametria do Bing Maps foram capazes de criar réplicas precisas de apenas 400 cidades, e para a maior parte da área do planeta, esses dados não existiam. A Microsoft e a Asobo Studios precisavam de um sistema para construir todo o resto.
Foi então que Blackshark assumiu. Para o Flight Simulator, o estúdio recriou 1,5 bilhão de edifícios a partir de imagens 2D de satélite.
Embora Patz tenha dito que conheceu o pessoal da Microsoft por acidente, vale a pena acrescentar que Graz já teve um departamento do Bing Maps que desenvolveu as primeiras câmeras e versões 3D do Bing Maps. E enquanto o Google Maps conquistou o mercado , o Bing Maps realmente ultrapassou o Google em 3D. Então a Microsoft abriu um centro de pesquisa em Graz e, depois que ele fechou, o talento local foi caçado pela Amazon e outras empresas.
“Portanto, foi muito fácil para nós encontrar pessoas em cargos com requisitos como 'PhD em reconstrução de telhados'”, diz Patz. "Eu nem sabia que tal coisa existia, mas era exatamente o que precisávamos e encontramos duas dessas pessoas."
“É fácil ver por que recriar um edifício 3D a partir de um mapa 2D é um desafio. Não é nem fácil definir o contorno exato de um edifício. "

“Basicamente, fizemos a seguinte tarefa no Flight Simulator: estudamos áreas 2D e procuramos sinais de prédios nelas, que é tarefa da visão computacional”, diz Patz. “Mas se um edifício é obscurecido pela sombra de uma árvore, então precisamos de aprendizado de máquina, porque a sobreposição de sombra torna pouco claro o que faz parte do edifício ... O aprendizado de máquina pode restaurar o resto do edifício. E este é outro exemplo muito simples. "
Embora o Blackshark possa ter usado alguns outros dados, incluindo fotografias, dados do sensor e dados de mapa pré-existentes, o Blackshark teve que determinar a altura dos edifícios e outras características a partir de informações muito limitadas.
O próximo problema óbvio é determinar a altura do edifício. Se houver dados GIS disponíveis, essa tarefa é fácil de resolver, mas para a maioria das áreas do mundo, esses dados simplesmente não existiam ou não eram fáceis de obter. Nesses casos, a equipe pegou uma imagem 2D e estudou várias pistas, como sombras, nela. No entanto, para determinar a altura de um edifício em relação à sombra, você precisa saber a hora do dia, e as imagens no Bing Maps não foram registradas. Em outros casos, o Blackshark os tinha, o que simplificou muito o trabalho. É aqui que o aprendizado de máquina vem ao resgate novamente.

“O aprendizado de máquina segue um caminho ligeiramente diferente”, explica Patz. “Também leva em conta as sombras, mas como é apenas uma figura escura, não sabemos como se comporta. No entanto, se você olhar para um telhado plano, por exemplo, comparar um arranha-céu com um shopping center, o equipamento no telhado de um arranha-céu é diferente do equipamento em um shopping center. Portanto, ao marcar edifícios, ajudamos a aprender IA. ”
Se o sistema souber que a altura média de um shopping center nessa área é geralmente três etaea, ele pode funcionar com isso.
O Blackshark não esconde que seu sistema cometerá erros, e se você comprar o Flight Simulator, verá que há erros na colocação de edifícios no jogo. Patz me informou que um dos maiores desafios deste projeto foi convencer os parceiros de desenvolvimento e a Microsoft a permitir essa abordagem.
“Estamos falando de cerca de 1,5 bilhão de edifícios. Nessa escala, você não pode mais confiar no controle de qualidade tradicional. A abordagem tradicional dos jogos Halo é que você aponta o dedo e diz "esse pixel está ruim, conserte", mas não funciona quando você está desenvolvendo com IA baseada em estatísticas. Pode ser que 20% dos prédios tenham sido criados por engano, e esse é provavelmente o caso do Flight Simulator; mas não poderíamos ter resolvido esse problema de outra forma, porque terceirizar a modelagem de 1,5 bilhão de edifícios não é logisticamente nem financeiramente possível. "
Com o tempo, esse sistema melhorará e, com a transmissão de grandes quantidades de dados do Azure pela Microsoft, os usuários certamente verão as mudanças.

No entanto, a marcação é simplesmente a forma como a equipe do estúdio treina o modelo, e o Blackshark fez muito progresso nessa área. Patz não entra em detalhes, porque isso faz parte do know-how secreto da empresa, graças ao qual foi possível realizar tamanho volume de trabalho com o esforço de apenas 50 pessoas.
“Os rótulos de dados não têm sido uma prioridade para nossos parceiros”, diz ele. “Portanto, usamos nosso sistema de marcação viva, essencialmente marcando o planeta inteiro com as forças de duas ou três pessoas. Isso fornece aos analistas de dados uma ferramenta e uma interface de usuário muito poderosas. Por exemplo, se um analista deseja detectar um navio, ele diz ao algoritmo de aprendizagem o que é um navio e, em seguida, recebe instantaneamente os navios encontrados na imagem amostrada na saída. "
Com base na saída, o analista pode treinar o algoritmo para reconhecer melhor objetos específicos, em nosso exemplo, navios ou shopping centers no Flight Simulator. Patz diz que outras empresas de análise geoespacial tendem a se concentrar em nichos específicos, e as ferramentas do Blackshark são independentes do tipo de conteúdo que está sendo analisado.

É aqui que a visão mais ampla do Blackshark entra em jogo. Como a empresa agora está recebendo boas críticas por seu trabalho com a Microsoft, também está fazendo parcerias com outras empresas que estão remodelando modelos de cidades, como simulações de direção autônoma.
“Nosso objetivo maior é criar um gêmeo digital quase em tempo real do nosso planeta e, especialmente, da superfície do planeta. Isso permitirá que os dados sejam usados de muitas maneiras diferentes nos casos em que a fotogrametria tradicional como o Google Earth ou o Apple Maps não ajuda, porque é simplificada ao nível de fotografias sobrepostas em formas geométricas simples. Para isso, temos um loop de processamento: extraímos informações exploratórias de imagens aéreas, que podem ser imagens 2D ou mesmo conjuntos de pontos 3D. E depois disso, visualizamos a semântica. "
Essa semântica, que descreve o edifício em grande detalhe, tem uma grande vantagem sobre a fotogrametria: na verdade, as informações sobre sombras e iluminação são incorporadas à fotografia, o que torna difícil sobrepor de forma realista diferentes iluminações. Como a Blackshark sabe tudo sobre o prédio que está criando, ela pode aplicar janelas e iluminação a esses edifícios, o que cria cenas noturnas surpreendentemente realistas no Flight Simulator.
As nuvens de pontos, que não são usadas no Flight Simulator, são outra área que o Blackshark está perseguindo ativamente. As nuvens de pontos são muito difíceis de ler, especialmente se você chegar perto delas. A Blackshark usa seus sistemas de IA para analisar nuvens de pontos e determinar o número de andares de um edifício.
“No coração de toda a nossa empresa está o entendimento de que precisamos de uma enorme vantagem tecnológica para realizar uma tarefa. Isso é especialmente verdadeiro para a indústria de videogames, onde projetos tão grandes como Assassin's Creed e GTA enfrentaram os limites do possível: milhares de pessoas trabalham neles, esse trabalho é muito difícil de dimensionar e coordenar entre continentes, ao mesmo tempo em que o transforma em um produto acabado. Era óbvio para nós que um processo mais automatizado ou parcialmente automatizado era necessário para resolver tal tarefa. ”
Embora a Blackshark tenha sido fundada como uma empresa de jogos e agora tenha uma parceria com a Microsoft e a Asobo Studios, seu foco principal não é em jogos, mas em áreas como condução autônoma e análise de dados geográficos. Patz observa que outro bom exemplo desse desenvolvimento é o Unreal Engine, que originalmente era apenas um motor de jogo e agora é usado em todos os lugares.
“Por muito tempo na indústria de jogos, essa situação é muito inspiradora porque quando você desenvolve jogos você percebe como a tecnologia revolucionária pode ser comparada a outras indústrias”, diz Patz. “E se você olhar os simuladores, do militar ao industrial, eles sempre pareceram coxos em comparação com os jogos de corrida. Agora é a hora de a tecnologia de jogos sair da indústria de jogos e começar a ajudar todas as outras indústrias. Acho que Blackshark é um exemplo de como fazer isso. "