Isso é o que acontece se você tropeçar ao atirar.
Nós em Tutu realizamos uma competição para o monumento mais incomum da Rússia por quase seis meses. Em nosso país, existe um monumento ao teclado em Yekaterinburg, um zelador sempre dando as costas para você, um rato de laboratório que tricota DNA na direção oposta, um mosquito de dois metros e tudo mais.
Queria garantir as mesmas condições em termos de avaliação do monumento para todos votarem. Não que dependam do fotógrafo, do clima do local, da hora do dia e da curvatura dos braços, mas realmente trazem tudo para um determinado denominador comum. Na publicidade, esse problema é resolvido simplesmente renderizando em vez de uma foto.
Bem, eu peguei e me ofereci para fotografar cada monumento e fazer um modelo 3D automaticamente com base nas fotos - algo como uma varredura 3D de tênis, apenas para o monumento. À primeira vista, a tarefa parecia viável se você tivesse acesso a uma grande comunidade de viajantes de diferentes cidades. Nós temos.
Mas então eu ainda não sabia que alguns monumentos teriam que ser esculpidos em plasticina em casa, alguns foram “arrancados” do suporte, e alguns estão localizados em um território fechado de algum tipo de produção pacífica entre duas cidades da Sibéria.
Em geral, quero compartilhar com vocês os modelos STL licenciados para uso não comercial de 10 finalistas do concurso. E falar sobre o ancinho apalpado na fotogrametria, que permite fazer essas operações com um orçamento muito razoável. O orçamento era de 2.500 rublos por modelo.
Processo de filmagem
Em primeiro lugar, percorremos os monumentos aleatórios disponíveis não muito longe de nós para percebermos exactamente como escrever instruções àquelas pessoas distantes das TI e da fotografia que se comprometeram a ajudar-nos a fotografar monumentos.
A essência do método é pegar uma câmera, andar ao redor do monumento três vezes em um círculo a partir dos pontos central, inferior e superior, de modo que o monumento esteja sempre totalmente enquadrado, além de completar os detalhes como elementos internos.
Se o monumento for alto - tudo vem de baixo, se estiver abaixo da altura humana ou se houver um drone - você pode circulá-lo por cima.
Você pode fotografar com qualquer coisa - desde um drone GPS (caro para alugar e difícil de usar) até um telefone que todos possuem. Na prática, após uma série de experimentos, descobriu-se que é melhor fotografar com uma câmera simples, mas ainda assim uma reflex com uma lente comum (a melhor baleia). Você também pode usar uma câmera sem espelho cara, mas onde encontrá-la na Rússia? Por que uma lente comum e uma DSLR são importantes - porque um passo adiante precisamos de arquivos RAW, que levaremos ao Lightroom, onde um perfil de correção para a lente será sobreposto na parte superior para corrigir a geometria. Se tal perfil não for encontrado ou for de alguma forma criativamente raro, perderemos a precisão e o modelo poderá se transformar repentinamente em uma abóbora.
Aqui está um exemplo de como se transformar em uma abóbora:
Você reconhece o monumento "Encontro", onde um homem com flores voa em direção ao amor? Não? Mas eles deveriam. É verdade que aqui a garota caiu de uma escada durante o tiroteio.
Dessa perspectiva, é provavelmente mais compreensível: o
STL final com ele é renderizado assim. O monumento, aliás, ficou em segundo lugar na competição. A história com ele é excelente: primeiro ele voou pela porta com pizza, depois a pizza foi substituída por um buquê de rosas, um buquê de rosas - com um buquê de flores silvestres e colocado incorretamente, aprofundando meio metro a mais, depois o monumento começou a atingir os transeuntes na cabeça com estas margaridas:
Também será importante para nós extrair detalhes nas sombras, remover aberrações cromáticas, adicionar nitidez e descolorir verdes. Alguns dos monumentos que foram removidos no final da competição já estavam sob a neve da Sibéria. A neve não foi resolvida no Lightroom, mas pintada sobre a textura no Substance Painter, mas mais sobre isso depois.
Metodologia de tiro
Então, para montar um monumento, você precisa fazer três círculos em um objeto típico:
1. Do ponto médio.
2. Do ponto inferior.
3. Do ponto superior.
Também há detalhes dentro dos monumentos, então você precisa entrar suavemente, tirando fotos, e sair suavemente, tirando fotos. Em todas as cavidades após os círculos, saímos e entramos suavemente de forma que os deslocamentos entre os quadros sejam mínimos, porque este software shaitan deve calcular os vetores de deslocamento em cada quadro e entender como a coordenada do fotógrafo mudou.
Profissionais reais usam uma estação de referência RTK, mas somos orientados pela comunidade, lembra?
Filmamos em um ângulo amplo. O melhor de todos os 18 mm ou 24 mm em 1,6 colheitas. A abertura está fechada para 7,1 ou 9. Há problemas com lentes fixas de 50 mm: por exemplo, a maioria dos pequenos monumentos foram filmados com elas e em quase qualquer número f parte do monumento caiu e o software ficou sem brilho . Se o monumento tiver até um metro de altura, você pode atirar até em f / 9-11, mas as bordas do modelo irão se deteriorar ainda mais.
Foi assim que o panda e o urso se formaram, amizade entre a Rússia e a China para sempre. Apenas o pedestal:
no final, encomendamos a modelagem desses ursos a um escultor 3D, pois eles não se juntaram após a segunda filmagem. Eles se parecem com isto:
Os monumentos são feitos de diferentes materiais. O melhor de tudo é concreto (não para um monumento, para fotografar). O concreto é tão confiável quanto o Boris Razor. O concreto tem massa e quase nenhum brilho. Mas existem monumentos feitos de metal e com bordas brilhantes. O brilho do ponto de vista do software são buracos no modelo.
Por isso, tentamos captar o tempo nublado (é quando o céu fica coberto por uma fina camada de nuvens e é um grande difusor do sol, ou seja, a luz vem de todos os lugares, praticamente a melhor luz de retrato). Ao mesmo tempo, o clima deve estar estável, porque as filmagens levam algum tempo e não precisamos realmente mudar a luz e a cor. O tempo nublado remove o brilho excessivo. Os locais com prata ainda irão dobrar para dentro nos modelos, e isso terá que ser feito, mas devido ao clima, você pode jogar com muita qualidade na montagem automática. Alguém pode perguntar: por que você não usou um spray de esteira? Tudo pelo mesmo motivo de crowdsourcing: temos pessoas comuns que podem aplicá-lo incorretamente, além disso, ele deve ser limpo com um pincel. E, nessa situação, a polícia pode confundir o fotógrafo com um vândalo.
Para aqueles monumentos que não excedem em muito a altura humana, uma escada é necessária para o terceiro círculo e atirando no topo do monumento. No final da competição, aprendemos a texturizar os topos que faltam, para que a câmera não gire apenas no plano horizontal, e os caras já tenham preenchido a mão, e essas ações adicionais não exigiram um grande aumento no tempo de processamento .
Um monumento esférico ideal precisa de 18 quadros em um círculo. Um monumento ideal seria um globo. Se ele fosse do tamanho de um humano. Mas devido ao seu enorme tamanho, tive que removê-lo do helicóptero.
O resto é mais complicado. Aqui está um zelador Yakut do Faceless (por outro lado, ele é exatamente o mesmo), ele precisa de cerca de cem frames:
Mas a bomba de óleo de mosquito de Noyabrsk já requer mais pessoal. Ele ficou em terceiro lugar na competição. Agora, mais uma vez, olho para os pés da bomba de óleo e novamente tenho vontade de chorar. Nossos modelos são imperfeitos, claro, mas este também brilhava fortemente com todas as suas partes:
E nosso recordista - Gorynych de Lipetsk, duas passagens de 700 quadros, e ainda o modelo bruto era assim:
Devido ao número de fotos, o céu com nuvens foi levantado, o que não era estático, então aconteceu o que aconteceu:
O último para comparação está aqui:
Gorynych e monumentos semelhantes foram coletados por um longo tempo. Dragão 3 dias, primeiro jogado, expulso, descobriu-se um monte de lixo. Na segunda execução, eles limparam, deixando um terço do número total de quadros. Na terceira abordagem, as máscaras foram feitas para cerca de 100 frames (ou seja, foram recortadas no Photoshop, o dia todo nas 4 mãos dessa cobra, da forma mais limpa possível), e após as máscaras no terceiro dia conseguimos mais ou montagem menos limpa.
Sobre o Gorynych, ficamos sabendo que um brinquedo antigo era usado como referência para esculpir o dragão, mas não conseguimos pegá-lo e o escultor se afastou o suficiente. Digamos apenas que ele o utilizou para estudar a anatomia desse animal e seu plástico.
E também temos muitos monumentos com muitos detalhes. Literalmente, a partir de um monte de detalhes:
Monumento "Tempo". Região de Magadan, Magadan.
Este chegou à final:
Escultura "Dinossauro". Região de Pskov, Opochka.
Neste ponto você pode me perguntar: era realmente impossível pedir aos escultores, clientes ou autores as ideias do modelo segundo o qual eles fizeram isso? Eu respondo: surpreendentemente, ninguém tinha modelos. Além disso, enquanto conversávamos com os escultores e proprietários dos monumentos, eles concordaram alegremente em divulgar os modelos para uso não comercial, porque a digitalização do monumento é uma grande vantagem para eles.
Mas houve algumas exceções. Em primeiro lugar, em Novosibirsk, no território do instituto de pesquisa, há um camundongo que tece DNA. Sobre ela, os cientistas disseram que eles próprios fariam a fotogrametria e enviariam. E eles fizeram. E eles enviaram o modelo.
Software de fotogrametria
Tentamos primeiro a versão demo do 3DZephirus. A propaganda diz que lá são todos deuses, tudo está indo bem com ele e em geral é preciso comprar mais rápido. É bom que haja uma demonstração. Em geral, você pega qualquer pacote de código aberto (no nosso caso, Meshroom) - e em nossas fotos de entrada tudo é montado centenas de vezes melhor. Adeus 3DZephirus, obrigado por economizar $ 3.000. Em defesa desse software, observo que ele realmente coleta melhor as gravações em estúdio com deslocamentos milimétricos. Mas este não é o nosso caso.
Então eu vi um amigo meu montar um tênis para um comercial usando o
Agisoft Metashape. Há uma boa tradução sobre este pacote em Habré, aqui está... Encontramos outro software por 699 rublos por mês RealityCapture (excelente software que coleta em 2 cliques, na maioria da montagem eles usaram no final). E vi o Meshroom grátis. É open source, na verdade, parece um conjunto de autodesk para limpar o modelo. E limpa perfeitamente. Como resultado, coletamos o monumento através do Agisoft, Meshroom, RealityCapture (o mais simples de todos com um excelente resultado, trocamos para ele no final) e o limpamos no Meshmixer (também gratuito da Autodesk).
Então descobrimos que os entusiastas que estavam ansiosos para nos ajudar, às vezes não, não, mas se desviaram da metodologia. Escrevemos um documento muito detalhado sobre como preparar uma câmera, como fotografar, mas descobrimos que você não precisa apenas dizer "como deveria ser no caso ideal", mas também descrever erros típicos. Um erro típico foi nos mostrar alguns detalhes do software de montagem adicionalmente ou salvar um círculo, porque tudo está claro de qualquer maneira.
Alguém não sabia que fechar a abertura é um aumento no número f, não uma diminuição. Eles começaram a indicar mais especificamente, porque existe uma confusão até mesmo entre F e f.
Para alguns, a velocidade do obturador “menos (mais curta) 1/100” acabou sendo 1/20, porque 20 é menos que 100. Ou aqui está uma chamada “Eu fotografei, mas você escreveu aqui para filmar em RAW, eu ' m em JPG, nada? Ele também é bacana, mas só um pouquinho na escuridão das mãos do monumento, nada, né? ”
Eles trouxeram a ideia de que, se você já começou o círculo, tem que ir até o final, sem se distrair com a cavidade do monumento. Alguns objetos foram disparados 3 vezes por causa disso. Algo assim acontece quando o caminho é violado (Monumento "Encanador Stepanych". Região de Omsk, Omsk):
Coletar vídeo é ruim, porque quase todo software corta em quadros e os usa como quadros de referência. Existem softwares que podem usar cada quadro e até restaurar uma imagem com uma resolução mais alta de dois quadros adjacentes do que os dois originais, mas isso não é de forma alguma nossa tarefa e nem nosso orçamento.
Exemplos específicos de monumentos onde algo deu errado
Aqui, o proprietário do monumento filmou a si mesmo, o mapa da Federação Russa não foi coletado sob seus pés. A solução mais simples é restringir o eixo de rotação da câmera. Este monumento só pode ser visto em círculo, sem voar para cima e para baixo:
Aqui está o lobo Tambov. Foi filmado ao nascer do sol, teve muitos destaques por trás, reinou por muito tempo. O ponto principal é que eles filmaram as costas ao nascer do sol contra o sol e captaram o brilho intenso das "lebres" nas lentes, então não estava indo bem.
The Chocolate Fairy de Pokrov: filmado ao amanhecer também. O monumento é de bronze, as pessoas o acendem. Há muitas superexposições nos locais onde o bronze é esfregado:
Árvore dos desejos em Bryansk: o anjo só pode ser removido do helicóptero, teve que ser modelado manualmente a partir de fotografias.
Inicialmente, tentamos moldar o mesmo com nossas próprias mãos em plasticina e escanear usando fotogrametria em estúdio. Como resultado, ficou mais fácil modelar:
Compramos dois modelos: este é o monumento "Chizhik" (muito pequeno, na verdade foi modelado a partir da foto) e a cabeça de Lenin na Buriácia. Como a cabeça de Lenin é muito grande e esférica, um helicóptero foi necessário lá. Outros 16 foram modelados por nós: por exemplo, é mais fácil desenhar um monumento de teclado a partir de uma foto do que fazer fotogrametria. Aqui fomos muito ajudados por estagiários que estudaram para ser designers 3D.
Ocorreram problemas quando um determinado monumento não apresentava um erro de software. Ele apenas aceita e não tem a intenção. Da mesma câmera o outro ficou junto, mas na nossa cai. Vamos ao fórum da Agisoft e perguntamos. Somos informados: bem, história conhecida em Radeon, atualize a lenha. E nós os temos os mais novos, geralmente nVidia. E para nós: não, nisso tal erro, em princípio, não pode ser. Compre Radeon e atualize sua lenha.
Alguns monumentos não podem ser totalmente ignorados se estiverem perto de uma parede ou penhasco. Terminator de Glazov precisa ser impresso com uma parede.
Cachorro Druzhok de Blagoveshchensk - ele está preso ao granito do lado próximo ao rio. Atrás dele estão as escadas. Para atirar corretamente - apenas um drone, na verdade, não há um círculo normal:
O trem a jato em Tver foi parcialmente modelado, pois os componentes individuais já estavam quase prontos - eles pegaram o trem, instalaram os motores:
Modelos finalistas
Estes monumentos chegaram à final:
E o monumento da escrita Tuvan, que se encontra na Reserva-Museu Beldir-Kezhii, ganhou o concurso:
Aqui estão os arquivos das maquetes para carregamento (65 Mb). Estes são arquivos STL licenciados sob CC BY-NC, o que significa que você pode usar os modelos para ensinar, imprimir estatuetas para uso pessoal, mas não pode se beneficiar de seu uso ou incorporá-los em trabalhos derivados que serão usados para lucro.
Você pode ver todos os modelos 3D de 100 monumentos nos jogadores aqui .
E, para finalizar, quero dizer mais uma vez um grande obrigado a todos aqueles que ajudaram a coletar dados sobre monumentos em todo o país. Muito obrigado!