
Na maioria das vezes hoje, as tecnologias de captura de movimento (captura de movimento) são usadas em filmes e videogames. Mas há outras opções para seu uso: hoje, a captura de movimento ajuda a competir pelo título de melhor operador de máquina, permite diagnosticar o andar, preservar as danças de pequenos povos para as gerações futuras e, no futuro, permitirá que você trate de uma guerra real em um abrigo aconchegante.
Cavalos, modelos de proletários e explosões nucleares: o que os criadores da captura de movimento estavam tentando fotografar?
Em 1878, Leland Stanford, governador da Califórnia, fundador da Universidade de Stanford e entusiasta da equitação, fez uma aposta com seus amigos. Ele argumentou que um cavalo correndo a galope em certo momento levanta todas as quatro patas do chão. Os amigos não concordaram e foi impossível provar ou confirmar visualmente a suposição. Stanford então trouxe o renomado fotógrafo e pesquisador do movimento animal Edward Muybridge para resolver a disputa. Na fazenda de Leland em Palo Alto, um "fotódromo" especial foi construído - um curral que consiste em uma parede branca e câmeras direcionadas a ele da parede oposta. Cordas foram esticadas ao longo do caminho do curral, amarradas aos portões das câmeras. Quando o cavalo começou a galopar, o cavaleiro o guiou até o fotódromo, as pernas do animal tocaram as cordas, os portões funcionaram e uma série de fotos apareceu.
Foi assim que nasceu a cronofotografia, a primeira tecnologia de captura de movimento que ajudou a resolver uma disputa de US $ 25.000.

Stanford provou que ele estava certo: em um galope, um cavalo realmente levanta todas as quatro patas do chão, mas neste momento elas estão dobradas sob o corpo, e não esticadas para frente e para trás, como artistas de diferentes épocas freqüentemente retratam. Esta pequena descoberta causou furor entre críticos de arte e artistas na virada dos séculos XIX para XX. A propósito, apenas cavalos pretos foram usados para atirar - seus movimentos são registrados mais claramente contra o fundo branco do fotódromo. Fonte: Eadweard Muybridge / Wikimedia Commons
Mas a tecnologia de captura de movimento foi interessante não apenas pela oportunidade de ganhar uma aposta, e posteriormente mais de um aparelho baseado no princípio da cronofotografia apareceu. Por exemplo, o fotógrafo Arnold Lond inventou o cronofotógrafo de 12 lentes em 1891 para capturar as expressões faciais dos pacientes do neurologista Jean Charcot. De lá para cá, a principal e mais difícil tarefa foi reproduzir as ações capturadas.
Os primeiros a se interessar por essa oportunidade foram os multiplicadores. Na primeira década do século 20, começou a era dos desenhos animados, que eram fantoches ou desenhados à mão. Os artistas buscaram obter o máximo de verossimilhança dos movimentos dos personagens desenhados. Isso foi conseguido pelo inventor americano Max Fleischer, que, junto com seu irmão Dave, inventou a rotoscopia ("foto-deslocamento") em 1914. No início, atores reais foram filmados. Em seguida, essa gravação foi ampliada quadro a quadro, projetada e reproduzida em um lúmen de vidro. O artista traçou cada moldura em papel vegetal. O resultado foi um novo filme com um personagem comovente de forma realista.
, , , . Tantalizing Fly (« ») . . «», « 7 », « », «-», «», « » . : Mohamed El Amine CHRAIBI / YouTube
Reprodução realista de movimentos por meio de sua captura de vídeo interessou naqueles anos os cientistas da Rússia Soviética, interessados na organização científica do trabalho. Se você estudar a fundo os movimentos dos melhores representantes do proletariado, poderá ensinar outros trabalhadores - essa era a lógica da liderança e dos cientistas soviéticos. O tema foi tratado pelo Instituto Central do Trabalho (CIT), criado em Moscou, e supervisionado por Nikolai Bernstein, fundador da direção científica de biomecânica, que estuda o movimento humano. Em seu laboratório, Bernstein realizou estudos ciclogramétricos: o sujeito vestia um traje especial, composto por dezenas de pequenas lâmpadas que desempenhavam o papel de marcadores. Então, usando filmagem rápida (100-200 quadros por segundo), um ciclograma foi obtido. O erro na medição das posições de uma pessoa em movimento ou correndo foi de apenas 0,5 mm.
Ao longo dos anos, Bernstein estudou os movimentos de atletas, trabalhadores e músicos, o que tem ajudado a melhorar o desempenho em competições e a desenvolver métodos de ensino em diferentes áreas. Apesar da desgraça durante o período de luta contra os "cosmopolitas", Bernstein ainda conseguiu dar recomendações sobre a adaptação dos astronautas ao estado de imponderabilidade. Fonte: Thomas Oger / YouTube
Vale ressaltar que Bernstein antecipou o surgimento da captura de movimentos óticos e acústicos, para os quais sensores acoplados ao corpo humano ainda são usados hoje.
Essa ideia foi desenvolvida pelo americano Lee Harrison III, que fez experiências com microcircuitos analógicos e tubos de raios catódicos. Em 1959, ele projetou um traje com potenciômetros embutidos (resistores ajustáveis) e foi capaz de registrar e animar os movimentos de um ator em tempo real em um tubo de raios catódicos. Embora fosse uma configuração primitiva - o ator animado parecia um pilar de luz na tela - foi a primeira captura de movimento em tempo real.
Paralelamente, o método foto-óptico abriu seu caminho, quando a captura de movimento foi obtida fotografando um objeto em alta velocidade ou de diferentes ângulos de visão. Harold Edgerton, o inventor da Rapatronic Camera, criada na década de 1940, contribuiu muito para isso. É capaz de gravar uma imagem estática com um tempo de exposição de apenas 10 nanossegundos. Graças a este dispositivo, o cientista foi capaz de capturar eventos muito rápidos - desde um respingo de água a uma queda de uma explosão nuclear.

O momento da explosão de uma carga nuclear uma fração de segundo após a detonação, capturado por uma câmera rapatrônica. Fonte: Governo Federal dos Estados Unidos / Wikimedia Commons
No final do século 20, duas tecnologias principais de captura de movimento foram formadas, que são convencionalmente chamadas de marcador e sem marcador. No primeiro caso, a captura de movimento ocorre por meio de marcadores ou sensores colocados no corpo humano. Eles podem ser diferentes: infravermelho, magnético, giroscópico. A luz infravermelha pode refletir (passiva) ou emitir (ativa) luz, as magnéticas distorcem o fluxo magnético e o receptor de ondas determina sua posição no espaço, o sensor giroscópico também transmite informações sobre as mudanças na posição do corpo no espaço.
Os sistemas sem marcação são baseados em captura ótica. Muitas câmeras estão montadas na sala, que filmam de diferentes ângulos. As imagens resultantes são então combinadas em um modelo 3D. Outro tipo é o exoesqueleto, que é preso ao corpo e cria um modelo de animação, capturando movimentos.

Se o modelo do personagem capturado posteriormente precisar ser colocado em um ambiente virtual, ele será filmado em uma sala verde (chromakey). O verde contrasta bastante com as cores do corpo humano, então o computador é melhor para cortar pixels verdes de quadros. Fonte: Toshiba
As capturas de movimento são usadas principalmente em filmes e videogames. No entanto, a cada ano essa tecnologia é cada vez mais usada fora da indústria do entretenimento - na fabricação, medicina, preservação do patrimônio cultural, esportes e assuntos militares.
Repita comigo: como o Toshiba ensina o uso de arquivos com captura de movimento?
Você pode olhar infinitamente para o fogo, a água e como alguém trabalha. E às vezes você pode se beneficiar com isso. Nós da Toshiba descobrimos isso há muito tempo, e é por isso que Hiroaki Nakamura é um especialista em captura de movimento em nosso Centro de Engenharia de Manufatura Corporativa. Recentemente, tem acompanhado com entusiasmo a forma como trabalham os participantes do Campeonato Nacional de Profissionais - uma competição especial para artesãos de diferentes áreas - da panificação à soldadura.
Em 2018, Haruki Okabe, um jovem trabalhador em uma das empresas Toshiba, decidiu participar desta competição, especificamente na montagem de um pequeno dispositivo. Na montagem, os competidores utilizam uma boa e velha lima para o processamento final de algumas peças. Acredita-se que técnicos de primeira classe neste negócio podem alcançar precisão de usinagem de 0,001 mm ou menos, caso contrário, o dispositivo não funcionará. É aqui que nosso competidor se mostrou fraco e perdeu a vitória na competição.
A Toshiba enviou um instrutor de 66 anos, Tatsuo Matsui, que trabalhou como arquivo nas empresas da empresa por mais de 50 anos, para orientar o jovem especialista. No entanto, nem todo portador de habilidades únicas nasce um bom professor que é capaz de transmiti-las. Ele explicou que o problema estava na posição do competidor na máquina, mas o assunto não foi adiante. Então vestimos os dois com trajes de captura de movimento. Eles são "costurados" de acordo com o princípio do marcador, ou seja, os sensores são usados para registrar os movimentos. Nesse caso, os acelerômetros são quase iguais aos dos smartphones. É muito mais barato do que várias câmeras.
Quando comparamos seus dados, notamos uma diferença significativa em como eles se equilibram em seus pés.

O eixo vertical é a resistência do suporte [N], e o eixo horizontal é o tempo [S]. Como o centro de gravidade do jovem trabalhador está mais concentrado na perna dianteira do que no trabalhador experiente, há uma grande lacuna entre suas curvas azul e verde. (Okabe, um jovem trabalhador, é canhoto, e Matsui, uma professora, é destra, então as linhas são invertidas nos diagramas.) Fonte: Toshiba
Descobriu-se que o centro de gravidade do jovem trabalhador é fortemente deslocado para a frente, não da mesma forma que o do especialista experiente. Por causa disso, o competidor se cansa rapidamente ao trabalhar com um arquivo e, por isso, ocorre um casamento. Percebendo seu erro, Okabe foi capaz de melhorar a qualidade de seu arquivo. E ele levou o bronze no Campeonato Profissional Nacional Japonês. Talvez nossos descendentes aprendam com os registros do trabalho de Matsuya. E também podemos guardar para eles outro tipo de arte em extinção - a dança.
: ?
Provavelmente, todo mundo já ouviu falar da Lista do Patrimônio Mundial da UNESCO, que inclui mais de 1.000 sítios naturais e artificiais que a humanidade busca preservar e transmitir às gerações futuras. No início dos anos 2000, muitos pensaram em como preservar o que não foi construído pelas mãos e não criado pela natureza - cantos, cerimônias, apresentações teatrais, artesanato. Foi assim que surgiu o conceito de Patrimônio Cultural Imaterial (ICH), que também vem sendo acumulado e preservado desde 2003. E a tecnologia de captura de movimento ajuda a preservar um dos principais objetos do ICH - a dança.
Vários projetos ao redor do mundo estão digitalizando as danças dos povos do mundo (Wholedance, i-Treasures, AniAge e outros). Na maioria das vezes, ao gravar danças, são usados sensores ativos e passivos, que são colocados no corpo do dançarino.
Os sistemas de captura de movimento com sensores ativos usam LEDs que emitem sua própria luz. Por exemplo, o sistema de captura de movimento Phasespace Impulse X2 consiste em oito câmeras capazes de capturar movimento usando LEDs modulados. A dançarina veste um traje com 38 sensores e LEDs ativos e começa a dançar.
O projeto WholoDance experimentou integrar o Microsoft HoloLens como uma ferramenta de visualização. O streaming de dados do Autodesk MotionBuilder sem fio para um fone de ouvido permite que dançarinos e coreógrafos vejam os hologramas em tempo real. Fonte: Jasper Brekelmans / YouTube
Em sistemas de captura passiva, os sensores não emitem sinal, apenas o refletem usando materiais especiais com os quais o traje é feito. Esta tecnologia proporciona ao bailarino maior liberdade de ação, permite-lhe fazer movimentos bruscos, realizar elementos acrobáticos, e ao mesmo tempo não diminui a precisão e velocidade de fixação. Agora os cientistas esperam integrar tecnologias de marcador de captura de movimento e tiro 3D, já que o mimetismo e o figurino do dançarino estão envolvidos na dança.
Tecnologias semelhantes de captura de movimento são usadas para uma forma muito mais simples de atividade física do que a dança - para análise de marcha.
Aprenda com a marcha: como o estudo da marcha ajuda os médicos?
A marcha pode dizer muito sobre a saúde de uma pessoa. Timothy Niiler, da Universidade Estadual da Pensilvânia, sabe disso - ele coleta a maior coleção do mundo de andamentos humanos usando tecnologia de captura de movimento. Ele convida pessoas de 18 a 65 anos a entrar em seu laboratório com 12 câmeras de alta velocidade. Niiler anexa cerca de 40 sensores reflexivos ao corpo dos participantes do estudo. Dessa forma, é formado um banco de dados de marcha, que é posteriormente utilizado pelos médicos. Em primeiro lugar, o conhecimento da marcha normal fornece uma base para identificar quase todos os problemas ortopédicos que ocorrem em adultos. Por exemplo, se for necessário medir a eficácia de uma substituição de quadril ou joelho, os médicos "registram" a marcha do paciente e a comparam com os parâmetros médios da marcha de um banco de dados.

? 1/3 . 1/3 . : 2/3 . 2/3 . : Motion Analysis
Sistemas de análise de movimento, por exemplo, GaitTrack, já são usados diretamente em centros médicos. Usando essa tecnologia, os médicos calculam e generalizam os parâmetros biomecânicos básicos ao caminhar ou correr, diagnosticar doenças articulares em um estágio inicial e detectar o risco de possíveis lesões. Treinadores e atletas usam a captura de movimento de maneira semelhante.
Mais rápido, mais alto, melhor: como a captura de movimento ajudou os jogadores de basquete?
A captura de movimento é amplamente utilizada em esportes. A análise das ações dos jogadores permite identificar seus erros ou testar uma grande variedade de equipamentos. Keith Pamment é o técnico principal do time de basquete, formado por cadeirantes. Ele também é engenheiro e há muito se pergunta como a captura de movimento pode melhorar o desempenho de equipes de basquete. Em particular, o sistema de captura de movimento do Neurônio de Percepção ajudou a encontrar as cadeiras de rodas mais eficazes para jogadores de basquete com deficiência. Os atletas fantasiados correram, manobraram, driblaram e mano-a-mano enquanto alternavam seis tipos diferentes de cadeiras enquanto o treinador estudava o movimento de suas animações em tempo real usando 16 câmeras.
Avatares de atletas animados foram integrados a modelos 3D de cadeiras de rodas. Fonte: Rockets Science CIC / YouTube
Em um dia estudando o treinamento de jogadores, Keith elaborou critérios técnicos para cadeiras esportivas para sua equipe com base nas habilidades, pontos fortes, fraquezas, movimentos e técnica de jogo do atleta. Agora o treinador prepara todo um percurso para os colegas que trabalham com os mesmos atletas.
Assim, por enquanto, as tecnologias de captura de movimento são utilizadas em esferas de “nicho” da atividade humana devido à sua relativa “juventude” e, como resultado, às limitações técnicas. Mas com o desenvolvimento da robótica, do aprendizado de máquina, bem como da realidade aumentada e virtual, seu campo de aplicação se expandirá.
O que vem a seguir: avatares robóticos, teletransporte e realidade virtual
Os robôs estão se tornando cada vez mais ágeis, rápidos e inteligentes, o que significa que cada vez mais as pessoas os enviarão para onde não querem. Porém, hoje em dia, entre as interfaces para telecomando de automóveis, utilizam-se principalmente joysticks ou exoesqueletos. Esses meios nem sempre são eficazes - sua principal desvantagem é que de uma forma ou de outra interferem ou complicam o movimento da própria pessoa, que controla o robô remotamente. As tecnologias de captura ótica de movimento podem resolver esse problema.
Em 2018, um grupo de cientistas da Grã-Bretanha e da Itália conseguiu subjugar um robô chamado Centauro às ações de uma garota frágil por meio de captura de movimento. Para fazer isso, eles usaram o barato sistema de reconhecimento de movimento ASUS Xtion PRO, que contém sensores infravermelhos e uma função de reconhecimento de imagem colorida (RGB). Ela era responsável pela captura de movimento. As informações recebidas foram processadas pelo OpenPose, um algoritmo baseado em aprendizado de máquina capaz de detectar em tempo real (8-10 Hz) os movimentos do corpo humano usando imagens 2D de uma câmera RGB. Coordenadas tridimensionais de articulações e membros humanos obtidas do sistema, após filtração, são transmitidas para controlar o robô Centauro.
3D- , . : Dimitrios Kanoulas / YouTube
Claro, enquanto o Centauro não pode ser armado com uma metralhadora e transferido para a gestão de um fuzileiro naval experiente, mas no futuro, a criação de tais sistemas é possível. Em 2012, a Defense Advanced Research Projects Agency (DARPA) do Departamento de Defesa dos Estados Unidos anunciou um projeto sob o nome inesperado de "Avatar", que incluía "o desenvolvimento de interfaces e algoritmos que permitem a um soldado cooperar efetivamente com uma máquina semi-autônoma em duas pernas ( bi-pedal) como substituto do soldado. " Obviamente, tal sistema realmente tornará possível dotar o robô com as habilidades de um soldado experiente e bem treinado e ao mesmo tempo mantê-lo vivo no ambiente operacional mais difícil graças ao controle remoto. O progresso dos estudos não foi relatado.
Em 2018, a XPrize Foundation anunciou um concurso para criar o avatar do robô ANA Avatar XPrize, e então 77 equipes foram selecionadas para apresentar seu desenvolvimento de avatares de robôs no final de 2020. De acordo com os termos do concurso, os desenvolvedores devem combinar soluções na área de captura de movimento, tecnologias sensíveis, AR e VR. O objetivo final, que custará US $ 5 milhões, é um sistema onde o operador possa ver, ouvir, mover e realizar várias tarefas em um ambiente remoto.
O avatar deve ter três modos de operação:
- modo totalmente controlado: o robô executa apenas comandos humanos;
- Avançado: resolve algumas tarefas de forma independente, por exemplo, análise ambiental ou mapeamento;
- semi-autônomo: tomada de decisão independente.
Na verdade, estamos falando do “teletransporte” de uma pessoa com a criação do efeito de estar presente no ponto de controle do robô. No futuro, essas tecnologias permitirão o controle remoto de robôs antropomórficos em um ambiente desfavorável ao homem: na cratera de um vulcão, no espaço sideral, em zonas de desastres naturais ou na guerra. Em 2020 veremos os primeiros desenvolvimentos, e em 2021 descobriremos quem será o melhor e receberemos US $ 5 milhões para pesquisas futuras.