Hoje vamos discutir por que os sensores 3D são necessários em smartphones, como funcionam e, claro, faremos vários testes e verificaremos as declarações dos fabricantes.
O que é um sensor 3D (sensor de profundidade)
Primeiro, vamos descobrir, o que é um sensor 3D? As câmeras capturam uma projeção do mundo circundante em um avião. Só pela fotografia, não se consegue entender o tamanho real do objeto - se é o tamanho de uma garrafa ou o tamanho da Torre Inclinada de Pisa. E a distância para isso também é difícil de entender.
Para entender o tamanho real dos objetos na foto, a escala do tiro, para distinguir o que está mais próximo da câmera, e o que vem a seguir, são necessários sensores 3D. Há muito que são usados ativamente em robótica, transporte autônomo, jogos, medicina e muitos outros lugares. Além disso, nossos olhos também são um sensor 3D. Ao mesmo tempo, ao contrário dos sensores LiDAR e ToF em smartphones, os olhos são um sensor 3D passivo. Ou seja, ele não emite nenhuma luz, mas funciona apenas com base na luz que entra. Só graças a isso podemos de alguma forma nos mover no espaço e interagir com os objetos ao redor. Agora, sensores 3D surgiram em smartphones.
Como funciona o ToF?
LiDAR no iPad, assim como todos os sensores 3D em smartphones Android, são sensores de tempo de voo ou ToF para abreviar. Eles determinam a distância dos objetos ao redor, medindo diretamente quanto tempo leva para a luz viajar da câmera ao objeto e retornar. Isso é muito semelhante a um eco em uma caverna, mas também retorna para nós com um atraso após ser refletido nas paredes. Leva 3 nanossegundos para voar 1 metro de luz e 30 picossegundos para 1 cm. Tudo parece estar claro. Mas há um problema.
Esses são intervalos muito pequenos. Como uma câmera pode medir isso? Ela não vai tirar um bilhão de quadros por segundo e depois compará-los? Existem 2 abordagens principais para resolver este problema: dToF (ToF direto) e iToF (ToF indireto). E para intrigá-lo ainda mais: a grande maioria dos smartphones Android usa apenas sensores iToF, enquanto o LiDAR no Apple iPad e provavelmente nos próximos iPhones é um raro representante da família de sensores dToF. Então, como eles são diferentes?
iToF - ToF indireto
Vamos começar com o iToF. Nesses sensores, o emissor envia luz modulada de alta frequência, ou seja, esta luz é constantemente ligada e desligada a uma frequência de dezenas de milhões de vezes por segundo. Devido ao fato da luz precisar de tempo para voar até o objeto e voltar, a fase, ou seja, esse estado está em algum lugar entre o aceso e o apagado, a luz que voltou para a câmera é ligeiramente diferente da fase da luz no momento do envio. No sensor, os sinais originais e refletidos de volta do objeto se sobrepõem e, por isso, é determinado o deslocamento de fase, o que nos permite entender a distância a cada ponto do objeto.
dToF - ToF direto
dToF funciona de maneira um pouco diferente. Esses sensores medem diretamente a diferença de tempo entre o envio da luz e a detecção de seu reflexo no sensor. Para isso, são usados os chamados SPAD: diodos de avalanche de fóton único. Eles podem detectar pulsos de luz extremamente pequenos, na verdade, até mesmo capturar fótons individuais. Esses SPADs estão localizados em cada pixel do sensor. E como emissor nesses sensores, via de regra, são utilizados os chamados VCSEL - Vertical Cavity, Surface Emitting Laser. Este é um emissor de laser semelhante aos usados em mouses a laser e em muitos outros lugares. O sensor dToF no LiDAR foi desenvolvido em colaboração com a Sony e é o primeiro sensor dToF comercial produzido em massa.
Por que o iPad usa um sensor dToF é uma incógnita, mas vamos destacar os benefícios de tal sensor. Em primeiro lugar, ao contrário do sensor iToF, o emissor não emite uma parede sólida de luz, mas apenas brilha em direções diferentes, o que economiza bateria. Em segundo lugar, o sensor dToF é menos sujeito a erros na medição de profundidade devido à chamada interferência de caminhos múltiplos. Este é um problema típico com sensores iToF. Ocorre devido à reflexão da luz entre os objetos antes de entrar no sensor e distorce as medições do sensor.
Como funciona, nós descobrimos, vamos agora ver porque os sensores 3D são usados em smartphones.
Por que é necessário em smartphones
1. Segurança
Devemos a primeira introdução massiva de sensores 3D em smartphones à tecnologia Apple e Face ID. O reconhecimento de rosto usando dados tridimensionais é muito mais preciso e confiável do que o reconhecimento clássico de rosto em uma foto. Para o ID de rosto, a Apple usa tecnologia de iluminação estruturada, na qual falaremos com mais detalhes na próxima vez.
2. AR
A maioria dos fabricantes afirma que o modo de realidade aumentada melhor e mais preciso é a principal tarefa dos sensores 3D. Além disso, também é suportado diretamente pelo Google. Recentemente, eles apresentaram uma atualização futura em sua biblioteca de realidade aumentada ARCore, que permite a colocação mais realista de objetos virtuais na realidade e interagir com objetos reais.
Para a mesma tarefa, a Apple incorporou o LiDAR no iPad Pro. Isso pode ser feito sem um sensor 3D, mas com ele tudo funciona com mais precisão e confiabilidade, além disso, a tarefa torna-se computacionalmente muito mais fácil e alivia o processador. O sensor 3D leva o AR a outro nível.
3. Aprimoramento de fotos
Vários fabricantes, como Samsung e HUAWEI, afirmam que o sensor 3D é usado principalmente para obter melhor desfoque de fundo e foco automático mais preciso ao gravar vídeo. Em outras palavras, permite melhorar a qualidade de fotos e vídeos normais.
4. Outro
Alguns smartphones têm acesso aberto aos dados do sensor, portanto, há cada vez mais aplicativos que oferecem novos aplicativos. Assim, por exemplo, com a ajuda de aplicativos externos, um sensor 3D pode ser usado para medição de objetos, digitalização 3D e rastreamento de movimento. Existe até uma aplicação que permite fazer um dispositivo de visão noturna a partir do seu smartphone.
Testes
Descobrimos como funciona na teoria, vamos agora ver como funciona na prática e se há algum sentido nesses caros sensores 3D em carros-chefe. Para os testes, pegamos o Redmi Note 9S, ele tem um sensor ToF e tiramos algumas fotos no modo retrato, mas no segundo caso simplesmente cobrimos a câmera 3D com o dedo. E aqui está o que aconteceu. É simples - o desfoque é realmente maior e melhor se o ToF funcionar. E para a frequência do experimento, pegamos o Samsung Galaxy S20 Ultra, que também recebeu uma câmera ToF. E encontrou pelo menos uma diferença? O que acontece? O fato é que dependendo do fabricante, a câmera ToF é usada de maneiras diferentes e em graus variados.
Podemos dizer que alguns fabricantes de smartphones colocam sensores ToF em seus smartphones não para marketing, para adicionar outra câmera, mas sim para garantir. E então os algoritmos decidem se usar essa câmera ou não? Ao mesmo tempo, no momento não há necessidade de câmeras LiDAR ou ToF. Portanto, isso provavelmente é um pouco mais de marketing.
