O Apple iPad 11 Pro equipado com lidar tem um reconhecimento de objetos 3D mais profundo e detalhado. Para isso, as câmeras ToF também são utilizadas com diferentes tecnologias para medir a amplitude da posição do ponto.
A Apple foi pioneira em uma corrida para usar lidars em uma variedade de produtos. A Apple incorporou o lidar em seu iPad Pro 11 e agora parece que todo mundo quer usar o lidar.
A manobra e a reação da Apple a ela impactaram toda a indústria eletrônica. Fornecedores de chips e sensores estão reconsiderando seus planos. Alguns já mudaram seus modelos de negócios.
Mas o que é lidar? A Apple escolheu esse termo para descrever um novo sensor que mede profundidade - em outras palavras, um sensor que reconhece objetos em três dimensões.
O lidar em tablets e smartphones é essencialmente “apenas um tipo de tecnologia para reconhecer objetos tridimensionais”, explicou Pierre Cambu, analista-chefe da divisão de fotônica e telas da empresa na Yole Développement.
Muitos engenheiros em vários campos - sejam eles carros autônomos, smartphones ou tablets - exploraram maneiras de usar as informações de "profundidade" dos dados em conjunto com os pixels e cores obtidos de sensores que reconhecem objetos bidimensionais. Por exemplo, lidars são usados na indústria automotiva para determinar distâncias de objetos localizados em torno de veículos altamente automatizados.
O recém-revelado iPad 11 Pro da Apple usa lidar para aprimorar sua experiência de realidade aumentada. Este lidar é projetado para o kit de desenvolvimento ARkit 3.5 da Apple.
A tecnologia especial usada para determinar e medir a profundidade torna este lidar essencial. É esta tecnologia que fez com que este sensor fosse monitorado por outros fabricantes de dispositivos móveis, incluindo Huawei e Vivo.
Diferentes métodos de reconhecimento de objetos tridimensionais
Os engenheiros usam uma variedade de técnicas para reconhecer objetos 3D . Isso inclui visão estéreo, estruturação de luz e medições de tempo de vôo (ToF). Para complicar ainda mais, a tecnologia ToF agora está disponível em duas versões: iToF e dToF. O iToF mede a mudança de fase e o dToF o tempo de vôo direto.
O Apple iPhone X apresenta reconhecimento facial leve estruturado. Sua estimativa de profundidade funciona com um emissor de IV que envia 30.000 pontos em uma ordem fixa. Os pontos são invisíveis para os humanos, mas não para a câmera infravermelha, que lê as deformações no modelo refletindo em superfícies em diferentes profundidades.
Com o lançamento do iPad 11 Pro, o reconhecimento de objetos 3D tornou-se mais profundo e detalhado graças ao uso da tecnologia dToF. O iPad Pro da Apple é o único produto de consumo a usar a tecnologia dToF até o momento. Muitos fabricantes de smartphones já usam o iToF para fotos melhores (a câmera ToF pode desfocar o fundo nas fotos), mas não o dToF.
O método de estruturação de iluminação fornece alta precisão na determinação da profundidade, mas sua desvantagem é o pós-processamento complexo necessário para calcular a profundidade ao combinar com a amostra.
A vantagem do método dToF, por outro lado, é sua capacidade de fornecer facilidade de pós-processamento. No entanto, acredita-se que a dificuldade de usar essa tecnologia reside no fato de que fotodetectores com alta sensibilidade (por exemplo, fotodiodos de avalanche de fóton único) e grande tamanho são necessários para medir o tempo de voo com um pequeno número de fótons em uma dimensão.
Atualmente, o iToF é o método mais comum de reconhecimento de objetos 3D. Ele fornece detecção de profundidade altamente precisa, pós-processamento fácil e alta resolução espacial usando fotodetectores de pequeno porte comumente usados em sensores de imagem 2D.
No entanto, a Apple escolheu um caminho menos conhecido para reconhecer objetos 3D. A empresa decidiu usar luz estruturada para identificar rostos. Para realidade aumentada, a Apple usa dToF.
Então, aqui estão as perguntas que todos no mundo do reconhecimento de objetos 3D estão se perguntando: O que é dToF? Do que é feita essa tecnologia? E quem desenvolveu seus componentes?
A análise da System Plus Consulting, uma divisão da Yole Développement, apresentou os detalhes do módulo de reconhecimento de objetos 3D no Apple iPad 11 Pro.
Em uma entrevista ao EE Times, Sylvain Hallero, analista sênior de tecnologia e valor da System Plus, explicou que o lidar do iPad 11 Pro consiste em um laser de emissão vertical (VCSEL) da Lumentum e um receptor desenvolvido pela Sony, um sensor CMOS de campo próximo. faixa infravermelha (NIR), que mede o tempo de voo.
Sensor CMOS infravermelho próximo usando fotodiodos de avalanche de fóton único da Sony
Um corte do sensor CMOS da Sony, como parte de um estudo de seu dispositivo, foi uma revelação para os especialistas após o desenvolvimento da fotônica. Inclusive para Kambu, que trabalha para Yole. Em uma postagem recente no blog , ele escreveu que o que "parecia um dispositivo antigo com iToF e pixels de 10 mícrons" acabou sendo o primeiro sensor CMOS do consumidor com uma conexão intra-pixel - e, sim, estamos falando sobre uma série de diodos de avalanche de fóton único.
A conexão intra-pixel é uma propriedade importante. A Sony integrou um sensor CMOS pela primeira vez usando empilhamento 3D para sensores ToF. A conexão intra-pixel permitiu que o sensor de imagem CMOS fosse colocado junto com o substrato lógico. Graças ao array lógico integrado, o sensor pode fazer cálculos simples da distância entre o iPad e os objetos, explicou Hallero.
A Sony entrou no segmento dToF com o desenvolvimento de uma nova geração de sensores CMOS com conjuntos de diodos de avalanche de fóton único de 10 mícrons e 30 quilopixels.
No entanto, isso não é apenas um feito tecnológico da Sony. É também sobre o fato de a Sony ter mudado o conceito de seu negócio.
Tradicionalmente, a gigante japonesa trabalha mais no processamento de imagens. não sobre a digitalização. No entanto, Kambu afirma que "a Sony renomeou seu negócio de semicondutores há um ano para Imaging and Scanning". Em seguida, a Sony deu dois passos. O primeiro foi a entrega de sensores iToF para Huawei e Samsung em 2019, que rendeu à Sony cerca de US $ 300 milhões. A segunda etapa é vencer o concurso para o desenvolvimento de sensores dToF para o iPad da Apple. ”
Kambu suspeita que os sensores dToF possam eventualmente entrar no iPhone. Em sua análise, ele observa que “as receitas de sensores da Sony provavelmente ultrapassarão US $ 1 bilhão em 2020 em um mercado que acaba de ultrapassar a marca de US $ 10 bilhões. Essa transição bem-sucedida do processamento de imagem para a digitalização desempenhou um papel importante na força contínua da Sony no mercado de sensores CMOS. Tudo isso será a base para a prosperidade da nova divisão. "
Lasers emissores verticais Lumentum
Além do sensor CMOS da Sony, o lidar é equipado com lasers emissores verticais da Lumentum. No projeto desses lasers existem vários eletrodos conectados ao emissor.
Taha Ayari, Analista de Tecnologia e Valor da System Plus, concentrou-se em uma nova etapa de processamento (chamada de contato mesa) que a Lumentum adicionou ao seu laser vertical. Um laser Lumentum emite luz da superfície do substrato. O ajuste fino da emissão requer gerenciamento de energia e a aplicação de vários controles às matrizes emissoras. Ayari acredita que a Lumentum adicionou essa tecnologia para melhorar os testes de componentes em substratos.
Para geração de pulso e controle de potência e forma de feixeo emissor usa um driver IC da Texas Instruments. O circuito usa um pacote baseado em wafer (WLCSP) moldado em cinco lados.
Finalmente, System Plus afirma que o laser de Lumentum usa um novo elemento óptico difrativo (DOE) da Himax para criar o padrão de pontos.
Nas páginas a seguir, compartilhamos alguns slides criados pelo System Plus que ilustram o que foi encontrado durante a desmontagem, e também adicionamos alguns slides que descrevem as perspectivas para o mercado lidar.
Recursos do Apple iPad Pro: módulo de câmera principal RGB, módulo de câmera ampla e módulo LiDAR traseiro.
Veja como é a seção transversal do módulo LiDAR.
Visão geral do sensor de imagem
Qual a aparência do dado VCSEL
VCSEL driver IC embalados em fan-in WLCSP 5 colaterais VCSEL Motorista O Die
Difração a ótica do Elemento
subscrever canais:
@TeslaHackers - hackers Comunidade Tesla-russo, laminados e formação deriva na Tesla
@AutomotiveRu - notícias do setor automotivo, o ferro e a psicologia de condução
Sobre ITELMA
Leia mais artigos úteis:
- Cursos Online Grátis em Automotivo, Aeroespacial, Robótica e Engenharia (50+)
- [Previsão] Transporte do futuro ( horizontes de curto prazo , médio prazo , longo prazo )
- Os melhores materiais sobre hackear carros da DEF CON 2018-2019
- [Forecast] Motornet - rede de troca de dados para transporte robótico
- 16 , 8
- open source
- McKinsey: automotive
- …