O carro de teste de Cruise que saiu da linha de produção da GM está equipado com sensores (marcados em vermelho).
A indústria automotiva ainda está em busca de tecnologia de reconhecimento confiável que funcione em todas as condições - noite, nevoeiro, chuva, neve, gelo, etc.
A conclusão do AutoSens 2019 aqui na semana passada foi que não há falta de inovação tecnológica. Desenvolvedores de tecnologia, Tier-1s e OEMs ainda estão buscando o objetivo de criar tecnologia de reconhecimento "confiável" que possa funcionar em qualquer condição de estrada - incluindo à noite, na neblina, na chuva, na neve, no gelo, na estrada com óleo derramado etc.
Apesar de ainda não existir uma solução milagrosa no mercado automotivo que resolva todos os problemas de uma vez, várias empresas apresentaram suas tecnologias de reconhecimento e novos conceitos de produtos.
A feira AutoSens deste ano em Bruxelas se concentrou mais em sistemas de assistência ao motorista (ADAS) do que em carros autônomos.
A comunidade de engenheiros chegou a um certo consenso. Muitos reconhecem que existe uma grande lacuna entre o que é possível hoje e a perspectiva de veículos comerciais autônomos com inteligência artificial que não requerem um motorista humano.
Para ser claro, ninguém está dizendo que veículos não tripulados são impossíveis. No entanto, Phil Magney, fundador e diretor do VSI Labs, acredita que “os carros autônomos de nível 4 funcionarão em áreas de projeto operacional extremamente limitadas (ODD). Os projetos dessas máquinas serão desenvolvidos com base em requisitos de segurança abrangentes e detalhados "
Magny esclareceu que por" áreas restritas "ele se refere a restrições em termos de seleção de estrada e faixa, tempo de operação, condições climáticas, hora do dia, pontos de saída e parada, e assim por diante. Mais longe.
Bart Selman, um professor de ciência da computação da Cornell University especializado em IA, foi questionado se um carro movido a IA poderia raciocinar com “bom senso” (estar ciente do processo de direção e compreender o contexto). Selman respondeu no encerramento da conferência: "Chegaremos a isso em pelo menos 10 anos ... e talvez em 20-30 anos."
Enquanto isso, desenvolvedores de sistemas ADAS e veículos altamente automatizados estão competindo para desenvolver sistemas de visão para veículos.
Fung Kupopman, CTO da Edge Case Research e professor da Carnegie Mellon University, acredita que a base de qualquer veículo altamente automatizado é um sistema de "detecção" que pode determinar a posição de vários objetos ao redor do veículo. Ele esclareceu que a fraqueza dos veículos não tripulados reside na incapacidade de prever - entender o contexto e prever para onde este ou aquele objeto capturado pode se mover.
Promoção de sistemas inteligentes
Uma nova tendência que apareceu na conferência foi o surgimento de uma série de sistemas inteligentes. Muitos fabricantes adicionam sistemas de IA a seus produtos, incorporando-os em suas combinações de sensores (câmera RGB + NIR; RGB + SWIR; RGB + lidar; RGB + radar).
No entanto, não há consenso entre os participantes da indústria sobre como atingir os objetivos da indústria. Alguns acreditam que o caminho para o sucesso é através de combinações de sensores, enquanto outros (como o Waymo) tendem a processar dados do sensor no processador central.
AutoSens também tem uma série de novos sistemas de monitoramento que devem ser desenvolvidos para atender ao Euro NCAP, o conjunto de requisitos para sistemas de monitoramento de motorista e um importante padrão de segurança em 2020. Em particular, estamos falando de sistemas que monitoram não só o motorista, mas também os passageiros e outros objetos dentro do carro.
Um exemplo é o novo sensor RGB-IR da On Semiconductor, equipado com o chip de processamento de vídeo RGB-IR da Ambarella e software de reconhecimento de cena Eyeris.
NIR vs SWIR
A necessidade de enxergar no escuro (tanto dentro quanto fora do veículo) indica a necessidade de uso do infravermelho.
Enquanto o sensor de imagem RGB-IR da On Semiconductor trabalha com radiação infravermelha próxima (NIR), Trieye, que também participou do show, foi ainda mais longe com a introdução da câmera SWIR (infravermelho de onda curta). )
Entre as vantagens das câmeras SWIR está a capacidade de ver objetos em qualquer condição de clima / luz. Mais importante ainda, o SWIR pode identificar proativamente os perigos da estrada (como gelo), detectando uma resposta espectral exclusiva com base nas características químicas e físicas de cada material.
No entanto, o uso de câmeras SWIR é limitado a aplicações militares, científicas e aeroespaciais devido ao custo extremamente alto do arsenieto de gálio e índio (InGaAs) usado nesta tecnologia. Trieye afirma ter encontrado uma maneira de criar câmeras SWIR usando a tecnologia CMOS. “Fizemos uma descoberta. Como semicondutores, temos usado CMOS para a produção de alto volume de câmeras SWIR desde o início ”, disse Avi Bakal, CEO e cofundador da Trieye. Bacal diz que, ao contrário do sensor de arseneto de gálio de US $ 8.000, a câmera Trieye será oferecida "por dezenas de dólares".
Falta de dados rotulados
Um dos maiores desafios da IA é a falta de dados para amostras de treinamento. Mais precisamente, "dados de treinamento rotulados", disse Magny. “Um modelo é tão bom quanto os dados e a forma como são coletados. Claro, os dados de treinamento devem ser marcados com metadados, e o processo de marcação leva muito tempo. "
Houve uma discussão animada na AutoSens sobre redes neurais adversas geradoras (GANs). No GAN, duas redes neurais competem para criar novos dados, disse Magny. Tendo recebido uma amostra de treinamento como entrada, tais modelos são treinados para gerar novos dados, cujos indicadores estatísticos coincidirão com os originais.
O Drive.ai, por exemplo, usa o aprendizado profundo para melhorar a automação da marcação de dados, acelerando assim o tedioso processo de marcação.
Em uma palestra na AutoSens, Koopman também abordou o problema de anotar dados com precisão. Ele suspeita que muitos dados permanecem sem tags porque apenas as grandes empresas podem se dar ao luxo de acertar.
Na verdade, as startups de IA no programa reconheceram que as anotações pagas para dados de terceiros os prejudicam muito.
Uma maneira de resolver esse problema é GAN. A Edge Case Research oferece outra maneira de acelerar o desenvolvimento de software de reconhecimento seguro sem marcar dados. A empresa anunciou recentemente o Holograma, uma ferramenta para sistemas de percepção de teste de estresse e análise de risco. De acordo com Koopman, em vez de marcar petabytes de dados, você pode simplesmente executá-los duas vezes - o holograma fornecerá informações sobre partes suspeitas do conjunto de dados e lhe dirá o que é melhor fazer - expandir o conjunto de treinamento ou treinar novamente seu modelo.
Também foi discutida na conferência a questão dos conjuntos de dados marcados - e se o fabricante do carro substituir a câmera e os sensores usados para treinamento e manipulação de dados?
David Tokich, VP de Marketing e Parcerias Estratégicas da Algolux, disse ao EE Times que os engenheiros que trabalham em ADAS e veículos não tripulados estão preocupados com duas coisas: 1) a confiabilidade dos sistemas de reconhecimento em várias condições e 2) o desenvolvimento de soluções precisas e escaláveis para Tarefas de visão computacional Os
sistemas de câmera usados em ADAS e veículos não tripulados podem diferir significativamente uns dos outros. Todos eles têm parâmetros diferentes dependendo das lentes (lentes diferentes fornecem ângulos de visão diferentes), sensores e tecnologias de processamento de sinal. Uma empresa de tecnologia seleciona um dos sistemas de câmera, coleta um grande conjunto de dados, marca-o e treina seu modelo para ser ajustado para uso com um sistema específico.
Mas o que acontece quando um OEM substitui uma câmera que foi usada por um conjunto de dados específico? Essa mudança pode afetar a precisão da percepção porque um modelo de aprendizado de máquina ajustado para uma câmera específica agora precisa lidar com um novo conjunto de dados brutos.
Isso exige que o OEM treine seus modelos continuamente em novos conjuntos de dados?
Tesla, Waymo, GM / Cruise usam uma variedade de câmeras em seus veículos autônomos.
Quando questionado sobre a possibilidade de substituir os sensores de imagem, Magny da VSI Labs disse: "Eu não acho que isso funcionará - a menos que as especificações permaneçam as mesmas." Ele também acrescentou: “No VSI, treinamos uma rede neural para funcionar com uma câmera de imagem térmica FLIR, e as características das imagens no conjunto de treinamento correspondiam às características da câmera para a qual a rede neural foi treinada. Mais tarde, substituímos os sensores, mas as especificações técnicas permaneceram as mesmas. "
Algolux, no entanto, argumenta que a nova tecnologia para traduzir conjuntos de dados criados anteriormente deve estar disponível "dentro de alguns dias". De acordo com Tokić, o Atlas Camera Optimization Suite resolve esse problema pegando “dados básicos” (características da câmera e do sensor) - e aplicando-os às camadas de reconhecimento. “Nosso desafio é democratizar as opções de câmeras” para os OEMs, disse Tokić.
Hardware de IA
Nos últimos anos, muitas startups surgiram no campo de processadores para IA. Isso criou um ímpeto que levou alguns a anunciar um ressurgimento do mercado de hardware. Muitas startups desenvolvendo chips para IA citam os mercados de veículos autônomos e ADAS como seus mercados-alvo.
A Ceva, em particular, revelou na conferência AutoSens um novo núcleo para IA e 'Invite API' - produtos voltados para o mercado de aceleradores para sistemas inteligentes.
Curiosamente, a nova geração de carros multifuncionais ainda não implementou chips de IA modernos - com exceção dos chips da Nvidia e Intel / Mobileye, bem como chips de piloto automático completos desenvolvidos pela Tesla para uso interno.
Por outro lado, a On Semiconductor anunciou na conferência AutoSens que sua equipe (e a equipe Eyeris) usará os sistemas em um chip da Ambarella como processadores de IA para monitorar várias métricas em veículos.
Modar Alawi, CEO da Eyeris, disse: “Não conseguimos encontrar um único chip de IA que pudesse lidar com 10 redes neurais, consumir menos de 5 watts e capturar vídeo a 30 quadros por segundo usando até seis câmeras localizadas dentro carro ".
Allawi admitiu que Ambarella não é um fabricante conhecido de chips de IA (eles são mais conhecidos por fazer chips para compressão de vídeo e visão computacional). No entanto, o sistema CV2AQ da Ambarella atende a todos os seus requisitos, disse ele, superando todos os outros aceleradores.
Allawi espera que o software de IA de sua empresa seja portado para três outras plataformas de hardware para a Consumer Electronics Show em Las Vegas em janeiro de 2020.
No Semi, Ambarella e Eyeris estão demonstrando um novo sistema de monitoramento na cabine usando três câmeras RGB-IR.
Ao mesmo tempo, On Semi enfatizou que os sistemas de monitoramento do motorista e do passageiro exigem "a capacidade de capturar imagens sob uma variedade de condições de iluminação, desde luz solar direta até escuridão." A empresa afirma que, graças ao seu bom tempo de resposta infravermelho, "a tecnologia RGB-IR no sensor de imagem CMOS oferece saída de imagem Full HD 1080p usando HDR de 3 exposições e luz de fundo (BSI) a 3,0 μm" Os sensores que são sensíveis à iluminação RGB e IV podem capturar imagens coloridas à luz do dia e imagens IV monocromáticas com espectros iluminados próximos ao IV.
Indo além dos sistemas de monitoramento de motorista
Allawi se orgulha de que o software Eyeris AI pode realizar análises corporais e faciais abrangentes, monitoramento da atividade dos passageiros e detecção de objetos. Além de observar o motorista, “estamos monitorando tudo dentro do carro, inclusive a superfície dos bancos e do volante”, acrescentou, destacando que a startup já está empenhada em mais do que “buscar carros no stream de vídeo”.
Laurent Emmerich, diretor de soluções para clientes europeus da Seeing Machines, no entanto, implorou para não parar por aí. “Ir além de observar o motorista e rastrear muitos objetos é uma evolução natural”, disse ele. "Também estamos procurando expandir."
Em comparação com start-ups, a vantagem do Seeing Machines reside em "uma base sólida em visão computacional e experiência em IA adquirida nos últimos 20 anos", acrescentou. O sistema de monitoramento de motorista da empresa é usado atualmente por "seis fabricantes de automóveis e está dividido em nove . programas "
Além disso, Seeing Machines observou que também desenvolveu seu próprio chip para monitorar motoristas -. Fovio perguntou se o chip também pode fornecer trabalho para futuros sistemas de monitoramento de automóveis, Emmerich explicou que seu chip será usado na plataforma de hardware configurável ...
Reserva
Combinar diferentes sensores e instalá-los em um carro é necessário não apenas para melhorar a percepção, mas também para adicionar a redundância necessária para a segurança.
Caixa Outsight apresentada no AutoSens.
Outsight, uma startup cofundada pelo ex-CEO da Whitings, Cedric Hutchings, está apresentando um novo sistema multissensor altamente integrado na AutoSens. Ele explicou que a unidade de sensor Outsight foi projetada para "fornecer reconhecimento e localização significativos de objetos com uma compreensão do contexto do ambiente - incluindo neve, gelo e óleo na estrada." Ele também acrescentou: "Podemos até classificar materiais na estrada usando detecção hiperespectral ativa."
Quando questionado sobre quais sensores são usados na caixa Outsight, ele se absteve de comentar. "Não estamos anunciando nossos principais parceiros neste momento, pois ainda estamos trabalhando nas especificações e aplicações."
O EE Times falou com Trieye que Outsight usará uma câmera Trieye SWIR. A Outsight está promovendo seu bloco de sensores que será lançado para testes no primeiro trimestre de 2020. O Outsight Box se destina a ser um sistema autônomo complementar fornecendo dados “não relacionados a outros sensores”, para segurança e “verdadeira redundância”, explicou Hutchings.
O Outsight Box não usa tecnologias de aprendizado de máquina e, portanto, os resultados de seu trabalho são previsíveis e o próprio sistema pode ser "certificado"
Para os mercados de UAV e ADAS, a Aeye também desenvolveu o iDAR, um MEMS lidar de estado sólido acoplado a uma câmera de alta definição. Ao combinar dois sensores e IA incorporada, o sistema em tempo real pode “resolver uma série de problemas de borda”, diz Aravind Ratnam, vice-presidente de gerenciamento de produto da AEye.
O sistema iDAR é projetado para combinar “pixels” de câmeras 2D (RGB) e “voxels” de dados lidar 3D (XYZ) para gerar um novo tipo de dados em tempo real. A empresa explicou que este novo tipo de dados deve fornecer maior precisão, alcance e os próprios dados devem ser mais compreensíveis para sistemas de roteamento usados em veículos não tripulados.
Características do produto AEye AE110 versus benchmarks e capacidades da indústria.
Em sua apresentação, Ratnam disse que a AEye está explorando uma variedade de aplicações. “Analisamos 300 cenários, escolhemos 56 que se encaixavam e reduzimos para 20”, em que a fusão de câmera, lidar e inteligência artificial faz sentido.
Ratnam mostrou uma cena em que uma criança pequena vinda do nada está jogando uma bola na rua - bem na frente do carro. O sistema de câmera lidar funciona muito mais rápido, reduzindo os tempos de resposta do veículo. Ratnam comentou: "Nossa plataforma iDAR pode fornecer computação de altíssima velocidade."
Quando questionado sobre os benefícios da combinação de sensores, um engenheiro da Waymo disse ao EE Times na conferência que não tinha certeza se isso faria uma grande diferença. Ele perguntou: “A diferença será em microssegundos? Não tenho certeza".
AEye está confiante nos benefícios que seu iDAR pode trazer. Ratnam da AEye observou a estreita colaboração com Hella e LG e enfatizou: “Conseguimos reduzir o custo do iDAR. Agora estamos oferecendo 3D lidar com o preço ADAS. ”
Nos próximos 3-6 meses, AEye terminará o trabalho em um sistema automotivo que combina RGB, lidar e algoritmos de AI. Ratnam afirma que sua solução custará menos de US $ 1.000.
Vendas de sistemas lidar para a indústria automotiva (Fonte: IHS Markit)
Dexin Chen, analista sênior de semicondutores e sensores automotivos da IHS Markit, disse aos participantes da conferência que os fornecedores de lidar estavam "à frente do mercado e prometeram muito". Ele lembrou que, no futuro, as características físicas dos lidars (que são sua vantagem) podem afetar o mercado, mas sua comercialização decidirá tudo. O mercado precisa desesperadamente de "padronização, alianças e parcerias e gerenciamento da cadeia de suprimentos e parcerias de IA".
Inscreva-se nos canais:
@TeslaHackers - uma comunidade de hackers Tesla russos, treinamento de aluguel e drift em Tesla
@AutomotiveRu - notícias da indústria automobilística, hardware e psicologia de direção
Sobre ITELMA
Leia mais artigos úteis: