Meu nome é Anton Fedoseev, sou um desenvolvedor de uma plataforma AR para videoconferência, que é usada por nossas instalações de produção. Lançamos um serviço por meio do qual nossos funcionários podem se comunicar por vídeo com colegas de outras regiões, receber consultas online de especialistas - fabricantes de equipamentos (também de outras regiões), e a empresa pode economizar de 500 mil rublos a vários milhões para 1 chamada de vídeo.
De onde veio essa economia, qual é a peculiaridade de usar tal serviço em instalações industriais, por que não conseguimos com os análogos existentes no mercado e como fizemos nosso produto - vou lhe contar abaixo o corte.
Um pouco de historia
O projeto AR teve início na SIBUR em janeiro de 2018, em simultâneo com o início dos trabalhos ativos de integração do conceito Indústria 4.0 em vários cenários de produção nas nossas fábricas. Nessa altura, a SIBUR já tinha analisado uma série de casos relacionados com a reparação de equipamentos industriais, e a empresa estava a pensar em como reduzir o custo de atrair especialistas externos de fornecedores destes equipamentos e empresas de serviço, substituindo as suas visitas presenciais por consultas em comunicações de áudio e vídeo.
No mesmo ano, testamos a tecnologia de manutenção remota com óculos AR, utilizando uma série de soluções disponíveis no mercado, e também elaboramos cenários básicos para a aplicação dessa tecnologia, calculamos o efeito econômico de sua implantação. Percebemos que tal projeto é conveniente e viável do ponto de vista técnico. E nossas empresas Tobolsk se tornaram o local de teste.
Chamamos nosso produto de “AR Remote Expert”. Em 2019, com a ajuda do nosso "Remote Expert", que ainda trabalhava no software temporário de um parceiro, foram realizadas mais de 300 videochamadas - todos casos em que fornecedores de equipamentos, técnicos internos, representantes de construtoras transferiram ou receberam todas as informações necessárias através do serviço AR, sem vir para a nossa produção. E em junho de 2020, a SIBUR iniciou a implantação ativa de sua própria plataforma de AR para manutenção remota e reparo de equipamentos industriais.
O que é manutenção remota de AR e serviço de reparo?
Nosso serviço de AR é fácil de usar e, em geral, inclui 2 componentes principais: óculos de realidade aumentada RealWear e Epson (dependendo das condições ambientais, mais sobre isso depois) e a própria plataforma de mídia móvel da SIBUR integrada com eles baseada no sistema operacional Android. desenvolvido em colaboração com G-Core Labs. A plataforma permite digitalizar totalmente todo o processo de manutenção e reparo, organizando a transmissão em HD, usando WebRTC e uma plataforma de comunicação completa para a interação efetiva de um especialista no local com um especialista remoto. Todo o controle é feito por voz, as mãos de quem trabalha com a instalação ficam totalmente livres.
Um representante de um fornecedor de equipamentos industriais ou um especialista interno da SIBUR entra em contato com o especialista da fábrica, que simplesmente recebe um link para seu e-mail pessoal e inicia a videoconferência em qualquer navegador (Chrome, Edge, Mozilla, Safari, etc.) em qualquer dispositivo, em incl. tablet e smartphone.
Não há necessidade de instalar nenhum aplicativo ou programa especial.
A SIBUR é uma empresa distribuída geograficamente, nossas empresas operam em mais de 20 regiões em toda a Rússia (e não só), desde a parte europeia do país até a Sibéria e o Extremo Oriente. Às vezes, existem milhares de quilômetros entre a fábrica e um especialista qualificado que pode gerenciar a manutenção ou o reparo de um determinado equipamento. Por exemplo, leva de 7 a 9 horas para ir de um centro corporativo em Moscou a um objeto localizado na Sibéria - durante esse tempo, tudo pode mudar para melhor e para pior. E se o especialista não estiver em Moscou, mas em outro país? As fábricas operam instalações russas e equipamentos de fabricantes americanos, japoneses, europeus e asiáticos. Também levamos em consideração que você precisa organizar uma viagem de negócios, às vezes - obter um visto. Deve ser observado aquique uma consulta presencial com um especialista não é barata: são despesas de viagem, o custo de pagar uma jornada completa de trabalho de um especialista ou mesmo vários dias (o faturamento por hora não funciona no formato presencial). Uma dessas consultas pode custar a uma empresa de várias centenas de milhares a um milhão de rublos. E se as restrições de quarentena, o fechamento de fronteiras e a suspensão de voos internacionais novamente? Por isso, o lançamento da plataforma AR para consultoria remota foi muito relevante para nós.fechamento de fronteiras e suspensão de voos internacionais? Por isso, o lançamento da plataforma AR de consultoria remota foi muito relevante para nós.fechamento de fronteiras e suspensão de voos internacionais? Por isso, o lançamento da plataforma AR para consultoria remota foi muito relevante para nós.
Serviço de AR: funcionalidade necessária e como o implementamos
O principal cenário de utilização do nosso serviço são as videochamadas em grupo. Para reduzir a carga na rede e melhorar a qualidade do vídeo transmitido, usamos um servidor de mídia. O servidor de mídia utilizado no projeto permite duplicar o fluxo de mídia de entrada para vários clientes, adaptando-o ao canal de comunicação de cada cliente. Também permite que você crie visualizações ao vivo do usuário, eliminando a necessidade de transferir vídeos em tamanho real de outros clientes para o cliente. Para o trabalho em grupo de clientes com base no servidor de mídia, ferramentas como zoom e gravação são implementadas.
Quando eles dizem “videoconferência”, todos representam skype ou zoom. Mas trabalhamos com interfaces e documentos, e na produção trabalhamos com equipamentos, por isso precisamos de mãos livres para demonstrar os processos. O próprio ambiente também é diferente - a ferramenta de comunicação não deve causar faísca.
Para liberar as mãos de um especialista "em campo", a plataforma oferece total controle de voz dos óculos AR: sob comando, eles são ativados, iniciam a transmissão remota, gravam vídeos e tiram fotos em alta resolução. Após o término da sessão, os registros da consulta são salvos no servidor corporativo. No início da sessão, o nome e a vestimenta do especialista conectado, indicadores da qualidade da conexão de rede e o nível da bateria são exibidos no microvisor dos óculos.
Em geadas severas, os vidros funcionam suavemente por 2 horas. E aqui vamos voltar ao tópico da centelha. Em nossas unidades de produção, usamos equipamentos projetados para operação em um ambiente perigoso de gás - este é o RealWear. Para o trabalho em oficinas de reparo, é possível usar dispositivos resistentes à poeira e umidade no design industrial. Aqui usamos equipamentos Epson.
Sobre a foto
O G-Core Labs nos ajudou a desenvolver a plataforma de mídia. Uma imagem estável e clara, a capacidade de ver até pequenos detalhes do equipamento - tudo isso foi muito importante para nós. Nesse sentido, mudamos o comportamento padrão da biblioteca WebRTC, em que quando a velocidade de conexão com a rede diminui, a qualidade da imagem se deteriora, mas a taxa de quadros permanece. No nosso caso, é a qualidade da imagem que é crítica, mesmo que haja atrasos na entrega do stream de vídeo. Pois bem, se a conexão falhar completamente, nossa plataforma prioriza manter a conexão de áudio com a operadora.
Além de uma imagem de alta qualidade, também precisávamos de realidade aumentada - dicas, notificações. Com a ajuda de um apontador virtual exibido no micro display dos óculos, um funcionário do fornecedor do equipamento pode direcionar as ações de um especialista da planta, indicando para onde ele deve olhar, o que virar e onde controlar. Além disso, o bate-papo e o envio de adesivos são integrados à funcionalidade da plataforma AR. Os últimos são necessários, por exemplo, se algo estiver errado com a conexão. Nesse caso, o especialista remoto envia adesivos de sinal - por exemplo, um "tique" se tudo for feito corretamente ou um "pare" se você precisar interromper as ações.
O que torna nosso serviço único?
Os principais diferenciais da solução SIBUR de outros análogos do mercado são a profundidade de sua integração nas tarefas e processos reais de produção das empresas, a digitalização abrangente do processo de reparo e a versatilidade, o que permite que o serviço seja implantado em uma variedade de locais de produção.
Em nossa solução, elaboramos um modelo de função completo com foco em clientes empresariais - gerentes de produção, gerentes de local, mecânicos, gerentes de atendimento técnico ao cliente, etc. O serviço AR disponibiliza um sistema de tickets, o que implica não só a possibilidade de videocomunicação, mas também uma digitalização completa do processo de negócio para a realização de uma consulta remota. Com a ajuda deste sistema de tickets, orientamos o cliente ao longo de todo o caminho de resolução do problema que surgiu, desde a verificação da completude das informações necessárias à avaliação do custo da obra, das competências e qualificações necessárias de especialistas externos ou internos, garantimos a segurança da informação e respondemos a perguntas sobre quem, a que horas e com quem deve ter óculos,como este sistema é mantido e como exatamente toda essa interação ocorre até a conclusão bem-sucedida do serviço ou reparo.
Claro, na Rússia, Europa, Ásia e América existem sistemas que permitem organizar a comunicação de vídeo usando óculos de realidade aumentada. No entanto, até à data, o sucesso da implementação de tais projetos em empreendimentos industriais depende em grande medida da qualidade da integração nos processos internos, bem como da plataforma informática utilizada, personalizada para processos e tarefas industriais.
Restrições e desafios: não - plug-ins e WiFi, sim - LTE e arquitetura de microsserviço
Um dos requisitos para a criação da plataforma foi a ausência de instalação de nada (plugins ou programas) nos computadores dos usuários. Atendemos a esse requisito usando um cliente da web e um navegador moderno. Quase todos os navegadores modernos (desktop e móvel) suportam a tecnologia WebRTC. Nosso serviço é baseado nisso. Resumindo, o WebRTC permite estabelecer comunicação de streaming de áudio e vídeo entre os participantes usando o protocolo RTP, que por sua vez é executado em UDP. Há um mecanismo para selecionar caminhos para estabelecer uma conexão entre participantes (ICE), um mecanismo para negociar o formato de fluxos de mídia (SDP), algoritmos para estimar a largura de banda de um canal de comunicação, algoritmos para adaptar a compressão de fluxos de mídia e algoritmos de processamento de mídia, como cancelamento de eco, etc.Recentemente, WebRTC recebeu boa distribuição em navegadores e desenvolvimento. Nem sempre é possível usar o UDP para transferência de dados entre os participantes devido à presença de firewalls, antivírus, roteadores e NAT. Para resolver esses problemas, STUN e TURN foram inventados. Para os casos em que o UDP não está disponível, agora é possível usar o TCP para ICE. O suporte TCP também foi adicionado ao STUN e TURN.
O TCP aumenta a disponibilidade de nosso serviço para clientes externos que podem estar atrás de NAT, firewall, firewalls corporativos e outras várias restrições de rede. No entanto, o uso do protocolo TCP em vez do UDP alterou o comportamento do WebRTC. Durante a transferência de dados de mídia via protocolo UDP, podem ocorrer perdas de pacotes, duplicação, reordenamento e pequenos atrasos. Todas essas situações são tratadas corretamente pelo WebRTC: pode haver um aparecimento de artefatos de imagem ou distorção de som a curto prazo. Ao usar o TCP, não há perdas, duplicação e reordenamento de pacotes - isso é monitorado pelos algoritmos embutidos no protocolo. Mas tudo isso se transforma em grandes atrasos e instabilidade ao receber pacotes.Visualmente, pareciam quadros congelados e um acúmulo gradual de atraso entre a fonte de vídeo e a exibição em outro cliente. Depois de fazer alterações no servidor de mídia, praticamente conseguimos nos livrar do acúmulo de latência, mas o congelamento de quadros não foi superado. Foi decidido desativar temporariamente a transmissão de vídeo do servidor de mídia em caso de longos atrasos no recebimento de pacotes. Esta solução permitiu preservar a comunicação de voz entre os participantes, mesmo em más condições de rede.Esta solução permitiu manter a comunicação de voz entre os participantes, mesmo em más condições de rede.Esta solução permitiu manter a comunicação de voz entre os participantes, mesmo em más condições de rede.
Todos os óculos inteligentes industriais do mercado se conectam à rede via WiFi. Isso cria algumas dificuldades na operação de vidros nos vastos territórios das fábricas da SIBUR. Fornecer uma conexão WiFi estável para todos os locais de uma fábrica onde o trabalho deve ser realizado com óculos inteligentes, dada a escala das fábricas e instalações, é uma tarefa bastante difícil. É mais eficiente e barato usar a rede sem fio LTE em espaços abertos. Essa solução, no entanto, requer que o funcionário tenha equipamento adicional - um modem LTE. A rede LTE também é bem protegida pelas estruturas de concreto armado das oficinas e pelas caixas de metal dos equipamentos dentro delas. Para fornecer cobertura dentro do edifício, são usados modems LTE estacionários e uma rede WiFi. Ao trabalhar com óculos inteligentes, a qualidade da conexão com os servidores é instável,às vezes se interrompe. Para não perder informações sobre o que o funcionário estava fazendo com os óculos e como, os óculos gravam o vídeo em uma mídia interna. Este vídeo é gravado em qualidade HD e não depende das condições da rede. Temos a capacidade de apagar dados remotamente em óculos, bem como excluir dados em caso de detecção de raiz.
Todos os serviços SIBUR são construídos usando uma arquitetura de microsserviço. Nossa plataforma não é exceção. Na verdade, ele consiste em dois microsserviços: microsserviço BPM e microsserviço de videochamada. Também usamos microsserviços implantados ou desenvolvidos por outras equipes: um microsserviço de autenticação para trabalhar com usuários, um microsserviço de notificação para correio e correspondências SMS e alguns outros. Os microsserviços se comunicam entre si usando gRPC. Os clientes comunicam-se com o nosso serviço da mesma forma: para óculos inteligentes e um cliente web. No entanto, o gRPC não é compatível diretamente com clientes da web. Eles têm uma biblioteca para trabalhar com gRPC-web, que não é compatível com gRPC. Para acessar o serviço, é usado um gateway gRPC, que converte gRPC-web em gRPC e vice-versa.
No momento, construímos uma plataforma modular que fornece comunicação de áudio e vídeo estável e de alta qualidade (até onde a rede permite), e também tem a capacidade de expandir sua funcionalidade adicionando novos módulos e equipamentos. Ainda há muito trabalho pela frente: os planos são de maior integração com outros serviços de informação da SIBUR, pesquisa de uma nova geração de óculos e capacetes AR e VR, implementação de ferramentas de realidade aumentada e colaboração efetiva de nossos colegas e terceiros parceiros.