Olá, Habr! Juntamente com o Harmony OS, apresentamos a quinta versão do HMS Core, um conjunto de ferramentas que você pode usar para desenvolver aplicativos para o ecossistema Huawei. Adicionamos novas possibilidades de trabalho com conteúdo, com foco em segurança de dados, interação entre dispositivos e ampliamos as possibilidades de ferramentas de IA - falamos sobre tudo isso em detalhes em nossa conferência HDC.Together , e neste artigo daremos uma visão geral dos novos recursos do HMS.
Ferramentas para trabalhar com ML e IA
Os principais serviços para trabalhar com IA estão incluídos no kit de ML e permitem que você trabalhe com texto, voz, imagens, tecnologias AR / VR. No HMS Core 5.0, aumentamos o número de idiomas suportados para 50 e podemos traduzir entre 20 idiomas, enquanto as gravações de texto e voz são aceitas como entrada. Além disso, o ML Kit pode ser usado para filtrar spam e quaisquer imagens obscenas.
Com o Kit de ML, é possível converter gravações de voz em formato de texto e vice-versa, e estendemos essa funcionalidade com o Video Course Creator, que cria cursos educacionais automaticamente: toma como entrada o programa educacional, comentários do professor e parâmetros de áudio e vídeo predefinidos - durante a transmissão, o professor pode consultar os materiais necessários e todos os materiais gravados são reunidos em um único curso.
Fizemos uma ênfase especial no reconhecimento de rosto, gestos e poses. Graças a isso, usando o kit de ML, você pode realizar a autenticação facial - o sistema é conectado via API e pode ser usado para acesso rápido aos aplicativos sem nenhuma ação adicional.
Você pode trabalhar com ferramentas de IA e ML em diferentes níveis:
- HiAI , , NPU-.
- Ability Gallery AI .
AR/VR
Nosso mecanismo de AR analisa informações sobre iluminação, plano, forma do objeto, tipo de superfície e pode pesquisar objetos específicos no espaço. Separadamente, o sistema pode construir um esquema 3D usando pontos de ancoragem e rastrear movimentos humanos, gestos e expressões faciais. Por exemplo, 21 pontos são alocados para determinar a posição da mão e 23 pontos são alocados para a posição do corpo. Agora o sistema pode reconhecer 6 poses e analisar 2 pessoas ao mesmo tempo.
Com a quinta versão, o HMS Core CameraKit oferece vários modos de fotografia: abertura ampla, modo retrato, HDR, desfoque de fundo, modo supernoite e outros semelhantes. Também se tornou possível usar IA na gravação de fotos e vídeos para pré-seleção de filtros e correção de cores.
Colaboração de dispositivos
A nova versão do HMS Core possui vários novos mecanismos para colaboração entre diferentes dispositivos. Simplificamos as interações entre dispositivos e coisas inteligentes usando o mecanismo DeviceVirtualization . Ele converte dispositivos periféricos em objetos virtuais e permite que o telefone funcione com eles da mesma forma que com as funções normais.
Na mesma direção, desenvolvemos o Cast Engine , que permite que o celular funcione no modo multitela e transmita imagens para a TV em alta definição. Também planejamos adicionar a capacidade de trabalhar com o Cast Engine por meio de outros aplicativos.
Outro novo motor OneHop Kitfunciona com NFC e permite a transferência segura de dados entre dispositivos com um toque. Com ele, você pode sincronizar dispositivos Huawei entre si, transferir arquivos e abrir aplicativos em outros dispositivos com as mesmas configurações do principal. Até agora, ele só funciona entre telefones e tablets Huawei, por isso oferecemos um mecanismo de compartilhamento para comunicação com outros dispositivos , que fornece velocidades de até 80 Mb / s via Bluetooth.
Video e audio
Na nova versão, desenvolvemos várias novas ferramentas SDK para trabalhar com áudio e vídeo. O Kit de Áudio e o Kit de Vídeo suportam os principais formatos de arquivo e codecs e podem ser facilmente integrados ao aplicativo e ler, salvar e excluir listas, reproduzir sequências e ajustar a velocidade de reprodução. Todo o áudio e vídeo são protegidos por algoritmos de criptografia.
O Kit de Áudio agora possui motor de áudio para gravar som em alta qualidade com a otimização do delay e demais funções do instrumento. O motor de vídeo, por sua vez, suporta os principais protocolos HTTP, HTTPS, HLS, DASH. Ele também permite que você organize o streaming de serviços de terceiros usando o Video Kit WisePlayer SDK.
Com base em nosso serviçoHuawei Meetime foi lançado o Kit Caas para chamadas de vídeo, que permite a reprodução de imagem HD e transmissão mesmo com conexões instáveis. O motor também permite compartilhar a tela, desenhar rabiscos e, usando tecnologias de virtualização, transferir imagens para qualquer outro dispositivo, que pode ser usado para conferências de negócios.
Imagens e renderização 3D
O Image Kit apareceu para processamento de imagens - oferece mais de 20 filtros e efeitos visuais, incluindo animação com renderização. Inclui 2 SDKs: Image Vision SDK para trabalhar com filtros de cores e Image Render SDK para usar efeitos de animação.
O Scene Kit foi projetado para trabalhar com objetos 3D: ele usa o método de renderização fisicamente correta (PBR) e permite que os aplicativos se conectem via API e recebam modelos 3D de objetos complexos. O mecanismo oferece três cenários: SceneView para cenas compartilhadas (não AR), ARView para cenas AR compartilhadas e FaceView para trabalhar com rostos em cenas AR.
Analytics e segurança
No Huawei Core 5.0, lançamos o sistema de etiquetagem Dynamic Tag Manager (DTM) para rastrear a atividade de marketing dos usuários: ele se integra aos próprios serviços da Huawei e a plataformas de terceiros para envio e processamento de dados. Usando o DTM, você pode atualizar tags dinamicamente na interface do usuário da web, rastrear eventos específicos e enviar dados para plataformas analíticas de terceiros. Nossos sistemas se concentram na segurança, e é por isso que o mecanismo DTM também é usado como um sistema antifraude para rastrear atividades suspeitas.
Um dos recursos da nova versão do HMS é a autenticação facial usando LocalAuthentication Engine... Ele funciona com uma câmera infravermelha que constrói o modelo a partir dos pontos de referência e autentica com o kit de ML.
Por fim, prestamos atenção à proteção de conteúdo: para arquivos de áudio, a criptografia de cache é usada, para vídeo - um sistema anti-lítico e autenticação durante a reprodução, e para trabalhar com uma câmera - criptografia ponta a ponta. Todos os dados HMS são armazenados em um ambiente TEE confiável , no qual a criptografia é realizada.
Onde posso encontrar mais informações?
Todas as gravações da conferência HDC.Together estão disponíveis aqui . Aqui você pode ouvir relatórios sobre atualizações de plataforma, os principais cenários para trabalhar com ferramentas HMS e fazer perguntas técnicas no Huawei Developer Forum ou Stackoverflow com a tag huawei-mobile-services .