Análise de tecnologia de rastreamento: máscaras AR

Olá. Meu nome é Dyadichenko Grigory e adoro rastrear. Nos últimos anos, as tecnologias de rastreamento evoluíram aos trancos e barrancos e se tornaram cada vez mais democráticas. Muitas tecnologias de planos muito diferentes surgiram. Tive a sorte de trabalhar com um grande número de tecnologias de vários tipos, por isso quero estruturar um pouco esse conhecimento. Na maior parte do tempo, estaremos olhando para tecnologias de rastreamento compatíveis com o Unity ou a web. Então, se este tópico interessa a você. Bem-vindo ao corte!

— . , . Face Landmark Recognition. , , Face Recognition FaceID , , , .

AR

AR . , , AR. — . Instagram TikTok. . .

Face Tracking

Epic Games Hyprsense.

2020 . , , , . , . Motion Capture , Faceware, . FaceRig VTuber’. , . , - , ARKit. , , . Faceware .

AR

, . - . . :

https://player.vimeo.com/video/220504292

https://mixr.ru/2021/01/20/trollo/

AR . , , .

Unity, , . , SDK , SDK , ( ).

SparkAR

:

: Android/IOS

Unity: ,

:

https://sparkar.facebook.com/ar-studio/

, Spark. — , Instagram . — , . , .. . , .

, , , - . , , Spark AR Studio .

ARFoundation (ARKit/ARCore)

:

: Android/IOS

Unity:

SDK : 2

:

https://docs.unity3d.com/Packages/com.unity.xr.arfoundation@4.1/manual/

ARFoundation 4.1 Face tracking ARCore ARKit ( ARFoundation ARCore). , , , API AR Foundation. Unity , , . .

SDK, , , . , .

OpenCV + Dlib

: / Unity 135$ (https://assetstore.unity.com/packages/tools/integration/opencv-for-unity-21088 + https://assetstore.unity.com/packages/tools/integration/dlib-facelandmark-detector-64314 )

: Android/IOS/WebGL/Win/Mac/Linux/Hololens/MagicLeap

Unity:

SDK : 9 ( , )

:

https://opencv.org/

. , , Python, . — . Unity - , . OpenCV Dlib, . . . , . Python , Unity SDK.

- . , OpenCV - . -, OpenCV . -, , Unity, Unity . C , . , . 2 FPS, 30, 60 SDK .

XZIMG

: 2100€

: Android/IOS/WebGL/Win

SDK : 2

Unity:

:

https://www.xzimg.com/Products?nav=product-XMF

SDK - , . , , . , , . , MOTOROLA G5S. Android 4.1 - . , - . , . OpenCV .

ARGear

: / 25$

: Android/IOS

Unity:

SDK : 9

:

https://argear.io/

, XZIMG. Xiaomi Redmi Note 8T. . . , , , - . , , sample project Unity, sdk. - .

BRFv5

:

: Web/Android(Chrome)/IOS(Safari)

Unity:

https://github.com/Tastenkunst/brfv5-browser

SDK , . . . (: ) , 68 — . . . , Media Pipe .

, , Banuba Deepar. , . Deepar SDK Unity, .

, . . . . , OpenCV , , , , . , , .

, . , SLAM, ..