Desde 2017, tenho feito diferentes visões de computador: desde detecções e classificações claras até leitura labial .
E depois de uma série de acidentes, descobri que sou o único engenheiro de visão computacional em uma startup que fabrica helicópteros não tripulados. Por esta razão, decidi entrar com minhas pernas de visão computacional e fazer algum projeto de estimação relacionado a drones.
O plano é o seguinte: vou simplesmente montar uma quádrica com uma câmera, um piloto automático e alguma ponta de ferro (neurônios de acionamento e outros CVs) e terei mais ou menos uma plataforma voadora universal. Por exemplo, como este , mas mais flexível e barato. E há muitas aplicações interessantes: desde detectar uma pessoa e segui-la, até controlar um quadrocopter usando o Aprendizado por Reforço .
Assim começou minha jornada de 8 meses: desde a ideia e pedido dos primeiros componentes no aliexpress até o aproveitamento total da odometria visual de bordo pelo quadricóptero e vôo ao longo dele.
Na primeira parte do artigo (depois de alguns parágrafos!) Contarei e mostrarei quais componentes usei para montar um quadrocopter para essa tarefa, o que me guiei na hora de escolher e o que levar em consideração para fazê-lo voar.
( !) , , GPS, visual SLAM.
,
450 ( 450).
. : . - . , tradeoff \.
,
-, . , , ¯\_(ツ)_/¯
( AliExpress) . 700KV (← ; , KV ). KV.
,
( ), , , , ( ).
: , , 10 . 10, , , , .
ESC. DShotXXX ( XXX, )
, software , ESC ( ArduPilot PX4, )
,
( — XXYY): ( ). . ? . .
, , : - .
, . 1145.
, . , , . - , - :)
( ): 1) ( ) 2) .
,
( "") .
: . , , . 4S Li-Po , 5000 mAh. . , ( ) 20 .
,
(\) . .. . , . ( ) FrSky (Taranis X10 lite FrSky R-XSR). , , \.
"" RadioMaster. , FrSky , .
,
software stack (state estimation, , ), hardware ( software stack ).
Hardware , ( IMU, , ).
( + GPS, , ), , .
- . .. - . open-source , ( ): ArduPilot PX4.
ardupilot ( , ) 2020- hardware - pixhawk 4 mini.
, companion computer
, . companion computer , , - path planning, external navigation, + task specific .
: Intel Movidius, Google Coral, Jetson . Raspberry c .. , "" .
Jetson-e Nano ( ) (TensorRT), GPU .. - CUDA ( CUDA, , ?), SLAM .
,
Intel RealSense D435, , RGB . Raspberry Pi c MIPI .. 3D , - , .
, , , rolling shutter .. , .
, !
, (, ) !
, , :
Getting Started. . , .
, companion computer . , .
, , . , , ( , ESC).
, .
, ( ⇒ ).
Loctite ( ), ( , ). - .
( ), , .
( GPS), .
. : , . LiPo 4.2v. , "" , ( 3.5-3.6v)
, ?
, : .
- . (), .
O resultado é um drone no qual é muito enfadonho voar em modo manual e, se voar, só na rua é grande para uso interno. Mas DimDrone servirá como uma excelente plataforma para testar e pesquisar diferentes algoritmos de visão computacional.