Estabilizar vídeo de uma câmera em movimento ou como traduzir tudo em um sistema de coordenadas fixo

Os recursos de visão computacional (CV) estão agora remodelando completamente o cenário do mercado de soluções de segurança pública. Embora já não seja fácil surpreender ninguém com os sistemas tradicionais de videovigilância, e seja estranho não o encontrar em nenhum local público, o uso de IA nesta área ainda é uma novidade.

Estamos investigando a aplicação do CV a várias tarefas de segurança pública. Nesta postagem, oferecemos uma opção para traduzir o vídeo de uma câmera em movimento em um sistema de coordenadas fixas para análise posterior.

O projeto está totalmente no GitHub .

---

Digamos que temos algum tipo de vídeo e queremos construir um sistema de coordenadas fixas para ele, a fim de avaliar a localização dos objetos em relação uns aos outros.

Por que isso é necessário? Muitas vezes, nas tarefas de vigilância pública, o vídeo que precisa ser analisado é filmado com uma câmera em movimento. Por causa disso, vários problemas surgem na determinação da posição de objetos em relação uns aos outros:

• Não está claro o que causou a mudança nas coordenadas do objeto: a câmera ou o próprio objeto está se movendo;
• Quando a cena muda devido à rotação da câmera, diferentes objetos podem obter as mesmas coordenadas, mesmo se os objetos fossem estáticos.

Figura 1 - Objetos idênticos têm diferentes coordenadas devido ao movimento da câmera

Para construir um sistema de coordenadas fixas, você deve:

1. Determine a origem das coordenadas;
2. Compare dois quadros consecutivos entre si;
3. , , (, , ..).

2 —

:

1. .
2. : , . . . SIFT, SURF ORB. , . , , , .

3 — matching visualization

1. , .

:

• a, e — x y ;
• b, d — ( a e );
• c, f — ;
• g, h — .

, , . (x,y) (x',y') :

:

$$

$$t\cdot(x',y',1)=H\cdot(x,y,1)(1)$$

:

k- .

N — (f₁,..., f_N). . matching points , f_k f_k-1.

:

— ;

(X_k, Y_k)=((x¹_k, y¹_k),…, (xⁿ_k, yⁿ_k)) – n matching points;

(X'_k, Y'_k) =((x'¹_k, y'¹_k),…, (x'ⁿ_k, y'ⁿ_k)) – n matching points ;

(X''_k, Y''_k) =((x''¹_k, y''¹_k),…, (x''ⁿ_k, y''ⁿ_k)) – k — n matching points , f_k-1.

H_k – , f_k-1 f_k.

, .

(X_k, Y_k) (X'_k, Y'_k). f₁ f_k , .. . H_k.

, (H₁,…, H_k-1). H_k (X_k-1, Y_k-1) (X_k, Y_k), , .

3:

3 — ,



, . a :

x¹_k= x¹_k-1 — a, , a : x'¹_k = x¹_k — a, 3. , , .

?

(H₁,…, H_k-1). , 1 k-1 mathcing points f_k-1 . (1), , — .

$$

$$H_{sup}=H_1\cdot(H_2\cdot(H_3...))(2)$$

, , , f_k-1 f_k, : (X_k-1, Y_k-1) (X_k, Y_k) ( (2)), (X'_k-1, Y'_k-1) (X''_k, Y''_k) H_k. , , (x¹_k, y¹_k) (x'¹_k, y'¹_k).

$$

$$t(x',y',1)=H_{sup} \cdot(x,y,1) (3)$$

: , ( , , .. ), - , . .

:

• "" matching points ((x¹_k, y¹_k),… ,(x'ⁿ_k, y'ⁿ_k)),
• H, k- k-1 .
• ((x'¹_k, y'¹_k),… ,(x'ⁿ_k, y'ⁿ_k))
• :
  
  
  • , ;
  • . , ;
  • - ( LENGTH_ACCOUNTED_POINTS len(matching points)), , , , .

, . .

"" , . , , , , . T , . , motion video segmentation.

.

GitHub , .

• evenvizion_component.py
• evenvizion_visualization.py
• compare_evenvizion_with_original_video.py

evenvizion_component.py

, evenvizion_component.py. , json , f_k-1 f_k. , json , . , , .

- , json --path_to_original_coordinate recalculated_coordinates.json , .

json :

{"frame_no": [{"x1": x coordinate, "y1": y coordinate}, ...], ...}

evenvizion_component.py , 3 ( matching and heatmap --show_matches --visualize_fixed_coordinate_system ).

evenvizion_visualization.py compare_evenvizion_with_original_video.py .

README.

, .

:

matching points — matching visualization:

5 — matching visualization

.

, , (heatmap visualization):

6 — heatmap visualization

20 , , . , . : r=sqrt(x²+y²), heatmap_constant , : 0 — , 1 — .

7 — fixed_coordinate_system_visualization

json , , fixed_coordinate_system_visualization ( 7).

evenvizion_visualization.py compare_evenvizion_with_original_video.py , ( ). 8 9 .

8 — visualize_camera_stabilization

9 — original_video_with_EvenVizion

Known issues

N/a . matching points , , 90 , . video motion segmentation, , , static points motion points. — .

. 4 matching points, , 4 , =None. : none_H_processing True, : H_k=H_k-1. False, H — , . .

. . . :

• . , , (, ).
• findHomography() opencv. .

Assim, obtemos um componente que nos permite estimar a posição real dos objetos em relação uns aos outros, para traduzir as coordenadas do objeto em um sistema estacionário em relação ao quadro. Porque Nessa solução, o principal é avaliar a transformação dos aviões usando pontos-chave, então, como mostrado acima, o problema pode ser resolvido mesmo em más condições de filmagem (movimentos nítidos da câmera, condições climáticas difíceis, filmagem à noite, etc.).