Interface de usuário tangível: reconhecimento de objeto ao trabalhar com um sistema multitoque

Compartilhamos nossa experiência com a interface de usuário tangível e explicamos como reconhecer marcadores usando padrões de pontos. Você aprenderá como fazer visualizações espetaculares com a ajuda da tela e do quadro infravermelho, bem como quais armadilhas podem ser encontradas ao trabalhar com o TUIO.

Nota do parceiro do centro de informática MAI e organizador do programa de mestrado “ VR / AR & AI ” - FIGITALISMO .

Ao resolver problemas científicos, educacionais ou de negócios, muitas vezes surge o problema de encontrar a visualização mais simples e compreensível de processos e dados complexos. Agora, esse problema está sendo resolvido por meio de tecnologia de computador e dispositivos móveis. Uma abordagem para interação humana com informações digitais é a interface de usuário tangível (TUI) ou interface de usuário tátil .

, // , . TUI , , , , .

TUI — Phygital Platform . - .

, , . , . ,  -  . , .

, ObjectViz, TUIO. , , .

, :

. . , ( ). , , . , . , , , : , , .

, ( , id, , ). , — , — , .

— () , , , , . , , .

G5S (Ultra-Slim) Multi-Touch Screen, 32 . TUIO (). :

 {"Id":15237,
     "Timestamp":397449,
     "Touches":[{
                    "Id":0,
                    "Position":{
                        "X":0.480208337,
                        "Y":0.5842593},
                    "Acceleration":{
                        "X":0.00208333344,
                        "Y":0.00370370364},
                    "Type":1},
                 {  
                    "Id":1,
                    "Position":{
                        "X":0.4859375,
                        "Y":0.484259248},
                    "Acceleration":{
                        "X":0.00208333344,
                        "Y":0.00370370364},
                    "Type":0},
                {
                    "Id":2,
                    "Position":{
                        "X":0.5140625,
                        "Y":0.551851869},
                    "Acceleration":{
                        "X":0.00208333344,
                        "Y":0.00370370364},
                    "Type":0}],
     "Count":3}

• ID ();
• Id ( );
• Position ( X Y);
• Type , (0 ; 1 , ; 2 );
• Count

: , [0,1]. , :

, .

, . , , 0, .

, 100% . .

$$

$$MAD = \frac{1}{n}\sum_{i=1}^n|L_{i} - \overline{L}|$$

$$

$$\overline{L} = \frac{1}{n}\sum_{i=1}^n L_{i}$$

$$

$$D = \underset{i}{\operatorname{\max {L_i}}} - \underset{i}{\operatorname{\min {L_i}}}$$

: $$$MAD$, $$$L$ $$$D$ , .

.

, , 2–3 . , , , Id, 20 .

, , — . . , .

, . . , , — .

.

, , , .

:

• ;
• ( ).

, .

, .

$$$V_0 V_s V_l$ ($$$s$— shortest, $$$l$ — longest). $$$(V_0 V_l)$ , , $$$(V_0 V_s)$. $$$V_s$ , .

, :

$$

$$\begin{vmatrix} (V_{lx} - V_{0x}) & (V_{ly} - V_{0y})\\ (V_{sx} - V_{0x}) & (V_{sy} - V_{0y}) \end{vmatrix} > 0 \Rightarrow$$

$$

$$(V_{lx} - V_{0x})(V_{sy} - V_{0y}) - (V_{ly} - V_{0y})(V_{sx} - V_{0x}) > 0$$

.

, , , . , . .

, d. , , , , — , .

.

, , , , d. .

, — , , d, .

.

, , . , d. -, . . $$$O(V+E)$, $$$V$ — , $$$E$ — .

:

1. ;
2. $$$v$:
   
   
   • $$$v$ , $$$DFS(v)$;
   • .

$$$v: DFS(v)$:

1. $$$v$ ;
2. $$$v$;
3. v $$$u$:
   
   $$$u$ , $$$DFS(u)$.

— , .

, ( , ). , s , .

$$

$$s_k = \frac{1}{3}\sum_{i=1}^3|L_{ki} - \overline{L_{i}}|$$

$$

$$RecognizedMarkerNumber = \underset{k}{\operatorname{argmin}} (s_k)$$

$$$L_{ki}$ — , $$$L_{i}$ — .

, , , .

.

, . , , , , . , , , — , , .

, . :

• , . , "" . : , .

  
  
  

• , , , .

  
  
  

• , , — . , - , , , .

  
  
  

, .

, , , , Id . , , . Type.

, . , .

, .

, ; , . Active ( = ) Passive ( = ). , , , .

: Added, Updated, Unstable, Removed. , .

, , (. . 10), , , : . 4,5.

.

, — .

.

, , , , . , , .

:

$$

$$x = \frac{m_a m_b(y_1 - y_3) + m_b(x_1 + x_2) - m_a(x_2 + x_3)}{2(m_b - m_a)}$$

$$

$$y = -\frac{1}{m_a} (x - \frac{(x_1 + x_2) } {2}) + \frac{(y_1 + y_2)} {2},$$

m — , :

$$

$$m_a = \frac{y_2-y_1}{x_2-x_1}$$

$$

$$m_b = \frac{y_3-y_2}{x_3-x_2}$$

φ . α₁ Oy . , — Oy . $$$V_{lx}, V_{ly}$ — $$$V_l$ , $$$V_o V_l$ ( ) . $$$\varphi$ :

$$

$$\varphi = \alpha_1 - \alpha_2$$

$$

$$alpha = \arctan{\frac{v_x}{v_y}}$$

$$$\alpha$, , , $$$-π ≤ θ < π.$

, .

, , , .

, TUI , — , ( C#).

— !