Music2Dance: Como tentamos aprender a dançar

Olá a todos! Meu nome é Vladislav Mosin, e sou um aluno do 4º ano do programa de Bacharelado em Matemática Aplicada e Informática no HSE de São Petersburgo. No verão passado, junto com Alina Pleshkova, uma aluna de pós-graduação de nosso corpo docente, fiz um estágio na JetBrains Research. Trabalhamos no projeto Music2Dance, cujo objetivo é aprender a gerar movimentos de dança adequados à música dada. Isso pode ser usado, por exemplo, no auto-estudo da dança: Eu ouvi a música, lancei o aplicativo e ele mostrou movimentos que combinam harmoniosamente com essa música.

Olhando para o futuro, direi que nossos resultados, infelizmente, ficaram longe dos melhores modelos de geração de movimento que existem hoje. Mas se você também estiver interessado em resolver este problema, eu o convido em gato. 

. , — Dance Dance Revolution, , . — 2D-. 

C — 3D- . . 2020 DanceNet, . .

: , , . .

: onset, beats, chroma

, — — . , , , . , onset, beats chroma ( , ).

:  

. — — . , , , -. , (, 240x240) . 

, . , . , , , , . 

( ), .

. , 3D-, : , . , , . : , .

DanceNet

DanceNet coc : 

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• .

  
  
  
  
  

:

1. . Bi-LSTM .

   
   
   
   
   

2. . , Bi-LSTM .

   
   
   
   
   

3. - . .

   
   
   
   
   

4. . , . dilated () -.

   
   
   
   
   

DanceNet , , — , , .

, , . , . , , , . . , .

:

• 
  
  
  
  

• (DanceNet)

  
  
  
  
  

• (RL )

  
  
  
  
  

• 
  
  
  
  

. 2020 , . , , . , . , - . , : YouTube VIBE.

DanceNet

— , -, , -, .

RL

RL — , . ( ) , . 

. : .

, Q-Learning ( TD3, ) ( PPO). 

, . -, , . , , , . Humanoid, , .

, , .

S — , S_real — , R — .

, , , . , . .

, , DanceNet. , , , , . . , — YouTube , RL .

. !

---

:

• 10 BERT- ?

  
  
  
  
  

• ! Gym-Duckietown

  
  
  
  
  

• Google: ,

  
  
  
  
  

---