Olá a todos! Estou trabalhando com modelos generativos, um dos meus projetos é o desenvolvimento DeepFake. Pretendo criar vários artigos sobre este projeto. Este artigo é o primeiro, no qual considerarei as arquiteturas que podem ser utilizadas, suas vantagens e desvantagens. Das abordagens existentes para criar DeepFake, o seguinte pode ser distinguido:
Arquitetura baseada em codec
Redes adversárias gerativas (GAN)
Arquitetura codificador-decodificador
Essa abordagem inclui métodos de geração baseados em codificadores automáticos. Eles são unidos pelo uso de perdas de pixel (a imagem de entrada é comparada pixel a pixel com a imagem de saída, MSE, MAE, etc. as funções de perda são otimizadas) perdas, o que determina as vantagens e desvantagens deste esquema. A vantagem é que os codificadores automáticos são relativamente fáceis (em comparação com os GANs) de treinar. A desvantagem é que a otimização por métricas de pixel não permite obter fotorrealismo comparável a outros métodos (novamente, na comparação GAN). A primeira opção que considerei foi um circuito de decodificador duplo. Mais detalhes podem ser encontrados aqui A arquitetura é mostrada na figura abaixo.
: - , , , . , . , . , DeepFake , , .. , . - , ( ) . " - " , .
Condtional Autoencoder
. .
: . latent_dim . , / ( ), , .. .. , . .. , atrributes vectors , , , , .. atrributes vectors , , , . , , .. atrributes vectors . .
, - , - . - "", . , .. .
Conditional GAN
GAN , . .. DeepFake ( - , ), Conditional GAN. GAN Conditional GAN . , .
GAN, . , .. , , . Conditional Gan - Z ( label). . , . Conditional GAN .
( - , - ). attributes vectors , . X GAN . , , GAN . , - DeepFake, , . . DeepFake GAN :
O desenvolvimento do projeto continua no momento. Muitas melhorias estão planejadas, em primeiro lugar - aumentar a resolução, trabalhar cenas com iluminação complexa. Se estiver interessado, à medida que novos resultados surjam, haverá novas publicações.