PPGCCM PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO FUNDAÇÃO UNIVERSIDADE FEDERAL DO ABC Telefone/Ramal: 11 4996-8337 http://propg.ufabc.edu.br/ppgccm

Banca de QUALIFICAÇÃO: VINÍCIUS LUIS TREVISAN DE SOUZA

Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE : VINÍCIUS LUIS TREVISAN DE SOUZA
DATA : 15/10/2021
HORA: 14:00
LOCAL: https://meet.google.com/yat-nhwn-xkt
TÍTULO:

Uso de Redes Adversárias Generativas para Síntese e Manipulação de Imagens


PÁGINAS: 100
RESUMO:

O uso de redes neurais convolucionais (CNNs) para processamento de imagens já é consolidado em tarefas como detecção e reconhecimento de objetos, segmentação semântica, reconhecimento facial, e outras. Complementarmente, CNNs com estratégias baseadas em treinamento adversário, as DCGANs, mostraram um desempenho acima da média nas tarefas de síntese e manipulação de imagens, o que levou a um maior interesse da comunidade de pesquisa e desenvolvimento nesse tipo de modelo.

Aplicações que incluem criar faces sintéticas indistinguíveis das reais, alterar a aparência da face de uma pessoa em sua idade e gênero, criar cenas naturais a partir de mapas semânticos, interpolar imagens diferentes para se obter uma híbrida, ou transformar a imagem de um domínio em outro, como um cavalo em uma zebra, são alguns exemplos de tarefas em que as DCGANs compõem o estado da arte.

Neste trabalho estudamos o uso de Redes Adversárias Generativas Convolucionais Profundas (DCGANs) em aplicações de transformação de imagens em domínios diferentes e dentro do mesmo domínio.

A transformação de domínios diferentes escolhida foi com imagens de esboços de carros em fotografias de carros, e a transformação de esboços de personagens humanoides em um desenho colorido e com textura. Uma aplicação desse tipo pode permitir uma prototipagem mais rápida, com o artista esboçando enquanto assiste, em tempo real, sua criação tomar um aspecto mais próximo do produto final.

Na aplicação de transformações intra-domínio foi explorada a manipulação do espaço latente para GANs supervisionadas e não-supervisionadas, com bases de dados de faces e de desenhos de insetos. Por meio desse espaço latente é possível transformar uma face em uma versão mais ou menos velha, com gênero trocado, com mais ou menos cabelo, e outras características presentes nas imagens do conjunto de treino. No caso da base dos insetos, essa aplicação pode auxiliar no estudo de como as características de duas espécies diferentes foram se desenvolvendo a partir de um ancestral comum, por exemplo.

Em nossas análises preliminares, o uso da arquitetura supervisionada Pix2Pix para a transformação de esboços sintéticos em fotos de carros teve um bom desempenho com figuras da mesma base de dados, porém não mostrou uma boa capacidade de generalização quando aplicada a esboços criados por artistas. Entretanto, a arquitetura não supervisionada CycleGAN mostrou resultados melhores do que a Pix2Pix, inclusive com maior capacidade de generalização. Infelizmente essa abordagem não se mostrou eficiente na base de personagens humanoides, e uma discussão dos principais motivos é apresentada.

Na tarefa de transformação intra-domínio foi avaliado o uso da Pix2Pix como \textit{autoencoder} para gerar uma representação vetorial da imagem no espaço latente do gerador. Esse treinamento não foi possível, e as hipóteses são discutidas na sequência. No entanto, o uso de uma GAN progressiva e não supervisionada (ProGAN) permitiu representar a base de dados através de um espaço latente. Buscamos agora entender se é possível manipular a imagem diretamente no espaço dos atributos através da técnica de inversão de GAN.


MEMBROS DA BANCA:
Presidente - Interno ao Programa - 1672977 - JOAO PAULO GOIS
Membro Titular - Examinador(a) Interno ao Programa - 3008017 - DENIS GUSTAVO FANTINATO
Membro Titular - Examinador(a) Interno ao Programa - 1932365 - FABRICIO OLIVETTI DE FRANCA
Membro Suplente - Examinador(a) Externo ao Programa - 2848688 - BRUNO AUGUSTO DORTA MARQUES
Membro Suplente - Examinador(a) Externo ao Programa - 1851117 - HARLEN COSTA BATAGELO
Notícia cadastrada em: 14/09/2021 08:36
SIGAA | UFABC - Núcleo de Tecnologia da Informação - ||||| | Copyright © 2006-2024 - UFRN - sigaa-2.ufabc.int.br.sigaa-2-prod