Defesa de Dissertação de Mestrado do aluno Vinicius Gomes Pereira.
Título da dissertação: Improving text-toimage synthesis with U2C – Transfer Learning
Resumo: As Redes Generativas Adversariais (GANs) são modelos não supervisionados capazes de aprender a partir de um número indefinidamente grande de imagens. Entretanto, modelos que geram imagens a partir de linguagem dependem de dados rotulados de alta qualidade, que são escassos. A transferência de aprendizado é uma técnica conhecida que alivia a necessidade de dados rotulados, embora transformar um modelo gerativo incondicional em um modelo condicionado a texto não seja uma tarefa trivial. Este trabalho propõe uma abordagem de ajuste simples, porém eficaz, chamada U2C transfer. Esta abordagem é capaz de aproveitar modelos pré-treinados não condicionados enquanto aprende a respeitar as condições textuais fornecidas. Avaliamos a eficiência do U2C transfer ao ajustar o StyleGAN2 em duas das fontes de dados mais utilizadas para a geração images a partir de texto, resultando na arquitetura Text-Conditioned StyleGAN2 (TC-StyleGAN2). Nossos modelos alcançaram rapidamente o estado da arte nas bases de dados CUB-200 e Oxford-102, com valores de FID de 7.49 e 9.47, respectivamente. Esses valores representam ganhos relativos de 7% e 68%, respectivamente, em comparação com trabalhos anteriores. Demonstramos que nosso método é capaz de aprender detalhes refinados a partir de consultas de texto, produzindo imagens foto realistas e detalhadas. Além disso, mostramos que os modelos organizam o espaço intermediário de maneira semanticamente significativa. Nossas descobertas revelam que as imagens sintetizadas usando nossa técnica proposta não são apenas críveis, mas também exibem forte alinhamento com suas descrições textuais correspondentes. De fato, os escores de alinhamento textual alcançados por nosso método são impressionantemente comparáveis aos das imagens reais.
Orientador: Prof. Dr. Eduardo Sany Laber
Co-orientador: Prof. Dr. Jônatas Wehrmann
Banca: Prof. Dr. Sérgio Colcher
Prof. Dr. Julio Cesar Duarte
Suplentes: Prof. Dr. Fabio Andre Machado Porto
Prof. Dr. Edward Hermann Haeusler
Assista a defesa pelo link https://puc-rio.zoom.us/j/96595432451?pwd=b0c5Y1c2QzVkbWVGZWplZnBVeHZGZz09