导读随着生成对抗网络(GAN)的改进,正在开发新的图像合成方法。其中一项任务是通过根据掩码将图像建模为前景和背景图像的组合来进行前景感知图...
随着生成对抗网络(GAN)的改进,正在开发新的图像合成方法。其中一项任务是通过根据掩码将图像建模为前景和背景图像的组合来进行前景感知图像合成。
最近在arXiv.org上的一篇论文提出了FurryGAN,它通过仅给出一组图像的对前景的明确理解来学习合成图像。
首先,鼓励前景和合成图像与训练分布相似。此外,还介绍了粗面罩和细面罩。最后,研究人员提出了判别器的辅助任务,从生成的图像中预测掩码,以便生成器生成与掩码对齐的前景图像。
实验证明了所提出的框架与以前的方法相比的优越性。
前景感知图像合成旨在生成图像及其前景蒙版。一种常见的方法是将图像公式化为前景图像和背景图像的蒙版混合。这是一个具有挑战性的问题,因为它很容易达到一个简单的解决方案,其中一个图像压倒另一个图像,即蒙版变得完全满或空,并且前景和背景没有有意义地分离。我们展示了FurryGAN的三个关键组件:1)将前景图像和合成图像都强加为逼真,2)将掩码设计为粗略和精细掩码的组合,以及3)通过辅助掩码预测器引导生成器鉴别器。我们的方法使用非常详细的alpha蒙版生成逼真的图像,这些蒙版以完全无人监督的方式覆盖头发、毛皮和胡须。