在野外拍摄的人脸图像经常受到压缩、模糊或噪声的影响。恢复任务很复杂，因为低质量输入有许多合理的高质量输出。当退化程度未知时，此任务称为盲恢复。

1927年第5次索尔维会议旧照片的结果。

最近发表在arXiv.org上的一篇论文将盲脸恢复作为一种代码预测任务，在学习的离散码本先验的一个小的有限代理空间中进行。

该新方法显示出优异的退化鲁棒性以及丰富的表现力。码本是通过使用矢量量化自动编码器对HQ人脸进行自我重建来学习的，该编码器与解码器一起存储丰富的HQ细节以进行人脸恢复。此外，为了更好的代码预测，提出了一种基于Transformer的代码预测网络。这些组件可实现卓越的性能，并可应用于其他具有挑战性的任务，例如面部修复。

盲脸恢复是一个高度不适定的问题，通常需要辅助指导来1)改进从退化输入到所需输出的映射，或2)补充输入中丢失的高质量细节。在本文中，我们证明了在小代理空间中学习的离散码本先验通过将盲面恢复作为代码预测任务来大大降低恢复映射的不确定性和模糊性，同时提供丰富的视觉原子来生成高质量的人脸。在这种范式下，我们提出了一个名为CodeFormer的基于Transformer的预测网络，用于对低质量人脸的全局组成和上下文进行建模以进行代码预测，从而即使在输入严重的情况下也能发现与目标人脸非常接近的自然人脸。退化。为了增强对不同退化的适应性，我们还提出了一个可控的特征转换模块，它允许在保真度和质量之间进行灵活的权衡。由于具有表现力的码本先验和全局建模，CodeFormer在质量和保真度方面均优于现有技术，表现出卓越的抗退化鲁棒性。在合成和真实世界数据集上的广泛实验结果验证了我们方法的有效性。