近日，MIRACLE组关于自然遮挡修复的工作被IEEE TIFS接收。IEEE TIFS全称为IEEE Transactions on Information Forensics and Security，是CCF-A类期刊，最新影响因子为6.013。
近年来，人脸分析与识别技术被广泛地应用于生产生活之中，但是这些技术通常需要采集到质量较高的人脸图像，才能取得好的人脸分析与识别效果。在实际场景中，采集到的人脸图像通常存在自然遮挡，人脸自然遮挡会严重影响人脸分析与识别技术的性能。为了解决人脸图像自然遮挡的问题，本文提出了基于半监督学习的遮挡感知生成对抗网络（OA-GAN），不依赖手工标注的遮挡区域掩码和成对的真实遮挡与无遮挡图像。该网络可以通过对抗迁移的方式，将配对数据条件下学习的人工合成遮挡修复模型迁移到人脸自然遮挡修复任务中。该网络由一个生成器和一个判别器组成，其中生成器由一个人脸遮挡感知模块和一个人脸补全模块构成。给定一张有遮挡的人脸图像，人脸遮挡感知模块先预测出一个掩码（即人脸遮挡的区域），然后再利用该掩码指导人脸补全模块进行人脸图像修复。 该网络的判别器包含了一个对抗损失和一个人脸属性分类损失，其中对抗损失用来判别生成人脸图像的真实性，人脸属性分类损失用于保持修复前后的人脸属性。该方法在公开数据集CelebA和自己构建的人脸自然遮挡数据集上进行了评测，实验结果表明该方法能在保持身份信息的情况下有效去除人脸图像中的口罩、眼镜等自然遮挡物。
后续工作将探索该方法在医学影像缺失补全中的应用和新方法设计。
论文信息如下：
J. Cai, H. Han, J. Cui, J. Chen, L. Liu, and S. K. Zhou, “Semi-supervised Natural Face De-occlusion”, IEEE Transactions on Information Forensics and Security, 2020. (Accepted)