|  客服中心  |  合作联系
搜刊网
学术热点
行业资讯
自动化所提出基于参考图像的人脸组成编辑方法
发布时间:2020-05-14 来源:自动化研究所 访问:

  人脸肖像编辑指基于一幅给定的人脸图像,对人脸的属性或组成进行编辑,并且生成的图像看起来真实自然,其在影视制作、照片处理和交互式娱乐等方面具有广阔应用前景。针对这个问题,中国科学院自动化研究所媒体深度伪造与反伪造创新团队成员博士生邓琪瑶、副研究员李琦、研究员孙哲南等人提出了一种从参考图像学习目标人脸组成形状的人脸组成编辑算法(r-FACE)。该方法创新性地提出了多样化且可控的人脸组成编辑方法,并较好地保留原始图像的姿势、肤色等风格特征,与传统算法及商业PS算法等相比有明显视觉效果提升。相关成果论文Reference Guided Face Component Editing 获得6位专业审稿人一致肯定,被IJCAI 2020录用。

  近年来随着生成对抗网络的发展,人脸肖像编辑已取得巨大进步。目前,主流的人脸肖像编辑方法聚焦于两类:基于标签条件的方法和基于几何指导的方法。基于标签条件的方法以预定义的属性标签为条件编辑人脸属性。然而,基于标签条件的方法以二值属性标签为条件,只适用于编辑外观纹理变化的显著属性(例如:发色、年老化和去除胡子等),难以实现抽象形状变化(例如:鹰钩鼻、丹凤眼等),缺乏控制高级语义人脸组成(例如:眼睛、鼻子和嘴等)形状的灵活性。为了能灵活编辑人脸组成的形状,基于几何指导的方法提出利用手动编辑的中间表示(例如:关键点,分割图和轮廓草图等)实现具有明显拓扑形变的人脸组成编辑。然而,直接将如此精确的中间表示用作形状指导对用户而言并不友好,这种方式费时费力并且要求用户具备一定的绘画技能。

  针对这个问题,团队提出了一种从参考图像中学习目标人脸组成形状的人脸组成编辑算法,以图像补全模型作为基本框架,以缺失目标人脸组成的图像作为输入,从参考图像中学习相应的人脸组成形状信息补全缺失区域,实现对人脸组成的语义形状编辑。相比现有的基于参考图像方法,该算法要求相同身份的参考图像,由于这些参考图像可以是任意身份,因此进一步提高了生成图像的多样性。为了监督所提出的模型,团队选择采用contextual 损失约束生成图像和参考图像之间目标人脸组成形状的相似性,同时采用style损失和perceptual损失保持原始图像和生成图像之间姿势、肤色等风格特征的相似性,整体模型框架如图2所示。

  除此以外,为了使框架聚焦于目标人脸组成,该方法设计了一个示例指导的注意力模块(Example-guided Attention Module),以融合原始图像的注意力特征和从参考图像中提取的目标人脸组成特征,进一步增强了模型的生成效果。总的来说,所提出框架打破了现有方法的2种限制:1)形状限制,通过不同的参考图像灵活地控制高级语义人脸组成的各种形状; 2)中间表示限制,不需要手动编辑精确的蒙版或草图就可以实现显著的几何变化。

  团队提出的方法在常用人脸属性数据集CelebA-HQ上进行了定性和定量分析。实验结果表明,该方法能够生成高质量和多样化的人脸,并可以实现显著语义形状变化的人脸组成编辑。这也是团队在媒体深度伪造领域上的又一进展。

1 基于参考图像引导的人脸组成编辑示意图

图2 模型框架示意图

  3 不同方法比较结果:c)复制-粘贴,(dAttGAN,(eELEGANT,(fAdobe Photoshop和(gr-FACEa)和(b)分别表示输入图像和参考图像。

4 混合人脸组成编辑样例

1 CelebA-HQ数据集定量比较结果

相关文章
热门资讯
摘要:9月28日-29日,《两岸关系》杂志社社长任勉一行3人来漯河临颍就陈星聚杯太极拳比赛筹备工作情况进行调...
精品推荐
摘要:摘 要:健康的心理素质是健康人的必备素质。在学科教学中进行心理健康的教育,是心理健康教育的重要途径...
热门期刊
法制与经济(中旬)法制与经济(中旬)
《法制与经济》杂志创办于1992年,为旬刊(上、中、下),国内外公司发行。上旬刊以报道广西的政法综治工作为主,报...
当代中国话语研究当代中国话语研究
《当代中国话语研究》(年刊)创刊于2013年,由高等教育出版社主办,是一份以当代中国话语为研究对象的中、英...
北京印刷学院学报北京印刷学院学报
《北京印刷学院学报》杂志,于1993年经国家新闻出版总署批准正式创刊,CN:11-3136/TS,本刊在国内外有广泛的覆盖...
湖北广播电视大学学报湖北广播电视大学学报
《湖北广播电视大学学报》杂志,于1981年经国家新闻出版总署批准正式创刊,CN:42-1556/G4,本刊在国内外有广泛的...
哈尔滨师范大学自然科学学报哈尔滨师范大学自然科学学报
《哈尔滨师范大学自然科学学报》杂志,于1963年经国家新闻出版总署批准正式创刊,CN:23-1190/N,本刊在国内外有...
花样盛年花样盛年
《花样盛年》(月刊)创刊于2006年,是由中国妇女报社主办。是国内花样盛年文化及时人——陈灵梅女士创办的一本...

友情链接
中教杯 国家新闻出版总署 中国知网 万方数据 维普网 中国科学院 中国国家图书馆 央视英文版 中国留学网 中青网 中国国家人才网 中国经济网 中国日报网 中国新闻网 中国学术期刊网
编辑QQ
编辑联络
2007-2023
中文学术期刊检索机构
bianjibu777@qq.com
联系我们

版权所有©2007- 2023 中国学术期刊网(qikanw.com) All Rights Reserved 京ICP备2021008252号
本站是学术论文网络平台,若期刊网有侵犯您的版权,请及时与期刊网客服取得联系,联系信箱: bianjibu777@qq.com    
中国学术期刊网