当前位置:首页 >> 学术资讯 >> 科研信息

清华大学刘永进研究团队在基于人类感知和深度学习的艺术肖像线条画生成方面取得进展

2024/04/12


图 非对称循环映射结构的多风格艺术肖像画生成对抗模型

  在国家自然科学基金项目(批准号:61725204)资助下,清华大学刘永进研究团队在基于人类感知和深度学习的艺术肖像线条画生成研究方面取得进展。在IEEE模式分析与机器智能汇刊(PAMI 2021,2023),IEEE国际计算机视觉与模式识别会议(CVPR 2019 Oral,2020)和国际计算机图形和交互技术会议(SIGGRAPH 2022)上发表论文5篇。

  随着人工智能技术的发展,计算机可以使用不同的机器学习模型模拟人类的艺术创作,根据自然图像合成某种艺术风格的艺术图像,在保持自然图像关键内容的同时实现风格的转换。而人脸图像视频的分析与生成是计算机视觉和图形学中的一个重要课题。艺术肖像画是一种与人脸有关的艺术风格图像,由于其具有高度语义性和抽象性,相比于其他类型的艺术图像,艺术肖像画的生成具有更大的挑战性。

  该团队研究了艺术肖像画的计算机自动生成问题,从单风格和多风格艺术肖像画生成,以及跨模态的艺术肖像说话视频生成等方面开展研究,取得了以下的突出进展:

  (1)提出了层次化的生成对抗网络结构,以学习目标风格的艺术肖像画中不同面部区域的不同绘制技术;为了捕捉艺术肖像画中高度抽象的艺术形式、提升线条质量,进一步提出了两个新的优化损失项;

  (2)构建了使用非成对训练数据的、基于非对称循环映射的多风格艺术肖像画深度生成模型,采用互联网上很容易抓取的非成对数据作为训练集,提出了一种非对称循环映射结构,以解决自然照片域和艺术肖像画域之间信息不平衡导致的信息嵌入问题以及生成结果存在的重要面部特征缺失问题;

  (3)提出了一种从人类感知数据中学习肖像线条画质量指标(quality metric)的方法,基于非成对数据从人脸照片生成肖像线条画,方法可以使用单个网络生成多种风格的高质量肖像线条画,以及生成训练数据中未出现的“新风格”肖像画;

  (4)提出了一个语音驱动的跨模态艺术肖像说话视频生成模型,构建了一种特征空间扭曲的新框架,从语音信号中预测面部特征点的运动,然后使用一个新的生成模型同时进行艺术风格转换和几何变形。该方法仅使用静态肖像画数据训练生成器,并提出了两个新的帧间一致性优化项,解决了生成视频帧间不连续的问题;进一步提出了一种从面部特征点预测头部上侧特征点的方法,提升了头部与头发运动的一致性。


版权声明:
文章来源国家自然科学基金委员会,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。

相关学术资讯
近期会议

2026年智慧教育与数据挖掘国际学术会议(SEDM 2026)(2026-06-27)

2026仪器仪表、先进材料与智能制造国际会议(ICIAMIM 2026)(2026-07-02)

2026年第五届机器学习、云计算与智能挖掘国际会议(2026-07-10)

2026年IEEE第三届先进机器人, 自动化工程与机器学习国际会议(ARAEML 2026)(2026-07-24)

第六届互联网技术与教育信息化国际学术会议 (ITEI 2026)(2026-07-24)

第五届航空航天工程与系统国际研讨会(ISAES 2026)(2026-07-24)

第十届教育、管理与社会科学国际学术会议 (ISEMSS 2026)(2026-07-24)

第六届电气工程与机电一体化技术国际学术会议(ICEEMT 2026)(2026-07-24)

第五届能源与电力系统国际学术会议 (ICEEPS 2026)(2026-07-24)

第九届声学、振动、噪声控制国际研讨会(CAVNC 2026)(2026-08-07)

2026年文化传播与思想政治教育国际学术会议(ICCCIPE 2026)(2026-7-27)

2026年凝聚态物理、材料结构与功能器件国际会议(ICMPD 2026)(2026-7-21)

2026年智能计算、数据挖掘与信息科学国际会议(ICDMS 2026)(2026-6-29)

2026年公共管理、政策分析与社会治理国际会议(PAPASG 2026)(2026-7-27)

2025年心理学教育、健康与公共服务国际会议(PEHPS 2025)(2026-8-12)

2026年运筹学、项目管理与金融创新国际学术会议(ORPMFI 2026)(2026-7-26)

2026 动力机械、数据驱动与运行控制国际会议(PMDDOC 2026)(2026-8-10)

2026绿色能源、电网系统与先进热动力国际会议(GEGSATP 2026)(2026-7-30)

2026年脑机接口、神经工程与智能康复国际会议(BCINIR 2026)(2026-6-8)

2026年机器学习,云计算与网络环境国际会议(MLCCNE 2026)(2026-7-10)

小贴士:学术会议云是学术会议查询检索的第三方门户网站。它是会议组织发布会议信息、众多学术爱好者参加会议、找会议的双向交流平台。它可提供国内外学术会议信息预报、分类检索、在线报名、论文征集、资料发布以及了解学术资讯,查找会服机构等服务,支持PC、微信、APP,三媒联动。
综合推荐区