登录
首页 >  科技周边 >  人工智能

腾讯混元携手清华,推出肖像动画生成框架HunyuanPortrait

时间:2025-06-02 20:00:23 307浏览 收藏

腾讯混元团队联合清华大学等机构推出的HunyuanPortrait框架,专注于生成高度可控且真实的肖像动画。通过利用一张肖像图片作为外观参考,并结合一段视频作为动作模板,HunyuanPortrait能够将视频中的面部表情和头部动作精确迁移到参考图片上,生成自然流畅的动画效果。其在时间连贯性、身份特征保留及风格适应性方面表现优异,广泛应用于虚拟现实、游戏设计、人机交互等领域。

HunyuanPortrait 是由腾讯 Hunyuan 团队联合清华大学、中山大学以及香港科技大学等机构共同研发的,它是一个基于扩散模型的框架,专门用于生成高度可控且真实的肖像动画。通过使用一张肖像图片作为外观参考,并结合一段视频片段作为动作模板,可以将视频中的面部表情与头部动作迁移到参考图片的人物上,从而生成生动的动画效果。HunyuanPortrait 在时间连贯性和可控性方面表现优异,能够很好地分离出不同图像风格中的外观与动态特性,适用于虚拟现实、游戏、人机交互等多个领域。

HunyuanPortrait— 腾讯混元联合清华等机构推出的肖像动画生成框架HunyuanPortrait 的核心功能

  • 精准的肖像动画制作:利用单一肖像图片作为外观依据,配合视频片段作为动作参考,精确再现驱动视频中的面部表情及头部姿态于目标肖像之上,形成自然流畅的动画效果。
  • 稳健的身份特征保留:即便面对面部结构和动作幅度较大的差异,依然能够稳固维持原肖像的身份属性,防止出现身份混淆的情况。
  • 细腻的表情捕捉:细致捕捉脸部细微的表情变化,例如目光方向、唇形同步等,使得生成的肖像动画更加真实可信。
  • 卓越的时间连贯性:生成的视频在时间维度上具备极高的连续性和平滑度,有效减少背景晃动或模糊现象的发生。
  • 广泛的风格适应力:无论是动漫风格还是写实照片风格,都能轻松应对,展现出强大的通用性。

HunyuanPortrait 的核心技术

  • 隐式条件调控:采用隐式表达来编码动作数据,以更好地捕捉复杂的面部活动与情绪变换,规避因关键点检测不准确而产生的假象或偏差。将这些编码后的动作信息作为指令输入至去噪 U-Net 模型中,借助注意力机制融入其中,从而实现对动画生成流程的精细操控。
  • 稳定的视频扩散架构:依托扩散模型构建的体系,在潜在空间内执行扩散与去噪步骤,从而提升生成品质与训练效率。借助 VAE 将图像从 RGB 空间映射到潜在空间,并通过 UNet 完成去噪操作,产出高质视频帧。
  • 强化的功能提取器:基于评估的动作强度(如面部表情的变形程度和头部移动的距离)优化动作特征的表现形式,增强其对于各种动作强度的适应水平。结合 ArcFace 和 DiNOv2 背景,运用多尺度适配器(IMAdapter)强化肖像的身份一致性,保证生成的动画在各帧间保持统一的身份特质。
  • 有效的训练与推理方案:借助色彩扰动、姿态导向等手段丰富训练集的内容,增强模型的泛化能力。运用多样化的训练策略,例如随机剔除部分骨骼边缘,提升模型在不同输入环境下的可靠性。
  • 注意力机制的应用:在 UNet 内嵌入多头自注意力及交叉注意力模块,加强模型对空间与时间信息的理解力,改善生成视频的细节丰富程度与时序一致性。

HunyuanPortrait 的资源链接

HunyuanPortrait 的实际应用

  • 虚拟现实(VR)与增强现实(AR):打造栩栩如生的虚拟人物,优化用户体验。
  • 游戏设计:塑造独特的游戏角色,提高玩家的参与感受。
  • 人机交流:构建更为自然的虚拟助理与客户服务机器人,增进交互质量。
  • 数字内容生产:应用于视频剪辑、广告宣传及电影特效,快速生成高品质的动画素材。
  • 社交平台与娱乐:让用户把自己的照片转化为动态表情符号或虚拟化身,激发更多互动乐趣。
  • 教育与训练:设立个性化的虚拟导师或培训角色,提供更加生动直观的学习经历。

好了,本文到此结束,带大家了解了《腾讯混元携手清华,推出肖像动画生成框架HunyuanPortrait》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多科技周边知识!

相关阅读
更多>
最新阅读
更多>
课程推荐
更多>