基本信息:
- 专利标题: 基于语音的三维面部驱动方法、模型训练方法及装置
- 申请号:CN202311766861.6 申请日:2023-12-20
- 公开(公告)号:CN117788654B 公开(公告)日:2025-06-10
- 发明人: 杨少雄 , 徐颖 , 崔宪坤
- 申请人: 北京百度网讯科技有限公司
- 申请人地址: 北京市海淀区上地十街10号百度大厦2层
- 专利权人: 北京百度网讯科技有限公司
- 当前专利权人: 北京百度网讯科技有限公司
- 当前专利权人地址: 北京市海淀区上地十街10号百度大厦2层
- 代理机构: 北京同立钧成知识产权代理有限公司
- 代理人: 罗茜; 臧建明
- 主分类号: G06T13/40
- IPC分类号: G06T13/40 ; G10L21/10 ; G06V10/774 ; G06T15/00 ; G06T17/00 ; G06T19/00 ; G06N3/0464 ; G06N3/08
摘要:
本公开提供了一种基于语音的三维面部驱动方法、模型训练方法及装置,涉及人工智能技术中的计算机视觉、深度学习、增强现实、虚拟现实等领域,可应用于元宇宙、数字人和生成式人工智能等场景。该方法包括:确定待处理语音的待处理驱动序列;根据风格转换模型,对待处理驱动序列进行风格转换得到目标驱动序列;目标驱动序列用于指示第二对象输出待处理语音时的三维面部动作;风格转换模型为根据第一驱动序列和第二驱动序列训练所得到的;第一驱动序列用于指示第一对象输出目标语音时的三维面部动作;第二驱动序列用于指示第二对象输出目标语音时的三维面部动作;根据目标驱动序列,驱动第二对象对应的三维面部模型进行面部动作。
公开/授权文献:
- CN117788654A 基于语音的三维面部驱动方法、模型训练方法及装置 公开/授权日:2024-03-29
IPC结构图谱:
G | 物理 |
--G06 | 计算;推算;计数 |
----G06T | 一般的图像数据处理或产生 |
------G06T13/00 | 两维(2D)图像中的动画效果,例如使用子画面的 |
--------G06T13/20 | .3D[三维]动画 |
----------G06T13/40 | ..关于角色的,例如:人类、动物或虚幻人物 |