小哆智能科技(北京)有限公司段俊凯获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉小哆智能科技(北京)有限公司申请的专利基于时序解耦的数字人口型语音同步生成方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121531206B 。
龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610059944.9,技术领域涉及:H04N21/854;该发明授权基于时序解耦的数字人口型语音同步生成方法及系统是由段俊凯设计研发完成,并于2026-01-16向国家知识产权局提交的专利申请。
本基于时序解耦的数字人口型语音同步生成方法及系统在说明书摘要公布了:本发明实施例提供一种基于时序解耦的数字人口型语音同步生成方法及系统,属于数字人技术领域;该方法包括对原始视频序列进行人脸检测与裁剪,得到标准人脸图像序列,对目标音频信号进行特征提取,得到深层音频特征序列;对每一帧进行遮罩处理,得到待驱动口型区域图像;构建为多通道输入张量;预训练的口型生成网络输出与目标音频信号同步的口型图像;将口型图像替换到原始视频序列的对应位置后,与目标音频信号结合,输出口型语音同步的数字人视频。本发明通过深层音频特征提取与音视频精准对齐,提升口型与语音的同步精准度,通过多通道输入建模时序依赖,让口型序列过渡平滑,通过自适应特征融合机制能自动适配不同音素、语速。
本发明授权基于时序解耦的数字人口型语音同步生成方法及系统在权利要求书中公布了:1.一种基于时序解耦的数字人口型语音同步生成方法,其特征在于,包括: 采集包含目标人脸的原始视频序列以及目标音频信号,对所述原始视频序列进行人脸检测与裁剪,得到标准人脸图像序列,对所述目标音频信号进行特征提取,得到深层音频特征序列; 对所述标准人脸图像序列中的每一帧进行遮罩处理,得到每一帧对应的待驱动口型区域图像; 将当前帧的所述待驱动口型区域图像与前一帧生成的口型图像沿通道维度进行拼接,构建为多通道输入张量,包括: 将当前帧的待驱动口型区域图像作为第一输入分量; 若存在前一帧由预训练的口型生成网络输出的口型图像,则将其作为第二输入分量;否则,使用一预设值张量作为第二输入分量; 将所述第一输入分量与所述第二输入分量沿通道维度进行拼接,构成一个多通道输入张量; 从所述深层音频特征序列中截取与当前帧对齐的局部音频特征,并将其与所述多通道输入张量输入预训练的口型生成网络,所述预训练的口型生成网络通过自适应特征融合机制输出与所述目标音频信号同步的口型图像; 对所述口型图像进行边界融合处理,将所述口型图像替换到所述原始视频序列的对应位置后,与所述目标音频信号结合,输出口型语音同步的数字人视频。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人小哆智能科技(北京)有限公司,其通讯地址为:100094 北京市海淀区西北旺东路10号院东区23号楼三层346室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励