买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国家计算机网络与信息安全管理中心申请的专利跨模态特征融合模型训练方法、融合方法、装置及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116704300B 。

龙图腾网通过国家知识产权局官网在2026-05-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310552691.5，技术领域涉及：G06V10/80；该发明授权跨模态特征融合模型训练方法、融合方法、装置及设备是由陈苏;赵宁;赵悦楷;王东安;吕青;周毅;石光;吴志敏设计研发完成，并于2023-05-16向国家知识产权局提交的专利申请。

本跨模态特征融合模型训练方法、融合方法、装置及设备在说明书摘要公布了：本公开涉及一种跨模态特征融合模型训练方法、融合方法、装置及设备。本公开通过对待训练的跨模态特征融合模型进行训练，得到跨模态特征融合模型，进而基于跨模态特征融合模型对图像文本对进行对齐融合时，提高了图像文本对齐融合的准确性，提升了图像文本对齐融合的推理速度，即提高了视觉和语言任务准确率，提升了视觉和语言任务推理速度。

本发明授权跨模态特征融合模型训练方法、融合方法、装置及设备在权利要求书中公布了：1.一种跨模态特征融合模型训练方法，其特征在于，所述方法包括： 获取目标数据集中的多个图像文本对，所述图像文本对包含图像和文本； 针对每个所述图像文本对，通过待训练的跨模态特征融合模型，编码所述图像的第一向量和所述文本的第二向量，根据遮蔽策略对所述图像和所述文本进行遮蔽，编码遮蔽后图像的第三向量和遮蔽后文本的第四向量； 根据所述第一向量和所述第四向量编码第五向量，根据所述第三向量和所述第二向量编码第六向量； 根据所述第一向量、所述第二向量、所述第三向量、所述第四向量、所述第五向量、所述第六向量和预设的损失函数，计算损失值，其中，所述预设的损失函数是由图像融合损失函数、文本融合损失函数、相似损失函数和重建损失函数相加得到的； 根据所述损失值，对所述待训练的跨模态特征融合模型进行训练； 所述图像融合损失函数的计算公式如下： ， 其中，表示图像-文本的损失函数，表示文本-图像的损失函数； 的计算公式如下： ， 的计算公式如下： ， 的计算公式如下： ， 其中，是一个温度标量，函数表示的是点乘的相似度，用来衡量不同模态之间的相似度，为在第五向量中图像编码和遮蔽后文本编码的分割标志； 所述文本融合损失函数的计算公式如下： ， 其中，表示文本-图像的损失函数，表示图像-文本的损失函数； 的计算公式如下： ， 的计算公式如下： ， 的计算公式如下： 其中，是一个温度标量，表示的是点乘的相似度函数，用来衡量不同模态之间的相似度，为在第六向量中遮蔽后图像编码和文本编码的分割标志； 所述相似损失函数的计算公式如下： ， 其中，是一个温度标量，为定值，sim函数用来计算两个向量的相似度； 所述重建损失函数的计算公式如下： ， 其中，表示目标数据集C中第个句子中被屏蔽的预测概率分布，是一个超参数； 其中，表示第一向量、表示第二向量、表示第三向量、表示第四向量、表示第五向量、表示第六向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国家计算机网络与信息安全管理中心，其通讯地址为：100029 北京市朝阳区裕民路甲三号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。