买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学申请的专利面向大语言模型的多模态推理系统的训练方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121480739B 。

龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610018542.4，技术领域涉及：G06N5/04；该发明授权面向大语言模型的多模态推理系统的训练方法、装置、设备及介质是由韩军功;张晏设计研发完成，并于2026-01-08向国家知识产权局提交的专利申请。

本面向大语言模型的多模态推理系统的训练方法、装置、设备及介质在说明书摘要公布了：本发明公开了一种面向大语言模型的多模态推理系统的训练方法、装置、设备及介质，涉及人工智能领域。包括：通过大语言模型对样本视觉特征和第一样本文本特征进行处理得到第一嵌入表示和第二嵌入表示；根据样本目标标题与第一嵌入表示得到第一损失值；通过待训练的深度神经网络得到条件分布嵌入表示和确定性嵌入表示，基于条件分布嵌入表示和确定性嵌入表示得到第二损失值；基于融合嵌入表示与第二样本文本特征得到第三损失值；基于上述三个损失值对待训练的深度神经网络进行训练得到训练好的深度神经网络；通过包括大语言模型和训练好的深度神经网络的多模态推理系统进行多模态推理，以提升复杂多模态推理任务的泛化能力。

本发明授权面向大语言模型的多模态推理系统的训练方法、装置、设备及介质在权利要求书中公布了：1.一种面向大语言模型的多模态推理系统的训练方法，其特征在于，所述方法包括： 通过预训练的大语言模型对样本参考图像的样本视觉特征和样本条件标题的第一样本文本特征进行处理，得到第一嵌入表示和第二嵌入表示；所述样本条件标题用于表征对所述样本参考图像的修改内容； 根据样本目标标题与所述第一嵌入表示对应的第一预测样本标题，得到第一损失值；所述样本目标标题是根据所述样本参考图像和样本条件标题得到的； 通过待训练的深度神经网络对所述第二嵌入表示进行处理，得到条件分布嵌入表示和确定性嵌入表示；基于所述条件分布嵌入表示和所述确定性嵌入表示，得到第二损失值； 融合所述条件分布嵌入表示和所述确定性嵌入表示，得到融合嵌入表示；基于所述融合嵌入表示与所述样本目标标题对应的第二样本文本特征进行对比学习，得到第三损失值； 基于所述第一损失值、所述第二损失值以及所述第三损失值，对所述待训练的深度神经网络进行参数更新，得到训练完毕的深度神经网络； 通过包括所述预训练的大语言模型和所述训练完毕的深度神经网络的面向大语言模型的多模态推理系统，对参考图像和条件标题进行处理，得到目标标题和或目标图像； 通过预训练的大语言模型对样本参考图像的样本视觉特征和样本条件标题的第一样本文本特征进行处理，得到第一嵌入表示和第二嵌入表示，包括： 将多个待学习标记、所述样本视觉特征和所述第一样本文本特征输入所述预训练的大语言模型，得到第一嵌入表示和所述多个待学习标记对应的多个第二嵌入表示； 通过待训练的深度神经网络对所述第二嵌入表示进行处理，得到条件分布嵌入表示和确定性嵌入表示，包括： 将所述多个第二嵌入表示输入所述待训练的深度神经网络中的融合模块，通过所述融合模块中的自注意力机制，对所述多个第二嵌入表示进行处理，得到所述确定性嵌入表示； 将所述确定性嵌入表示输入所述待训练的深度神经网络中的分布参数估计模块，得到第一分布参数嵌入表示、第二分布参数嵌入表示以及第三分布参数嵌入表示；所述第一分布参数嵌入表示满足：与所述确定性嵌入表示语义对齐；所述第二分布参数嵌入表示以及所述第三分布参数嵌入表示用于捕获所述确定性嵌入表示的语义不确定性；所述语义不确定性包括以下至少一项：对象级语义不确定性，语义粒度不确定性；所述确定性嵌入表示对应的潜在对象的数量越多，对象级语义不确定性越大；所述确定性嵌入表示的语义表达粒度越粗，语义粒度不确定性越大； 融合所述条件分布嵌入表示和所述确定性嵌入表示，得到融合嵌入表示，包括： 将所述第一分布参数嵌入表示与所述确定性嵌入表示融合，得到所述融合嵌入表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区双清路30号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。