买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国电子科技集团有限公司电子科学研究院;中电科电科院科技集团有限公司申请的专利一种基于多层次视觉引导的多模态对话摘要方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119918545B 。

龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411732284.3，技术领域涉及：G06F40/35；该发明授权一种基于多层次视觉引导的多模态对话摘要方法是由张瑞;毕严先;鲍帆;常安;李嘉辰;罗敏;李思设计研发完成，并于2024-11-29向国家知识产权局提交的专利申请。

本一种基于多层次视觉引导的多模态对话摘要方法在说明书摘要公布了：本申请公开了一种多层次视觉引导的多模态对话摘要方法，涉及互联网、人工智能技术领域，本申请使用预训练的CLIP模型提取对话所包含的视觉信息的全局特征和局部特征，使用预训练模型T5对对话的文本进行文本特征提取，获得富含深层语义信息的视觉特征和文本特征，通过局部多模态注意力交叉模块和全局多模态注意力交叉模块，将全局视觉信息和局部视觉信息与文本特征进行融合对齐，并通过模态融合模块，将全局视觉引导的文本特征和语义引导的局部视觉特征进行融合和拼接，使得多模态对话信息能够相互补充，并且关注对话的上下文，从而提高生成摘要的质量和准确性。

本发明授权一种基于多层次视觉引导的多模态对话摘要方法在权利要求书中公布了：1.一种基于多层次视觉引导的多模态对话摘要方法，其特征在于，在模型训练阶段执行如下步骤： 将输入的多模态对话数据中的对话文本和目标摘要，利用T5模型的编码器，提取多模态对话的文本特征和摘要文本特征；以及，将输入的多模态对话数据的图像，利用CLIP模型的视觉编码器，以获得全局视觉特征和局部视觉特征，并构建文本特征与视觉特征的索引； 将文本特征与局部视觉特征输入局部多模态注意力交叉模块，以及，将文本特征输入长短期记忆网络，以获得包含全局语义信息的隐藏态； 在所述局部多模态注意力交叉模块，基于条件自注意力机制计算自注意权重，将包含全局语义信息的隐藏态与局部视觉特征计算局部视觉特征的条件权重，通过所述条件权重、自注意权重局部视觉特征进行加权，经过Transformer编码器，以获得语义引导的局部视觉特征； 将文本特征与全局视觉特征输入全局多模态注意力交叉模块，文本特征输入长短期记忆网络中，获取捕获上下文信息的文本特征；全局视觉特征输入长短期记忆网络中，获取捕获全局信息的视觉特征； 在全局多模态注意力交叉模块，使用跨模态多头注意力机制和跨模态双线性注意力融合机制，将两种机制所获得的结合视觉信息的文本特征进行加权和，经过Transformer编码器，获得全局视觉引导的文本特征； 将语义引导的局部视觉特征和全局视觉引导的文本特征输入到模态融合模块，通过跨模态注意力机制，使用语义引导的局部视觉特征引导全局视觉引导的文本特征，以获得视觉信息引导的文本特征；使用全局视觉引导的文本特征引导语义引导的局部视觉特征，获得文本信息引导的视觉特征；并将视觉信息引导的文本特征与文本信息引导的视觉特征拼接，以获得双向增强的视觉-文本特征； 将双向增强的视觉-文本特征和摘要文本特征输入到Transformer解码器，解码得到的文本特征经过线性层将高维向量的维度转换为可被词汇表映射的向量维度，将得到的向量输入到Softmax层，并使用束搜索方法，转换为概率分布； 在训练过程中，计算模型预测的概率分布与目标摘要文本之间的交叉熵损失。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国电子科技集团有限公司电子科学研究院;中电科电科院科技集团有限公司，其通讯地址为：100041 北京市石景山区双园路11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。