厦门理工学院林昱洋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉厦门理工学院申请的专利基于文本语义一致性引导的红外与可见光图像融合方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121639491B 。
龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610158127.9,技术领域涉及:G06T5/50;该发明授权基于文本语义一致性引导的红外与可见光图像融合方法是由林昱洋;肖晶晶;齐振成;王兆瑞;陈熙林设计研发完成,并于2026-02-04向国家知识产权局提交的专利申请。
本基于文本语义一致性引导的红外与可见光图像融合方法在说明书摘要公布了:本发明提供了基于文本语义一致性引导的红外与可见光图像融合方法,涉及多模态图像融合技术领域,其包括分别对红外与可见光图像进行细粒度文本语义生成并映射至统一嵌入空间;通过跨模态注意力机制对文本语义进行双向补偿与增强,构建统一的文本语义先验;采用结构‑强度解耦的双分支编码器,分别提取可见光的结构纹理特征和红外的强度显著特征;在文本语义先验引导下,通过显式语义一致性约束与隐式语义分布一致性约束,在共享语义空间中对双模态视觉特征进行对齐;最后,将文本语义先验作为全局调制信号,对对齐后的特征进行自适应加权融合与解码,生成融合图像。有效解决了现有方法语义建模不足、融合结果一致性差的问题。
本发明授权基于文本语义一致性引导的红外与可见光图像融合方法在权利要求书中公布了:1.一种基于文本语义一致性引导的红外与可见光图像融合方法,其特征在于,包括: 获取可见光图像与红外图像,对所述可见光图像和红外图像进行细粒度文本语义生成处理,得到文本描述集,并将所述文本描述集映射至统一的文本嵌入空间中,生成多模态文本语义特征; 对所述多模态文本语义特征进行跨模态语义关系建模处理,其中,对可见光文本与红外文本之间的语义交互关系进行建模,以补偿和增强可见光文本语义和红外文本语义,构建得到统一文本语义先验,具体为: 根据可见光文本语义特征和红外光文本语义特征,计算红外和可见光两种模态方向上的注意力权重,其计算公式为:,,其中,为可见光文本聚合红外语义注意力加权表示,为指数函数,、、、、、均为可学习的线性映射矩阵,为嵌入维度,为放缩因子,为红外文本聚合可见光语义注意力加权表示; 根据可见光文本聚合红外语义注意力加权表示和红外文本聚合可见光语义注意力加权表示,生成可见光和红外两种模态的语义一致性补偿信号,其计算公式为:,,其中,、均为可学习的线性映射系数,为可见光补偿信号,为红外补偿信号; 对可见光补偿信号、红外补偿信号、可见光文本语义特征和红外光文本语义特征进行相加,得到语义增强后的可见光文本语义和语义增强后的红外文本语义; 对语义增强后的可见光文本语义和语义增强后的红外文本语义进行融合处理,得到统一文本语义先验,为轻量映射函数; 基于结构-强度解耦的双分支编码策略,分别对可见光图像与红外图像进行视觉特征编码处理,其中,从可见光图像中提取出以结构与纹理信息为主的可见光视觉特征,从红外图像中提取出以强度分布与热目标响应为主的红外视觉特征; 在所述统一文本语义先验的引导下,对可见光视觉特征和红外视觉特征进行双模态语义对齐处理,其中,通过显式语义一致性约束与隐式结构一致性约束,使得可见光视觉特征和红外视觉特征在统一语义空间中逐步收敛; 根据双模态语义对齐处理后的可见光视觉特征、双模态语义对齐处理后的红外视觉特征、统一文本语义先验,进行语义调制融合处理,生成融合特征,并将融合特征输入至预设的解码器中,得到最终的融合图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人厦门理工学院,其通讯地址为:361024 福建省厦门市集美区理工路600号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励