湘潭大学周维获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉湘潭大学申请的专利一种面向水利场景的多模态大模型构建方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121686166B 。
龙图腾网通过国家知识产权局官网在2026-05-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610173718.3,技术领域涉及:G06V10/80;该发明授权一种面向水利场景的多模态大模型构建方法是由周维;张竣;聂旺;许海霞;赵思亮;颜宠;任一赫设计研发完成,并于2026-02-06向国家知识产权局提交的专利申请。
本一种面向水利场景的多模态大模型构建方法在说明书摘要公布了:本发明公开了一种面向水利场景的多模态大模型构建方法,包括以下步骤:数据采集;数据预处理;构建水利多模态数据集;训练基准多模态大模型;采用BF16数据格式保存模型权重,注意力机制key张量使用4位k量化技术。本发明提出了量化权重分解低秩适配器进行有监督微调,有效地提升了基准多模态大模型在水利领域特定任务上的表现,通过参数高效的微调策略,降低了训练的计算成本,为后续的迭代优化提供了便利。
本发明授权一种面向水利场景的多模态大模型构建方法在权利要求书中公布了:1.一种面向水利场景的多模态大模型构建方法,其特征在于,包括以下步骤: 步骤S1,数据采集:采用无人机搭载摄像机采集原始数据,获取拍摄区域全境的图像数据; 步骤S2,数据预处理:对采集到的图像数据进行降采样后,选取与水利相关的图像; 步骤S3,构建水利多模态数据集:以通用多模态大模型作为基准多模态大模型,利用基准多模态大模型的零样本学习能力,对经过预处理的图像数据集进行主题分类,最终构建水利多模态数据集; 步骤S4,训练基准多模态大模型;对基准多模态大模型进行水利领域的训练,即得到面向水利场景的多模态大模型HydroMLLM; 所述步骤S4具体过程为: S41,训练过程中使用量化权重分解低秩适配器QDoRA进行有监督微调训练,通过量化模型参数和使用低秩矩阵来更新模型权重; 步骤S41具体过程如下: 原始权重首先被量化为k比特位,量化后的原始权重为,在前向计算时动态地解量化为近似的全精度权重,为解量化后的原始权重; QDoRA的整体权重更新中,微调后的权重是解量化后的原始权重加上增量矩阵得到的,的具体表达式为: ; 其中,;为解量化函数; 分解为幅值向量以及由两个低秩适应矩阵计算出的方向分量,的计算方式为: ; 其中,表示对进行正规化;和均是QDoRA引入的低秩适应矩阵;表示Frobenius范数;是可学习的幅值向量,,表示实数域,表示权重矩阵的输出维度;表示逐元素乘法; 对于任意可量化参数,其表达式为: ; 其中,为参数块计算的量化缩放因子;为参数块计算的零点;P为原始浮点参数,round为四舍五入取整函数; 在执行计算时,量化的参数即时解量化,表达式为: ; 为解量化后的结果; 经过微调后的基准多模态大模型的前向传播过程表示为: ; 微调过程中的基准多模态大模型的每一层中给定输入激活和输出激活,而在反向传播中,只有以及量化参数接收梯度并进行更新,而则保持冻结; S42,构建水利偏好数据集进行直接偏好优化对齐训练,即DPO对齐训练:设计一个数据引擎,构建出用于DPO对齐训练的水利偏好数据集,再利用数据引擎结合DPO对齐训练,对基准多模态大模型进行水利领域的对齐训练,得到面向水利场景的多模态大模型HydroMLLM; S43,设计水利思维链Water-CoT提示方法,提升HydroMLLM推理阶段在水利领域的性能水平; 步骤S5,将HydroMLLM采用BF16数据格式保存模型权重,HydroMLLM中的注意力机制key张量使用4位k量化技术,得到最终的面向水利场景的多模态大模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人湘潭大学,其通讯地址为:411105 湖南省湘潭市西郊;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励