昆明理工大学毛存礼获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉昆明理工大学申请的专利基于MoE与表征解耦的大模型多语言翻译方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121615665B 。
龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610149255.7,技术领域涉及:G06F40/58;该发明授权基于MoE与表征解耦的大模型多语言翻译方法及装置是由毛存礼;吴尚;余正涛;张思琦;高盛祥;王振晗设计研发完成,并于2026-02-03向国家知识产权局提交的专利申请。
本基于MoE与表征解耦的大模型多语言翻译方法及装置在说明书摘要公布了:本发明涉及基于MoE与表征解耦的大模型多语言翻译方法及装置,属于自然语言处理技术领域。汉‑英‑老‑泰多语言翻译框架通过模型参数共享能有效共享相似语言知识提升不同翻译方向的翻译性能,但引入参数共享会导致不同语言间参数相互干扰问题。针对多语言翻译中不同语种间存在的参数干扰问题,提出了本发明,本发明包括数据预处理、训练基于MoE与表征解耦的大模型多语言翻译模型、利用训练好的基于MoE与表征解耦的大模型多语言翻译模型进行翻译三部分,以及根据这三部分集成的模块组成的装置。本发明结合稀疏化MoE框架和表征解耦缓解了多语言参数干扰问题,有效提升了汉‑英‑老‑泰的多语言机器翻译质量。
本发明授权基于MoE与表征解耦的大模型多语言翻译方法及装置在权利要求书中公布了:1.基于MoE与表征解耦的大模型多语言翻译方法,其特征在于:所述方法包括: Step1、数据预处理:首先构建模型训练所需要指令数据集; Step2、构建基于MoE与表征解耦的大模型多语言翻译模型,然后利用指令数据集来训练基于MoE与表征解耦的大模型多语言翻译模型: 首先通过稀疏化MoE架构为英-汉、老-汉、泰-汉三个翻译方向构建不同的解码模块; 同时引入字符级对比学习约束,分离不同翻译方向在模型中的隐层表征,进而达到参数解耦的效果; 然后基于Step1构建的指令数据集训练并得到基于MoE与表征解耦的大模型多语言翻译模型; Step3、利用训练好的基于MoE与表征解耦的大模型多语言翻译模型进行翻译; 所述Step2的步骤包括: Step2.1、选取Llama3-8b-it作为基础模型,在基础模型的前馈神经网络层中添加混合专家层; 设计非对称结构的低秩适配器HydraLoRA将基础模型中的前馈神经网络层中的线性层进行替换;为英-汉、老-汉、泰-汉分别设计解码器模块,用于协作解决不同方向的翻译任务; 对于Trans-former架构的前馈神经网络层的前向传播过程简化为: ; 其中,表示模型中的句子向量表示,表示前馈神经网络层,表示一个变换函数; 该前向传播中线性层的矩阵运算表示为: ; 其中,表示基础模型中的参数矩阵,表示训练阶段的参数更新,N表示专家数量,表示第k个专家的重要性系数;表示与第k个专家相关的参数矩阵;A表示转换矩阵; Step2.2、设计基于字符级对比学习机制,通过在混合专家层引入字符级对比学习约束,强制不同专家学习更具区分性的语言表征空间;包括如下: 在前馈神经网络层的混合专家层中,定义字符级别的对比学习损失函数如下: ; 其中,表示第k个专家对第i个token的隐层表征,表示第个专家对第i个token的隐层表征,表示第m个专家对第j个token的隐层表征,s·,·为余弦相似度函数:,ρ∈[﹣1,1]为边界阈值,token表示分词后的一个词元。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人昆明理工大学,其通讯地址为:650500 云南省昆明市呈贡区景明南路727号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励