厦门理工学院朱顺痣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉厦门理工学院申请的专利一种基于动态专家选择与知识融合的联邦学习方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121581259B 。
龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610098687.X,技术领域涉及:G06N20/00;该发明授权一种基于动态专家选择与知识融合的联邦学习方法及装置是由朱顺痣;章辰洋;洪学敏;杨淼;李林;林政;方子涵设计研发完成,并于2026-01-26向国家知识产权局提交的专利申请。
本一种基于动态专家选择与知识融合的联邦学习方法及装置在说明书摘要公布了:本发明提供的一种基于动态专家选择与知识融合的联邦学习方法及装置,涉及联邦学习技术领域。本发明接收服务器端广播的当前轮次全局模型,并结合上一轮本地旧模型分解为K个虚拟专家集合;然后通过轻量级门控网络生成各虚拟专家的选择权重;基于选择权重通过知识蒸馏将虚拟专家在本地数据上的软输出进行加权融合生成融合软标签,并以此初始化本地模型;对初始化的本地模型进行训练,同时引入自适应残差补偿机制上传自适应残差与模型参数至服务器端,以在服务器端完成加权聚合、更新全局模型后广播至下一轮。本申请能够实现细粒度知识选择与软融合,有效避免知识冲突,在高度非独立同分布环境下显著降低通信开销,提升个性化模型精度。
本发明授权一种基于动态专家选择与知识融合的联邦学习方法及装置在权利要求书中公布了:1.一种基于动态专家选择与知识融合的联邦学习方法,应用于客户端,其特征在于,包括: S1,接收服务器端广播的当前轮次全局模型,并结合上一轮本地旧模型分解为K个虚拟专家集合,每个虚拟专家对应一个参数子集; S2,基于本地小批量数据,通过轻量级门控网络生成各虚拟专家的选择权重; S3,基于所述选择权重,通过知识蒸馏将所选虚拟专家在本地数据上的软输出进行加权融合,生成融合软标签,并以此初始化本轮的本地模型; S4,基于初始化的本地模型进行训练,得到训练后的本地模型,同时引入自适应残差补偿机制上传自适应残差与模型参数至服务器端,以在服务器端完成加权聚合、更新全局模型后广播至下一轮; 其中,引入自适应残差补偿机制上传自适应残差与模型参数至服务器端,以在服务器端完成加权聚合,具体为: 首先,根据客户端本地训练后的模型参数与本地模型的初始参数的差值计算模型更新残差,公式为: ; 其中,表示第t轮客户端i的模型更新残差;为第t轮客户端i本地训练后的模型参数;为第t轮客户端i的本地模型初始参数; 然后,基于模型更新残差结合自适应衰减因子,更新历史残差的累积值,公式为: ; ; 其中,、分别为第t、轮客户端i的累积残差缓冲;为自适应衰减因子;为衰减因子的最小值;为初始衰减因子;为衰减速率;为第t轮客户端i的本地损失梯度;为第0轮客户端i的本地损失梯度;为L2范数;、分别为第t、0轮客户端i的本地损失; 采用残差选择性传输策略进行残差传输,即当残差范数超过动态阈值或达到固定周期时,触发传输,公式为: ; ; 其中,为传输触发函数,表示传输,表示不传输;为动态阈值;为设定的固定传输周期;为初始阈值;为阈值衰减速度控制参数;为求余操作; 接着,基于客户端数据量与分布差异,计算聚合权重,公式为: ; 其中,为客户端i的聚合权重;、为客户端i、j的数据量;为参与本轮训练的客户端集合;为分布差异的调节参数;为JS散度,用于衡量本地数据集与全局数据集的分布差异;为客户端i的本地数据集; 最后,更新全局模型,公式为: ; ; 其中,为第t+1轮的全局模型参数;为第t轮客户端i本地训练后的模型参数;为残差融合系数;为指示函数;为初始融合系数;为最大训练轮数;为融合系数衰减控制参数;、分别为第t、0轮的全局验证损失。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人厦门理工学院,其通讯地址为:361024 福建省厦门市集美区理工路600号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励