北京航空航天大学孙海龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京航空航天大学申请的专利一种神经网络模型的模块化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116340808B 。
龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310051000.3,技术领域涉及:G06F18/24;该发明授权一种神经网络模型的模块化方法是由孙海龙;齐斌航;高祥设计研发完成,并于2023-02-02向国家知识产权局提交的专利申请。
本一种神经网络模型的模块化方法在说明书摘要公布了:本发明通过软件工程和人工智能领域的方法,实现了一种神经网络模型的模块化方法,总体上包括搜索空间、性能评估策略和搜索策略三个部分;输入原始模型为由若干神经网络层组成,共有L个权重的N分类预训练模型,同时输入一个目标任务的K分类图像或文本等数据集,通过六个步骤实现针对分类任务的预训练神经网络模型模块化,所得的模块仅保留N分类模型中与目标任务相关的部分权重,被用来对目标任务的待分类图像或文本等数据进行分类;本发明提供的方法采用基于梯度的离散空间搜索方法,通过目标任务的准确度指标提高了相关权重的识别准确度;同时,通过将无关权重置零,降低对图像或文本等进行分类时的时间和计算开销。
本发明授权一种神经网络模型的模块化方法在权利要求书中公布了:1.一种神经网络模型的模块化方法,其特征在于:针对输入多分类预训练神经网络模型和一个目标任务的图像或文本多分类数据集进行通过处理单元处理,处理单元包括搜索空间、性能评估策略和搜索策略三个部分;所述方法的输入具体包括:一个预训练的图像或文本多分类模型作为原始模型,该原始模型是由若干神经网络层组成,共有个权重的分类模型;以及一个目标任务的图像或文本分类数据集,其中,包括用于模块化的数据和待分类的数据;所述方法通过六个步骤实现针对原始模型的模块化,生成一个用于目标任务且仅包含个权重的分类神经网络模块,其中,并进一步使用神经网络模块对目标任务的待分类数据进行分类,最终输出分类好的图像或文本数据; 步骤一,构建所述搜索空间,搜索空间包含所有候选模块,一个候选模块通过使用一个掩码来有选择地删除原始模型的部分权重构建出来,一个掩码是一个长度为的比特向量,其中是原始模型中权重的数量,比特“0”代表删除相应的权重,而比特“1”代表保留相应的权重,总共有个候选掩码,因此搜索空间由个候选模块组成; 步骤二,在所述搜索空间中进行搜索初始化;开始搜索时,初始化的候选掩码的所有元素的值都是1,代表初始化模块保留了所有的权重,该初始化的候选掩码被传递给性能评估策略; 步骤三,采用所述性能评估策略评估候选模块的性能;给定一个候选掩码,性能评估策略首先移除模型中与掩码中元素值为0所对应的权重,而保留元素值为1所对应的权重,然后在模型的最后一层,追加一个新的输出头作为输出层,从而构建出一个候选模块;输出头是一个全连接网络层,用于使候选模块适应目标任务的分类数;然后,在输入的用于模块化的图像或文本数据上,计算目标函数值来评估候选模块;目标函数被定义为以下两部分的加权和:候选模块的权重保留率,以及候选模块的预测和目标数据集上标签之间的交叉熵损失;得到的目标函数值将反馈给搜索策略; 步骤四,利用所述搜索策略搜索候选模块,所述搜索策略使用基于梯度的搜索方法,基于目标函数值,计算掩码和输出头中每个值的梯度,通过梯度下降更新掩码和输出头,在每一轮搜索中,搜索策略将更新后的掩码和输出头作为新的候选模块传递给性能评估策略; 步骤五,迭代执行步骤三和步骤四,直到迭代次数达到给定值或者目标函数值基本不再变化,所得的模块仅保留分类模型中与目标任务相关的部分权重,能够用于分类目标任务; 步骤六,使用步骤五得到的神经网络模块,对输入的待分类图像或文本数据进行分类,最终,所述方法输出分类好的图像或文本数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学,其通讯地址为:100191 北京市海淀区学院路37号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励