清华大学深圳国际研究生院;深圳市智搜信息技术有限公司郑海涛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉清华大学深圳国际研究生院;深圳市智搜信息技术有限公司申请的专利一种基于自适应对比学习的大语言模型知识纠偏方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119808952B 。
龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510020048.7,技术领域涉及:G06N5/04;该发明授权一种基于自适应对比学习的大语言模型知识纠偏方法是由郑海涛;黄浩靖;李映辉;周岚设计研发完成,并于2025-01-07向国家知识产权局提交的专利申请。
本一种基于自适应对比学习的大语言模型知识纠偏方法在说明书摘要公布了:本发明提出了一种基于自适应对比学习的大语言模型知识纠偏方法,旨在提高模型在自然语言处理任务中的准确性和可信度。该方法包括以下步骤:S1、将模型知识划分为四个象限,以识别模型对知识的掌握情况。S2、通过设定上限阈值IK和下限阈值IDK,探测模型的知识边界,确定模型对每个问题的信心度量。S3、根据探测结果,收集模型已知和未知的知识数据,构建对比学习数据,包括正样本和负样本。S4、采用自适应对比学习策略,通过拉近正样本和推远负样本,增强模型对知识的掌握能力,同时保持模型的生成能力。实验证明,该方法能显著提升模型回复的真实性指标性能,对于缓解大语言模型的幻觉问题具有重要意义。
本发明授权一种基于自适应对比学习的大语言模型知识纠偏方法在权利要求书中公布了:1.一种基于自适应对比学习的大语言模型知识纠偏方法,应用于文本生成,其特征在于,包括以下步骤: S1、知识象限划分:将大语言模型的知识划分为四个象限,包括模型知道自己知道、模型不知道自己知道、模型知道自己不知道和模型不知道自己不知道,以识别模型对知识的掌握情况; S2、知识边界探测:基于知识象限划分,通过设定用于识别模型对其知识有高度信心的上限阈值和用于识别模型对其知识缺乏信心的下限阈值,对模型的知识边界进行探测,以确定模型对每个问题的信心度量,从而识别模型的知识边界;步骤S2具体包括:筛选来自不同问答数据集的问题;对每个问题,多次采样大语言模型的响应;计算每个问题响应的准确率,以此作为模型对每个问题的信心度量;设定上限阈值和下限阈值作为超参数;当模型对问题的信心度量超过上限阈值时,认为模型完全掌握该知识,界定为模型知道它知道的知识;当模型对问题的信心度量介于上限阈值和下限阈值之间时,界定为模型不知道它知道的知识;当模型对问题的信心度量低于下限阈值时,认为模型缺乏此知识,界定为模型不知道它不知道的知识;通过上述阈值和信心度量的评估,定义模型的知识边界; S3、对比学习数据构造:根据探测的知识边界,收集模型知道和不知道的知识数据,并构建对比学习数据,包括正样本和负样本; S4、自适应对比学习:基于对比学习数据构造,采用自适应对比学习策略进行模型学习,所述自适应对比学习策略通过拉近正样本和推远负样本,增强模型对知识的掌握能力,同时保持模型的生成能力。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人清华大学深圳国际研究生院;深圳市智搜信息技术有限公司,其通讯地址为:518071 广东省深圳市南山区桃源街道丽水路2279号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励