买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉暨南大学申请的专利融合强化学习和特征选择优化的ICS入侵检测系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116340936B 。

龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310283388.X，技术领域涉及：G06F21/55；该发明授权融合强化学习和特征选择优化的ICS入侵检测系统及方法是由曾国强;王超;李理敏;耿光刚;翁健;陆康迪;黄家承设计研发完成，并于2023-03-22向国家知识产权局提交的专利申请。

本融合强化学习和特征选择优化的ICS入侵检测系统及方法在说明书摘要公布了：本发明公开了一种融合强化学习和特征选择优化的ICS入侵检测系统及方法，将工业控制系统ICS历史数据集的数据特征选择进行二进制编码和种群初始化，通过SVM‑强化学习进行离线训练，将在验证集上得到的准确率作为适应度函数，设计基于累计概率的交叉操作和变异操作对种群进行更新，经过迭代优化后从而获得最优特征集合；基于最优特征集合对ICS实时数据集进行特征选择，通过支持向量机SVM‑强化学习对实时数据集进行在线入侵检测测试，从而获得入侵检测性能指标。本发明采用了基于SVM‑强化学习新模式，并在此基础上融合了最优特征选择的智能优化，提升了ICS入侵检测系统的智能化设计水平和入侵检测的精度。

本发明授权融合强化学习和特征选择优化的ICS入侵检测系统及方法在权利要求书中公布了：1.一种融合强化学习和特征选择优化的ICS入侵检测系统，其特征在于，所述系统包括ICS入侵检测数据采集模块、基于SVM-强化学习的特征选择离线优化模块和基于最优特征的SVM-强化学习在线入侵检测模块； 所述ICS入侵检测数据采集模块，用于从工业控制系统的历史数据库中采集生产过程监控状态的历史数据，经过数据解析，获得源数据集，标记为X，并按照公式1进行数据的归一化处理，以获取离线训练数据集，将其标记为Xo，将Xo按比例随机分割以获取训练集Xo1与验证集Xo2，将所述训练集Xo1与验证集Xo2输入到基于SVM-强化学习的特征选择离线优化模块； 1 其中，Xoj表示离线训练数据集Xo第j维度的特征，Xj表示源数据集X第j维度的特征，与分别表示Xj的最小值与最大值，d表示Xo维度的最大值； 所述ICS入侵检测数据采集模块，用于从ICS实时数据库中采集生产过程的实时监控数据，经过数据解析和数据归一化处理后，得到在线检测数据集，将该在线检测数据集输入基于最优特征的SVM-强化学习在线入侵检测模块； 所述基于SVM-强化学习的特征选择离线优化模块，用于将ICS历史数据集的数据特征选择进行二进制编码和种群初始化，通过SVM-强化学习进行离线训练，将在验证集上得到的准确率作为适应度函数，基于累计概率的交叉操作和变异操作对种群进行更新，经过迭代优化后从而获得最优特征集合，将获得的最优特征集合输入到基于最优特征的SVM-强化学习在线入侵检测模块； 所述基于最优特征的SVM-强化学习在线入侵检测模块，用于基于最优特征集合对ICS实时数据集进行特征选择，通过SVM-强化学习对实时数据集进行在线入侵检测测试，以获取入侵检测性能指标； 其中，应用所述系统的融合强化学习和特征选择优化的ICS入侵检测方法，包括以下步骤： 1设置基于SVM-强化学习的特征选择离线优化模块的参数值，所述参数值包括种群大小N、迭代优化次数I、交叉率Pc、变异率Pm，强化学习的训练轮次EP、强化学习行动者和批判者的网络参数，所述强化学习行动者和批判者的网络参数包括网络层数D，强化学习行动者的学习率lr1，批判者的学习率lr2，损失函数loss，强化学习行动者的优化器optimizer1，批判者的优化器optimizer2； 2将随机生成的N个二进制编码的个体作为初始种群Q={Indj,j=1,2,…,N}，每个个体采用二进制编码，编码形式为Indj=a1,a2,…,ai,…,an，在此Indj代表种群中第j个个体，ai代表个体中每个基因的编码，1≤i≤n，n表示数据集中特征数量的最大值，ai的具体定义公式2表示为： 2 其中，每一个Indj的初始化就是随机初始化n个ai，即随机生成一串长度为n的二进制字符串，该二进制字符串的信息就代表着对数据集中n个特征的选择组合； 3对种群Q进行性能评估，具体评估过程如下： 3.1依据种群Q中每个个体对应的二进制编码信息，将离线训练数据集Xo1进行特征选择之后，作为SVM-强化学习离线训练的数据输入； 3.2所述SVM-强化学习离线训练的实现过程如下： 初始化强化学习环境env类，所述env类拥有2个属性，分别是：数据的分组大小batch_size和数据的维度大小state_shape；env类拥有2个函数，分别是：状态更新函数upstate和动作函数act；所述状态更新函数upstate的返回值为状态state，所述状态更新函数upstate的功能为从数据集中随机抽取一个batch_size大小的数据命名为state返回；所述动作函数act的输入参数是动作action和state，输出是下一个state和奖励reward，所述动作函数act的功能实现是通过对比action和state的标签label，如果action值和label值相等，则该action的reward取1；如果不相等，则该action对应的reward取值0，再调用upstate更新state获取state+1，返回reward和state+1； 强化学习行动者网络的初始化采用3层网络，第一层是输入层，第二层隐藏层网络大小为hindden_size，采用的是高斯核函数作为映射，并且网络的损失函数loss采用的是hinge损失函数，以此和基于高斯核函数的SVM一一对应，第三层是输出层，优化器为optimizer1，学习率为lr1； 批判者初始化采用的是3层网络，3层都是全连接层，其中第二层隐藏层网络大小为hindden_size，优化器optimizer2，学习率为lr2； env类调用状态更新函数upstate得到state，再接着选择一个随机数r=random0,1，random0,1表示随机选择一个0到1之间的小数； action的具体计算如公式3所示： 3 其中，ε是一个超参数用于判断action的选择，nD表示离线训练数据集Xo1经特征选择后的数据总数，表示上一步的action，表示是上一步的数据标签，δ是高斯函数的一个参数，c是一个偏置量，代表总体的state，s表示中的一个状态state，代表第h次随机选择的state，A代表的是总体的action集合；Env执行动作函数act，输入action，输出reward和下一个state，称为state+1，然后批判者根据state、reward和state+1，按照公式4获取td_error对强化学习行动者进行评估，以此来更新强化学习行动者： 4 其中，V表示批判者对state的评估值，表示批判者对state+1的评估值，LAM是一个表示state和state+1数据之间的联系程度的超参数，d表示是否加上后面的结果，即当d=0时，则表示舍弃后面的结果，当d为0到1之间的小数，则表示按权重添加后面的结果；根据获取的td_error，强化学习行动者利用action、state和td_error更新自身网络参数权重； 3.3执行SVM-强化学习EP轮次的离线训练，针对验证集Xo2进行验证测试，以验证集Xo2上准确率为标准，统计出每个个体对应的最终准确率，将其作为每个个体的个体适应度值fj，j=1,2，…，N，并确定准确率最高的个体为最优个体Indibest； 4按照公式5计算出种群Q中每个个体被遗传到下一代群体中的概率pj，j=1,2，…，N，按照公式6计算每个个体的累计概率qj： 5 6 5随机生成一个0到1之间的随机数r1=random0,1，如果r1≤交叉率Pc，则进行交叉操作，否则不进行交叉操作；所述交叉操作实现步骤具体为：随机生成一个0到1之间的随机数r2=random0,1，如果，则从种群Q中选择第j1个个体；随机生成一个0到1之间的随机数r3=random0,1且r3≠r2，如果，则从种群Q中选择第j2个个体，然后随机生成一个1到n之间的整数k=randint1,n，其中randint1,n表示随机生成一个1到n之间的整数，将第j1个和第j2个个体的第k个位置对应的编码ak进行数值互换，其它数值保持不变；将交叉操作后的种群标记为Qc； 6从种群Qc中随机选择出一个个体，随机生成一个随机数r4=random0,1，如果r4≤变异率Pm，则对该个体进行变异操作，否则不进行变异操作；所述变异操作具体为：随机生成一个1到n之间的整数m=randint1,n，将待变异个体的第m个位置对应的编码am进行二进制变异，如果原来的am值是0，则变异后的am变成1，如果原来的am值为1，则变异后的am变成0；将变异后的种群标记为Qm； 7无条件接受Q=Qm； 8重复所述步骤3~所述步骤7，直到满足设定的迭代优化次数I为止； 9获取最优个体Indibest，以获取Indibest二进制编码序列所对应的最优特征集合； 10基于最优特征集合对ICS实时数据集Xr进行特征选择，以获取数据子集Xt； 11按照所述步骤3.2中的SVM-强化学习对获得的数据子集Xt进行在线入侵检测测试，对检测的异常数据进行报警，并按照公式7~9计算入侵检测的准确率、召回率和F1评分： 7 8 9 其中，TP表示将正常ICS数据样本正确地预测为正常分类的数量，TN表示将异常ICS数据样本正确地预测为异常分类的数量，FP表示将异常ICS数据样本错误地预测为正常分类的数量，FN表示将正常ICS数据样本错误地预测为异常分类的数量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人暨南大学，其通讯地址为：510630 广东省广州市天河区黄埔大道西601号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。