[发明专利]一种基于Q学习的最佳攻击路径规划方法

摘要

本发明涉及一种基于Q学习的最佳攻击路径规划方法，属于信息安全技术领域。具体操作步骤为步骤一、获取网络结构。步骤二、获取网络系统中各主机中存在的漏洞。步骤三、建立Q学习模型。步骤四、通过Q学习模型，获取最佳攻击路径路径。本发明提出的基于Q学习的最佳攻击路径规划方法与已有技术相比较，具有以下优点①不需要收集训练数据，对网络模型进行训练；②可在线学习，实时确定不同时刻不同网络状态对应的最佳攻击路径；③学习率使用了退火模型，所以收敛的更加精确；④最优攻击路径生成速度快；⑤由于不需要生成攻击图，所以可以适用于大规模计算机集群。

主权项

一种基于Q学习的最佳攻击路径规划方法，具体操作步骤为：步骤一、获取网络结构；步骤1.1：获取网络系统中各主机的软件应用，建立软件应用与主机对应表；所述软件应用与主机对应表包含：软件应用名称和主机名称；步骤1.2：获取网络系统中各主机之间的会话链接，建立主机间会话链接表；所述主机间会话链接表包括：源主机名和目标主机名；步骤二、获取网络系统中各主机中存在的漏洞，建立主机漏洞状态表，同时建立漏洞集合，用符号A表示；所述主机漏洞状态表包括：主机名称、漏洞ID和攻击成功率；步骤三、建立Q学习模型，如公式(1)所示；Qn+1(s,a)＝(1‑δn(s,a))Qn(s,a)+δn(s,a)[R(s,a,s')+γJn(s')])   (1)其中，s表示当前状态，s'表示当前状态s的后继状态；a表示当前漏洞；a∈A，A为步骤2.1中所述漏洞集合A；n为迭代步数，n≥0；Qn+1(s,a)是第(n+1)步迭代时对当前状态s下利用当前漏洞a得到的总体回报的一个估计值；Qn(s,a)是第n步迭代时对当前状态s下利用当前漏洞a得到的总体回报的一个估计值；δn(s,a)为第n步的学习率，通过公式(2)得到；R(s,a,s')为立即回报函数，通过公式(3)得到；γ为贴现因子，为人为预先设定值，γ∈[0,1)；Jn(s')为延时回报函数，通过公式(4)得到；δn(s,a)=αβ+n---(2)]]>其中，α、β为人为设定值，并且R(s,a,s′)=Pr×WiΣjWj×ΣmTim---(3)]]>其中，R(s,a,s')表示在当前状态s下，通过利用当前漏洞a，到达后继状态s'的立即回报估计值；Pr为原子攻击成功率；i为主机的顺序编码；Wi为主机i的权重；∑jWj为整个网络系统中所有主机的权重和；m为主机i的第m种权限，m为正整数；Tim表示利用当前漏洞a获取主机i的第m种权限对应的评分值；∑mTim是对所有Tim求和；Jn(s')＝maxQn(s',b)                                         (4)其中，Jn(s')为在后继状态s'下，Qn(s',b)的最大值；Qn(s',b)表示第n步中，在后继状态s'下，采用后继漏洞b得到的总体回报的估计值；b∈A；步骤四、通过Q学习，获取最佳攻击路径路径；具体为：步骤4.1：建立最佳攻击路径序列，用符号L表示，其初始值为空；步骤4.2：设置Q学习模型的初始值，此时迭代步数n＝0；具体为：设置攻击路径的源主机以及目标主机；从漏洞集合A中随机选取源主机能够一步利用的一个漏洞，作为当前漏洞a；到主机漏洞状态表检索当前漏洞a对应的状态，将其作为当前状态s；设置Qn(s,a)＝0，即Q0(s,a)＝0；步骤4.3：通过公式(1)计算第(n+1)步迭代时，对当前状态s下利用当前漏洞a得到的总体回报的一个估计值Qn+1(s,a)，同时得到后继漏洞b的集合；步骤4.4：如果Qn+1(s,a)＝Qn(s,a)，则将当前漏洞a以及步骤2.4得到的后继漏洞b的集合，放入最佳攻击路径序列L中，从而得到最佳攻击路径序列L，结束操作；否则使迭代步数n自增1，重复步骤4.3至步骤4.4的操作；所述最佳攻击路径序列L中最后一个漏洞位于步骤4.2中所述目标主机中；经过上述步骤的操作，得到从源主机到目标主机的最佳攻击路径序列L。