基于流量和活跃度分析的网络异常扫描方法、系统及存储介质与流程

1.本发明属于网络异常扫描领域，尤其涉及基于流量和活跃度分析的网络异常扫描方法、系统及存储介质。


背景技术：

2.计算机网络对人类社会的发展产生了巨大的影响，计算机网络的出现，使得互联网在人们的日常工作和生活中充当着越来越重要的角色，越来越多的人早日常工作中生活中利用互联网进行沟通，但与此同时，网络中的不安全因素也在不断增加，各种网络用户异常流量行为随之出现，其主要包含两个方面，一是用户的操作不当引起的异常网络流量行为，二是由网络攻击引起的异常流量行为，因此，针对计算机网路中的异常流量实时扫描和监测的重要性越来越高。
3.现有技术中使用的异常网络流量的扫描技术通常为针对大型计算机网络群体进行异常流量扫描，其在解决异常网络流量时能够得到很好的反响，但是仍存在一些问题，第一，现有扫描技术通过读取数据库中的数据交互信息来实时扫描网络中的异常数据，数据库为硬盘，其读取和缓存速率较慢，从而造成扫描效率较慢；第二，在大型计算机网络群体的扫描中，无法扫描出不敏感的异常行为，久而久之，一些小问题堆积起来，使得扫描技术的漏检率和误判率越来越高，用户的体验感也越来越差。


技术实现要素：

4.本发明所解决的技术问题在于提供一种基于流量和活跃度分析地网络异常扫描方法、系统及存储介质。以解决现有网络异常扫描技术扫描效率低和无法扫描出不敏感的异常行为的问题。
5.本发明提供的基础方案一：基于流量和活跃度分析的网络异常扫描方法，包括：
6.数据采集步骤：采集计算机网络线路中的ip的数据交互信息，并将其存储至redis缓存库中；
7.异常扫描步骤：根据redis缓存库中存储的数据交互信息实时动态地扫描计算机网络线路上的每个ip的流量信息和活跃度信息，找出当前计算机网络线路上的异常ip地址；
8.异常过滤步骤：根据用户的需求设定流量异常阈值和活跃度异常阈值，从扫描结果中过滤出达到流量异常阈值和活跃度异常阈值的异常ip地址；
9.追踪统计步骤：汇总异常过滤步骤中的过滤后结果，并对异常过滤后结果中的异常ip地址根据预设时间进行追踪，以及统计追踪结果中达到预设时间仍处在异常的ip地址；
10.特征分析步骤：根据统计结果对异常ip地址的信息做特征化分析，发现异常ip地址的异常特征；
11.所述追踪统计步骤中还包括：
12.汇总未达到流量异常阈值和活跃度异常阈值的异常ip地址，并将其进行低频率追踪，若出现达到流量异常阈值和活跃度异常阈值时将其保存至统计结果中。
13.本发明提供的基础方案一的原理及优点在于：在现有技术中，通常使用读取数据库中的ip数据交互信息从而扫描出异常网络流量，会出现扫描效率慢的问题，同时针对大型计算机网络的异常扫描时常不能发现不敏感的异常行为，而当不敏感的异常行为问题变得严重后常因为不能及时发现从而会造成巨大的损失。
14.因此，本发明通过将采集的计算机网络线路中的ip的数据交互信息存储至redis缓存库中，并对其进行异常扫描，将异常ip地址找出，其通过redis缓存库读写速率快的特性，使得针对计算机网络线路的扫描速率大大提升，同时通过异常过滤步骤根据用户实际的需求确定异常的阈值，将未达到设定的异常阈值的异常ip地址排除掉，进而有针对性地满足用户地需求，在过滤完成后，在一段时间内实时动态追踪异常ip地址，将持续时间长地异常ip地址进行特征化分析，分析出异常的特征，便于管理人员进行针对性的解决，同时，将未达到异常阈值的异常ip地址进行汇总并进行低频率的追踪，即不敏感的异常行为，一方面不会占用过多的内存，另一方面还能够避免未达到异常阈值的异常ip地址出现更严重的问题。因此，本发明的优点在于：(1)针对异常网络流量的扫描效率提升；(2)能够将持续的异常ip地址分析出其特征，使得管理人员能够及时有效的解决；(3)针对不敏感的异常行为本发明通过低频率追踪，一方面不会占用过多内存，另一方面防止不敏感的异常行为出现更严重的问题。
15.进一步，所述数据交互信息包括ip流量信息、ip活跃度信息以及ip交互信息。
16.有益效果：通过采集ip流量信息、ip活跃度信息以及ip交互信息能够满足用户针对网络异常进行扫描的数据源。
17.进一步，所述追踪统计步骤中还包括：
18.危害程度分析步骤：根据追踪结果分析异常ip对计算机网络线路的危害程度。
19.有益效果：通过分析出异常ip地址对网络的危害程度，进而管理人员能够优先处理危害程度高的问题，避免造成更大的损失。
20.进一步，还包括：
21.数据存储步骤：接收经特征化处理的结果，并将经特征化处理的结果按照重要程度分级存储在数据库；
22.显示步骤：将数据库中的存储结果显示在web界面；
23.报警步骤：通过报警器或者邮件或者钉钉消息进行异常报警。
24.有益效果：通过数据存储步骤能够保存最终的结果，通过显示步骤能够供用户实时查看扫描结果，通过报警步骤能够及时提醒用户。
25.本发明提供的基础方案二：基于流量和活跃度分析的网络异常扫描系统，包括：
26.数据采集模块：用于采集计算机网络线路中的ip的数据交互信息，并将其存储至redis缓存库中；
27.异常扫描模块：用于根据redis缓存库中存储的数据交互信息实时动态地扫描计算机网络线路上的每个ip的流量信息和活跃度信息，找出当前计算机网络线路上的异常ip地址；
28.异常过滤模块：用于根据用户的需求设定流量异常阈值和活跃度异常阈值，从扫描结果中过滤出达到流量异常阈值和活跃度异常阈值的异常ip地址；
29.追踪统计模块：用于汇总异常过滤模块中的过滤后结果，并对异常过滤后结果中的异常ip地址根据预设时间进行追踪，以及统计追踪结果中达到预设时间仍处在异常的ip地址；
30.特征分析模块：用于根据统计结果对异常ip地址的信息做特征化分析，发现异常ip地址的异常特征；
31.所述追踪统计模块中设有低频率追踪统计模块，所述低频率追踪统计模块用于汇总未达到流量异常阈值和活跃度异常阈值的异常ip地址，并将其进行低频率追踪，若出现达到流量异常阈值和活跃度异常阈值时将其保存至统计结果中。
32.本发明提供的基础方案二的原理及优点在于：在现有技术中，通常使用读取数据库中的ip数据交互信息从而扫描出异常网络流量，会出现扫描效率慢的问题，同时针对大型计算机网络的异常扫描时常不能发现不敏感的异常行为，而当不敏感的异常行为问题变得严重后常因为不能及时发现从而会造成巨大的损失。
33.因此，本发明通过数据采集模块将采集的计算机网络线路中的ip的数据交互信息存储至redis缓存库中，并通过异常扫描模块对其进行异常扫描，将异常ip地址找出，其通过redis缓存库读写速率快的特性，使得针对计算机网络线路的扫描速率大大提升，同时通过异常过滤模块根据用户实际的需求确定异常的阈值，将未达到设定的异常阈值的异常ip地址排除掉，进而有针对性地满足用户地需求，在过滤完成后，在一段时间内通过追踪统计模块实时动态追踪异常ip地址，将持续时间长地异常ip地址传输至特征分析模块中进行特征化分析，分析出异常的特征，便于管理人员进行针对性的解决，同时，低频率追踪统计模块将未达到异常阈值的异常ip地址进行汇总并进行低频率的追踪，即不敏感的异常行为，一方面不会占用过多的内存，另一方面还能够避免未达到异常阈值的异常ip地址出现更严重的问题。因此，本发明的优点在于：(1)针对异常网络流量的扫描效率提升；(2)能够将持续的异常ip地址分析出其特征，使得管理人员能够及时有效的解决；(3)针对不敏感的异常行为本发明通过低频率追踪，一方面不会占用过多内存，另一方面防止不敏感的异常行为出现更严重的问题。
34.进一步，所述数据交互信息包括ip流量信息、ip活跃度信息以及ip交互信息。
35.有益效果：通过采集ip流量信息、ip活跃度信息以及ip交互信息能够满足用户针对网络异常进行扫描的数据源。
36.进一步，所述追踪统计模块设有危害程度分析模块，所述危害程度分析模块用于根据追踪结果分析异常ip对计算机网络线路的危害程度。
37.有益效果：通过危害程度分析模块分析出异常ip地址对网络的危害程度，进而管理人员能够优先处理危害程度高的问题，避免造成更大的损失。
38.进一步，还包括数据存储模块、显示模块以及报警模块，所述数据存储模块用于接收经特征化处理的结果，并将经特征化处理的结果按照重要程度分级存储在数据库；所述显示模块用于将数据库中的存储结果显示在网页界面或软件界面；所述报警模块用于通过报警器或者邮件或者钉钉消息进行异常报警。
39.有益效果：通过数据存储模块能够保存最终的结果，通过显示模块能够供用户实
时查看扫描结果，通过报警模块能够及时提醒用户。
40.基于流量和活跃度分析的网络异常扫描存储介质，应用于计算机，该存储介质中存储有基于流量和活跃度分析的网络异常扫描程序，所述基于流量和活跃度分析的网络异常扫描程序被计算机处理器执行时实现权利要求1-4所述的基于流量和活跃度分析的网络异常扫描方法。
附图说明
41.图1为本发明实施例的流程框图；
42.图2未本发明实施例的原理框图。
具体实施方式
43.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明，同时，虽然在实施例中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或所描述的步骤。
44.下面通过具体实施方式进一步详细说明：
45.实施例基本如附图1所示：基于流量和活跃度分析的网络异常扫描方法，包括：
46.数据采集步骤：采集计算机网络线路中的ip的数据交互信息，并将其存储至redis缓存库中；
47.异常扫描步骤：根据redis缓存库中存储的数据交互信息实时动态地扫描计算机网络线路上的每个ip的流量信息和活跃度信息，找出当前计算机网络线路上的异常ip地址。
48.在本实施例中，在计算机网络的线路上时时刻刻都在进行数据交互，而数据交互过程中会产生大量的ip数据交互信息，而数据交互信息中包括ip流量信息、ip活跃度信息以及ip交互信息，在采集ip流量信息时主要通过计算其在计算机网络线路中产生的流量数据，采集ip活跃度信息时主要采集ip出现的频率，在采集ip交互信息时主要采集ip地址在源地址和目标地址的流量比率以及ip地址在源地址的活跃度和在目标地址的活跃度；当采集完ip的数据交互信息后，将其实时存储至redis缓存库中，redis缓存库具有读写速率快的特性，将需要扫描的数据交互信息存储至redis缓存库中，在扫描的时候直接访问redis缓存库，而不是从数据库中读取，解决了数据库读取数据效率低的问题。在扫描过程中，将存在异常的ip地址找出，在本实施例中所找出的异常的ip地址是基于redis缓存库中记录的所有异常数据为模板。以ip在源地址的流量数据为例：
49.首先采集正常环境下一个ip地址在源地址的流量信息，包括流量的大小、包长的信息、协议的信息以及tcp标志位信息，将其作为对比数据，随后采集目标ip在源地址的流量信息，若出现流量的大小与对比数据差异过大，比如对比数据的流量大小为1mb，而目标ip的流量大小为10mb，则将其标记为异常ip地址，同理，若其他流量信息与对比数据之间存在差异，则将其标记为异常ip地址，此处不再赘述。
50.异常过滤步骤：根据用户的需求设定流量异常阈值和活跃度异常阈值，从扫描结果中过滤出达到流量异常阈值和活跃度异常阈值的异常ip地址；
51.追踪统计步骤：汇总异常过滤步骤中的过滤后结果，并对异常过滤后结果中的异
常ip地址根据预设时间进行追踪，以及统计追踪结果中达到预设时间仍处在异常的ip地址。
52.在本实施例中，异常过滤步骤主要通过用户设定有意向的流量阈值和活跃度阈值，即用户根据实际服务器的访问数据以及产生的流量数据进行手动更改流量阈值和活跃度阈值，例如，一服务器在用户访问的高峰期产生的流量数据远远超过正常时段的流量数据，但在高峰期时其是属于正常范围，因此用户可手动调高流量阈值，而活跃度阈值在本实施例中为ip的命中数hit；在根据用户设定的流量阈值和活跃度阈值进行异常ip的过滤后，所遗留的异常ip地址为最终的结果。接着汇总经异常过滤步骤的最终结果，对其进行观察，观察时设定有一个时间，在本实施例中设定的时间为通过用户设定，例如5天为一个循环，在到达5天后，若观察的异常ip地址仍处于异常状态，则将其异常状态统计到表格内，在本实施例中，表格所记录的内容为：(1)异常ip地址的命中数hit和流量信息；(2)计算异常ip地址的异常时间、起始时间、异常类型以及异常的数据。
53.在追踪统计步骤中，还包括：汇总未达到流量异常阈值和活跃度异常阈值的异常ip地址，并将其进行低频率追踪，若出现达到流量异常阈值和活跃度异常阈值时将其保存至统计结果中。
54.在本实施例中，为了解决现有技术中针对不敏感的异常ip地址不重视的问题进行解决，其追踪原理与上述的追踪统计步骤大致相同，不同点在于所追踪的频率为低频率追踪，具体为，在追踪统计步骤中为5天一个循环，而本步骤中为10天一个循环；而好处在于，一方面不会占用过多的内存，另一方面还能够避免未不敏感的异常ip地址出现更严重的问题。
55.在追踪统计步骤中，还包括有危害程度分析步骤：根据追踪结果分析异常ip对计算机网络线路的危害程度。在本实施例中，主要在于分析追踪结果中的异常ip对计算机网络线路造成的危害程度，例如：若追踪结果中的异常ip属于产生了流量过度异常现象，其对计算机网络线路的危害程度可能会导致超过60％用户的正常使用，则将该异常ip判定为高等级危害，需要管理人员紧急处理。
56.特征分析步骤：根据统计结果对异常ip地址的信息做特征化分析，发现异常ip地址的异常特征。
57.在本实施例中，根据统计结果对异常ip地址的信息做特征化分析主要在于，对于长时间的异常ip地址，需要分析出异常特征，采用的方法为抽样检测，从过滤结果中抽出部分相关的信息，并对此信息与数据库中预存的异常类型进行比对，例如，数据库中预存的异常类型包括：(1)网络攻击，网络攻击会造成网络异常，通常其抽样方法为抽取经过漏洞扫描技术扫描主机和端口的流量及活跃度信息；(2)网络故障或者配置错误，网络故障和配置错误所造成的网络异常通常会导致路由器或者交换机发送大量的错误信息，例如由于路由器配置故障，导致路由器频繁交换信息而导致出现大量的ospf流量，并使它们成为异常活跃的地址；(3)网络管理员的误操作，是指认为操作造成的异常ip地址，因此其抽样为抽取源地址到目标地址的流量信息；(4)用户滥用，是指个别用户不当过度使用造成的流量数据异常，通常体现在服务器上，因此其抽样方法为抽取目标服务器的流量访问数据。
58.还包括：数据存储步骤：接收经特征化处理的结果，并将经特征化处理的结果按照重要程度分级存储在数据库；
59.显示步骤：将数据库中的存储结果显示在网页界面或者软件界面；
60.报警步骤：通过报警器或者邮件或者钉钉消息进行异常报警。
61.在本实施例中，将经过特征化的结果存储至数据库中，并显示在网页界面或者软件界面，本实施例中主要通过软件界面显示，随后通过报警器或者邮件或者钉钉消息推送至管理人员，进行异常报警，在本实施例中主要通过邮件发送给管理人员。
62.如图2所示，基于流量和活跃度分析的网络异常扫描系统，包括：
63.数据采集模块：用于采集计算机网络线路中的ip的数据交互信息，并将其存储至redis缓存库中；所述数据交互信息包括ip流量信息、ip活跃度信息以及ip交互信息；
64.异常扫描模块：用于根据redis缓存库中存储的数据交互信息实时动态地扫描计算机网络线路上的每个ip的流量信息和活跃度信息，找出当前计算机网络线路上的异常ip地址；
65.异常过滤模块：用于根据用户的需求设定流量异常阈值和活跃度异常阈值，从扫描结果中过滤出达到流量异常阈值和活跃度异常阈值的异常ip地址；
66.追踪统计模块：用于汇总异常过滤模块中的过滤后结果，并对异常过滤后结果中的异常ip地址根据预设时间进行追踪，以及统计追踪结果中达到预设时间仍处在异常的ip地址；所述追踪统计模块中设有低频率追踪统计模块和危害程度分析模块，所述低频率追踪统计模块用于汇总未达到流量异常阈值和活跃度异常阈值的异常ip地址，并将其进行低频率追踪，若出现达到流量异常阈值和活跃度异常阈值时将其保存至统计结果中；所述危害程度分析模块用于根据追踪结果分析异常ip对计算机网络线路的危害程度；
67.特征分析模块：用于根据统计结果对异常ip地址的信息做特征化分析，发现异常ip地址的异常特征；
68.数据存储模块：用于接收经特征化处理的结果，并将经特征化处理的结果按照重要程度分级存储在数据库；
69.显示模块：用于将数据库中的存储结果显示在网页界面或软件界面；
70.报警模块：用于通过报警器或者邮件或者钉钉消息进行异常报警。
71.基于流量和活跃度分析的网络异常扫描存储介质，应用于计算机，该存储介质中存储有基于流量和活跃度分析的网络异常扫描程序，所述基于流量和活跃度分析的网络异常扫描程序被计算机处理器执行时实现上述基于流量和活跃度分析的网络异常扫描方法。
72.以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

技术特征：
1.基于流量和活跃度分析的网络异常扫描方法，其特征在于：包括：数据采集步骤：采集计算机网络线路中的ip的数据交互信息，并将其存储至redis缓存库中；异常扫描步骤：根据redis缓存库中存储的数据交互信息实时动态地扫描计算机网络线路上的每个ip的流量信息和活跃度信息，找出当前计算机网络线路上的异常ip地址；异常过滤步骤：根据用户的需求设定流量异常阈值和活跃度异常阈值，从扫描结果中过滤出达到流量异常阈值和活跃度异常阈值的异常ip地址；追踪统计步骤：汇总异常过滤步骤中的过滤后结果，并对异常过滤后结果中的异常ip地址根据预设时间进行追踪，以及统计追踪结果中达到预设时间仍处在异常的ip地址；特征分析步骤：根据统计结果对异常ip地址的信息做特征化分析，发现异常ip地址的异常特征；所述追踪统计步骤中还包括：汇总未达到流量异常阈值和活跃度异常阈值的异常ip地址，并将其进行低频率追踪，若出现达到流量异常阈值和活跃度异常阈值时将其保存至统计结果中。2.根据权利要求1所述的基于流量和活跃度分析的网络异常扫描方法，其特征在于：所述数据交互信息包括ip流量信息、ip活跃度信息以及ip交互信息。3.根据权利要求1所述的基于流量和活跃度分析的网络异常扫描方法，其特征在于：所述追踪统计步骤中还包括：危害程度分析步骤：根据追踪结果分析异常ip对计算机网络线路的危害程度。4.根据权利要求3所述的基于流量和活跃度分析的网络异常扫描方法，其特征在于：还包括：数据存储步骤：接收经特征化处理的结果，并将经特征化处理的结果按照重要程度分级存储在数据库；显示步骤：将数据库中的存储结果显示在web界面；报警步骤：通过报警器或者邮件或者钉钉消息进行异常报警。5.基于流量和活跃度分析的网络异常扫描系统，其特征在于：包括：数据采集模块：用于采集计算机网络线路中的ip的数据交互信息，并将其存储至redis缓存库中；异常扫描模块：用于根据redis缓存库中存储的数据交互信息实时动态地扫描计算机网络线路上的每个ip的流量信息和活跃度信息，找出当前计算机网络线路上的异常ip地址；异常过滤模块：用于根据用户的需求设定流量异常阈值和活跃度异常阈值，从扫描结果中过滤出达到流量异常阈值和活跃度异常阈值的异常ip地址；追踪统计模块：用于汇总异常过滤模块中的过滤后结果，并对异常过滤后结果中的异常ip地址根据预设时间进行追踪，以及统计追踪结果中达到预设时间仍处在异常的ip地址；特征分析模块：用于根据统计结果对异常ip地址的信息做特征化分析，发现异常ip地址的异常特征；所述追踪统计模块中设有低频率追踪统计模块，所述低频率追踪统计模块用于汇总未
达到流量异常阈值和活跃度异常阈值的异常ip地址，并将其进行低频率追踪，若出现达到流量异常阈值和活跃度异常阈值时将其保存至统计结果中。6.根据权利要求5所述的基于流量和活跃度分析的网络异常扫描系统，其特征在于：所述数据交互信息包括ip流量信息、ip活跃度信息以及ip交互信息。7.根据权利要求5所述的基于流量和活跃度分析的网络异常扫描系统，其特征在于：所述追踪统计模块设有危害程度分析模块，所述危害程度分析模块用于根据追踪结果分析异常ip对计算机网络线路的危害程度。8.根据权利要求7所述的基于流量和活跃度分析的网络异常扫描系统，其特征在于：还包括数据存储模块、显示模块以及报警模块，所述数据存储模块用于接收经特征化处理的结果，并将经特征化处理的结果按照重要程度分级存储在数据库；所述显示模块用于将数据库中的存储结果显示在网页界面或软件界面；所述报警模块用于通过报警器或者邮件或者钉钉消息进行异常报警。9.基于流量和活跃度分析的网络异常扫描存储介质，其特征在于：应用于计算机，该存储介质中存储有基于流量和活跃度分析的网络异常扫描程序，所述基于流量和活跃度分析的网络异常扫描程序被计算机处理器执行时实现权利要求1-4所述的基于流量和活跃度分析的网络异常扫描方法。

技术总结
本发明属于网络异常扫描领域，尤其涉及基于流量和活跃度分析的网络异常扫描方法、系统及存储介质，方法为，将采集的计算机网络线路中的IP的数据交互信息存储至redis缓存库中，并对其进行异常扫描，将异常IP地址找出，同时通过异常过滤步骤根据用户实际的需求确定异常的阈值，将未达到设定的异常阈值的异常IP地址排除掉，进而有针对性地满足用户地需求，在过滤完成后，在一段时间内实时动态追踪异常IP地址，将持续时间长地异常IP地址进行特征化分析，分析出异常的特征，同时，将未达到异常阈值的异常IP地址进行汇总并进行低频率的追踪。因此，本发明能够解决现有网络异常扫描技术扫描效率低和无法扫描出不敏感的异常行为的问题。效率低和无法扫描出不敏感的异常行为的问题。效率低和无法扫描出不敏感的异常行为的问题。


技术研发人员：段勃 杨东鑫 谢奉良 陈文锋 张亮
受保护的技术使用者：中科计算技术西部研究院
技术研发日：2021.12.09
技术公布日：2022/3/8