一种Volte信令数据文件采集方法及系统与流程

一种volte信令数据文件采集方法及系统
技术领域
1.本发明属于数据采集及处理技术领域，尤其涉及一种volte信令数据文件采集方法及系统。


背景技术：

2.信令数据分布在9类279个目录中，按照分钟级的时间间隔生成。目前常用的分布式数据文件采集中，会用到的方式包括：1)多机单线程:多台采集服务器每次开启一个进程使用ftp协议下载远程数据；2)多机多线程:多台采集服务器每次根据固定配置开启多个线程使用ftp协议下载远程数据；3)集群下载:利用mapreduce方式，通过大数据集群主机使用ftp协议下载远程数据；
3.以上几种方式在处理海量准实时的volte信令数据时，均只能根据现阶段任务数量分配采集任务的时间间隔或者执行节点，无法结合未来任务可能的文件大小合理选择采集资源，从而会造成以下问题：1、少数大规模的采集任务集中在一个节点执行，任务倾斜造成单节点压力；2、因缺乏对信令数据规律的分析手段，出现准实时采集延迟的问题后，只能根据人工经验扩容改进；3、新增的采集节点资源无法有效的被分配使用，造成资源性能的浪费等问题。


技术实现要素：

4.本发明提供一种volte信令数据文件采集方法及系统，用于至少解决上述技术问题之一。
5.第一方面，本发明提供一种volte信令数据文件采集方法，包括：根据预设尺寸的时间窗口对历史volte信令数据进行数据特征提取，所述数据特征包括某一时间维度中的至少一个业务特征；基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数进行修正，使形成信令数据预测模型；将实时获取的volte信令数据中的至少一个任务分配至某一采集节点，并根据所述信令数据预测模型进行预测所述某一采集节点处理所述至少一个任务的预计结束时间和所述某一采集节点采集下一任务的预计采集时间，所述某一采集节点为一天24小时中的某一整点；计算所述预计结束时间、所述预计采集时间之和与所述调度时间的差值，并将差值最小的节点作为任务执行点，使在所述任务执行点进行volte信令数据文件采集，所述调度时间为任务调度平均间隔时间。
6.第二方面，本发明提供一种volte信令数据文件采集系统，包括：提取模块，配置为根据预设尺寸的时间窗口对历史volte信令数据进行数据特征提取，所述数据特征包括某一时间维度中的至少一个业务特征；修正模块，配置为基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数进行修正，使形成信令数据预测模型；预测模块，配置为将实时获取的volte信令数据中的至少一个任务分配至某一采集节点，并根据所述信令数据预测模型进行预测所述某一采集节点处理所述至少一个任务的预计结束时间和所述某一采集节点采集下一任务的预计采集时间，所述某一采集节点为一天24小时中的
某一整点；计算模块，配置为计算所述预计结束时间、所述预计采集时间之和与所述调度时间的差值，并将差值最小的节点作为任务执行点，使在所述任务执行点进行volte信令数据文件采集，所述调度时间为任务调度平均间隔时间。
7.第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的volte信令数据文件采集方法的步骤。
8.第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的volte信令数据文件采集方法的步骤。
9.本技术的一种volte信令数据文件采集方法及系统，根据历史信令数据构建信令数据预测模型，使得能够预测当前信令数据处理预计完成时长以及未来信令数据采集资源消耗时长，通过计算当前信令数据处理预计完成时长、未来信令数据采集资源消耗时长之和与调度时间的差值，并将差值最小的节点作为采集volte信令数据文件的任务执行点，使得从预测的角度为采集资源分配提供合理依据，避免片面根据当前负载的资源分配造成的倾斜问题。
附图说明
10.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本发明一实施例提供的一种volte信令数据文件采集方法的流程图；
12.图2为本发明一实施例提供的一种volte信令数据文件采集系统的结构框图；
13.图3是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
14.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.请参阅图1，其示出了本技术的一种volte信令数据文件采集方法的流程图。
16.如图1所示，volte信令数据文件采集方法具体包括以下步骤：
17.步骤s101，根据预设尺寸的时间窗口对历史volte信令数据进行数据特征提取，所述数据特征包括某一时间维度中的至少一个业务特征。
18.在本实施例中，根据volte信令数据的业务特点，选取相关数据形成特征。特征选取以每5分钟为一个窗口，从时间维度分为：昨日，上两日，上三日，上月同日，上两月同日，上三月同日与去年同日共计7个维度。从业务维度分为：主叫次数，被叫次数，位置更新次数，漫入次数，短信条数，流量使用量共计6个维度。总计形成6*7＝42个特征值。
19.步骤s102，基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数进行修正，使形成信令数据预测模型。
20.在本实施例中，通过多元线性回归模型，构建分钟级信令数据预测模型。以每五分钟统计去年全年信令数据的大小作为样本，进行拟合。加入二次函数进行拟合比对。一次函数拟合度超过95％，说明拟合度较好。可以用来做数据预测。
21.步骤s103，将实时获取的volte信令数据中的至少一个任务分配至某一采集节点，并根据所述信令数据预测模型进行预测所述某一采集节点处理所述至少一个任务的预计结束时间和所述某一采集节点采集下一任务的预计采集时间，所述某一采集节点为一天24小时中的某一整点。
22.在本实施例中，通过数据模型固化成脚本，设置每天整点运行1次，预测下一小时每5分钟的信令文件数据规模。根据当日处理效率(当日数据处理行数/当日任务运行时长)，得出预计采集时间＝预计文件数据规模/当日处理效率。
23.记录每个采集节点的当前执行的数，得出预计结束时间＝当前任务数*数据行数/当日处理效率。
24.步骤s104，计算所述预计结束时间、所述预计采集时间之和与所述调度时间的差值，并将差值最小的节点作为任务执行点，使在所述任务执行点进行volte信令数据文件采集，所述调度时间为任务调度平均间隔时间。
25.综上，本技术的方法，根据历史信令数据构建信令数据预测模型，使得能够预测当前信令数据处理预计完成时长以及未来信令数据采集资源消耗时长，通过计算当前信令数据处理预计完成时长、未来信令数据采集资源消耗时长之和与调度时间的差值，并将差值最小的节点作为采集volte信令数据文件的任务执行点，使得从预测的角度为采集资源分配提供合理依据，避免片面根据当前负载的资源分配造成的倾斜问题。
26.请参阅图2，其示出了本技术的一种volte信令数据文件采集系统的结构框图。
27.如图2所示，volte信令数据文件采集系统200，包括提取模块210、修正模块220、预测模块230以及计算模块240。
28.其中，提取模块210，配置为根据预设尺寸的时间窗口对历史volte信令数据进行数据特征提取，所述数据特征包括某一时间维度中的至少一个业务特征；修正模块220，配置为基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数进行修正，使形成信令数据预测模型；预测模块230，配置为将实时获取的volte信令数据中的至少一个任务分配至某一采集节点，并根据所述信令数据预测模型进行预测所述某一采集节点处理所述至少一个任务的预计结束时间和所述某一采集节点采集下一任务的预计采集时间，所述某一采集节点为一天24小时中的某一整点；计算模块240，配置为计算所述预计结束时间、所述预计采集时间之和与所述调度时间的差值，并将差值最小的节点作为任务执行点，使在所述任务执行点进行volte信令数据文件采集，所述调度时间为任务调度平均间隔时间。
29.应当理解，图2中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图2中的诸模块，在此不再赘述。
30.在另一些实施例中，本发明实施例还提供了一种计算机可读存储介质，计算机可
读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的volte信令数据文件采集方法；
31.作为一种实施方式，本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令设置为：
32.根据预设尺寸的时间窗口对历史volte信令数据进行数据特征提取，所述数据特征包括某一时间维度中的至少一个业务特征；
33.基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数进行修正，使形成信令数据预测模型；
34.将实时获取的volte信令数据中的至少一个任务分配至某一采集节点，并根据所述信令数据预测模型进行预测所述某一采集节点处理所述至少一个任务的预计结束时间和所述某一采集节点采集下一任务的预计采集时间，所述某一采集节点为一天24小时中的某一整点；
35.计算所述预计结束时间、所述预计采集时间之和与所述调度时间的差值，并将差值最小的节点作为任务执行点，使在所述任务执行点进行volte信令数据文件采集，所述调度时间为任务调度平均间隔时间。
36.计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据volte信令数据文件采集系统的使用所创建的数据等。此外，计算机可读存储介质可以包括高速随机存取存储器，还可以包括存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至volte信令数据文件采集系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
37.图3是本发明实施例提供的电子设备的结构示意图，如图3所示，该设备包括：一个处理器310以及存储器320。电子设备还可以包括：输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图3中以通过总线连接为例。存储器320为上述的计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例volte信令数据文件采集方法。输入装置330可接收输入的数字或字符信息，以及产生与volte信令数据文件采集系统的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
38.上述电子设备可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
39.作为一种实施方式，上述电子设备应用于volte信令数据文件采集系统中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
40.根据预设尺寸的时间窗口对历史volte信令数据进行数据特征提取，所述数据特征包括某一时间维度中的至少一个业务特征；
41.基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数
进行修正，使形成信令数据预测模型；
42.将实时获取的volte信令数据中的至少一个任务分配至某一采集节点，并根据所述信令数据预测模型进行预测所述某一采集节点处理所述至少一个任务的预计结束时间和所述某一采集节点采集下一任务的预计采集时间，所述某一采集节点为一天24小时中的某一整点；
43.计算所述预计结束时间、所述预计采集时间之和与所述调度时间的差值，并将差值最小的节点作为任务执行点，使在所述任务执行点进行volte信令数据文件采集，所述调度时间为任务调度平均间隔时间。
44.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
45.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种volte信令数据文件采集方法，其特征在于，包括：根据预设尺寸的时间窗口对历史volte信令数据进行数据特征提取，所述数据特征包括某一时间维度中的至少一个业务特征；基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数进行修正，使形成信令数据预测模型；将实时获取的volte信令数据中的至少一个任务分配至某一采集节点，并根据所述信令数据预测模型进行预测所述某一采集节点处理所述至少一个任务的预计结束时间和所述某一采集节点采集下一任务的预计采集时间，所述某一采集节点为一天24小时中的某一整点；计算所述预计结束时间、所述预计采集时间之和与所述调度时间的差值，并将差值最小的节点作为任务执行点，使在所述任务执行点进行volte信令数据文件采集，所述调度时间为任务调度平均间隔时间。2.根据权利要求1所述的一种volte信令数据文件采集方法，其特征在于，其中，预设尺寸的时间窗口为5min的时间窗口。3.根据权利要求1所述的一种volte信令数据文件采集方法，其特征在于，其中，时间维度包括昨日、上两日、上三日、上月同日、上两月同日、上三月同日以及去年同日。4.根据权利要求1所述的一种volte信令数据文件采集方法，其特征在于，其中，业务特征包括主叫次数、被叫次数、位置更新次数、漫入次数、短信条数以及流量使用量。5.根据权利要求1所述的一种volte信令数据文件采集方法，其特征在于，计算所述某一采集节点处理所述至少一个任务的预计结束时间的表达式为：预计结束时间＝当前任务数*数据行数/当日处理效率；计算所述某一采集节点采集下一任务的预计采集时间的表达式为：预计采集时间＝预计volte信令数据规模/当日处理效率；其中，当日处理效率＝当日数据处理行数/当日任务运行时长。6.一种volte信令数据文件采集系统，其特征在于，包括：提取模块，配置为根据预设尺寸的时间窗口对历史volte信令数据进行数据特征提取，所述数据特征包括某一时间维度中的至少一个业务特征；修正模块，配置为基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数进行修正，使形成信令数据预测模型；预测模块，配置为将实时获取的volte信令数据中的至少一个任务分配至某一采集节点，并根据所述信令数据预测模型进行预测所述某一采集节点处理所述至少一个任务的预计结束时间和所述某一采集节点采集下一任务的预计采集时间，所述某一采集节点为一天24小时中的某一整点；计算模块，配置为计算所述预计结束时间、所述预计采集时间之和与所述调度时间的差值，并将差值最小的节点作为任务执行点，使在所述任务执行点进行volte信令数据文件采集，所述调度时间为任务调度平均间隔时间。7.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5任一项所述
的方法。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至5任一项所述的方法。

技术总结
本发明公开一种Volte信令数据文件采集方法及系统，方法包括：对历史Volte信令数据进行数据特征提取，数据特征包括某一时间维度中的至少一个业务特征；基于某一时间维度中的至少一个业务特征对预设的多元线性回归模型中的参数进行修正，使形成信令数据预测模型；将实时获取的Volte信令数据中的至少一个任务分配至某一采集节点，并根据信令数据预测模型进行预测某一采集节点处理至少一个任务的预计结束时间和某一采集节点采集下一任务的预计采集时间；计算预计结束时间、预计采集时间之和与调度时间的差值，并将差值最小的节点作为任务执行点。从预测的角度为采集资源分配提供合理依据，避免片面根据当前负载的资源分配造成的倾斜问题。的倾斜问题。的倾斜问题。


技术研发人员：陈国亮
受保护的技术使用者：江西电信信息产业有限公司
技术研发日：2021.12.16
技术公布日：2022/3/8