一种自动化批处理文件装载入库的方法及系统与流程

专利查询2023-5-11  90



1.本技术涉及计算机技术领域,尤其涉及一种自动化批处理文件装载入库的方法及系统。


背景技术:

2.随着计算机技术的发展,各行各业不可避免地要利用计算机进行办公、学习。在实际利用计算机进行各种问题的处理时,常常需要将不同组件、不同平台的文件数据进行同步,其中,文件传输是一种重要的同步方式。然而现有技术中,要进行大量文件的传输时,常常会因为文件数据的数量较多、文件传输到达的时间不固定,或者人工操作文件数据进行装载入库易产生错误等原因,导致文件数据的传输效率低;此外,由于文件数量过多,以及各文件达到时间不固定,导致人工处理和等待处理时间长,从而导致成本较高,资源浪费明显;第三种情况,脚本执行顺序错误时,会影响文件数据的入库,从而导致文件装载入库错误率高。因此,研究一种高效、精准的文件装载入库方法非常必要。
3.然而,现有技术中存在文件装载入库的效率和准确率低的技术问题。


技术实现要素:

4.本技术的目的是提供一种自动化批处理文件装载入库的方法及系统,用以解决现有技术中存在文件装载入库的效率和准确率低的技术问题。
5.鉴于上述问题,本技术实施例提供了一种自动化批处理文件装载入库的方法及系统。
6.第一方面,本技术提供了一种自动化批处理文件装载入库的方法,所述方法通过一种自动化批处理文件装载入库的系统实现,其中,所述方法包括:通过获得待接收文件集;对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;根据所述第一同步指令,将所述待接收文件集同步至临时表;将所述临时表中的所述待接收文件集同步至目标表。
7.另一方面,本技术还提供了一种自动化批处理文件装载入库的系统,用于执行如第一方面所述的一种自动化批处理文件装载入库的方法,其中,所述系统包括:第一获得单元:所述第一获得单元用于获得待接收文件集;第一生成单元:所述第一生成单元用于对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;第一判断单元:所述第一判断单元用于对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;第二生成单元:所述第二生成单元用于若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;第一执行单元:所述第一执行单元用于根据所述第一同步指令,将所述待接收文件集同步至临时表;第二执行单元:所述第二执行单元用于将所述临时表中的所述
待接收文件集同步至目标表。
8.第三方面,本技术实施例还提供了一种自动化批处理文件装载入库的系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现上述第一方面所述方法的步骤。
9.第四方面,一种计算机可读存储介质,其中,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。
10.第五方面,一种电子设备,其中,包括处理器和存储器;
11.所述存储器,用于存储;
12.所述处理器,用于通过调用,执行上述第一方面中任一项所述的方法。
13.第六方面,一种计算机程序产品,包括计算机程序和/或指令,其特征在于,该计算机程序和/或指令被处理器执行时实现上述第一方面中任一项所述方法的步骤。
14.本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
15.1.通过获得待接收文件集;对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;根据所述第一同步指令,将所述待接收文件集同步至临时表;将所述临时表中的所述待接收文件集同步至目标表。达到了利用配置工具对各待接收文件进行自动化监测,从而确定各待接收文件的到达时间,当所有待接收文件到达对应路径时,先将各待接收文件同步到一个临时表,确认装载无误后,进一步调用配置工具,将临时表中的文件合并到目标表中,最终实现各待接收文件的高效、高准确装载的技术目标。
16.2.通过所述第一标记指令,智能化对未完成传输的单个待接收文件日期进行识别,进而标记对应的待接收文件,从而直观观察所述待接收文件集中未完成传输的文件,进一步快速查找未传输原因,针对性制定对应的传输失败解决方案,最终达到了快速定位待接收文件集中传输失败的单个待接收文件,进而针对性进行补充传输,避免文件传输重复、遗漏的技术效果。
17.3.通过构建临时表,并且在每次同步前均清空临时表数据,确保每次传输文件不受上次传输文件的影响,避免出现文件错乱的问题,同时降低了update锁表的几率,最终达到了提高文件同步到临时表效率的技术效果。
18.4.通过merge into方式的进行更新或插入,实现了对目标表的所有目标主键字段值的同步和更新,进而实现了待接收文件集中所有单个待接收文件的完整处理,提高了文件批处理和传输的效率。
19.上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
附图说明
20.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是示
例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
21.图1为本技术实施例一种自动化批处理文件装载入库的方法的流程示意图;
22.图2为本技术实施例一种自动化批处理文件装载入库的方法中对不存在的第一目标待接收文件进行标记的流程示意图;
23.图3为本技术实施例一种自动化批处理文件装载入库的方法中退出所述待接收文件集的同步过程的流程示意图;
24.图4为本技术实施例一种自动化批处理文件装载入库的方法中对所述目标表进行数据更新的流程示意图;
25.图5为本技术实施例一种自动化批处理文件装载入库的系统的结构示意图;
26.图6为本技术实施例示例性电子设备的结构示意图。
27.附图标记说明:
28.第一获得单元11,第一生成单元12,第一判断单元13,第二生成单元14,第一执行单元15,第二执行单元16,总线300,接收器301,处理器302,发送器303,存储器304,总线接口305。
具体实施方式
29.本技术实施例通过提供一种自动化批处理文件装载入库的方法及系统,解决了现有技术中存在文件装载入库的效率和准确率低的技术问题。达到了利用配置工具对各待接收文件进行自动化监测,从而确定各待接收文件的到达时间,当所有待接收文件到达对应路径时,先将各待接收文件同步到一个临时表,确认装载无误后,进一步调用配置工具,将临时表中的文件合并到目标表中,最终实现各待接收文件的高效、高准确装载的技术目标。
30.下面,将参考附图对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术的一部分实施例,而不是本技术的全部实施例,应理解,本技术不受这里描述的示例实施例的限制。基于本技术的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本技术相关的部分而非全部。
31.本技术提供了一种自动化批处理文件装载入库的方法,所述方法应用于一种自动化批处理文件装载入库的系统,其中,所述方法包括:通过获得待接收文件集;对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;根据所述第一同步指令,将所述待接收文件集同步至临时表;将所述临时表中的所述待接收文件集同步至目标表。
32.在介绍了本技术基本原理后,下面将结合说明书附图来具体介绍本技术的各种非限制性的实施方式。
33.实施例一
34.请参阅附图1,本技术实施例提供了一种自动化批处理文件装载入库的方法,其中,所述方法应用于一种自动化批处理文件装载入库的系统,所述方法具体包括如下步骤:
35.步骤s100:获得待接收文件集;
36.具体而言,所述一种自动化批处理文件装载入库的方法应用于所述一种自动化批处理文件装载入库的系统,可以通过利用各配置工具对各待接收文件进行自动化监测,从而确定各待接收文件的传输到达时间,当所有待接收文件到达对应路径时,先将各待接收文件同步到一个临时表,确认装载无误后调用配置工具,将临时表中的文件合并到目标表中,最终实现待接收文件集的高效率、高准确率装载的技术目标。其中,所述待接收文件集由多个待接收处理的文件组成。通过获得所述待接收文件集,达到了明确所有待利用所述自动化批处理文件装载入库的系统进行待接收文件自动化批处理的文件信息的技术效果。
37.步骤s200:对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;
38.具体而言,对所述待接收文件集中的每个待接收文件进行分析,从而配置每个待接收文件对应的文件路径,所有待接收文件对应的文件路径组成所述待接收文件路径集合。其中,文件路径是指文件在电子设备中的存储位置。举例“e:\work\市场资料\市场计划.do”就是一个文件路径,它指的是一个名为“市场计划”的word文件,存储在e盘下的“work”文件夹内的“市场计划”文件夹内。若要打开这个文件,按照文件路径逐级查找,可以找到该文件,从而进行相应的操作。所述待接收文件路径集合是指所有待接收文件的目标存放位置,即传输后的位置。通过获得所述待接收文件路径集合,达到了明确各待接收文件对应的目标路径,为所述自动化批处理文件装载入库的系统执行对应批处理操作指明方向的技术效果。
39.步骤s300:对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;
40.具体而言,通过对比所述待接收文件集和所述待接收文件路径集合,判断所述待接收文件路径集合中是否存在所述待接收文件集中的对应文件,从而实现对所述待接收文件集进行传输监控的目标。当所述待接收文件路径集合中的单个待接收文件路径存在对应待接收文件时,说明对应的待接收文件已经传输完成;当所述待接收文件路径集合中的单个待接收文件路径不存在对应待接收文件时,说明对应的待接收文件没有传输完成。其中,当对应的待接收文件没有传输完成时,可能是正在传输过程中,或者传输失败了。通过对比各单个待接收文件路径是否存在对应待接收文件,达到了有效监测待接收文件集中各待接收文件,进而掌控文件传输到达时间的技术效果。
41.步骤s400:若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;
42.步骤s500:根据所述第一同步指令,将所述待接收文件集同步至临时表;
43.具体而言,当判断结果显示所述待接收文件路径集合中的单个待接收文件路径均存在对应的待接收文件时,说明所述待接收文件集中的所有待接收文件均顺利完成了传输,此时所述自动化批处理文件装载入库的系统接收到传输完成的信号,进而发出所述第一同步指令。其中,所述第一同步指令用于对传输完成的所有文件同步至临时表。所述临时表与目标表的结构相同,用于完整存储所述待接收文件集,但所述临时表不设置主键。通过基于所述第一同步指令,完成了将所述待接收文件集同步至临时表,进而避免了直接装载到目标表时出现意外错误,造成资源的浪费。
44.步骤s600:将所述临时表中的所述待接收文件集同步至目标表。
45.具体而言,通过对临时表中的所述待接收文件集进行分析,确定所有待接收文件传输正常,进一步将所述临时表中的所述待接收文件集同步至目标表。其中,所述目标表是指所述待接收文件集中所有单个待接收文件的目标储存位置。通过利用配置工具对各待接收文件进行自动化监测,从而确定各待接收文件的到达时间,当所有待接收文件到达对应路径时,先将各待接收文件同步到一个临时表,确认装载无误后,进一步调用配置工具,将临时表中的文件合并到目标表中,最终实现各待接收文件的高效、高准确装载的技术目标。
46.进一步的,如附图2所示,本技术实施例步骤s300还包括:
47.步骤s310:获得所述待接收文件集的配置参数信息,其中,所述配置参数信息包括不同文件日期;
48.步骤s320:调用java包,对所述配置参数信息进行传输,并判断所述不同文件日期的文件是否到达;
49.步骤s330:若所述不同文件日期的文件均到达,基于所述配置参数信息,获得所述待接收文件集的文件所在路径集合;
50.步骤s340:对所述文件所在路径集合进行循环检测,判断所述文件所在路径集合中的单个待接收文件路径是否存在对应待接收文件;
51.步骤s350:若所述文件所在路径集合中的单个待接收文件路径不存在对应待接收文件,生成第一标记指令;
52.步骤s360:根据所述第一标记指令,对不存在的第一目标待接收文件进行标记。
53.具体而言,通过调用java包,对所述待接收文件集的传输过程进行监测,同时将所述待接收文件集中的各单个传输文件进行相关配置参数提取和记录,包括对应单个传输文件的文件名称、文件日期、文件具体时间、文件目标路径等。其中,所述java包即是java包类库,是由一组支持程序开发的类组成,一个编译器或开发环境以一个类库为基础。进一步的,通过调用java包对所有待接收文件集中各单个传输文件的配置参数信息进行传输,从而判断不同日期、不同时间的各单个传输文件是否传输完成,到达目标路径。若所述不同文件日期的文件均到达对应目标路径,那么,所述自动化批处理文件装载入库的系统基于所述配置参数信息,可以得到所述待接收文件集中各单个传输文件的文件所在路径集合。
54.进一步的,对所述文件所在路径集合进行循环检测,判断所述文件所在路径集合中的单个待接收文件路径是否存在对应的待接收文件。当所述文件所在路径集合中的单个待接收文件路径不存在对应待接收文件时,所述自动化批处理文件装载入库的系统自动生成第一标记指令。其中,所述第一标记指令用于对不存在的第一目标待接收文件进行标记。所述第一目标待接收文件是指所述待接收文件集未完成传输的单个待接收文件。
55.通过所述第一标记指令,智能化对未完成传输的单个待接收文件日期进行识别,进而标记对应的待接收文件,从而直观观察所述待接收文件集中未完成传输的文件,进一步快速查找未传输原因,针对性制定对应的传输失败解决方案,最终达到了快速定位待接收文件集中传输失败的单个待接收文件,进而针对性进行补充传输,避免文件传输重复、遗漏的技术效果。
56.进一步的,本技术实施例步骤s340还包括:
57.步骤s341:若所述文件所在路径集合中的单个待接收文件路径存在对应待接收文
件,生成第二标记指令;
58.步骤s342:根据所述第二标记指令,对存在的第二目标待接收文件进行标记;
59.步骤s343:对所述文件所在路径集合进行循环检测,直至将所述文件所在路径集合中的每个文件所在路径的待接收文件检测结束。
60.具体而言,判断所述文件所在路径集合中的单个待接收文件路径是否存在对应待接收文件。当所述文件所在路径集合中的单个待接收文件路径存在对应的待接收文件时,所述自动化批处理文件装载入库的系统自动生成所述第二标记指令。其中,所述第二标记指令用于对存在的第二目标待接收文件进行标记。进一步,对所述文件所在路径集合进行循环检测,直至将所述文件所在路径集合中的每个文件所在路径的待接收文件检测结束。通过基于各待接收文件的配置参数,智能化对所述待接收文件集中的所有单个待接收文件进行对应的标记,其中,传输成功的单个待接收文件进行第二标记,举例如标记√;传输失败的单个待接收文件进行第一标记,举例如标记
×
。通过对所述待接收文件集中的所有单个待接收文件分别进行对应的标记,达到了直观观察各单个待接收文件传输状态的技术效果。
61.进一步的,如附图3所示,本技术实施例步骤s500还包括:
62.步骤s510:创建fld配置文件;
63.步骤s520:基于所述fld配置文件和splldr方式,将所述待接收文件集同步至所述临时表,生成第一同步结果;
64.步骤s530:判断所述第一同步结果是否同步成功;
65.步骤s540:若所述第一同步结果同步成功,退出所述待接收文件集的同步过程。
66.具体而言,首先在指定目录下创建fld配置文件,进而通过splldr方式实现所有待接收文件集中各单个待接收文件的入库。其中,所述fld配置文件用于将浮点数据压入协处理器的堆栈中。其指令格式为fld streg/memreal。当进行内存单元内容压栈时,系统会自动决定传送数据的精度。spl(secondary program loader)是uboot第一阶段执行的代码,主要负责搬移uboot第二阶段的代码到系统内存(system ram,也叫片外内存)中运行。通过splldr方式对所有待接收文件集中各单个待接收文件进行入库,生成所述第一同步结果。其中,主要参数包括数据库信息、control文件、日志文件等信息。其中,所述数据库信息说明所要装载的库;所述control文件主要包括读取文件路径、临时表名、dat文件字段间隔符、fld配置文件信息;所述日志文件主要用于存储执行该脚本的日志信息。
67.进一步的,判断所述splldr方式入库,即所述第一同步结果是否同步成功。当所述第一同步结果同步成功,即退出所述待接收文件集的同步过程。通过配置文件,达到了准确监测各单个待接收文件同步到临时表的状态,避免意外错误发生的技术效果。
68.进一步的,本技术实施例步骤s520还包括:
69.步骤s521:判断所述临时表是否存在格式化清空;
70.步骤s522:若所述临时表不存在所述格式化清空,对所述临时表进行格式化清空,并将所述待接收文件集同步至所述临时表。
71.具体而言,在通过所述fld配置文件和splldr方式将所述待接收文件集同步至所述临时表时,所述自动化批处理文件装载入库的系统首先对所述临时表进行检查,判断所述临时表是否进行了格式化清空操作。当检查结果显示所述临时表没有进行所述格式化清
空操作时,先对所述临时表进行格式化清空,再将所述待接收文件集同步至所述临时表中。通过在每次同步前均清空临时表数据,确保每次传输文件不受上次传输文件的影响,避免出现文件错乱的问题,同时降低了update锁表的几率,最终达到了提高同步到临时表效率的技术效果。
72.进一步的,如附图4所示,本技术实施例步骤s600还包括:
73.步骤s610:基于merge into方式,判断所述临时表中的临时主键字段值与所述目标表的目标主键字段值是否相匹配;
74.步骤s611:若所述临时表中的临时主键字段值与所述目标表的目标主键字段值不匹配,将所述临时表中的临时主键字段值的数据插入所述目标表。
75.步骤s620:若所述临时表中的临时主键字段值与所述目标表的目标主键字段值相匹配,基于所述临时表中的临时主键字段值,对所述目标表进行数据更新。
76.具体而言,首先依次判断所述临时表中的各临时主键字段值与所述目标表的各目标主键字段值是否匹配。当所述目标表的目标主键字段值与所述临时表中的临时主键字段值相同时,那么通过merge into方式将所述临时表中的临时主键字段值更新到所述目标表的对应目标主键字段值上;当所述目标表的目标主键字段值与所述临时表中的临时主键字段值不同时,那么通过merge into方式将所述临时表中的临时主键字段值插入到所述目标表的对应目标主键字段值上。其中,所述merge into方式是合并了insert和update的操作,其执行效率要高于分别单独执行insert和update语句。简单的说,通过判断表中有没有符合on()条件中的数据,有的话就更新数据,没有的话就插入数据。举例如有一个表t,有两个字段a、b,想在表中做insert/update,如果条件满足,则更新t中b的值,否则在t中插入一条记录。
77.通过merge into方式的更新或插入的方式,实现了对目标表的所有目标主键字段值的同步和更新,进而实现了待接收文件集中所有单个待接收文件的完整处理,提高了文件批处理和传输的效率。
78.综上所述,本技术实施例所提供的一种自动化批处理文件装载入库的方法具有如下技术效果:
79.1.通过获得待接收文件集;对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;根据所述第一同步指令,将所述待接收文件集同步至临时表;将所述临时表中的所述待接收文件集同步至目标表。达到了利用配置工具对各待接收文件进行自动化监测,从而确定各待接收文件的到达时间,当所有待接收文件到达对应路径时,先将各待接收文件同步到一个临时表,确认装载无误后,进一步调用配置工具,将临时表中的文件合并到目标表中,最终实现各待接收文件的高效、高准确装载的技术目标。
80.2.通过所述第一标记指令,智能化对未完成传输的单个待接收文件日期进行识别,进而标记对应的待接收文件,从而直观观察所述待接收文件集中未完成传输的文件,进一步快速查找未传输原因,针对性制定对应的传输失败解决方案,最终达到了快速定位待接收文件集中传输失败的单个待接收文件,进而针对性进行补充传输,避免文件传输重复、
遗漏的技术效果。
81.3.通过构建临时表,并且在每次同步前均清空临时表数据,确保每次传输文件不受上次传输文件的影响,避免出现文件错乱的问题,同时降低了update锁表的几率,最终达到了提高文件同步到临时表效率的技术效果。
82.4.通过merge into方式的进行更新或插入,实现了对目标表的所有目标主键字段值的同步和更新,进而实现了待接收文件集中所有单个待接收文件的完整处理,提高了文件批处理和传输的效率。
83.实施例二
84.基于与前述实施例中一种自动化批处理文件装载入库的方法,同样发明构思,本发明还提供了一种自动化批处理文件装载入库的系统,请参阅附图5,所述系统包括:
85.第一获得单元11,所述第一获得单元11用于获得待接收文件集;
86.第一生成单元12,所述第一生成单元12用于对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;
87.第一判断单元13,所述第一判断单元13用于对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;
88.第二生成单元14,所述第二生成单元14用于若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;
89.第一执行单元15,所述第一执行单元15用于根据所述第一同步指令,将所述待接收文件集同步至临时表;
90.第二执行单元16,所述第二执行单元16用于将所述临时表中的所述待接收文件集同步至目标表。
91.进一步的,所述系统还包括:
92.第二获得单元,所述第二获得单元用于获得所述待接收文件集的配置参数信息,其中,所述配置参数信息包括不同文件日期;
93.第二判断单元,所述第二判断单元用于调用java包,对所述配置参数信息进行传输,并判断所述不同文件日期的文件是否到达;
94.第三获得单元,所述第三获得单元用于若所述不同文件日期的文件均到达,基于所述配置参数信息,获得所述待接收文件集的文件所在路径集合;
95.第三判断单元,所述第三判断单元用于对所述文件所在路径集合进行循环检测,判断所述文件所在路径集合中的单个待接收文件路径是否存在对应待接收文件;
96.第三生成单元,所述第三生成单元用于若所述文件所在路径集合中的单个待接收文件路径不存在对应待接收文件,生成第一标记指令;
97.第三执行单元,所述第三执行单元用于根据所述第一标记指令,对不存在的第一目标待接收文件进行标记。
98.进一步的,所述系统还包括:
99.第四生成单元,所述第四生成单元用于若所述文件所在路径集合中的单个待接收文件路径存在对应待接收文件,生成第二标记指令;
100.第四执行单元,所述第四执行单元用于根据所述第二标记指令,对存在的第二目标待接收文件进行标记;
101.第五执行单元,所述第五执行单元用于对所述文件所在路径集合进行循环检测,直至将所述文件所在路径集合中的每个文件所在路径的待接收文件检测结束。
102.进一步的,所述系统还包括:
103.第一创建单元,所述第一创建单元用于创建fld配置文件;
104.第五生成单元,所述第五生成单元用于基于所述fld配置文件和splldr方式,将所述待接收文件集同步至所述临时表,生成第一同步结果;
105.第四判断单元,所述第四判断单元用于判断所述第一同步结果是否同步成功;
106.第六执行单元,所述第六执行单元用于若所述第一同步结果同步成功,退出所述待接收文件集的同步过程。
107.进一步的,所述系统还包括:
108.第五判断单元,所述第五判断单元用于判断所述临时表是否存在格式化清空;
109.第七执行单元,所述第七执行单元用于若所述临时表不存在所述格式化清空,对所述临时表进行格式化清空,并将所述待接收文件集同步至所述临时表。
110.进一步的,所述系统还包括:
111.第五判断单元,所述第五判断单元用于基于merge into方式,判断所述临时表中的临时主键字段值与所述目标表的目标主键字段值是否相匹配;
112.第八执行单元,所述第八执行单元用于若所述临时表中的临时主键字段值与所述目标表的目标主键字段值相匹配,基于所述临时表中的临时主键字段值,对所述目标表进行数据更新。
113.进一步的,所述系统还包括:
114.第九执行单元,所述第九执行单元用于若所述临时表中的临时主键字段值与所述目标表的目标主键字段值不匹配,将所述临时表中的临时主键字段值的数据插入所述目标表。
115.本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,前述图1实施例一中的一种自动化批处理文件装载入库的方法和具体实例同样适用于本实施例的一种自动化批处理文件装载入库的系统,通过前述对一种自动化批处理文件装载入库的方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种自动化批处理文件装载入库的系统,所以为了说明书的简洁,在此不再详述。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
116.对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
117.示例性电子设备
118.下面参考图6来描述本技术实施例的电子设备。
119.图6图示了根据本技术实施例的电子设备的结构示意图。
120.基于与前述实施例中一种自动化批处理文件装载入库的方法的发明构思,本发明
还提供一种自动化批处理文件装载入库的系统,其上存储有计算机程序,该程序被处理器执行时实现前文所述一种自动化批处理文件装载入库的方法的任一方法的步骤。
121.其中,在图6中,总线架构(用总线300来代表),总线300可以包括任意数量的互联的总线和桥,总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。
122.处理器302负责管理总线300和通常的处理,而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
123.本技术提供了一种自动化批处理文件装载入库的方法,所述方法应用于一种自动化批处理文件装载入库的系统,其中,所述方法包括:通过获得待接收文件集;对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;根据所述第一同步指令,将所述待接收文件集同步至临时表;将所述临时表中的所述待接收文件集同步至目标表。解决了现有技术中存在文件装载入库的效率和准确率低的技术问题。达到了利用配置工具对各待接收文件进行自动化监测,从而确定各待接收文件的到达时间,当所有待接收文件到达对应路径时,先将各待接收文件同步到一个临时表,确认装载无误后,进一步调用配置工具,将临时表中的文件合并到目标表中,最终实现各待接收文件的高效、高准确装载的技术目标。
124.本技术还提供一种计算机可读存储介质,其中,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例一中任一项所述的方法。
125.本技术还提供一种电子设备,其中,包括处理器和存储器;
126.所述存储器,用于存储;
127.所述处理器,用于通过调用,执行上述实施例一中任一项所述的方法。
128.本技术还提供一种计算机程序产品,包括计算机程序和/或指令,其特征在于,该计算机程序和/或指令被处理器执行时实现上述实施例一中任一项所述方法的步骤。
129.本领域内的技术人员应明白,本技术的实施例可提供为方法、装置、或计算机程序产品。因此,本技术可采用完全软件实施例、完全硬件实施例、或结合软件和硬件方面实施例的形式。此外,本技术为可以在一个或多个包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。而所述的计算机可用存储介质包括但不限于:u盘、移动硬盘、只读存储器(read-only memory,简称rom)、随机存取存储器(random access memory,简称ram)、磁盘存储器、只读光盘(compact disc read-only memory,简称cd-rom)、光学存储器等各种可以存储程序代码的介质。
130.本发明是参照本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一
个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
131.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品,该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
132.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
133.显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

技术特征:
1.一种自动化批处理文件装载入库的方法,其特征在于,所述方法包括:获得待接收文件集;对所述待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;对所述待接收文件集进行监控,判断所述待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;若所述待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;根据所述第一同步指令,将所述待接收文件集同步至临时表;将所述临时表中的所述待接收文件集同步至目标表。2.如权利要求1所述的方法,其特征在于,所述对所述待接收文件集进行监控,包括:获得所述待接收文件集的配置参数信息,其中,所述配置参数信息包括不同文件日期;调用java包,对所述配置参数信息进行传输,并判断所述不同文件日期的文件是否到达;若所述不同文件日期的文件均到达,基于所述配置参数信息,获得所述待接收文件集的文件所在路径集合;对所述文件所在路径集合进行循环检测,判断所述文件所在路径集合中的单个待接收文件路径是否存在对应待接收文件;若所述文件所在路径集合中的单个待接收文件路径不存在对应待接收文件,生成第一标记指令;根据所述第一标记指令,对不存在的第一目标待接收文件进行标记。3.如权利要求2所述的方法,其特征在于,所述判断所述文件所在路径集合中的单个待接收文件路径是否存在对应待接收文件,包括:若所述文件所在路径集合中的单个待接收文件路径存在对应待接收文件,生成第二标记指令;根据所述第二标记指令,对存在的第二目标待接收文件进行标记;对所述文件所在路径集合进行循环检测,直至将所述文件所在路径集合中的每个文件所在路径的待接收文件检测结束。4.如权利要求1所述的方法,其特征在于,所述将所述待接收文件集同步至临时表,包括:创建fld配置文件;基于所述fld配置文件和splldr方式,将所述待接收文件集同步至所述临时表,生成第一同步结果;判断所述第一同步结果是否同步成功;若所述第一同步结果同步成功,退出所述待接收文件集的同步过程。5.如权利要求4所述的方法,其特征在于,所述将所述待接收文件集同步至所述临时表,之前包括:判断所述临时表是否存在格式化清空;若所述临时表不存在所述格式化清空,对所述临时表进行格式化清空,并将所述待接
收文件集同步至所述临时表。6.如权利要求1所述的方法,其特征在于,所述将所述临时表中的所述待接收文件集同步至目标表,包括:基于merge into方式,判断所述临时表中的临时主键字段值与所述目标表的目标主键字段值是否相匹配;若所述临时表中的临时主键字段值与所述目标表的目标主键字段值相匹配,基于所述临时表中的临时主键字段值,对所述目标表进行数据更新。7.如权利要求6所述的方法,其特征在于,所述判断所述临时表中的临时主键字段值与所述目标表的目标主键字段值是否相匹配,包括:若所述临时表中的临时主键字段值与所述目标表的目标主键字段值不匹配,将所述临时表中的临时主键字段值的数据插入所述目标表。8.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~7中任一项所述的方法。9.一种电子设备,其特征在于,包括处理器和存储器;所述存储器,用于存储;所述处理器,用于通过调用,执行权利要求1~7中任一项所述的方法。10.一种计算机程序产品,包括计算机程序和/或指令,其特征在于,该计算机程序和/或指令被处理器执行时实现权利要求1~7中任一项所述方法的步骤。

技术总结
本申请公开了一种自动化批处理文件装载入库的方法及系统,涉及计算机技术领域,尤其涉及一种自动化批处理文件装载入库的方法及系统。所述方法包括:通过获得待接收文件集;对待接收文件集中的每个待接收文件,配置对应文件路径,生成待接收文件路径集合;通过监控判断待接收文件路径集合中的单个待接收文件路径是否存在对应待接收文件;若待接收文件路径集合中的单个待接收文件路径均存在对应待接收文件,生成第一同步指令;将待接收文件集同步至临时表;将临时表中的待接收文件集同步至目标表。解决了现有技术中存在文件装载入库效率和准确率低的技术问题。最终实现了各待接收文件高效、高准确装载的技术目标。高准确装载的技术目标。高准确装载的技术目标。


技术研发人员:梅莉莉
受保护的技术使用者:中国建设银行股份有限公司
技术研发日:2021.12.08
技术公布日:2022/3/8

最新回复(0)