信用卡大数据交互式数据洞察平台的管理方法及系统与流程

1.本发明涉及数据批处理领域，具体地，涉及一种信用卡大数据交互式数据洞察平台的管理方法及系统。


背景技术：

2.兴业银行信用卡中心为持续推进数字化转型，结合大数据技术与前沿人工智能应用，通过建设信用卡大数据交互式数据洞察平台，提供一站式交互自助数据探索服务，以充分发挥数据挖掘、提取分析、建模学习在大数据分析应用上的优势。
3.信用卡大数据交互式数据洞察平台是基于大数据技术的分布式架构，数据应用层使用前后端分离的方式融合sas、先知、大数据提取分析平台等多种大数据分析工具，支持业务多场景的数据分析挖掘应用平台。该系统的用户管理模块是一个可视化的统一管理门户，业务用户可以通过该模块实现对大数据平台不同数据分析工具之间的用户权限、数据资源等的管理。
4.由于该平台整合了行内各渠道的客户行为数据，融合了多种前沿的数据分析工具，为全卡中心各个业务部门近两百名用户提供服务，因此亟需一个可视化的统一管理门户，对平台的用户权限、数据资源等管理。
5.专利文献cn112445858a(申请号：cn201910811117.0)公开了一种大数据管控平台，包括：资源管理模块，用于调度和分配集群的内存和计算等资源给上层应用和服务，管理运行在集群节点上的任务的生命周期和资源使用；安全管理模块，用于提供以用户为单位的身份认证和授权，对集群数据资源和服务进行访问控制生成；远程过程调用模块，用于提供可靠高效的进程间远程调用服务；分布式协同服务模块，用于提供分布式系统基本的命名服务、状态同步服务和分布式锁服务；任务调度模块，用于面向海量数据处理和大规模计算类型的复杂应用，提供数据驱动的多级流水线并行计算框架；集群部署与监控模块，用于提供整个云操作系统以及上层应用服务的部署、配置管理以及服务的自检和自举。但该发明不是基于行内的统一开发框架开发，代码安全漏洞方面管控不足。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种信用卡大数据交互式数据洞察平台的管理方法及系统。
7.根据本发明提供的一种信用卡大数据交互式数据洞察平台的管理系统，包括：
8.用户管理模块：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户的增删改查，实现用户与用户组之间的双向授权；
9.用户组管理模块：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户组的增删改查，实现用户与用户组之间的双向授权；
10.表权限管理模块：通过应用和大数据集群分布式数据库的接口实现整个系统数据表的权限增删改查。
11.优选地，用户管理模块基于cap4j开发框架进行研发，包括：统一规范的用户及元数据安全管理，搭建用户权限安全管理框架，打通不同数据探索工具之间的统一用户管理，支持用户分组的权限管控，支持不同组的数据分析资源隔离，控制用户对大数据平台表级的读写权限，实现多用户分析场景下的数据安全管控；实现用户体系管理、数据表权限、存储资源流程化与系统化管理；客户行为数据融合数据分析工具；
12.客户行为数据融合数据分析工具，包括:sas数据分析工具、高维建模分析工具、大数据提取工具，通过为底层统一采用大数据分布式集群，不同的应用工具应用对接实现融合。
13.优选地，在所述用户管理模块中：
14.获取业务管理员通过新增用户生成的轻型目录访问协议用户账号，用户在不同的数据分析应用入口通过同一个账号登录时，不同的应用向轻型目录访问协议服务端发送认证请求，轻型目录访问协议服务端认证通过后响应请求，实现用户权限在不同数据分析应用之间通用；
15.大数据集群分布式数据库权限与轻型目录访问协议集成认证，用户操作数据表时与账号进行权限绑定，与后续的表权限管理模块联动；业务管理员在中实现对用户信息的编辑、删除和查询。
16.优选地，在所述用户组管理模块中：
17.通过业务管理员新增的用户组，生成大数据集群分布式数据库的组角色，通过往用户组中增删用户，将用户与用户组进行绑定；用户组为本系统管理权限的最小单元，与后续的表权限管理模块联动。
18.优选地，在所述表权限管理模块中：
19.对指定表分配用户组，分配后同用户组下所有用户对该表具有的访问权限。
20.根据本发明提供的一种信用卡大数据交互式数据洞察平台的管理方法，包括：
21.步骤s1：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户的增删改查，实现用户与用户组之间的双向授权；
22.步骤s2：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户组的增删改查，实现用户与用户组之间的双向授权；
23.步骤s3：通过应用和大数据集群分布式数据库的接口实现整个系统数据表的权限增删改查。
24.优选地，用户管理模块基于cap4j开发框架进行研发，包括：统一规范的用户及元数据安全管理，搭建用户权限安全管理框架，打通不同数据探索工具之间的统一用户管理，支持用户分组的权限管控，支持不同组的数据分析资源隔离，控制用户对大数据平台表级的读写权限，实现多用户分析场景下的数据安全管控；实现用户体系管理、数据表权限、存储资源流程化与系统化管理；客户行为数据融合数据分析工具；
25.客户行为数据融合数据分析工具，包括:sas数据分析工具、高维建模分析工具、大数据提取工具，通过为底层统一采用大数据分布式集群，不同的应用工具应用对接实现融合。
26.优选地，在所述步骤s1中：
27.获取业务管理员通过新增用户生成的轻型目录访问协议用户账号，用户在不同的
数据分析应用入口通过同一个账号登录时，不同的应用向轻型目录访问协议服务端发送认证请求，轻型目录访问协议服务端认证通过后响应请求，实现用户权限在不同数据分析应用之间通用；
28.大数据集群分布式数据库权限与轻型目录访问协议集成认证，用户操作数据表时与账号进行权限绑定，与后续的表权限管理模块联动；业务管理员在中实现对用户信息的编辑、删除和查询。
29.优选地，在所述步骤s2中：
30.通过业务管理员新增的用户组，生成大数据集群分布式数据库的组角色，通过往用户组中增删用户，将用户与用户组进行绑定；用户组为本系统管理权限的最小单元，与后续的表权限管理模块联动。
31.优选地，在所述步骤s3中：
32.对指定表分配用户组，分配后同用户组下所有用户对该表具有的访问权限。
33.与现有技术相比，本发明具有如下的有益效果：
34.1、本发明基于行内的统一开发框架开发，代码安全漏洞方面具有相对安全的管控；
35.2、本发明集成了大数据平台的权限、资源、用户，提升业务流程效率；
36.3、本发明大幅提升流程处理时效并降低台账手工管理风险，本发明实现了页面化、可视化、系统化的用户管理，以前用户只能通过手工维护文档的形式进行管理；
37.4、本发明内各渠道的客户行为数据，融合了多种前沿的数据分析工具，包括有sas数据分析工具、高维建模分析工具、大数据提取工具，为底层统一采用大数据分布式集群，不同的应用工具应用对接，为全卡中心各个业务部门近两百名用户提供服务，提供了一个可视化的统一管理门户。
附图说明
38.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
39.图1为本发明结构图。
具体实施方式
40.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
41.实施例1：
42.根据本发明提供的一种信用卡大数据交互式数据洞察平台的管理系统，如图1所示，包括：
43.用户管理模块：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户的增删改查，实现用户与用户组之间的双向授权；
44.用户组管理模块：通过应用和大数据集群分布式数据库的接口和轻型目录访问协
议的接口调用实现整个系统用户组的增删改查，实现用户与用户组之间的双向授权；
45.表权限管理模块：通过应用和大数据集群分布式数据库的接口实现整个系统数据表的权限增删改查。
46.具体地，用户管理模块基于cap4j开发框架进行研发，包括：统一规范的用户及元数据安全管理，搭建用户权限安全管理框架，打通不同数据探索工具之间的统一用户管理，支持用户分组的权限管控，支持不同组的数据分析资源隔离，控制用户对大数据平台表级的读写权限，实现多用户分析场景下的数据安全管控；实现用户体系管理、数据表权限、存储资源流程化与系统化管理；客户行为数据融合数据分析工具；
47.客户行为数据融合数据分析工具，包括:sas数据分析工具、高维建模分析工具、大数据提取工具，通过为底层统一采用大数据分布式集群，不同的应用工具应用对接实现融合。
48.具体地，在所述用户管理模块中：
49.获取业务管理员通过新增用户生成的轻型目录访问协议用户账号，用户在不同的数据分析应用入口通过同一个账号登录时，不同的应用向轻型目录访问协议服务端发送认证请求，轻型目录访问协议服务端认证通过后响应请求，实现用户权限在不同数据分析应用之间通用；
50.大数据集群分布式数据库权限与轻型目录访问协议集成认证，用户操作数据表时与账号进行权限绑定，与后续的表权限管理模块联动；业务管理员在中实现对用户信息的编辑、删除和查询。
51.具体地，在所述用户组管理模块中：
52.通过业务管理员新增的用户组，生成大数据集群分布式数据库的组角色，通过往用户组中增删用户，将用户与用户组进行绑定；用户组为本系统管理权限的最小单元，与后续的表权限管理模块联动。
53.具体地，在所述表权限管理模块中：
54.对指定表分配用户组，分配后同用户组下所有用户对该表具有的访问权限。
55.实施例2：
56.实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
57.本领域技术人员可以将本发明提供的一种信用卡大数据交互式数据洞察平台的管理方法，理解为信用卡大数据交互式数据洞察平台的管理系统的具体实施方式，即所述信用卡大数据交互式数据洞察平台的管理系统可以通过执行所述信用卡大数据交互式数据洞察平台的管理方法的步骤流程予以实现。
58.根据本发明提供的一种信用卡大数据交互式数据洞察平台的管理方法，包括：
59.步骤s1：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户的增删改查，实现用户与用户组之间的双向授权；
60.步骤s2：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户组的增删改查，实现用户与用户组之间的双向授权；
61.步骤s3：通过应用和大数据集群分布式数据库的接口实现整个系统数据表的权限增删改查。
62.具体地，用户管理模块基于cap4j开发框架进行研发，包括：统一规范的用户及元
数据安全管理，搭建用户权限安全管理框架，打通不同数据探索工具之间的统一用户管理，支持用户分组的权限管控，支持不同组的数据分析资源隔离，控制用户对大数据平台表级的读写权限，实现多用户分析场景下的数据安全管控；实现用户体系管理、数据表权限、存储资源流程化与系统化管理；客户行为数据融合数据分析工具；
63.客户行为数据融合数据分析工具，包括:sas数据分析工具、高维建模分析工具、大数据提取工具，通过为底层统一采用大数据分布式集群，不同的应用工具应用对接实现融合。
64.具体地，在所述步骤s1中：
65.获取业务管理员通过新增用户生成的轻型目录访问协议用户账号，用户在不同的数据分析应用入口通过同一个账号登录时，不同的应用向轻型目录访问协议服务端发送认证请求，轻型目录访问协议服务端认证通过后响应请求，实现用户权限在不同数据分析应用之间通用；
66.大数据集群分布式数据库权限与轻型目录访问协议集成认证，用户操作数据表时与账号进行权限绑定，与后续的表权限管理模块联动；业务管理员在中实现对用户信息的编辑、删除和查询。
67.具体地，在所述步骤s2中：
68.通过业务管理员新增的用户组，生成大数据集群分布式数据库的组角色，通过往用户组中增删用户，将用户与用户组进行绑定；用户组为本系统管理权限的最小单元，与后续的表权限管理模块联动。
69.具体地，在所述步骤s3中：
70.对指定表分配用户组，分配后同用户组下所有用户对该表具有的访问权限。
71.实施例3：
72.实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
73.本发明提供一种区别于开源开发框架的、行内统一技术路线的开发框架。基于该框架，本发明集成了大数据平台权限、资源、用户等，实现了统一的管理门户。
74.信用卡大数据交互式数据洞察平台是基于大数据技术的分布式架构，数据应用层使用前后端分离的方式融合sas、先知、大数据提取分析平台等多种大数据分析工具，支持业务多场景的数据分析挖掘应用平台。该系统的用户管理模块是一个可视化的统一管理门户，业务用户可以通过该模块实现对大数据平台不同数据分析工具之间的用户权限、数据资源等的管理，包括：
75.用户管理单元，包括整个系统用户的增删改查、用户与用户组之间的双向授权。该单元主要通过应用和hive的接口、ldap的接口调用实现，所述单元中业务管理员通过新增用户，可生成一个统一的轻型目录访问协议(ldap)用户账号，用户在不同的数据分析应用入口通过同一个账号登录时，不同的应用会向ldap服务端发送认证请求，ldap服务端认证通过后响应请求，从而实现用户权限在不同数据分析应用之间通用，打通了应用之间的权限管理瓶颈。同时大数据集群分布式数据库(hive)权限也与ldap集成了认证，用户操作本系统数据表时，也是与账号进行权限绑定，与后续的表权限管理单元联动。业务管理员还可以在所述单元中实现对用户信息的编辑、删除和查询。
76.用户组管理单元，包括整个系统用户组的增删改查、用户组与用户之间的双向授
权。该单元主要通过应用和hive的接口、ldap的接口调用实现，所述单元中业务管理员通过新增用户组，可生成一个hive的组角色，通过往用户组中增删用户，可将用户与用户组进行绑定。用户组为本系统管理权限的最小单元，与后续的表权限管理单元联动。
77.表权限管理单元，包括整个系统数据表的权限增删改查。该单元主要通过应用和hive的接口，所述单元中业务管理员可对指定表分配用户组，分配后同用户组下所有用户对该表具有的访问权限。
78.该系统的用户管理模块是基于行内规范的cap4j开发框架进行研发，实现了统一规范的用户及元数据安全管理，搭建了一套用户权限安全管理框架，打通了不同数据探索工具之间的统一用户管理，支持用户分组的权限管控，支持不同组的数据分析资源隔离，还可控制用户对大数据平台表级的读写权限，从而实现多用户分析场景下的数据安全管控。本期项目新增的用户管理子系统实现用户体系管理、数据表权限、存储资源等流程化与系统化管理，大幅提升流程处理时效并降低台账手工管理风险。内各渠道的客户行为数据，融合了多种前沿的数据分析工具，为全卡中心各个业务部门近两百名用户提供服务，提供了一个可视化的统一管理门户
79.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
80.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。

技术特征：
1.一种信用卡大数据交互式数据洞察平台的管理系统，其特征在于，包括：用户管理模块：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户的增删改查，实现用户与用户组之间的双向授权；用户组管理模块：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户组的增删改查，实现用户与用户组之间的双向授权；表权限管理模块：通过应用和大数据集群分布式数据库的接口实现整个系统数据表的权限增删改查。2.根据权利要求1所述的信用卡大数据交互式数据洞察平台的管理系统，其特征在于：用户管理模块基于cap4j开发框架进行研发，包括：统一规范的用户及元数据安全管理，搭建用户权限安全管理框架，打通不同数据探索工具之间的统一用户管理，支持用户分组的权限管控，支持不同组的数据分析资源隔离，控制用户对大数据平台表级的读写权限，实现多用户分析场景下的数据安全管控；实现用户体系管理、数据表权限、存储资源流程化与系统化管理；客户行为数据融合数据分析工具；客户行为数据融合数据分析工具，包括:sas数据分析工具、高维建模分析工具、大数据提取工具，通过为底层统一采用大数据分布式集群，不同的应用工具应用对接实现融合。3.根据权利要求1所述的信用卡大数据交互式数据洞察平台的管理系统，其特征在于，在所述用户管理模块中：获取业务管理员通过新增用户生成的轻型目录访问协议用户账号，用户在不同的数据分析应用入口通过同一个账号登录时，不同的应用向轻型目录访问协议服务端发送认证请求，轻型目录访问协议服务端认证通过后响应请求，实现用户权限在不同数据分析应用之间通用；大数据集群分布式数据库权限与轻型目录访问协议集成认证，用户操作数据表时与账号进行权限绑定，与后续的表权限管理模块联动；业务管理员在中实现对用户信息的编辑、删除和查询。4.根据权利要求1所述的信用卡大数据交互式数据洞察平台的管理系统，其特征在于，在所述用户组管理模块中：通过业务管理员新增的用户组，生成大数据集群分布式数据库的组角色，通过往用户组中增删用户，将用户与用户组进行绑定；用户组为本系统管理权限的最小单元，与后续的表权限管理模块联动。5.根据权利要求1所述的信用卡大数据交互式数据洞察平台的管理系统，其特征在于，在所述表权限管理模块中：对指定表分配用户组，分配后同用户组下所有用户对该表具有的访问权限。6.一种信用卡大数据交互式数据洞察平台的管理方法，其特征在于，包括：步骤s1：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户的增删改查，实现用户与用户组之间的双向授权；步骤s2：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户组的增删改查，实现用户与用户组之间的双向授权；步骤s3：通过应用和大数据集群分布式数据库的接口实现整个系统数据表的权限增删改查。
7.根据权利要求6所述的信用卡大数据交互式数据洞察平台的管理方法，其特征在于：用户管理模块基于cap4j开发框架进行研发，包括：统一规范的用户及元数据安全管理，搭建用户权限安全管理框架，打通不同数据探索工具之间的统一用户管理，支持用户分组的权限管控，支持不同组的数据分析资源隔离，控制用户对大数据平台表级的读写权限，实现多用户分析场景下的数据安全管控；实现用户体系管理、数据表权限、存储资源流程化与系统化管理；客户行为数据融合数据分析工具；客户行为数据融合数据分析工具，包括:sas数据分析工具、高维建模分析工具、大数据提取工具，通过为底层统一采用大数据分布式集群，不同的应用工具应用对接实现融合。8.根据权利要求6所述的信用卡大数据交互式数据洞察平台的管理方法，其特征在于，在所述步骤s1中：获取业务管理员通过新增用户生成的轻型目录访问协议用户账号，用户在不同的数据分析应用入口通过同一个账号登录时，不同的应用向轻型目录访问协议服务端发送认证请求，轻型目录访问协议服务端认证通过后响应请求，实现用户权限在不同数据分析应用之间通用；大数据集群分布式数据库权限与轻型目录访问协议集成认证，用户操作数据表时与账号进行权限绑定，与后续的表权限管理模块联动；业务管理员在中实现对用户信息的编辑、删除和查询。9.根据权利要求6所述的信用卡大数据交互式数据洞察平台的管理方法，其特征在于，在所述步骤s2中：通过业务管理员新增的用户组，生成大数据集群分布式数据库的组角色，通过往用户组中增删用户，将用户与用户组进行绑定；用户组为本系统管理权限的最小单元，与后续的表权限管理模块联动。10.根据权利要求6所述的信用卡大数据交互式数据洞察平台的管理方法，其特征在于，在所述步骤s3中：对指定表分配用户组，分配后同用户组下所有用户对该表具有的访问权限。

技术总结
本发明提供了一种信用卡大数据交互式数据洞察平台的管理方法及系统，包括：用户管理模块：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户的增删改查和用户与用户组之间的双向授权；用户组管理模块：通过应用和大数据集群分布式数据库的接口和轻型目录访问协议的接口调用实现整个系统用户组的增删改查和用户组与用户之间的双向授权；表权限管理模块：通过应用和大数据集群分布式数据库的接口实现整个系统数据表的权限增删改查。本发明在代码安全漏洞方面具有相对安全的管控；集成了大数据平台的权限、资源、用户，提升业务流程效率，大幅提升流程处理时效并降低台账手工管理风险。险。险。


技术研发人员：程滋茜 朱鋆 李星迪
受保护的技术使用者：兴业银行股份有限公司
技术研发日：2021.12.09
技术公布日：2022/3/8