一种通用设备网关实现多源异构数据接入的系统及方法与流程

1.本发明涉及物联网技术领域，特别涉及一种通用设备网关实现多源异构数据接入的系统及消息上行和指令下行的方法。


背景技术：

2.网关是一种在互联网世界时大量使用的技术，无论信息化系统大小，都或多或少都会涉及并采用的一种通用技术。
3.应用网关主要是在网络应用层(7层)上进行协议转换，以应用场景角度，主要分为信令网关、中继网关、接入网关、安全网关等多种类型。
4.通用设备网关多源异构数据接入系统(以下简称“本系统”)是一种参考当今互联网主流微服务架构，采用多种成熟技术手段，实现多类型、多协议物联网终端接入数字化系统的通用接入应用网关，系统将物联网设备数据按后台配置，转成数字化系统所需的数据格式，以此对数字化系统业务层屏蔽多类型物联网终端的数据协议的差异，统一并简化数字化系统业务平台的针对终端设备的数据处理。
5.mqtt（message queuing telemetry transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于tcp/ip协议上，由ibm在1999年发布。mqtt最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等方面有较广泛的应用。
6.mqtt是一个基于客户端-服务器的消息发布/订阅传输协议。mqtt协议是轻量、简单、开放和易于实现的，这些特点使它适用范围非常广泛。在很多情况下，包括受限的环境中，如：机器与机器（m2m）通信和物联网（iot）。其在通过卫星链路通信传感器、偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用。
7.但是，mqtt本质是tcp长连接，资源占用相对较高，功耗较大，不太适用于对电池电量很小且不便于频繁充电的场景。
8.coap约束应用协议（constrained application protocol）是一种专用于受限设备的internet应用协议，如rfc 7252所定义，它使那些被称为“节点”的受约束设备能够使用类似的协议与更广泛的internet进行通信。coap被设计用于同一受限网络（例如，低功耗、有损网络）上的设备之间、设备和因特网上的一般节点之间以及由因特网连接的不同受限网络上的设备之间使用。
9.但是，coap协议基于udp，这是一种不可靠的连接，可能会导致数据丢失，同时因为没有长连接，也无法实现设备反控，但它优点也很明显，就是功耗非常低，特别适用于对功能耗要求高且只需上传数据的应用场景。


技术实现要素：

10.目前mqtt和coap是物联网终端接入比较主流的方案，二者优缺点突出，有明显的
使用场景局限性，技术上很难有折衷方案。
11.随着物联网的迅速发展，数字化平台接入的物联网终端类型越来越多，使用的场景也越来越广泛。数字化业务平台要接入大量类型及场景物联网终端，适配的协议越来越多，解析数据报文也越来越复杂，给数字化平台的业务开发带来的问题也日趋复杂。数字化业务平台在接入大量类型的物联网终端时，不得不为各种类型的终端设备开发对应的转换协议。
12.为简化数字化平台业务层开发，对业务层提供统一终端数据协议变得十分有必要。本发明借助通用设备网关系统，将多种类型、多种协议的物联网设备，经过配置与前处理，将多种数据协议转成对数字化平台的标准统一数据格式。其具体的技术方案如下：作为第一方面，本发明提供了一种通用设备网关实现多源异构数据接入的系统，所述系统包括：数据源，用于为终端提供不同的消息协议模式；通用设备网关，用于实现对数据源的各种消息协议进行转换、重组，形成标准协议消息，并进行发布；消息队列，用于接收通用设备网关发布的消息，并进行存储；业务平台，用于向消息队列调用其订阅的消息。
13.其中，所述通用设备网关包括如下模块：终端接入模块：用于对接多种消息协议类型的终端的数据源，将不同消息协议类型的上行消息转换为标准协议类型的消息，发往消息对列；维护终端的长连接。
14.消息总线模块：接收终端接入模块的消息，并按配置对数据进行处理，按消息调度主题订阅相关配置对标准消息进行重组，形成标准协议消息，然后发往消息队列。
15.注册中心模块：负责注册、维护终端基础信息，对终端数据接入进行授权，并将终端接入、授权信息发往终端接入模块，控制终端接入。
16.消息调度：负责从配置管理模块读取运维配置信息，控制消息总线对消息的前处理任务、消息重组业务，并对连接器发来的下行指令进行调度，分配相应的连接通道对指令进行下发。
17.配置管理模块：用于实现终端信息录入、权限管理、协议转换配置、报文前处理以及消息调度的配置。
18.数据存储模块：对配置管理模块的配置数据、终端日志数据进行存储备份。
19.结合第一方面，在其可能发生的任意一种情况下的第一种情况为，所述系统还包括连接器，所述连接器由通用设备网关进行维护，业务平台的下行指令通过所述连接器向通用设备网关进行发送，通用设备网关的终端接入模块将下行指令转发至终端，实现反控终端。
20.结合第一方面或上述第一种情况，在其可能发生的任意一种情况下的第二种情况为，所述终端接入模块内置协议适配器，适配器用于建立与终端间的数据通道及完成数据编码，同时适配器在建立数据通道时，对终端终端进行认证，对预设终端进行会话保持。
21.作为第二方面，本发明提供了一种通用设备网关实现多源异构数据接入的系统的上行消息方法，所述步骤包括：s1，向注册中心模块请求按照预设注册信息注册待接入的终端，注册中心模块同
步注册信息至终端接入模块；s2，向注册中心模块请求按照预设消息协议信息配置终端，注册中心模块同步消息协议信息至终端接入模块；s3，终端接入模块启动适配器，终端设备与终端接入模块建立会话上报数据，终端接入模块生成消息并发送至消息总线模块；s4，向配置管理模块发生配置消息处理规则后，再同步转发至消息调度模块；s5，消息调度模块创建消息处理器，并向消息总线模块注册消息处理器实例，从而触发数据处理器对不同消息协议的消息进行标准协议的消息转换、重组；s6，消息总线模块将重组后的消息向消息队列进行发布，业务平台从消息队列调用其订阅的重组后的消息。
22.结合第二方面，在其可能发生的任意种情况下的第三种情况为，s5中所述的从而触发数据处理器对不同消息协议的消息进行标准协议的消息转换、重组的方法为：消息总线模块按照消息主题，依次触发并调用注册到该消息主题下面的数据处理器，完成数据处理和数据转换，形成标准协议消息，将标准协议消息封装成业务所需的消息格式，完成标准协议的消息重组。
23.作为第三方面，本发明提供了一种通用设备网关实现多源异构数据接入的系统的下行指令的方法，所述步骤包括：f1，将配置数据转发规则发送至配置管理模块，配置管理模块推送指令规则至消息调度模块；f2，消息调度模块生成转译器实例及指令处理器实例；f3，业务平台向消息调度模块请求发送指令；f4，消息调度模块验证指令权限后，发送指令至设备接入模块；f5，设备接入模块下发指令至终端。
24.结合第三方面，在其可能发生的任意种情况下的第四种情况为，所述f4为：消息调度模块检测是否有下发通道、验证业务平台是否有下发指令权限，若有下发通道且有下发指令权限，则转译成对应设备的指令报文，发送给设备接入模块，设备接入模块查找对应终端的连接通道进行连接。
25.作为第四方面，本发明提供了一种存储一个或多个程序的计算机可读存储介质，所述计算机可读存储介质存储有一个或多个程序指令，所述程序指令被处理器执行时，完成权利要求4至7其中任意一个所述的一种方法。
26.本发明的有益效果是：本系统通过抽象多类型终端设备联网进行数据交互的过程，将其构建成一套标准体系框架，提供主流的对接协议及协议转换规则，并通过搭建对应配置引擎和插件系统，以使系统自动以流水线的方式完成数据处理过程，从而常规主流协议的“零代码”开发实现终端设备接入业务平台，大大减少业务平台新类型终端接入的开发、测试工作量。
27.同时，系统还对外开放规则引擎和网络组件基础api，以使用开发者可以定制终端接入协议、定制数据和指令的转换规则，以方便系统集成更多协议和转换规则。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
29.图1为本发明的系统关系示意图；图2为本发明的系统核心模块示意图；图3为本发明的系统系统功能模块示意图；图4为本发明的设备接入及消息上行流程示意图；图5为本发明的设备指令下行流程示意图。
具体实施方式
30.下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。显然，所描述的实施例仅仅是本发明的部分实施例。
31.实施例1本系统旨在实现终端联网数据协议的标准化、统一化，以对数字化业务平台屏蔽多类型终端数据协议的差异，从而简化数字化平台业务层开发。
32.如图1所示，所述系统包括：数据源，用于为终端提供不同的消息协议模式；可为mqtt、coap、tcp/ip、udp、http；通用设备网关，用于实现对数据源的各种不同消息协议进行标准协议的转换、重组，形成标准协议消息，并进行发布；消息队列，用于接收通用设备网关发布的消息，并进行存储；业务平台，用于向消息队列调用其订阅的消息，包括web服务器、后台服务集群、数据存储。
33.多种协议的设备终端，经过通用设备网关进行协议转换，上行数据以消息的形式进入消息对列，业务平台服务订阅相应消息，获取设备的上行数据信息。另外，通用设备网关维护一套连接器，数字化平台服务通过连接器，向指令设备下行指令，从而实现反控设备的目的。
34.如图2所示，通用设备网关包括6个一级模块：终端接入模块：用于对接多种协议类型的终端的数据源，将终端的各种消息协议类型的上行报文转成统一的标准格式的消息，发往消息对列；针对具备长连接的终端，维护长连接，并接收消息调度模块的下行指令，将指令通过特定的长连接下发至终端执行。
35.消息总线模块：接收终端接入模块的消息，并按配置对数据进行处理，按消息调度主题订阅相关配置对标准消息进行重组，然后发往消息队列。
36.注册中心模块：负责注册、维护终端基础信息，对终端数据接入进行授权，并将终端接入、授权信息发往终端接入模块，以便运维人员控制终端接入。
37.消息调度：负责从配置管理模块读取运维配置信息，控制消息总线对消息的前处理任务、消息重组业务，并对连接器发来的下行指令进行调度，分配相应的连接通道对指令
进行下发。
38.配置管理模块：用于提供运维管理交互页面，运维人员通过页面可以进行设备注册基础信息录入，权限管理，协议转换配置，报文前处理以及消息调度等配置。
39.数据存储模块：对配置管理模块的配置数据、终端日志数据等进行存储备份。
40.通用网关主要功能模块及模块间的关系如图3所示。
41.系统支持终端侧以板载计算单元，或边缘网关/计算节点，或终端云平台等多种方式进行数据上传。
42.设备接入模块提前内置一些协议适配器，支持http、mqtt、coap、tcp、udp几种协议，开发者也可以添加自定义的协议适配器。适配器负责建立与终端间的数据通道，由编码模块完成数据编码。同时适配器在建立数据通道时，可以对终端设备进行认证，对某些特定协议设备，也可以进行会话保持。
43.适配器模块进行设备认证时，会从注册中心模块获取终端设备的注册信息，识别终端设备支持的协议类型，以及终端设备允许以什么协议进行通信，注册中心模块同步更新终端设备在线状态，进行设备实时状态管理。
44.设备报文经设备接入模块接入层编译解码后，生成标准的设备消息，发送消息总线模块，消息总线模块通过注册的一个或者多个数据处理器实例，对消息进行转换重组，并根据重组后的消息主题以及注册的发布者、订阅者等信息，将消息转送到消息队列，由消息队列模块对消息做最终发布。
45.同时，系统配备相应配置管理页面，分别可以对系统用户、设备协议权限、数据转换规则、网络组件、消息通知进行管理，也可以通过系统对访问日志和系统日志进行查询。
46.实施例2如图4所示，本实施例提供了一种通用设备网关实现多源异构数据接入的系统的上行消息方法，其步骤如下：s1，向注册中心模块请求按照预设注册信息注册待接入的终端，注册中心模块同步注册信息至终端接入模块；s2，向注册中心模块请求按照预设消息协议信息配置终端，注册中心模块同步消息协议信息至终端接入模块；s3，终端接入模块启动适配器，终端设备与终端接入模块建立会话上报数据，终端接入模块生成消息并发送至消息总线模块；s4，向配置管理模块发生配置消息处理规则后，再同步转发至消息调度模块；s5，消息调度模块创建消息处理器，并向消息总线模块注册消息处理器实例，消息总线模块按照消息主题，依次触发并调用注册到该消息主题下面的数据处理器，完成数据处理和数据转换，形成标准协议消息，将标准协议消息封装成业务所需的消息格式，完成标准协议的消息重组；s6，消息总线模块将重组后的消息向消息队列进行发布，业务平台从消息队列调用其订阅的重组后的消息。
47.运营人员需要提前获取并录入待接入终端设备的注册信息，若系统无设备支持协议，还需要开发人员提前针对该设备开发对应的协议包，并通过配置管理模块上传系统。
48.运营人员可以按照模板配置数据处理转换规则，对于系统不支持的数据操作，开
发人员可以提前按规范进行数据处理的定制开发，运营人员上传系统。消息调度系统可以根据配置管理模块的规则，生成消息处理器实例，并注册到消息总线模块上。
49.业务平台的服务订阅自己需要的主题的消息，获取消息信息，完成最终业务流程。
50.实施例3如图5所示，本实施例提供了一种通用设备网关实现多源异构数据接入的系统的下行指令的方法，所述步骤如下：f1，将配置数据转发规则发送至配置管理模块，配置管理模块推送指令规则至消息调度模块；f2，消息调度模块生成转译器实例及指令处理器实例；f3，业务平台向消息调度模块请求发送指令；f4，消息调度模块检测是否有下发通道、验证业务平台是否有下发指令权限，若有下发通道且有下发指令权限，则转译成对应设备的指令报文，发送给设备接入模块，设备接入模块查找对应终端的连接通道进行连接；f5，设备接入模块下发指令至终端。
51.运营人员提前配置指令数据转发的规则，配置管理模块推送规则到消息调度中心模块，消息调度中心模块根据规则生成转译器实例。
52.业务服务需要下发指令时，发送请求到消息调度模块，消息调度模块查找是否有下发通道，业务平台服务是否有下发指令权限等判断，检测通过后，转译成对应终端设备的指令报文，发送给设备接入模块，由设备接入模块查找到对应设备的连接通道，将指令下发至指定终端设备执行，实现对终端设备的反控。
53.应理解，上述实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解为在阅读本发明的内容后，本领域技术人员可以对本发明作各种改动和修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。

技术特征：
1.一种通用设备网关实现多源异构数据接入的系统，其特征在于，所述系统包括：数据源，用于为终端提供不同的消息协议模式；通用设备网关，用于实现对数据源的各种消息协议进行转换、重组，形成标准协议消息，并进行发布；消息队列，用于接收通用设备网关发布的消息，并进行存储；业务平台，用于向消息队列调用其订阅的消息；其中，所述通用设备网关包括如下模块：终端接入模块：用于对接多种消息协议类型的终端的数据源，将不同消息协议类型的上行消息转换为标准协议类型的消息，发往消息对列；维护终端的长连接；消息总线模块：接收终端接入模块发送的消息，并按配置对数据进行处理，按消息调度主题订阅相关配置对标准协议类型的消息进行重组，形成标准协议消息，然后发往消息队列；注册中心模块：负责注册、维护终端基础信息，对终端数据接入进行授权，并将终端接入、授权信息发往终端接入模块，控制终端接入；消息调度：负责从配置管理模块读取运维配置信息，控制消息总线对消息的前处理任务、消息重组业务，并对连接器的下行指令进行调度，分配相应的连接通道对指令进行下发；配置管理模块：用于实现终端信息录入、权限管理、协议转换配置、报文前处理以及消息调度的配置；数据存储模块：对配置管理模块的配置数据、终端日志数据进行存储备份。2.根据权利要求1所述的一种通用设备网关实现多源异构数据接入的系统，其特征在于，所述系统还包括连接器，所述连接器由通用设备网关进行维护，业务平台的下行指令通过所述连接器向通用设备网关进行发送，通用设备网关的终端接入模块将下行指令转发至终端，实现反控终端。3.根据权利要求1或2所述的一种通用设备网关实现多源异构数据接入的系统，其特征在于，所述终端接入模块内置协议适配器，适配器用于建立与终端间的数据通道及完成数据编码，同时适配器在建立数据通道时，对终端进行认证，对预设终端进行会话保持。4.一种通用设备网关实现多源异构数据接入的系统的上行消息方法，其特征在于，所述步骤包括：s1，向注册中心模块请求按照预设注册信息注册待接入的终端，注册中心模块同步注册信息至终端接入模块；s2，向注册中心模块请求按照预设消息协议信息配置终端，注册中心模块同步消息协议信息至终端接入模块；s3，终端接入模块启动适配器，终端设备与终端接入模块建立会话上报数据，终端接入模块生成消息并发送至消息总线模块；s4，向配置管理模块发生配置消息处理规则后，再同步转发至消息调度模块；s5，消息调度模块创建消息处理器，并向消息总线模块注册消息处理器实例，从而触发数据处理器对不同消息协议的消息进行标准协议的消息转换、重组；s6，消息总线模块将重组后的消息向消息队列进行发布，业务平台从消息队列调用其
订阅的重组后的消息。5.根据权利要求4所述的一种通用设备网关实现多源异构数据接入的系统的上行消息方法，其特征在于，s5中所述的从而触发数据处理器对不同消息协议的消息进行标准协议的消息转换、重组的方法为：消息总线模块按照消息主题，依次触发并调用注册到该消息主题下面的数据处理器，完成数据处理和数据转换，形成标准协议消息，将标准协议消息封装成业务所需的标准协议的消息格式，完成标准协议的消息重组。6.一种通用设备网关实现多源异构数据接入的系统的下行指令的方法，其特征在于，所述步骤包括：f1，将配置数据转发规则发送至配置管理模块，配置管理模块推送指令规则至消息调度模块；f2，消息调度模块生成转译器实例及指令处理器实例；f3，业务平台向消息调度模块请求发送指令；f4，消息调度模块验证指令权限后，发送指令至设备接入模块；f5，设备接入模块下发指令至终端。7.根据权利要求6所述的一种通用设备网关实现多源异构数据接入的系统的下行指令的方法，其特征在于，所述f4为：消息调度模块检测是否有下发通道、验证业务平台是否有下发指令权限，若有下发通道且有下发指令权限，则转译成对应设备的指令报文，发送给设备接入模块，设备接入模块查找对应终端的连接通道进行连接。8.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或多个程序指令，所述程序指令被处理器执行时，完成权利要求4至7其中任意一个所述的一种方法。

技术总结
本发明提供了一种通用设备网关实现多源异构数据接入的系统及基于该系统的消息上行和指令下行的方法。其借助通用设备网关系统，将多种类型、多种协议的物联网设备，经过配置与前处理，将多种数据协议转成对数字化平台的标准统一数据格式。其资源占用相对较小，功耗较低，适用于对电池电量很小且不便于频繁充电的场景，同时可提供可靠的连接，不会导致数据丢失。丢失。


技术研发人员：余宏伟 吕培尊 缪振宇 王薇 陈凌子 张驰
受保护的技术使用者：东风悦享科技有限公司
技术研发日：2021.12.08
技术公布日：2022/3/8