一种数据采集系统的制作方法

1.本发明涉及数据处理技术领域，特别是涉及一种数据采集系统。


背景技术：

2.现在多个系统需要将本系统的统计数据推送大屏展示系统，此过程中各个系统的通信方式不统一，刷新频率不能进行灵活配置，大屏系统解析数据难度大的问题。


技术实现要素：

3.为了克服现有技术存在的缺点，本发明提供一种数据采集系统，数据源配置可以配置多种类型的数据源及抓取方式，通过数据加工模块，将数据处理成需要的数据项，数据项模块可以在处理后的数据项上做二次加工形成最终可消费的数据。
4.本发明提供一种数据采集系统，包括数据源配置模块，数据加工模块，数据项模块，数据源配置可以配置多种类型的数据源及抓取方式，通过数据加工模块，将数据处理成需要的数据项，数据项模块可以在处理后的数据项上做二次加工形成最终可消费的数据。所述的一种数据采集系统，所述数据配置模块可以配置对数据库抓取，可以配置对http接口数据抓取，可以配置对tcp数据抓取，可以配置获取日志文件与解析规则。
5.所述的一种数据采集系统，其特征在于：所述数据加工模块可以对采集到的数据进行数据处理，形成结构化数据。
6.所述的一种数据采集系统，所述数据项模块可以对数据项配置刷新频率，是否刷新，可以通过excel数据进行手动干预。
7.本发明的有益效果在于：可以形成统一的数据源配置，避免子系统数据直接推送给消费端，导致消费端对数据的解析难度，降低开发难度，提高可视化数据处理的水平。
附图说明
8.图1为本发明模块连接图。
具体实施方式
9.实施例1，本发明提供一种数据采集系统，包括数据源配置模块，数据加工模块，数据项模块，数据源配置可以配置多种类型的数据源及抓取方式，通过数据加工模块，将数据处理成需要的数据项，数据项模块可以在处理后的数据项上做二次加工形成最终可消费的数据。所述的一种数据采集系统，所述数据配置模块可以配置对数据库抓取，可以配置对http接口数据抓取，可以配置对tcp数据抓取，可以配置获取日志文件与解析规则。
10.所述的一种数据采集系统，其特征在于：所述数据加工模块可以对采集到的数据进行数据处理，形成结构化数据。
11.所述的一种数据采集系统，所述数据项模块可以对数据项配置刷新频率，是否刷
新，可以通过excel数据进行手动干预。


技术特征：
1.一种数据采集系统，包括数据源配置模块，数据加工模块，数据项模块，其特征在于：数据源配置可以配置多种类型的数据源及抓取方式，通过数据加工模块，将数据处理成需要的数据项，数据项模块可以在处理后的数据项上做二次加工形成最终可消费的数据。2.根据权利要求1所述的一种数据采集系统，其特征在于：所述数据配置模块可以配置对数据库抓取，可以配置对http接口数据抓取，可以配置对tcp数据抓取，可以配置获取日志文件与解析规则。3.根据权利要求1所述的一种数据采集系统，其特征在于：所述数据加工模块可以对采集到的数据进行数据处理，形成结构化数据。4.根据权利要求1所述的一种数据采集系统，其特征在于：所述数据项模块可以对数据项配置刷新频率，是否刷新，可以通过excel数据进行手动干预。

技术总结
一种数据采集系统，涉及数据处理的技术领域，数据源配置可以配置多种类型的数据源及抓取方式，通过数据加工模块，将数据处理成需要的数据项，数据项模块可以在处理后的数据项上做二次加工形成最终可消费的数据。本发明的有益效果在于可以形成统一的数据源配置，避免子系统数据直接推送给消费端，导致消费端对数据的解析难度，降低开发难度，提高可视化数据处理的水平。理的水平。理的水平。


技术研发人员：俞海国 孙志鹏 李丹 陈佳鑫 苗轲 金金 李国栋 李文明 马军军
受保护的技术使用者：青海绿能数据有限公司
技术研发日：2021.12.03
技术公布日：2022/3/8