一种基于数字孪生体的协同作业方法与流程

1.本发明涉及虚拟现实技术领域，更具体的涉及一种基于数字孪生体的协同作业方法。


背景技术：

2.数字孪生作为新兴技术，将物理世界通过数字化手段映射到虚拟空间，采用物联网技术将数据实时采集至数字孪生平台，结合穿戴设备将作业区情况实时通过无线网络反馈至数字孪生平台。
3.目前，存在工作人员不能结合其上下游设备整体环境分析问题，不能打破地域限制分析问题，工作人员进入危险作业区后作业时间长，容易造成安全事故的问题。


技术实现要素：

4.本发明实施例提供一种基于数字孪生体的协同作业方法，包括：数字孪生服务端进行下面的操作：建立物理作业区相匹配的作业区数字孪生体；获取设备身份标识图片，通过图像识别技术，提取计算机可读的文字和数字，其中计算机可读的文字和数字包括设备身份标识；根据提取到的设备身份标识，从数据库中获取设备的相关信息，并利用websocket将设备相关数据发送至可穿戴设备端和数字孪生展示端；数字孪生展示端依据设备身份标识从作业区数字孪生体中遍历查找物理作业区设备映射的虚拟设备，并将其居中，显示作业中发现的问题以及作业记录，发起双向实时通信；可穿戴设备端和数字孪生展示端利用webrtc进行视频语音通信，展开协同作业讨论。
5.进一步，还包括：数字孪生服务端将来自于可穿戴设备端和数字孪生展示端的数据进行处理、存储。
6.进一步，数据库中存储的设备的相关信息，包括：设备基础属性情况数据、设备运行情况数据、设备告警情况数据以及设备尺寸、设备安装日期、设备维护日期。
7.进一步，可穿戴设备端具有图像采集、数据传输、语音通信功能，通过摄像头扫描被检测设备身份信息，根据被检测设备身份信息抓取该设备现场信息。
8.更进一步，设备现场信息，包括：设备静态信息、设备动态信息。
9.进一步，作业区数字孪生体为b/s架构，通过浏览器多窗口接入作业区数字孪生体。
10.更进一步，还包括：可穿戴设备端根据设备身份标识从数字孪生服务端获取设备现场信息做回显。
11.本发明实施例提供一种基于数字孪生体的协同作业方法，与现有技术相比，其有益效果如下：1、数字孪生系统呈现作业区虚拟状况。
12.2、前端工作人员与后端支撑人员通过本系统双向实时互动。
13.3、前端工作人员可将现场情况实时上传至数字孪生系统，联动虚拟作业区，供后端支撑人员快速掌握现场情况。
14.4、减少作业区进入人员，降低作业区潜在风险对人员伤害。
15.5、b/s架构的数字孪生系统特性支持通过浏览器多窗口接入，打破区域限制。
附图说明
16.图1为本发明实施例提供的一种基于数字孪生体的协同作业方法流程图；图2为本发明实施例提供的一种基于数字孪生体的协同作业方法的被检测设备图；图3为本发明实施例提供的一种基于数字孪生体的协同作业方法的数字孪生场景图；图4为本发明实施例提供的一种基于数字孪生体的协同作业方法的协同作业图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.参见图1~4，本发明实施例提供一种基于数字孪生体的协同作业方法，该方法包括：数字孪生服务端进行下面的操作：建立物理作业区相匹配的作业区数字孪生体，作业区数字孪生体为b/s架构，通过浏览器多窗口接入作业区数字孪生体；获取设备身份标识图片，通过图像识别技术，提取计算机可读的文字数字，其中计算机可读的文字数字包括设备身份标识；根据提取到的设备身份标识，从数据库中获取设备相关情况，并利用websocket将设备相关数据发送至可穿戴设备端和数字孪生展示端；数字孪生展示端依据设备身份标识从作业区数字孪生体中遍历查找物理作业区设备映射的虚拟设备，将其居中，显示作业中发现的问题以及作业记录，与可穿戴设备端利用webrtc进行视频语音实时通信，展开协同作业。
19.1.1穿戴设备采集被检测设备身份信息通过穿戴设备摄像头拍摄图片，结合图像识别技术，获取设备身份标识deviceid，如fiq1001，根据身份标识deviceid从数字孪生服务端获取设备信息做回显，设备现场信息包括设备静态信息、设备动态信息。
20.1.2穿戴设备与数字孪生系统双向实时通信
穿戴设备将设备身份标识deviceid发送至数字孪生服务端，同时将现场勘察情况一并上报，并利用服务端建立穿戴设备端和数字孪生系统展示端实时通信。
21.1.3被检测设备与作业区和数字孪生系统协同数字孪生系统收到穿戴设备上报数据后，将根据被检测设备身份标识deviceid定位，在数字孪生场景中居中展现数字化被检测设备，并显示作业中发现的问题以及作业记录。并可发起双向实时通信，无视地域展开三方探讨，及时解决问题。
22.具体地：搭建数字孪生服务端，包含服务中间件、数据库。服务端负责业务逻辑，包括将来自于穿戴设备和数字孪生展示端的数据进行处理、存储，以及设备标签图像识别提取，并通过websocket搭建双向通信通道；数据库中存储设备基础属性情况、运行情况、告警情况等数据。
23.穿戴设备端依据摄像头采集设备身份标识图片，将其传输至数字孪生服务端，服务端通过图像识别技术，提取计算机可读的文字数字。
24.数字孪生服务端根据提取到的设备身份标识deviceid，从数据库中获取设备相关情况，如设备尺寸、安装日期、维护日期等，并利用websocket将设备相关数据发送至穿戴设备端和数字孪生展示端。
25.数字孪生展示端依据设备身份标识deviceid从虚拟场景模型中遍历查找物理场景映射的虚拟设备，并将其居中。
26.穿戴设备和数字孪生展示端利用webrtc进行视频语音通信，展开设备会诊讨论。
27.实施例1：硬件装置：服务器最小配置：x86计算，4核8g，linux系统，数据盘200g，带宽30mbit/s，1台穿戴设备：携带音视频装置+android系统的头盔展示机：系统window7+，cpu i5+, 显卡gtx 1060+数据库：关系型数据库mysql5.7+，时序数据库influxdb2.0+数字孪生服务端部署在服务器，穿戴设备和数字孪生展示机通过网络访问服务器上运行的数字孪生服务端，实现双方实时通信。作业人员穿戴前端设备在工业作业区中巡查，发现问题设备，利用穿戴设备与展示端建立通信，通过摄像头结合图像识别获取设备身份标识deivceid，将deviceid发送至服务器获取设备相关信息，同时，作业人员将现场发现问题通过语音、视频告知数字孪生展示端专家人员，专家人员在各自电脑的数字孪生展示端进行查看设备数据（运行状态、属性参数实时值、告警预判、以往故障记录），观测视频，听取现场情况，并进行远程讨论，指导现场人员工作。
28.以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围内。

技术特征：
1.一种基于数字孪生体的协同作业方法，其特征在于，包括：数字孪生服务端进行下面的操作：建立与物理作业区相匹配的作业区数字孪生体；获取设备身份标识图片，通过图像识别技术，提取计算机可读的文字和数字，其中计算机可读的文字和数字包括设备身份标识；根据提取到的设备身份标识，从数据库中获取设备的相关信息，并利用websocket将设备相关数据发送至可穿戴设备端和数字孪生展示端；数字孪生展示端依据设备身份标识从作业区数字孪生体中遍历查找物理作业区设备映射的虚拟设备，将其居中，显示作业中发现的问题以及作业记录，与可穿戴设备端利用webrtc进行视频语音实时通信，开展协同作业。2.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，还包括：所述数字孪生服务端处理、存储来自可穿戴设备端和数字孪生展示端的数据。3.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，所述数字孪生服务端数据库中存储的设备的相关信息，包括：设备基础属性情况数据、设备运行情况数据、设备告警情况数据以及设备尺寸、设备安装日期、设备维护日期。4.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，通过可穿戴设备端的摄像头扫描被检测设备身份信息，根据被检测设备身份信息抓取该设备现场信息。5.如权利要求4所述的一种基于数字孪生体的协同作业方法，其特征在于，所述设备现场信息，包括：设备静态信息、设备动态信息。6.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，所述作业区数字孪生体为b/s架构，通过浏览器多窗口接入作业区数字孪生体。7.如权利要求1所述的一种基于数字孪生体的协同作业方法，其特征在于，还包括：可穿戴设备端根据设备身份标识从数字孪生服务端获取设备现场信息做回显。

技术总结
本发明公开了一种基于数字孪生体的协同作业方法，包括：建立物理作业区相匹配的作业区数字孪生体，获取设备身份标识图片，提取计算机可读的文字数字，其中包括设备身份标识，根据提取到的设备身份标识，从数据库中获取设备相关情况，并利用WebSocket将设备相关数据发送至可穿戴设备端和数字孪生展示端，数字孪生展示端依据设备身份标识从作业区数字孪生体中遍历查找物理作业区设备映射的虚拟设备，显示作业中发现的问题以及作业记录，可穿戴设备端和数字孪生展示端利用WebRTC进行视频语音通信，展开协同作业。该方法可以克服前端作业人员与行业专家通过虚实映射、虚拟仿真、实时互通形式协同会诊的问题。时互通形式协同会诊的问题。时互通形式协同会诊的问题。


技术研发人员：胡玮 郑珂 高鹏 裴莹
受保护的技术使用者：西安塔力科技有限公司
技术研发日：2022.02.07
技术公布日：2022/3/8