一种面向无人系统的云边协同视频流处理方法及系统与流程

1.本发明涉及无人系统视频流处理，更具体地涉及一种面向无人系统的云边协同视频流处理方法及系统。


背景技术：

2.无人值守系统通过视频监控录像设备采集视频流进行实时分析与目标检测。现有无人系统大多是将从末端无人值守平台采集到的视频流发送至云端进行处理。但若所有影像数据在云端执行，会对传输网络造成巨大开销；若将所有检测任务放在边缘端执行，又需要边缘端设备具备较好的计算存储硬件配置，且依赖持续稳定的保障，难以适用于边缘端复杂多变的环境。因此，单一的云端处理或单一的边缘端处理都是不现实的，这就需要将云计算和边缘计算技术相结合，构建云边协同的视频流处理系统，提高无人值守系统在复杂环境下的视频信息处理效能。


技术实现要素：

3.发明目的：为解决上述技术问题，本发明提出一种面向无人系统的云边协同视频流处理方法及系统，利用边缘端的低时延性和云端的资源充足性，通过云边协同的方式优化无人系统的视频流处理能力。
4.技术方案：一种面向无人系统的云边协同视频流处理方法，包括以下步骤：末端无人值守平台对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送至指定边缘端设备进行处理；边缘端设备对图片识别请求进行响应，将图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；边缘端设备对本地识别队列中的图片数据进行识别处理；边缘端设备根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；边缘端设备判断是否接收到云端的识别结果，若边缘端设备已收到云端的识别结果，根据云端与边缘端本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，边缘端设备向人机交互界面返回云端识别结果；否则边缘端设备向人机交互界面返回本地识别结果；若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。
5.其中，所述预先设定的分配策略包括：根据本地数据库中存储的邻近边缘端设备的识别队列长度和识别时间，选取预计等待时间最小的边缘端设备进行图片的处理：其中d表示选定的边缘端设备，n表示边缘端设备总数，表示第i个边缘端设备中等待检测识别的图片数量，表示第个边缘端设备识别一张图片的平均时间。
6.所述指定阈值根据测试集识别结果得到，其取值如下：其中m为测试集中需要检测出的物体的图片数量，为测试集中正确识别出的图片数量。
7.进一步地，根据云端识别的时长和提升的准确率进行综合判定打分，公式如下：进一步地，根据云端识别的时长和提升的准确率进行综合判定打分，公式如下：表示提升的准确率，通过测试集获得云端模型的准确率和边缘端的准确率，二者作差即为的值；表示从发送图片到云端返回结果经过的时间，表示边缘端到云端的平均时延。
8.一种面向无人系统的云边协同视频流处理系统，包括：末端无人值守平台，用于对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送给指定边缘端设备进行处理；边缘端设备，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；并基于本地识别结果和云端识别结果确定对图片的最终识别结果；云端，用于识别边缘端设备上送的图片并向边缘端设备返回识别结果；其中边缘端设备基于本地识别结果和云端识别结果确定对图片的最终识别结果包括：边缘端设备对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；边缘端设备判断是否云端的识别结果，若边缘端设备已收到云端的识别结果，根据云端与边缘端本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，边缘端设备向人机交互界面返回云端识别结果；否则边缘端设备返回本地识别结果；若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。
9.一种面向无人系统的视频流处理设备，包括：数据获取模块，用于从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是根据预先设定的分配策略分发的；数据队列模块，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；本地图片识别模块，用于对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；云边综合分析决策模块，用于判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；
否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
10.一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现以下步骤：从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是根据预先设定的分配策略分发的；对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
11.有益效果：本发明通过将边缘端从视频流中切割出来的每帧图片，发送给一个预计等待时间最小的边缘端设备进行图片的处理，边缘端设备收到图片后同样也会发送一份给云端设备，边缘端与云端同时处理，云端未处理则取边缘端的识别结果，云端有返回结果则根据时延和提升精度来打分来综合判定，该方法通过云边协同处理，能够结合边缘端的低时延性和云端的资源充足性，提升无人系统视频流处理的效能。
附图说明
12.图1是根据本发明实施例的面向无人系统的云边协同视频流处理方法流程图；图2是根据本发明实施例的目标检测过程示意图。
具体实施方式
13.下面结合附图对本发明的技术方案作进一步说明。
14.本发明提供了一种面向无人系统的协同视频流处理方法及系统，视频流处理系统包括无人值守平台（即无人系统）、边缘端设备和云端。云端指的是云端服务器或提供云计算服务的任何平台或基础设施。基于该系统的视频流处理方法包括：首先，无人值守平台采集到视频流后将视频中的图片发送给边缘端设备，然后边缘端设备与云端设备协同处理，若有云端返回得到图片处理结果，则根据时延和精度提升率综合判定打分，决定是否要使用云端的识别结果，若云端无返回结果则取边缘端的图片处理结果。参照图1，具体包括如下步骤：（1）数据分发：末端无人值守平台将采集到的视频流进行切割，将切割好的每一帧图片发送到边缘端设备。假设有个边缘端设备，每个边缘端设备都维护着一个队列，队列中有张
图片等待检测识别。表示第个边缘端设备识别一张图片的平均时间，通过在模型训练过程中，对大样本数的同类型图片的识别时间求平均值获得。具体发送的边缘端设备通过实时任务分配来决定。边缘端通过实时任务分配系统决定通过哪个靠近的设备来处理当前的图片。实时任务分配系统会选择一个预计等待时间最小的边缘端设备进行图片的处理。即：每个边缘设备通过定时数据同步，获取临近边缘设备的和值，并存储在本地小型数据库sqlite中，能够根据和值的动态变化，触发分发策略的改变。
15.（2） 云边协同图像处理：（2-1）对于边缘端设备，每当收到一张图片识别请求时，随即加入至云端发送队列中等待发送至云端，并将待识别图片加入本地识别队列中等待识别。
16.（2-2）每当边缘端设备识别完一张图片时，从本地队列中取出下一张图片进行本地识别处理。边缘端设备的识别模型如下：首先采用 yolov3 用于检测视频流中的常见对象，其次采用 resnet-152 或 mobilenet用于对检测到的对象进行更精确和特定的分类并标记它们。图2为目标检测的过程图。
17.（2-3）边缘端设备识别完一张图片时，得到一个置信度 ，当时，可以认为该图片没有识别到目标，返回无识别目标的结果。即只有置信度大于等于指定阈值的识别结果被保存，小于的识别结果均舍去。的取值使整个边缘端准确率最高。设测试集中有个需要检测出的物体的图片，在的结果中，有张是正确的，的取值如下：（2-4）云端设备识别图片时，云端识别模型如下：首先采用 yolov3 用于检测视频流中的常见对象，其次采用 resnet-152 或 mobilenet用于对检测到的对象进行更精确和特定的分类并标记它们。图2为目标检测的过程图。云端设备将检测结果返回至边缘端设备。
18.（2-5）若边缘端设备完成本地识别的同时，也收到了云端的识别结果，根据云端与边缘端分别识别的时间大小和准确率进行综合判定打分，得分细节如下：其中表示提升的准确率，通过测试集获得云端模型的准确率和边缘端的准确率，然后作差即为的值。表示从发送图片到云端返回结果经过的时间，表示边缘端到云端的平均时延。这里表示云端处理时延与端到端时延的比重，由于表示边缘端到云端的单向平均时延，表示从发送图片到云端返回结果经过的时间，是双向的，因此要乘以2倍来与进行比较。
19.（2-6）当score大于等于阈值s时，判定云端识别结果优于边缘端识别结果，此时边缘端设备向人机交互界面返回云端识别结果；否则判定边缘端识别结果优于云端识别结果，边缘端设备向人机交互界面返回本地识别结果。在本发明的实施方式中，阈值s取值为0.6。
20.若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结
果。
21.（3）输出结果：识别完成后，将识别好的结果返回给用户，并且将结果存储在云端数据库中。
22.本发明还提供一种面向无人系统的视频流处理设备，该视频流处理设备对应于上述视频流处理系统中的边缘端设备，设备包括：数据获取模块，用于从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是根据预先设定的分配策略分发的；数据队列模块，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；本地图片识别模块，用于对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；云边综合分析决策模块，用于判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
23.其中，数据获取模块根据预先设定的分配策略得到每一帧待处理图片，其分配策略如下：视频流处理设备互相之间定时同步自身的数据队列长度和对一张图片的平均处理时间，各视频流处理设备根据本地数据库中存储的邻近边缘端设备的识别队列长度和识别时间，选取预计等待时间最小的设备进行图片处理：其中d表示选定的视频流处理设备，n表示视频流处理设备总数，表示第i个视频流处理设备中等待检测识别的图片数量，表示第个视频流处理设备识别一张图片的平均时间。
24.本地图片识别模块的识别模型如下：首先采用 yolov3 用于检测视频流中的常见对象，其次采用 resnet-152 或 mobilenet用于对检测到的对象进行更精确和特定的分类并标记它们。
25.本地图片识别模块使用的指定阈值根据测试集识别结果得到，其取值如下：其中m为测试集中需要检测出的物体的图片数量，为测试集中正确识别出的图片数量。
26.云边综合分析决策模块根据云端与本地分别识别的时间大小和准确率进行综合判定打分，公式如下：其中表示提升的准确率，通过云端的准确率和本地的准确率作差得到；表示从发送图片到云端返回结果经过的时间，表示从视频流处理设备到云端的平均时
延。
27.本发明还提供一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现以下步骤：从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是根据预先设定的分配策略分发的；对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。
28.其中，上述处理器执行的步骤和面向无人系统的视频流处理设备的各功能模块实现的功能是一一相对应的，各步骤中涉及的具体计算方法可参照前述视频流处理设备的相应描述，此处不再赘述。
29.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
30.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
31.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
32.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
33.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽
管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

技术特征：
1.一种面向无人系统的云边协同视频流处理方法，其特征在于，包括以下步骤：末端无人值守平台对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送给指定边缘端设备进行处理；边缘端设备对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列等待本地识别；边缘端设备对本地识别队列中的图片数据进行识别处理；边缘端设备根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；边缘端设备判断是否接收到云端的识别结果，若边缘端设备已收到云端的识别结果，根据云端与边缘端本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，边缘端设备向人机交互界面返回云端识别结果；否则边缘端设备返回本地识别结果；若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。2.根据权利要求1所述的面向无人系统的云边协同视频流处理方法，其特征在于，所述预先设定的分配策略包括：根据各边缘端设备本地数据库中存储的邻近边缘端设备的识别队列长度和识别时间，选取预计等待时间最小的边缘端设备进行图片的处理：其中d表示选定的边缘端设备，n表示边缘端设备总数，表示第i个边缘端设备中等待检测识别的图片数量，表示第个边缘端设备识别一张图片的平均时间。3.根据权利要求1所述的面向无人系统的云边协同视频流处理方法，其特征在于，所述指定阈值根据测试集识别结果得到，其取值如下：其中m为测试集中需要检测出的物体的图片数量，为测试集中正确识别出的图片数量。4.根据权利要求1所述的面向无人系统的云边协同视频流处理方法，其特征在于，根据云端与边缘端分别识别的时间大小和准确率进行综合判定打分，公式如下：其中表示提升的准确率，通过云端的准确率和边缘端的准确率作差得到；表示从发送图片到云端返回结果经过的时间，表示边缘端到云端的平均时延。5.根据权利要求1所述的面向无人系统的云边协同视频流处理方法，其特征在于，边缘端设备的本地识别模型采用yolov3进行初次检测，再采用resnet-152或mobilenet对初次检测到的对象进行二次检测和标记。6.一种面向无人系统的云边协同视频流处理系统，其特征在于，包括：末端无人值守平台，用于对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送给指定边缘端设备进行处理；边缘端设备，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；并基于本地识别结果和云端识别结果确定对
图片的最终识别结果；云端，用于识别边缘端设备上送的图片并向边缘端设备返回识别结果；其中边缘端设备基于本地识别结果和云端识别结果确定对图片的最终识别结果包括：边缘端设备对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；边缘端设备判断是否接收到云端的识别结果，若边缘端设备已收到云端的识别结果，根据云端与边缘端本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，边缘端设备向人机交互界面返回云端识别结果；否则边缘端设备返回本地识别结果；若边缘端设备没有收到云端的识别结果，直接向人机交互界面返回本地识别结果。7.根据权利要求6所述的面向无人系统的云边协同视频流处理系统，其特征在于，边缘端设备根据云端与边缘端分别识别的时间大小和准确率进行综合判定打分，公式如下：其中表示提升的准确率，通过云端的准确率和边缘端的准确率作差得到；表示从发送图片到云端返回结果经过的时间，表示边缘端到云端的平均时延。8.根据权利要求6所述的面向无人系统的云边协同视频流处理系统，其特征在于，预先设定的分配策略包括：根据各边缘端设备本地数据库中存储的邻近边缘端设备的识别队列长度和识别时间，选取预计等待时间最小的边缘端设备进行图片处理：其中d表示选定的边缘端设备，n表示边缘端设备总数，表示第i个边缘端设备中等待检测识别的图片数量，表示第个边缘端设备识别一张图片的平均时间。9.根据权利要求6所述的面向无人系统的云边协同视频流处理系统，其特征在于，所述指定阈值根据测试集识别结果得到，其取值如下：其中m为测试集中需要检测出的物体的图片数量，为测试集中正确识别出的图片数量。10.一种面向无人系统的视频流处理设备，其特征在于，包括：数据获取模块，用于从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是末端无人值守平台根据预先设定的分配策略分发的；数据队列模块，用于对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；本地图片识别模块，用于对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；云边综合分析决策模块，用于判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于
阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。11.一种计算机设备，其特征在于，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现以下步骤：从末端无人值守平台获取视频流切割后的每一帧图片的图片识别请求，其中视频流切割后的每一帧图片是末端无人值守平台根据预先设定的分配策略分发的；对图片识别请求进行响应，将待识别图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；对本地识别队列中的图片数据进行识别处理，并根据本地图片识别得到的置信度f，将置信度f大于等于指定阈值的识别结果作为正确的识别结果保存；判断是否接收到云端的识别结果，若已收到云端的识别结果，根据云端与本地分别识别的时间大小和准确率进行综合判定打分，当得分大于等于阈值s时，判定云端识别结果优于本地识别结果，向人机交互界面返回云端识别结果；否则返回本地识别结果；若没有收到云端的识别结果，则直接向人机交互界面返回本地识别结果。

技术总结
本发明公开了一种面向无人系统的云边协同视频流处理方法及系统。所述方法包括：末端无人值守平台对采集的视频流进行切割，根据预先设定的分配策略将切割后的每一帧图片发送给指定边缘端设备进行处理；边缘端设备对图片识别请求进行响应，将图片加入云端发送队列等待发送至云端，并加入本地识别队列中等待识别；边缘端设备从本地识别队列中取出待识别图片进行识别处理；根据本地图片识别得到的置信度，将置信度大于等于指定阈值的识别结果作为正确的识别结果保存；边缘端设备根据本地识别结果和云端识别结果给出最终的图片识别结果。本发明通过云边协同处理，能够提升无人值守系统在复杂环境下的视频信息处理效能。统在复杂环境下的视频信息处理效能。统在复杂环境下的视频信息处理效能。


技术研发人员：郭锐 陈忠 施晓东 徐俊瑜 马驰 李磊 姚传明 王超 刘佳
受保护的技术使用者：中国电子科技集团公司第二十八研究所
技术研发日：2022.02.08
技术公布日：2022/3/8