一种基于视觉引导的可伸缩AGV叉车及其操作方法

本发明涉及机器学习，更具体的说是涉及一种基于视觉引导的可伸缩agv叉车及其操作方法。

背景技术：

1、随着人工智能技术的飞速发展，机器人融入工业制造实现自动化生产毫无疑问已经成为时代发展的必然趋势。agv(automated guided vehicle)叉车是一种工业机器人，它具有自动巡航、避障、装载货物、运输等功能，越来越多的电缆生产厂开始引入agv叉车，一方面可以提高生产效率，另一方面可以为生产厂省下一笔人工费用。但agv叉车的灵活性难以达到人工操作，因此如何精确的识别电缆货物位置并进行托盘运输是目前人们关注的核心问题。

2、由于电缆厂的货物呈圆筒状，导致货物滚动的概率非常的大，目前电缆厂解决此问题的方案大多是在电缆库地面每个隔一段距离固定一块挡板或者使用大小相同的货架对电缆进行装载，这样一来便可以给固定的坐标给现有的agv叉车实现货物运送。但目前这样的托盘运送方式存在以下几点不足：

3、(1)对电缆货物位置以及姿态要求必须固定，一旦偏差太多会导致agv叉车无法完成对货物的装载与运送。

4、(2)现有的agv叉车运送的电缆如果没有货架装载，由于agv叉车货叉形状的约束容易使得电缆货物脱落；如果有货架装载时，卸货时需将货架也一同卸下，增加了时间成本。

5、因此，如何提供能够解决上述问题的一种基于视觉引导的可伸缩agv叉车及其操作方法，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于视觉引导的可伸缩agv叉车及其操作方法，针对现有技术的缺点和不足，本发明通过对agv叉车的结构进行改进，实现对电缆类圆柱形货物稳定运输，然后基于机器学习训练一种识别电缆货物的图像识别模型，最后将模型部署测试，装载到agv叉车。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于视觉引导的可伸缩agv叉车，包括：agv叉车本体、货叉驱动架、可伸缩圆柱货叉、驱动式闭环稳定器以及深度相机；

4、其中，所述agv叉车本体上安装所述货叉驱动架，所述货叉驱动架的底部与所述可伸缩圆柱货叉相连接；所述可伸缩圆柱货叉的顶部外围是用于运输货物防脱落的所述驱动式闭环稳定器，当没有抬起货物时所述驱动式闭环稳定器处于收缩关闭状态，所述可伸缩圆柱货叉的顶部圆心处安装用于采集图像的所述深度相机，通过所述深度相机将采集的原始rgbd电缆货物数据传递给预构建的坐标预测模型。

5、可选的，还包括相机控制模块，所述深度相机与所述相机控制模块相连接，并配置驱动管道，所述深度相机接收到启动流，控制所述深度相机采集原始rgbd电缆货物图像数据。

6、可选的，还包括控制电机，将所述可伸缩圆柱货叉打磨成能够承受货物重量的形态，将打磨的可伸缩圆柱货叉的顶端做一个可控制的闭环驱动，将可伸缩圆柱货叉安装到agv叉车本体的底盘内部并与所述控制电机相连接，实现可伸缩圆柱货叉由内向外伸缩。

7、一种可伸缩agv叉车的操作方法，包括：

8、s200：通过相机控制模块控制深度相机采集电缆货物图像，并作为原始rgbd电缆货物图像数据；

9、s300：使用faster r-cnn模型框架进行模型训练，得到坐标预测模型；

10、s400：通过坐标预测模型识别s200采集的原始rgbd电缆货物图像并反馈坐标数据，可伸缩agv叉车实现自动巡航至电缆货物侧面并进行微调对齐；

11、s100：通过可伸缩圆柱货叉提取电缆类圆柱货物。

12、可选的，s300包括：

13、s310：准备电缆圈货物图片，确保图像覆盖各种角度、光照条件和背景；

14、s320：创建两个类别的图片标注，分别为电缆圈货物标注和电缆圈侧面圆形标注，得到标注数据；

15、s330：将标注数据转换为coco格式，归一化图像像素值，并进行数据增强：

16、s340：使用faster r-cnn模型作为预训练的网络框架，设置学习率、批次大小、训练轮数参数；

17、s350：导入标注类别为电缆圈货物的标注数据，获取坐标预测模型的预测结果，计算总损失；

18、s360：导入标注类别为电缆圈侧面圆形的标注数据，将标注电缆圈侧面圆形的图像转换为灰度图像，进行边缘检测和霍夫圆检测，输出当前圆形与标准圆形的相差坐标，获取坐标预测模型精度；

19、s370：重复从步骤s340到s360的训练，直到坐标预测模型精度达到预测值，得到坐标预测模型。

20、可选的，在使用faster r-cnn模型进行坐标预测模型的训练后，还包括：将训练完成的坐标预测模型导出，保存为部署tensorflow savedmodel的格式，以供实际agv叉车应用中使用。

21、可选的，s400包括：

22、s420：检测到原始rgbd货物图像数据输入流，坐标预测模型准备接收数据；

23、s430：坐标预测模型识别原始rgbd电缆货物图像数据，并计算出当前agv叉车巡航至侧面所需的坐标数据；

24、s440：可伸缩agv叉车接收到反馈的坐标数据自动巡航至电缆货物的侧面。

25、可选的，s400还包括：

26、s450：坐标预测模型原始rgbd电缆货物图像数据，并计算出对齐货物侧面所需的坐标数据；

27、s460：agv叉车通过反馈的坐标数据对货叉进行微调；

28、s470：经过微调过后使货物的侧面圆形与可伸缩圆柱货叉对齐，控制可伸缩圆柱货叉进行插入操作，根据检测反馈进行闭环控制，以防止货物滑落或位置偏移。

29、经由上述的技术方案可知，与现有技术相比，本发明公开提供了及其操作方法，具有如下有益效果：

30、(1)相对于传统的agv叉车，本发明的新型agv叉车是对现有叉车进行内部结构的改进，它特别适用于电缆厂中电缆类似圆柱货物的运输，通过特殊的货叉可以保障货物在运输过程不发生掉落，从而增加了运输稳定性；

31、(2)相对于传统的agv叉车，本发明通过基于faster r-cnn对叉车的坐标预测模型进行训练，该预测模型通过深度相机采集的实时图像，自动巡航到目标货物的位置，再通过霍夫圆监测算法对货物正面位置进行对齐实现自我微调，模型的训练程度高，不易造成过拟合问题，具有较高的识别准确度。

技术特征：

1.一种基于视觉引导的可伸缩agv叉车，其特征在于，包括：agv叉车本体、货叉驱动架、可伸缩圆柱货叉、驱动式闭环稳定器以及深度相机；

2.根据权利要求1所述的一种基于视觉引导的可伸缩agv叉车，其特征在于，还包括相机控制模块，所述深度相机与所述相机控制模块相连接，并配置驱动管道，所述深度相机接收到启动流，控制所述深度相机采集原始rgbd电缆货物图像数据。

3.根据权利要求1所述的一种基于视觉引导的可伸缩agv叉车，其特征在于，还包括控制电机，将所述可伸缩圆柱货叉打磨成能够承受货物重量的形态，将打磨的可伸缩圆柱货叉的顶端做一个可控制的闭环驱动，将可伸缩圆柱货叉安装到agv叉车本体的底盘内部并与所述控制电机相连接，实现可伸缩圆柱货叉由内向外伸缩。

4.一种如权利要求1-3任一项所述的基于视觉引导的可伸缩agv叉车的操作方法，其特征在于，包括：

5.根据权利要求4所述的操作方法，其特征在于，s300包括：

6.根据权利要求4所述的操作方法，其特征在于，在使用faster r-cnn模型进行坐标预测模型的训练后，还包括：将训练完成的坐标预测模型导出，保存为部署tensorflowsavedmodel的格式，以供实际agv叉车应用中使用。

7.根据权利要求4所述的操作方法，其特征在于，s400包括：

8.根据权利要求7所述的操作方法，其特征在于，s400还包括：

技术总结
本发明公开了一种基于视觉引导的可伸缩AGV叉车及其操作方法，属于机器学习技术领域。可伸缩AGV叉车包括：AGV叉车本体、货叉驱动架、可伸缩圆柱货叉、驱动式闭环稳定器以及深度相机。操作方法包括：使用Faster R‑CNN模型进行预测坐标预测模型的训练，使训练出来的预测坐标预测模型能够识别采集的电缆货物图像并计算出调整对齐误差所需的坐标数据；可伸缩AGV叉车通过预测坐标预测模型反馈的坐标数据，实现自我微调。本发明对AGV叉车的结构进行改进，并通过训练预测模型对电缆类货物的坐标位置进行预测，实现AGV叉车自动对齐货物并完成稳定运输。

技术研发人员：刘亚荣,冷冬,谢晓兰,周雪松,刘宇航
受保护的技术使用者：桂林理工大学
技术研发日：
技术公布日：2024/12/5