基于改进SIFT特征点的双目视觉空间跟踪定位方法及系统与流程

本发明涉及计算机视觉，特别是基于改进sift特征点的双目视觉空间跟踪定位方法及系统。

背景技术：

1、视觉跟踪定位技术在机器人导航、增强现实和无人机航拍领域有着广泛的应用，随着计算机视觉技术的快速发展，基于图像处理的视觉跟踪定位方法逐渐成为研究热点，其中基于sift特征点的双目视觉空间跟踪定位算法是一种经典的视觉定位方法，通过结合特征点提取、匹配和视差计算技术，利用两个摄像头采集图像，计算图像中特征点的视差值，重建三维空间坐标，从而实现目标物体的精确定位和运动跟踪，具有尺度不变性和旋转不变性的优点，在图像处理和计算机视觉领域有着广泛应用；近年来，虽然深度学习在计算机视觉领域取得了重大突破，尤其是在目标检测和图像分类任务上表现卓越，但是基于传统手工特征的视觉定位方法依然具有优势，例如基于深度学习的视觉定位方法需要大量标注数据用于训练并且对硬件资源要求较高，基于slam的视觉定位需要构建复杂的环境地图，基于视觉标记和结构光的定位方法也受到一定的场景限制，相比之下，基于sift特征点的双目视觉定位算法在小规模场景和计算资源有限的情况下具有无需训练数据、硬件要求低和场景适用性广的优点，因此将sift算法应用于双目视觉空间跟踪定位，可以提高特征点的检测和匹配精度，为三维重建和运动跟踪提供可靠的基础。

2、但目前常见的解决方案存在诸多缺点，包括：传统的视差计算方法通常采用固定窗口大小，无法适应图像的局部纹理变化，导致视差计算精度较低；sift算法在大规模场景和复杂背景下计算效率较低，导致实时性不足；sift算法对光照变化和视角变化敏感，影响特征点的提取和匹配准确性；sift算法对于缺乏明显纹理或重复结构的区域可能无法提取到有效的特征点。

技术实现思路

1、鉴于对目标物体进行视觉跟踪定位时，现有技术中通常采用固定窗口大小，无法适应图像的局部纹理变化，导致视差计算精度低，在大规模场景和复杂背景下计算效率低，对光照变化和视角变化敏感，影响特征点的提取和匹配准确性，对缺乏明显纹理或重复结构的区域的特征点提取准确率低等问题，提出了本发明。

2、因此，本发明所要解决的问题在于如何提供一种利用hessian矩阵和高斯差分dog金字塔实现对图像中特征的精准提取和高质量匹配，引入自适应窗口的视差计算方法和图割算法能量函数优化方法，实现对图像局部纹理和深度变化的适应，利用视差值和摄像头基线进行三角化计算，实现特征点三维坐标的高精度重建的方法。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明实施例提供了基于改进sift特征点的双目视觉空间跟踪定位方法，其包括采集图像数据和摄像头参数并进行预处理，对所述图像数据进行特征点提取和特征点匹配；根据特征点的匹配结果对特征点的视差值进行计算；利用所述视差值和所述摄像头参数对特征点的位置进行计算，得到特征点的三维坐标；基于所述三维坐标进行运动跟踪，得到相机的状态；对所述相机的状态进行优化，实现目标物体的跟踪定位。

5、作为本发明所述基于改进sift特征点的双目视觉空间跟踪定位方法的一种优选方案，其中：所述图像数据包括左摄像头图像和右摄像头图像；所述摄像头参数为摄像头的基线长度。

6、作为本发明所述基于改进sift特征点的双目视觉空间跟踪定位方法的一种优选方案，其中：所述特征点提取包括以下步骤：基于surf算法，利用积分图像对滤波过程进行加速并构建hessian矩阵，所述hessian矩阵的具体公式如下：

7、

8、p＝(x,y)

9、其中，h(p,σ)为hessian矩阵的特征值；x为图像中像素的横坐标；y为图像中像素的纵坐标；σ为高斯滤波器的标准差；p为图像中像素的坐标；利用hessian矩阵对特征点进行检测，计算hessian矩阵的行列式和迹，具体公式如下：

10、det(h)＝lxx(p,σ)lyy(p,σ)-(lxy(p,σ))2

11、trace(h)＝lxx(p,σ)+lyy(p,σ)

12、其中，det(h)为hessian矩阵的行列式；trace(h)为hessian矩阵的迹；若hessian矩阵的行列式与hessian矩阵的迹的平方的差值det(h)-trace(h)2大于第一阈值，则判定对应像素为角点，进行特征点提取；反之则判定对应像素不为角点，不进行特征点提取。

13、作为本发明所述基于改进sift特征点的双目视觉空间跟踪定位方法的一种优选方案，其中：所述特征点匹配包括以下步骤：基于多尺度匹配方法，利用高斯差分dog金字塔构建尺度空间；利用相似性度量对特征点进行匹配，在不同尺度下寻找最佳匹配点对；对匹配的特征点进行尺度一致性检查，若两个特征点的尺度差异大于第二阈值，则判定对应的匹配点对为误匹配，重新进行特征点匹配，反之则判定对应的匹配点对为最佳匹配点对。

14、作为本发明所述基于改进sift特征点的双目视觉空间跟踪定位方法的一种优选方案，其中：利用自适应窗口大小的视差计算方法对所述特征点的视差值进行计算；所述自适应窗口大小的视差计算方法包括以下步骤：根据图像的局部纹理特性对局部图像区域的梯度进行计算；引入反映局部图像特性的参数，基于局部图像区域的梯度进行计算，得到自适应窗口的大小；基于所述自适应窗口的大小对像素进行匹配，计算窗口内像素的绝对差值和sad；利用图割算法对视差值计算进行优化，构建图割算法的能量函数；基于所述图割算法的能量函数进行计算，得到特征点的视差值。

15、作为本发明所述基于改进sift特征点的双目视觉空间跟踪定位方法的一种优选方案，其中：所述特征点的视差值的计算公式如下：

16、

17、其中，dp为特征点p的最佳视差值；dp为特征点p的视差值集合；w(x,y)为自适应窗口的大小；il为左图像的像素值；ir为右图像的像素值；p1为与特征点p相邻的像素点；n为特征点p所有邻域系统；λ为平滑参数；dp1为像素点p1的视差值集合；τ为控制视差差异影响的阈值。

18、作为本发明所述基于改进sift特征点的双目视觉空间跟踪定位方法的一种优选方案，其中：所述对特征点的位置进行计算为利用视差值和摄像头的基线长度进行三角化计算，得到特征点的三维坐标；所述三角化计算为利用最小二乘法对三角化方程进行计算，将重投影误差最小化，得到特征点的三维坐标；所述特征点的三维坐标的计算公式如下：

19、

20、其中，x0为初步计算的特征点位置；b为摄像头的基线长度；xl为特征点在左图像中的坐标；xr为特征点在右图像中的坐标；dp为特征点p的最佳视差值；x为特征点的三维坐标；为最小化目标函数的参数；xi为第i个图像中的特征点；pi为第i个相机的投影矩阵；pi3为第i个相机的投影矩阵的第三行。

21、第二方面，本发明为进一步解决视觉跟踪定位中存在的安全问题，实施例提供了基于改进sift特征点的双目视觉空间跟踪定位系统，其包括：图像特征模块，用于采集图像数据和摄像头参数，并基于图像数据进行特征点提取和特征点匹配，得到最佳匹配点对；特征坐标模块，用于根据最佳匹配点对计算特征点的视差值，并根据视差值和摄像头参数对特征点的位置进行计算，得到特征点的三维坐标；跟踪定位模块，用于根据特征点的三维坐标对特征点进行运动跟踪，基于得到的特征点的运动信息对相机进行运动跟踪，得到相机的位置和姿态并进行优化，实现目标物体的跟踪定位。

22、第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于改进sift特征点的双目视觉空间跟踪定位方法的任一步骤。

23、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于改进sift特征点的双目视觉空间跟踪定位方法的任一步骤。

24、本发明有益效果为：本发明通过利用surf算法提取关键特征点，再利用多尺度匹配方法进行特征点多尺度匹配，实现对图像中稳定和显著特征的精准提取和高质量匹配，为后续视差计算和三维重建奠定了基础；通过引入自适应窗口的视差计算方法和图割算法能量函数优化方法，实现对图像局部纹理和深度变化的适应，有效提高了视差值的准确性和鲁棒性；通过利用视差值和摄像头基线进行三角化计算，并采用最小二乘法优化重投影误差，实现特征点三维坐标的高精度重建，为相机的运动跟踪提供了准确的三维空间信息。

技术特征：

1.基于改进sift特征点的双目视觉空间跟踪定位方法，其特征在于：包括：

2.如权利要求1所述的基于改进sift特征点的双目视觉空间跟踪定位方法，其特征在于：所述图像数据包括左摄像头图像和右摄像头图像；

3.如权利要求2所述的基于改进sift特征点的双目视觉空间跟踪定位方法，其特征在于：所述特征点提取包括以下步骤：

4.如权利要求3所述的基于改进sift特征点的双目视觉空间跟踪定位方法，其特征在于：所述特征点匹配包括以下步骤：

5.如权利要求4所述的基于改进sift特征点的双目视觉空间跟踪定位方法，其特征在于：利用自适应窗口大小的视差计算方法对所述特征点的视差值进行计算；

6.如权利要求5所述的基于改进sift特征点的双目视觉空间跟踪定位方法，其特征在于：所述特征点的视差值的计算公式如下：

7.如权利要求6所述的基于改进sift特征点的双目视觉空间跟踪定位方法，其特征在于：所述对特征点的位置进行计算为利用视差值和摄像头的基线长度进行三角化计算，得到特征点的三维坐标；

8.基于改进sift特征点的双目视觉空间跟踪定位系统，基于权利要求1～7任一所述的基于改进sift特征点的双目视觉空间跟踪定位方法，其特征在于：包括，

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的基于改进sift特征点的双目视觉空间跟踪定位方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的基于改进sift特征点的双目视觉空间跟踪定位方法的步骤。

技术总结
本发明公开了基于改进SIFT特征点的双目视觉空间跟踪定位方法及系统，涉及计算机视觉技术领域，包括采集图像数据和摄像头参数并进行预处理，对所述图像数据进行特征点提取和特征点匹配；根据特征点的匹配结果对特征点的视差值进行计算；利用所述视差值和所述摄像头参数对特征点的位置进行计算，得到特征点的三维坐标；基于所述三维坐标进行运动跟踪，得到相机的状态；对所述相机的状态进行优化，实现目标物体的跟踪定位。本发明通过利用SURF算法和多尺度匹配方法进行特征点提取和匹配，实现特征的精准提取和高质量匹配；引入自适应窗口的视差计算方法，提高视差值的准确性和鲁棒性；利用最小二乘法优化重投影误差，提高特征点三维坐标的准确性。

技术研发人员：谢春,时磊,李瑾,邓凯锋,申溥婷,叶锐,何荧,方文发,蒲阳
受保护的技术使用者：贵州电网有限责任公司
技术研发日：
技术公布日：2024/12/5