一种兼容虹膜识别的眼动追踪方法与系统与流程

本发明涉及vr识别，尤其涉及一种兼容虹膜识别的眼动追踪方法与系统。

背景技术：

1、虹膜识别是一种重要的生物特征识别技术手段，是通过对比虹膜图像特征之间的相似性确定人的身份，是多模态生物识别中安全性能显著的一种识别技术(仅次于dna识别技术)。虹膜识别系统的处理过程一般为通过红外相机采集眼部图像，进而通过图像处理与分析方法定位到虹膜区域，并对虹膜纹理进行编码和比对。

2、眼动追踪是一种对眼球运动、视线方向、视线落点进行追踪的一类技术。已逐渐成为当前xr形态产品如智能眼镜、vr/ar头显等产品的标配技术，这类设备对便携性要求较高，若在这类产品中增加虹膜识别功能，则需要考虑虹膜识别和眼动追踪对硬件的复用。这两个技术的共性是一般都需要用红外相机采集眼部图像进行分析处理，差异性则是虹膜识别任务要求尽可能得到清晰、不受干扰的虹膜图像，所以对采集图像的分辨率要求较高，且尽可能保证虹膜区域不受红外灯反射光斑的干扰，眼动追踪任务对虹膜图像纹理清晰度没有太多要求，更加强调系统的处理效率，同时最为主流的眼动追踪方法瞳孔-角膜反射法要保证瞳孔盯视不同方向时都能得到多个稳定的反射光斑。因此，若以虹膜识别的标准来实现眼动跟踪，会导致跟踪效率低下；若以眼动跟踪的标准来实现虹膜识别，会导致精确度变低。

3、因此，实现一种能够兼容虹膜识别的眼动追踪方法和系统，具有显著的现实意义。

技术实现思路

1、鉴于以上技术问题，本发明提供了一种兼容虹膜识别的眼动追踪方法与系统，以解决现有技术中虹膜识别与眼动跟踪不兼容的问题。

2、本公开的其他特征和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

3、根据本发明的一方面，公开一种兼容虹膜识别的眼动追踪方法，所述方法包括：

4、确认当前任务为虹膜识别、眼动跟踪或虹膜识别与眼动跟踪结合的一种，当使用者进行眼动跟踪时，驱使红外摄像头以第一分辨率采集由红外灯照亮第一人眼图像，当使用者进行仅虹膜识别或虹膜识别与眼动跟踪同时进行时，驱使所述红外摄像头切换至第二分辨率采集由多个所述红外灯照亮的第二人眼图像，多个所述红外灯与所述红外摄像头的位置关系满足至少有一个反射光斑位于所述第二人眼图像的瞳孔区域范围内，所述第二分辨率大于所述第一分辨率；

5、当采集的是所述第一人眼图像时，对所述第一人眼图像进行计算得到使用者的眼睛视线；

6、当采集的是所述第二人眼图像时，对所述第二人眼图像进行虹膜检测、虹膜分割，得到所述人眼图像的虹膜环形区域和瞳孔区域的分割掩膜；

7、检测所述虹膜环形区域和所述瞳孔区域内的反射光斑，得到所有的所述反射光斑的中心坐标及其与所述红外灯的对应关系，并经过配准后，得到对虹膜识别任务无效的反射光斑；

8、在进行虹膜识别任务时，将对虹膜识别任务无效的所述反射光斑对应的所述红外灯进行控制关闭；

9、对继续采集的所述第二人眼图像中的所述虹膜环形区域内虹膜纹理进行特征编码，得到虹膜纹理特征；

10、对不同的所述虹膜纹理特征进行对比，得到不同虹膜的相似度，基于所述相似度对使用者的身份进行识别。

11、进一步的，所述对所述第一人眼图像进行计算得到使用者的眼睛视线，包括：

12、采集使用者的同一眼睛的瞳孔图像，基于cnn网络，计算瞳孔的边界框，以检测得到瞳孔中心；

13、基于所述瞳孔图像中的所述反射光斑来定位使用者的所述瞳孔中心，将眼球模型的中心至所述瞳孔中心的矢量线作为使用者的所述眼睛视线，所述眼球模型为事先建立的，所述眼球模型在建立时包括：

14、连续捕捉使用者的同一眼睛的瞳孔图像，基于多视图几何原理和所述红外摄像头的内参、外参，将所述红外摄像头至其对应所述瞳孔中心的投射到三维空间中，得到射线，将不同的射线的交点或最接近点作为所述瞳孔中心的三维位置，对所述瞳孔中心的多个三维位置进行拟合，结合眼球半径经验常数，得到使用者的所述眼球模型。

15、进一步的，在对所述第二人眼图像进行虹膜检测、虹膜分割时，包括：

16、按照预设规则，将所述第二人眼图像进行分块，得到多个子图；

17、基于边缘检测和形态学操作，初步识别所述子图中的虹膜边缘，以及，基于图形拟合算法，初步定位所述子图中的瞳孔边界；

18、基于局部区域增长算法来分割提取每个所述子图初步检测到的虹膜和瞳孔的区域，以及基于边缘修正和形态学处理，对具有虹膜和瞳孔的区域的所述子图进行分割；

19、将各个所述子图中提取到的虹膜和瞳孔的区域进行融合，形成完整的所述虹膜环形区域和所述瞳孔区域的分割掩膜。

20、进一步的，在融合时，所述方法还包括：

21、在相邻两个所述子图存在不连续或冲突时，基于插值或边界平滑算法进行整合；

22、在融合后，所述方法还包括：

23、对重建后的所述虹膜环形区域和所述瞳孔区域的全局轮廓进行边缘平滑和小区域去除；

24、验证重建后的所述虹膜环形区域和所述瞳孔区域的形状、大小和位置是否符合生理学标准。

25、进一步的，在对所述反射光斑进行配准时，包括：

26、对所述反射光斑至所述瞳孔区域的距离进行判断，舍弃不在阈值范围内的所述反射光斑；

27、对所述反射光斑的形状进行判断，舍弃形状不符合预设规则的所述反射光斑；

28、对所述反射光斑的分布形状进行拟合，过滤掉拟合规律与所述红外灯的分布规律不对应的所述反射光斑。

29、进一步的，多个所述红外灯与所述红外摄像头在同一平面上同圆心分布。

30、进一步的，在进行检测所述虹膜环形区域和所述瞳孔区域内的反射光斑时，具体包括：

31、基于边缘检测算法计算所述所述虹膜环形区域和所述瞳孔区域内的各个所述反射光斑的边缘，得到各个所述反射光斑的形状；

32、根据各个所述反射光斑的边缘像素的位置，求取平均值得到所述中心坐标；

33、根据所述红外灯的位置布局，比较各个所述反射光斑的所述中心坐标的相对位置关系，得到各个所述中心坐标与多个所述红外灯的对应关系。

34、进一步的，在对虹膜纹理进行特征编码时，采用rubbersheet变换结合2d-gabor变换对虹膜纹理进行特征编码。

35、进一步的，在通过对比得到不同虹膜的所述相似度时，基于汉明距离来度量所述相似度。

36、根据本公开的第二方面，提供一种兼容虹膜识别的眼动追踪装置，包括：采集及分辨率切换模块，确认当前任务为虹膜识别、眼动跟踪或虹膜识别与眼动跟踪结合的一种，当使用者进行眼动跟踪时，驱使红外摄像头以第一分辨率采集由红外灯照亮第一人眼图像，当使用者进行仅虹膜识别或虹膜识别与眼动跟踪同时进行时，驱使所述红外摄像头切换至第二分辨率采集由多个所述红外灯照亮的第二人眼图像，多个所述红外灯与所述红外摄像头的位置关系满足至少有一个反射光斑位于所述第二人眼图像的瞳孔区域范围内，所述第二分辨率大于所述第一分辨率；

37、眼动跟踪模块，用于当采集的是所述第一人眼图像时，对所述第一人眼图像进行计算得到使用者的眼睛视线，

38、虹膜定位模块，用于当采集的是所述第二人眼图像时，对所述第二人眼图像进行虹膜检测、虹膜分割，得到所述人眼图像的虹膜环形区域和瞳孔区域的分割掩膜；

39、光斑检测模块，用于检测所述虹膜环形区域和所述瞳孔区域内的反射光斑，得到所有的所述反射光斑的中心坐标及其与所述红外灯的对应关系，并经过配准后，得到对虹膜识别任务无效的反射光斑；

40、灯光控制模块，用于在进行虹膜识别任务时，将对虹膜识别任务无效的所述反射光斑对应的所述红外灯进行控制关闭；

41、特征编码模块，用于对继续采集的所述第二人眼图像中的所述虹膜环形区域内虹膜纹理进行特征编码，得到虹膜纹理特征；

42、特征对比模块，用于对不同的所述虹膜纹理特征进行对比，得到不同虹膜的相似度，基于所述相似度对使用者的身份进行识别。

43、本公开的技术方案具有以下有益效果：

44、将眼动跟踪与虹膜识别结合，通过分辨率切换，可以低分辨率来实现眼动跟踪，以高分辨率来实现虹膜识别，因此，保持了眼动跟踪的高效率、虹膜识别的高精准度，大大提高了设备的兼容性。

技术特征：

1.一种兼容虹膜识别的眼动追踪方法，其特征在于，所述方法包括：

2.根据权利要求1所述的兼容虹膜识别的眼动追踪方法，其特征在于，所述对所述第一人眼图像进行计算得到使用者的眼睛视线，包括：

3.根据权利要求1所述的兼容虹膜识别的眼动追踪方法，其特征在于，在对所述第二人眼图像进行虹膜检测、虹膜分割时，包括：

4.根据权利要求3所述的兼容虹膜识别的眼动追踪方法，其特征在于，在融合时，所述方法还包括：

5.根据权利要求1所述的兼容虹膜识别的眼动追踪方法，其特征在于，在对所述反射光斑进行配准时，包括：

6.根据权利要求1所述的兼容虹膜识别的眼动追踪方法，其特征在于，多个所述红外灯与所述红外摄像头在同一平面上同圆心分布。

7.根据权利要求1所述的兼容虹膜识别的眼动追踪方法，其特征在于，在进行检测所述虹膜环形区域和所述瞳孔区域内的反射光斑时，具体包括：

8.根据权利要求1所述的兼容虹膜识别的眼动追踪方法，其特征在于，在对虹膜纹理进行特征编码时，采用rubbersheet变换结合2d-gabor变换对虹膜纹理进行特征编码。

9.根据权利要求1所述的兼容虹膜识别的眼动追踪方法，其特征在于，在通过对比得到不同虹膜的所述相似度时，基于汉明距离来度量所述相似度。

10.一种兼容虹膜识别的眼动追踪系统，其特征在于，包括：

技术总结
本发明涉及VR识别技术领域，具体公开一种兼容虹膜识别的眼动追踪方法与系统，方法包括：确认当前任务为虹膜识别、眼动跟踪或两者结合的一种，在任务不同时以不同的分辨率采集第一人眼图像或第二人眼图像，对第一人眼图像进行计算得到眼睛视线；对第二人眼图像进行计算得到虹膜环形区域和瞳孔区域的分割掩膜，并检测得到反射光斑，计算所有光斑的中心坐标及其与红外灯的对应关系，配准确认无效的光斑；将与无效的光斑对应的红外灯进行关闭；对继续采集的第二人眼图像中的虹膜纹理进行特征编码，得到虹膜纹理特征后进行对比，得到不同虹膜的相似度，基于相似度进行识别。本发明能够解决现有技术中虹膜识别与眼动跟踪不兼容的问题。

技术研发人员：王勃飞,王定球,陈晨航,张强,梁立伟,许明秋,杜与涌
受保护的技术使用者：深圳市华弘智谷科技有限公司
技术研发日：
技术公布日：2024/12/5