一种混合现实虚实融合方法、装置及系统与流程

本发明涉及机器视觉与图像融合，更具体的说，涉及一种混合现实虚实融合方法、装置及系统、介质。

背景技术：

1、混合现实技术(mr，mixed reality)通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

2、混合现实系统中对虚拟物体的显示真实感要求较高，目的是让虚拟物体与真实物体无缝对接，保持场景的沉浸感和虚拟物体的真实感，这种要求也对显示技术提出了新的挑战。

3、现有的混合现实系统架构中，在虚实融合场景中通过渲染技术呈现虚拟物体，在虚实结合时为了确定虚拟物体与真实物体的前后遮挡关系，通常采用以下三种显示策略：

4、1)虚拟物体永远显示在真实物体之前；

5、2)尝试获得尽量精确的深度信息，直接比较真实物体与虚拟物体的深度；

6、3)从真实物体的图像中获取某些信息，结合不完全精确的深度进行抠图。

7、对于第一种显示策略，显示效果不够真实，用户体验感较差；

8、对于第二种显示策略，处理深度图所需的计算量非常大，可能无法实时计算。根据现有技术中的算法平均耗时48.4ms，显示延迟约116ms，即只能支持最高20fps的虚实结合，且效果有人眼明显可感知的延迟。

9、对于第三种显示策略，根据现有技术中的算法，通常要求深度图与rgb图像来自同一时刻。但是，在可穿戴式设备中，受功率和发热限制，获取深度图的延迟通常远高于获取rgb图像的延迟，帧率往往低于rgb图像的帧率，因此算法难以使用最新的rgb图像，同样会提高显示系统的总延迟。

10、基于上述分析，现有技术中对于混合现实系统的虚实融合场景显示效果差，存在延迟而难以得到有效解决。

技术实现思路

1、本发明的目的是提供一种混合现实虚实融合方法、装置及系统、介质，解决现有技术虚拟现实虚实融合显示效果差、存在较大延时的问题。

2、为了实现上述目的，本发明提供了一种混合现实虚实融合方法，包括以下步骤：

3、获取真实世界的rgb图像、深度图像以及获取虚拟图像、虚拟深度；

4、比较深度图像和虚拟深度生成遮挡关系图，基于rgb图像的历史帧和遮挡关系图生成色彩模型；

5、采用rgb图像的最新帧对色彩模型进行保边滤波，获得最终融合权值图；

6、根据最终融合权值图，对真实世界的rgb图像和虚拟图像进行加权融合，混合生成显示图像。

7、在一些实施例中，所述比较深度图像和虚拟深度生成遮挡关系图，基于rgb图像的历史帧和遮挡关系图生成色彩模型，进一步包括：

8、选取深度图像的最新帧、虚拟图像的历史帧的虚拟深度、rgb图像的历史帧；

9、将深度图像和虚拟图像的虚拟深度进行比较，在rgb图像的历史帧中标记遮挡关系，得到第一遮挡关系图；

10、选取rgb图像的历史帧，并进行分块，根据第一遮挡关系图分别对每一块图像的不同遮挡区域生成色彩模型。

11、在一些实施例中，所述采用rgb图像的最新帧对色彩模型进行保边滤波，获得最终融合权值图，进一步包括：

12、选取rgb图像的最新帧，根据rgb图像历史帧的色彩模型对像素点被遮挡的概率进行估计，得到遮挡概率图；

13、获取rgb图像的最新帧，对遮挡概率图进行保边滤波，得到第一权值图；

14、将第一权值图作为最终融合权值图。

15、在一些实施例中，所述获取rgb图像的最新帧，对遮挡概率图进行保边滤波，得到第一权值图，进一步包括：

16、获取rgb图像的最新帧的亮度分量，采用亮度分量对遮挡概率图进行导向滤波，得到第一权值图。

17、在一些实施例中，所述获取rgb图像的最新帧，对遮挡概率图进行保边滤波，得到第一权值图，进一步包括：

18、获取rgb图像的最新帧，对遮挡概率图进行联合双边滤波，得到第一权值图。

19、在一些实施例中，混合现实虚实融合方法还包括以下步骤：

20、对第一遮挡关系图进行形态学变换，得到第二权值图；

21、将第一权值图和第二权值图进行加权融合，得到第三权值图，作为最终融合权值图。

22、在一些实施例中，所述获取真实世界的rgb图像、深度图像，进一步包括：以预设帧率连续获取真实世界的rgb图像、深度图像及曝光时间戳；

23、所述获取虚拟图像、虚拟深度，进一步包括：以预设帧率连续获取虚拟图像和虚拟图像的虚拟深度。

24、在一些实施例中，所述获取真实世界的rgb图像、深度图像以及获取虚拟图像、虚拟深度之后，进一步包括：对所获取的所有图像进行下采样到低分辨率图像；

25、所述根据最终融合权值图，对真实世界的rgb图像和虚拟图像进行加权融合，混合生成显示图像之前，进一步包括：将最终融合权重图进行上采样至显示分辨率。

26、在一些实施例中，对于所获取的rgb图像和虚拟图像，使用双线性插值进行下采样。

27、在一些实施例中，对于所获取的深度图像和虚拟深度，使用最近邻插值进行下采样。

28、在一些实施例中，所述在rgb图像中标记遮挡关系，进一步包括：

29、将rgb图像分为显示虚拟图像区域、显示真实图像区域以及待定区域三部分；

30、将显示虚拟图像区域标记为第一系数；

31、将显示真实图像区域标记为第二系数；

32、将待定区域标记为第三系数。

33、在一些实施例中，所述在rgb图像中标记遮挡关系，进一步包括：

34、将深度缺失的区域标记为待定区域；

35、将虚拟深度缺失的区域不作标记。

36、在一些实施例中，所述对第一遮挡关系图进行形态学变换，得到第二权值图，进一步包括：

37、对第一遮挡关系图的待定区域进行形态学膨胀，得到第二遮挡关系图；

38、对第二遮挡关系图进行边缘处理，得到第二权值图。

39、在一些实施例中，所述对第二遮挡关系图进行边缘处理，得到第二权值图，进一步包括：

40、对第二遮挡关系图进行滤波并进行三值化处理，得到第三遮挡关系图；

41、对第三遮挡关系图进行滤波，得到第二权值图。

42、在一些实施例中，所述色彩模型包括颜色直方图；

43、所述分别对每一块图像中不同遮挡区域生成色彩模型，进一步包括：分别对每一块图像中的未被遮挡区域和被遮挡区域进行颜色直方图统计。

44、在一些实施例中，在进行颜色直方图统计时，将色深进行降采样处理。

45、在一些实施例中，所述选取rgb图像的最新帧，根据rgb图像历史帧的色彩模型对像素点被遮挡的概率进行估计，得到遮挡概率图，进一步包括：

46、对第一遮挡关系图的待定区域进行形态学膨胀，得到第二遮挡关系图；

47、选取rgb图像的最新帧，根据第二遮挡关系图中待定区域位置，对rgb图像的最新帧相应区域的每个像素点进行被遮挡概率的估计，得到遮挡概率图。

48、在一些实施例中，所述根据第二遮挡关系图中待定区域位置，对rgb图像的最新帧相应位置区域的每个像素点进行被遮挡概率的估计，得到遮挡概率图，进一步包括：

49、在rgb图像的历史帧中选取与当前像素点最接近的若干块图像；

50、根据若干块图像的色彩模型，估计当前像素点相近区域的色彩模型；

51、根据估计得到的色彩模型，计算当前像素点的颜色在不同遮挡区域中的分布；

52、根据分布估计当前像素点被遮挡的概率；

53、对概率值进行正则化约束，得到遮挡概率图。

54、在一些实施例中，所述亮度分量，进一步包括yuv空间中的y通道、lab空间中的l通道、hsi空间中的i通道和hsl空间中的l通道。

55、为了实现上述目的，本发明提供了一种混合现实虚实融合装置，包括图像信息处理器、深度信息处理器、中央处理器、显示处理单元：

56、所述图像信息处理器，与中央处理器、显示处理单元连接，用于获取真实世界的rgb图像并发送至中央处理器和显示处理单元；

57、所述深度信息处理器，与中央处理器连接，用于获取真实场景的深度图像并发送至中央处理器；

58、所述中央处理器，与显示处理单元连接，用于获取虚拟深度，执行如上述任一项所述的混合现实虚实融合方法，并将最终融合权值图发送至显示处理单元；

59、所述显示处理单元，获取中央处理器发送的最终融合权值图，对真实世界的rgb图像和虚拟图像进行加权融合，混合生成显示图像。

60、在一实施例中，所述图像信息处理器，与场景相机连接，获取场景相机的采集数据并生成rgb图像；

61、所述深度信息处理器，与深度传感器连接，获取深度传感器的采集数据并生成深度图像。

62、为了实现上述目的，本发明提供了一种混合现实虚实融合系统，包括混合现实虚实融合装置、场景相机、深度传感器、图形处理器和显示设备：

63、所述混合现实虚实融合装置，采用如上述任一项所述的混合现实虚实融合装置；

64、所述场景相机，用于采集真实场景的rgb图像并发送至混合显示虚实装置；

65、所述深度传感器，用于采集真实场景的深度图像并发送至混合显示虚实装置；

66、所述图像处理器，用于生成虚拟图像和虚拟深度并发送至混合显示虚实装置；

67、所述显示设备，用于接收混合显示虚实装置生成的显示图像并显示。

68、为了实现上述目的，本发明提供了一种计算机可读介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如上述任一项所述的方法。

69、本发明提供了一种混合现实虚实融合方法、装置及系统、介质，使用色彩建模和保边滤波的方法计算图像虚实融合参数，既考虑了历史和当前的rgb图像，保证深度图像与rgb图像的正确匹配，又能够利用最新的图像信息，有效降低显示延迟。

技术特征：

1.一种混合现实虚实融合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的混合现实虚实融合方法，其特征在于，所述比较深度图像和虚拟深度生成遮挡关系图，基于rgb图像的历史帧和遮挡关系图生成色彩模型，进一步包括：

3.根据权利要求1所述的混合现实虚实融合方法，其特征在于，所述采用rgb图像的最新帧对色彩模型进行保边滤波，获得最终融合权值图，进一步包括：

4.根据权利要求3所述的混合现实虚实融合方法，其特征在于，所述获取rgb图像的最新帧，对遮挡概率图进行保边滤波，得到第一权值图，进一步包括：

5.根据权利要求3所述的混合现实虚实融合方法，其特征在于，所述获取rgb图像的最新帧，对遮挡概率图进行保边滤波，得到第一权值图，进一步包括：

6.根据权利要求2所述的混合现实虚实融合方法，其特征在于，还包括以下步骤：

7.根据权利要求1所述的混合现实虚实融合方法，其特征在于，所述获取真实世界的rgb图像、深度图像，进一步包括：以预设帧率连续获取真实世界的rgb图像、深度图像及曝光时间戳；

8.根据权利要求1所述的混合现实虚实融合方法，其特征在于，所述获取真实世界的rgb图像、深度图像以及获取虚拟图像、虚拟深度之后，进一步包括：对所获取的所有图像进行下采样到低分辨率图像；

9.根据权利要求8所述的混合现实虚实融合方法，其特征在于，对于所获取的rgb图像和虚拟图像，使用双线性插值进行下采样。

10.根据权利要求8所述的混合现实虚实融合方法，其特征在于，对于所获取的深度图像和虚拟深度，使用最近邻插值进行下采样。

11.根据权利要求2所述的混合现实虚实融合方法，其特征在于，所述在rgb图像中标记遮挡关系，进一步包括：

12.根据权利要求11所述的混合现实虚实融合方法，其特征在于，所述在rgb图像中标记遮挡关系，进一步包括：

13.根据权利要求6所述的混合现实虚实融合方法，其特征在于，所述对第一遮挡关系图进行形态学变换，得到第二权值图，进一步包括：

14.根据权利要求13所述的混合现实虚实融合方法，其特征在于，所述对第二遮挡关系图进行边缘处理，得到第二权值图，进一步包括：

15.根据权利要求2所述的混合现实虚实融合方法，其特征在于，所述色彩模型包括颜色直方图；

16.根据权利要求15所述的混合现实虚实融合方法，其特征在于，在进行颜色直方图统计时，将色深进行降采样处理。

17.根据权利要求3所述的混合现实虚实融合方法，其特征在于，所述选取rgb图像的最新帧，根据rgb图像历史帧的色彩模型对像素点被遮挡的概率进行估计，得到遮挡概率图，进一步包括：

18.根据权利要求13所述的混合现实虚实融合方法，其特征在于，所述根据第二遮挡关系图中待定区域位置，对rgb图像的最新帧相应位置区域的每个像素点进行被遮挡概率的估计，得到遮挡概率图，进一步包括：

19.根据权利要求4所述的混合现实虚实融合方法，其特征在于，所述亮度分量，进一步包括yuv空间中的y通道、lab空间中的l通道、hsi空间中的i通道和hsl空间中的l通道。

20.一种混合现实虚实融合装置，其特征在于，包括图像信息处理器、深度信息处理器、中央处理器、显示处理单元：

21.根据权利要求20所述的混合现实虚实融合装置，其特征在于，所述图像信息处理器，与场景相机连接，获取场景相机的采集数据并生成rgb图像；

22.一种混合现实虚实融合系统，其特征在于，包括混合现实虚实融合装置、场景相机、深度传感器、图形处理器和显示设备：

23.一种计算机可读介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如权利要求1-19任一项所述的方法。

技术总结
本发明涉及机器视觉与图像融合技术领域，更具体的说，涉及一种混合现实虚实融合法、装置及系统、介质。本方法包括：获取真实世界的RGB图像、深度图像以及获取虚拟图像、虚拟深度；比较深度图像和虚拟深度生成遮挡关系图，基于RGB图像的历史帧和遮挡关系图生成色彩模型；采用RGB图像的最新帧对色彩模型进行保边滤波，获得最终融合权值图；根据最终融合权值图，对真实世界的RGB图像和虚拟图像进行加权融合，混合生成显示图像。本发明使用色彩建模和保边滤波的方法计算图像虚实融合参数，既保证深度图像与RGB图像的正确匹配，又能有效降低显示延迟。

技术研发人员：仇燚,贾韬,王易诚,尹文,王超昊
受保护的技术使用者：万有引力（宁波）电子科技有限公司
技术研发日：
技术公布日：2024/12/5