基于液晶微透镜阵列的点云三维重建方法及装置

1.本发明属于计算机视觉三维重建技术领域，具体涉及一种基于液晶微透镜阵列的点云三维重建方法及装置。


背景技术：

2.三维重建作为环境感知的关键技术之一，已在多个领域中广泛应用，如自动驾驶、运动目标检测，以及虚拟现实等等。
3.近年来诞生出许许多多计算机视觉三维重建方法，根据采集设备是否主动发出信号，分为主动视觉三维重建和被动视觉三维重建。其中，主动视觉三维重建方法包括结构光法和激光扫描法；被动视觉三维重建采集的信息则来自于摄像机。
4.三维重建首先需要采集重建场景信息，将采集的单视图或多视图，对比图像进行分析，再结合计算机视觉知识重建三维场景。由于单视图的信息不完全，因此需要利用经验知识。而基于多视图的三维重建方法相对比较容易，其原理基于三角学，通常情况下，需要将相机进行标定，求解出摄像机的图像坐标系和世界坐标系之间的关系，并利用多视图的信息获取深度数据、预处理信息、点云配准融合、生成表面，从而重建出场景。
5.常见三维重建的表达方式有深度图、点云、体素和网格，其中点云数据是某个坐标系下的点集，点包含了丰富的三维信息，例如坐标、颜色、强度等等信息。点云数据的呈现将现实世界以原子化表示，每个重建的物体都由大小相同的原子堆叠，高精度的点云能够还原现实世界。


技术实现要素：

6.本发明的目的在于，提供一种基于液晶微透镜阵列的点云三维重建方法及装置，基于液晶微透镜阵列重建出三维场景。
7.为实现上述目的，本发明提供了一种基于液晶微透镜阵列的点云三维重建方法，包括以下步骤：
8.基于液晶微透镜阵列获得光场图像；
9.利用非周期性视角图提取方法从光场图像中获取子视角图；
10.利用mvsnet网络对子视角图进行深度估计；
11.利用生成的深度图和rgb图像生成稠密点云。
12.在一些可选的实施方案中，基于液晶微透镜阵列获得光场图像包括：
13.将液晶微透镜阵列置于主透镜和探测器单元ccd之间，同时记录光线的方向以及光辐射量；
14.将被测物置于主透镜前，并对液晶微透镜加入外加电场，采集被测物的光场图像。
15.在一些可选的实施方案中，利用非周期性视角图提取方法从光场图像中获取子视角图包括：
16.标定微透镜中心；
17.结合相似三角形的原理，得出每个微透镜的偏移量，根据偏移量以非周期方式提取像素元，获得属于该视点的视角图。
18.在一些可选的实施方案中，标定微透镜中心包括：
19.拍摄多张白图像，分别用高斯滤波进行去噪处理，然后获得均值，得到一张白图像；根据透镜中心汇聚光最强的原理计算白图像的中心坐标；
20.根据白图像中心坐标，获得视点位置，以及微透镜对应的像素区域。
21.在一些可选的实施方案中，利用mvsnet网络对子视角图进行深度估计包括：
22.从获取的子视角图中选定参考图，将参考图和其余子视角图输入至mvsnet网络，进行深度特征提取、构造匹配代价、代价累计以及深度估计，得到深度图。
23.在一些可选的实施方案中，得到深度图之后，对深度图进行深度图优化。
24.在一些可选的实施方案中，利用生成的深度图和rgb图像生成稠密点云包括：
25.深度图像的估计会生成一个概率图，表示像素在深度方向的概率；
26.设定一个深度阈值来过滤深度概率，若一个像素对应的深度概率低于这个阈值，点云融合时这个深度值被过滤，即该像素不会出现在点云中，最终得到场景的点云三维重建。
27.在一些可选的实施方案中，液晶微透镜包括上、中、下三层，上层依次为玻璃衬底、ito膜、聚酰亚胺层，中层为液晶层，下层依次为聚酰亚胺层、ito膜、玻璃衬底。
28.一种用于实现上述的基于液晶微透镜阵列的点云三维重建方法的基于液晶微透镜阵列的点云三维重建装置，包括：
29.光场图像单元，用于基于液晶微透镜阵列获得光场图像；
30.视图提取单元，用于利用非周期性视角图提取方法从光场图像中获取子视角图；
31.深度估计单元，用于利用mvsnet网络对子视角图进行深度估计；
32.点云生成单元，用于利用生成的深度图和rgb图像生成稠密点云。
33.本发明与现有技术相比，具有以下优点及有益效果：
34.普通的光学透镜因其不可避免的畸变效应，会造成图像一定程度上的失真；而液晶在受到特定频率的光照时可以自发显著的变形，并且圆孔阵列中的液晶分子呈现折射率梯度渐变分布，会大大减少畸变效应；因此本发明结合液晶微透镜阵列获取场景的冗余信息，再通过深度学习的方法重建出三维场景，可以应用于增强现实、混合现实、机器人导航、自动驾驶等领域。
附图说明
35.图1是基于液晶微透镜阵列的点云三维重建方法流程图。
具体实施方式
36.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
37.本发明公开了一种基于液晶微透镜阵列的点云三维重建方法，可以结合光学元件
获取场景的冗余信息，通过深度学习的方法重建出三维场景，应用于增强现实、混合现实、机器人导航、自动驾驶等领域。
38.本发明使用液晶材料制备的具有电极结构柔性液晶器件实现三维重建。加入电场后，液晶分子因电场的作用指向方向改变，每个单元内液晶分子方向呈现折射率梯度分布，形成聚焦的光学透镜。故采用液晶微透镜阵列以及ccd相机采集光场图像，并对微透镜中心进行标定。然后，选择非周期性提取方法提取视角图像。接着使用mvs网络对多张图像和其参考图像进行有监督地端到端训练，并经过深度特征提取、构造匹配代价、代价累计、深度估计、深度图优化，得到以多视角图像为输入的深度估计图像和其概率图像。最后，利用深度估计得到的深度图像和其rgb图像生成稠密点云。在点云融合时，设置一个深度阈值，当概率图像中某个像素点对应的深度概率不符合阈值，则在点云中不会出现这个像素，最终得到场景的点云重建模型。
39.本发明实施例的基于液晶微透镜阵列的点云三维重建方法，如图1所示，包括：
40.1)电控可变焦液晶微透镜阵列元件的制备。
41.采用盐酸腐蚀方法和光刻技术制备柔性液晶微透镜阵列。液晶微透镜包括上、中、下三层，上层为玻璃衬底、ito膜、聚酰亚胺层，中层为液晶层，下层依次为聚酰亚胺层、ito膜、玻璃衬底。首先，将切好的两块ito玻璃进行清洗，随后进行光刻、显影，显影完成后，用盐酸腐蚀，清洗后获得上电极图案。其次，将洗净的玻璃，旋转涂抹上聚四氟乙烯溶液(teflon)，形成柔性薄膜，并进行退火处理，再用绒布摩擦玻璃表面。在被摩擦过的上、下基板中间，加入玻璃微球并用紫外胶封边，利用毛细原理灌入液晶，放置于紫外灯下照射固化封口，完成液晶微透镜阵列的制作。
42.聚酰亚胺层既为定向层又为绝缘层，上电极将ito膜通过光刻和盐酸腐蚀方法得到圆孔阵列图案，下电极也为ito膜，每个圆孔直径为50um，圆孔之间的距离也为59um。液晶层的厚度为20um，控制电压设置为1khz的方波，存在于上下电极之间。当在面阵液晶的上下极之间加上电场，每个单元之间的电场分布均匀，液晶分子的指向方向随电场方向改变，使得液晶每个单元内因液晶分子方向的改变呈现出折射率梯度分布，造成光线的偏折，形成了聚焦的光学透镜。
43.2)液晶微透镜阵列图像采集
44.在制作完成的液晶样品的上、下电极之间加上电场后，液晶层中每个单元内形成了均匀电场，液晶分子指向的方向随电场而改变，使得液晶样品中每个单元内呈现出折射率渐变梯度分布，造成光线偏折，从而达到了聚焦效果，形成了聚焦的光学透镜。
45.根据光场成像理论，将液晶微透镜阵列置于主镜头和探测器单元ccd之间，同时记录光线的方向以及光辐射量。将被测物体置于成像装置前，当对液晶微透镜加入外加电场，由于其电控调焦特性，使得图像采集时不需要机械变焦，图像采集更为稳定。普通的光学透镜因其不可避免的畸变效应，会造成图像一定程度上的失真。液晶在受到特定频率的光照时可以自发显著的变形，并且圆孔阵列中的液晶分子呈现折射率梯度渐变分布，会大大减少畸变效应。
46.将采集获得的光场图像，经过非周期性视角图提取方式，获得多视角图像。基于液晶微透镜阵列采集的光场图像，由多个子图像组成，每个微透镜对应一个子图像，视角图是从各子图中分别提取一个像素元排列后构成。首先，标定微透镜中心，需要先拍摄多张白图
像，分别用高斯滤波去噪处理，然后获得均值，得到一张白图像，根据透镜中心汇聚光最强的原理计算白图像的中心坐标。根据白图像中心坐标，获得视点位置，以及微透镜对应的像素区域。若假设光线平行入射，即不考虑光线的方向，则在提取子图像素时，各个微透镜的偏移量相同。实际情况下，成像系统可以记录光线的方向信息，任意视点对各个微透镜的相对偏移量是不同的，所以在提取子图像时，根据偏移量以非周期方式提取像素元。结合相似三角形的原理，得出每个微透镜的偏移量，并推出视点对应的子图的像素元位置。在任意视点，均可以从每个子图中提取一个像素点，获得属于该视点的视角图。
47.3)mvs网络：具有一定重叠度的多视图视角深度估计网络
48.使用一种基于深度学习的端到端深度估计框架——mvsnet，对多张图像和其参考图像通过监督学习的方式进行深度估计。基于深度学习的深度估计步骤是：深度特征提取、构造匹配代价、代价累计、深度估计、深度图优化。
49.首先，网络对输入的多张图像以及其参考图像进行处理，利用一个八层的二维卷积神经网络提取这些图像的深度特征，输出32通道的特征图，使得图像像素与其临近像素的信息编码到32通道中。
50.每张图像对应一张特征图，根据先验的深度范围信息，利用插值的方法构造图像对应的特征体，用特征体表示匹配代价。
51.构造一个具有长、宽、高的三维结构作为代价体，其中代价体的长宽为图像的长宽，而其深度方向为图像像素点对应的深度，每一个单位代表一个深度值。
52.通过网络学习进行深度估计，回归每一个像素在某个深度值的概率，得到一个参考图像和图像沿深度方向置信度的概率体。获得每张图像中每个像素在某个深度值的概率，按照赢者通吃的原则估计深度图。原始得到的深度图像内部较为平滑，但具有污染噪声，因此需要深度图优化。
53.4)点云重建。
54.利用生成的深度图和rgb图像生成稠密点云。在点云融合时，深度图像的估计会生成一个概率图，表示像素在深度方向的概率，设定一个深度阈值来过滤深度概率，若一个像素对应的深度概率低于这个阈值，点云融合时这个深度值就会被过滤，即该像素不会出现在点云中。最终可以得到场景的点云三维重建。
55.本发明还提供一种用于实现上述的基于液晶微透镜阵列的点云三维重建方法的基于液晶微透镜阵列的点云三维重建装置，包括：
56.光场图像单元，用于基于液晶微透镜阵列获得光场图像；
57.视图提取单元，用于利用非周期性视角图提取方法从光场图像中获取子视角图；
58.深度估计单元，用于利用mvsnet网络对子视角图进行深度估计；
59.点云生成单元，用于利用生成的深度图和rgb图像生成稠密点云。
60.综上所述，本发明结合液晶器件的电控调焦特性，利用液晶微透镜阵列元件代替传统微透镜阵列，搭建光场采集装置，来采集光场数据；采集的光场数据通过非周期性提取子视图方法获得子视角图；最后借用深度学习的方法，实现点云重建。
61.需要指出，根据实施的需要，可将本技术中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
62.本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于液晶微透镜阵列的点云三维重建方法，其特征在于，包括以下步骤：基于液晶微透镜阵列获得光场图像；利用非周期性视角图提取方法从光场图像中获取子视角图；利用mvsnet网络对子视角图进行深度估计；利用生成的深度图和rgb图像生成稠密点云。2.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，基于液晶微透镜阵列获得光场图像包括：将液晶微透镜阵列置于主透镜和探测器单元ccd之间，同时记录光线的方向以及光辐射量；将被测物置于主透镜前，并对液晶微透镜加入外加电场，采集被测物的光场图像。3.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，利用非周期性视角图提取方法从光场图像中获取子视角图包括：标定微透镜中心；结合相似三角形的原理，得出每个微透镜的偏移量，根据偏移量以非周期方式提取像素元，获得属于该视点的视角图。4.根据权利要求3所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，标定微透镜中心包括：拍摄多张白图像，分别用高斯滤波进行去噪处理，然后获得均值，得到一张白图像；根据透镜中心汇聚光最强的原理计算白图像的中心坐标；根据白图像中心坐标，获得视点位置，以及微透镜对应的像素区域。5.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，利用mvsnet网络对子视角图进行深度估计包括：从获取的子视角图中选定参考图，将参考图和其余子视角图输入至mvsnet网络，进行深度特征提取、构造匹配代价、代价累计以及深度估计，得到深度图。6.根据权利要求5所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，得到深度图之后，对深度图进行深度图优化。7.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，利用生成的深度图和rgb图像生成稠密点云包括：深度图像的估计会生成一个概率图，表示像素在深度方向的概率；设定一个深度阈值来过滤深度概率，若一个像素对应的深度概率低于这个阈值，点云融合时这个深度值被过滤，即该像素不会出现在点云中，最终得到场景的点云三维重建。8.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，液晶微透镜包括上、中、下三层，上层依次为玻璃衬底、ito膜、聚酰亚胺层，中层为液晶层，下层依次为聚酰亚胺层、ito膜、玻璃衬底。9.一种用于实现权利要求1至8中任意一项所述的基于液晶微透镜阵列的点云三维重建方法的基于液晶微透镜阵列的点云三维重建装置，其特征在于，包括：光场图像单元，用于基于液晶微透镜阵列获得光场图像；视图提取单元，用于利用非周期性视角图提取方法从光场图像中获取子视角图；深度估计单元，用于利用mvsnet网络对子视角图进行深度估计；
点云生成单元，用于利用生成的深度图和rgb图像生成稠密点云。

技术总结
本发明公开了一种基于液晶微透镜阵列的点云三维重建方法及装置，该方法包括以下步骤：基于液晶微透镜阵列获得光场图像；利用非周期性视角图提取方法从光场图像中获取子视角图；利用MVSNet网络对子视角图进行深度估计；利用生成的深度图和RGB图像生成稠密点云。普通的光学透镜因其不可避免的畸变效应，会造成图像一定程度上的失真；而液晶在受到特定频率的光照时可以自发显著的变形，并且圆孔阵列中的液晶分子呈现折射率梯度渐变分布，会大大减少畸变效应；因此本发明结合液晶微透镜阵列获取场景的冗余信息，再通过深度学习的方法重建出三维场景，可以应用于增强现实、混合现实、机器人导航、自动驾驶等领域。自动驾驶等领域。自动驾驶等领域。


技术研发人员：李晖 陈伟灵
受保护的技术使用者：武汉工程大学
技术研发日：2021.12.03
技术公布日：2022/3/8