基于神经辐射场的水下低光静态场景三维重建及增强方法

本发明涉及三维视觉及图像处理领域，具体涉及一种基于神经辐射场的水下低光静态场景三维重建及增强方法。

背景技术：

1、随着计算机视觉和计算摄影技术的快速发展，三维重建技术在许多领域得到了广泛应用，例如虚拟现实、增强现实、文化遗产保护和医学成像等。然而，水下环境由于其复杂的光学特性，一直是三维重建领域的一大挑战。水下光照条件复杂，光的散射和吸收效应显著，导致传统的基于光学的三维重建方法在水下环境中效果不佳。

2、传统的水下三维重建方法主要依赖于结构光、激光扫描以及多视角立体视觉等技术。这些方法在浅水环境或光照条件较好的情况下可以取得一定的效果，但在低光、深水或浑浊水体中，其性能显著下降。此外，这些方法通常需要复杂的设备和大量的计算资源，难以在实际应用中推广。

3、近年来，神经辐射场(neural radiance fields，nerf)技术的出现为三维重建领域带来了新的机遇。nerf利用深度学习技术，通过训练神经网络来表示三维场景的辐射场，可以在高质量重建和渲染方面取得令人瞩目的效果。nerf的核心思想是将场景的三维信息隐式地编码在神经网络的权重中，并通过优化过程从稀疏的图像视图中重建出高质量的三维场景。

4、然而，nerf技术在水下低光静态场景中的应用仍面临诸多挑战。水下环境的光照条件极其复杂，光线在水中的传播受到多种因素的影响，包括散射、吸收和折射等。这些因素使得水下图像质量较低，给nerf的训练和优化带来了困难。此外，水下环境中存在大量悬浮颗粒和生物，这些也会干扰图像的获取和处理。

技术实现思路

1、本发明的主要目的在于克服上述背景技术的缺陷，提供一种基于神经辐射场的水下低光静态场景三维重建及增强方法，解决现有技术难以高效、高质量重建与增强水下低光静态场景三维模型的问题。

2、为实现以上目的，本发明采用以下技术方案：一种基于神经辐射场的水下低光静态场景三维重建及增强方法，该方法包括如下步骤：

3、步骤a、通过相机获取多曝光的水下低光静态场景的可见光学图像数据；

4、步骤b、计算拍摄可见光学图像对应的相机内外参；

5、步骤c、基于retinex理论及体渲染技术对光场和反射场进行物理建模，构建场景神经辐射场模型，基于体渲染技术对水介质进行物理建模，构建介质神经辐射场模型，从而构建水下低光静态场景的整体神经辐射场模型；

6、步骤d、将相机采集的单曝光可见光学图像以及对应的相机内外参输入整体神经辐射场模型进行监督训练，得到水下低光静态场景的重建结果；

7、步骤e、基于视觉理论构建亮度增强模型；

8、步骤f、基于训练好的场景神经辐射场模型，结合相机采集的多曝光可见光学图像以及对应的相机内外参，对亮度增强模型进行监督训练，输出去除水介质干扰、增亮后的水下三维场景模型，可渲染任意视角下的二维可见光学图像。

9、进一步地，所述步骤a具体为：对目标场景均匀划分采集相机点位；在每个点位采集至少两组不同快门时间下的可见光学图像。

10、进一步地，所述步骤b中，通过sfm算法计算拍摄可见光学图像对应的相机内外参，具体为：

11、步骤①、使用图像特征点提取算法在每张图像中检测关键点和特征描述子，通过特征描述子在不同图像中找到匹配特征点对；

12、步骤②、通过随机采样一致性算法估计基本矩阵，利用标定相机内参计算本质矩阵；

13、步骤③、通过三角化验证方法从本质矩阵中恢复相机相对旋转和平移矩阵的多组解，并从中选择出正确解；

14、步骤④、使用三角化方法从匹配特征点重建三维点；

15、步骤⑤、从两个视图开始，逐步加入新视图，增量式优化相机外参和三维点云；

16、步骤⑥、通过预先标定或者自标定方法估计相机内参。

17、进一步地，所述步骤c具体包括以下子步骤：

18、步骤①、光线参数化：令光线的起点为o(x,y,z)，方向为

19、步骤②、离散采样：在光线r上均匀采样n个点r(ti),i＝1,…,n；

20、步骤③、获取光场与反射场：根据retinex理论，通过场景神经辐射场模型φ1获取每个采样点r(ti)的光场值为l(r(ti))＝φ1(r(ti),d)，反射场值为r(r(ti))＝φ1(r(ti))，物体体素密度为

21、步骤④、获取水介质颜色和密度：获取由介质神经辐射场模型φ2预测和输出的每个采样点r(ti)的介质颜色和介质体素密度

22、步骤⑤、计算累计透明度：计算每个采样点r(ti)的物体累计透明度和介质累计透明度

23、步骤⑥、可微体渲染获取预测图像：由神经辐射场模型φ1和φ2预测每个采样点r(ti)的光场值l(r(ti))、反射场值r(r(ti))、物体体素密度物体累计透明度介质颜色介质体素密度以及介质累计透明度经过可微体渲染计算得到光线r的最终颜色值并通过图像上所有光线的最终颜色值生成预测图像。

24、进一步地，所述可微体渲染计算公式为：

25、

26、其中，为物体预测颜色，为介质预测颜色，δi为相邻采样点之间的距离，

27、进一步地，所述步骤d中，通过相机采集的曝光参数为∈0的可见光学图像数据集进行监督训练，采用梯度下降优化策略，训练损失其中，λ1，λ2，λ3为超参数；为重建光度损失；为光场平滑损失；为介质体素密度优化损失，用于约束水介质的密度分布，使其尽可能的均匀；为物体体素密度优化损失，用于保证场景神经辐射场模型能够构建正确的物体几何；训练结束后，可由任意视角访问神经辐射场模型，获取对应的二维含介质/无介质重建视图。

28、进一步地，中的重建光度损失公式为：其中sg(·)表示梯度停止，ε＝10-3，c0,分别为曝光参数∈0下相机采集可见光学图像和神经辐射场模型φ1和φ2预测图像的颜色值；

29、光场平滑损失公式为：其中l为光场值l经过可微体渲染后的二维光场图像，和分别表示二维光场图像l在水平方向和垂直方向上的梯度；

30、介质体素密度优化损失采用方差函数，且假设介质辐射场在体渲染过程中在光线与物体表面相交处停止，公式为：ti<depthobj(r)，其中var(·)为样本方差，为预测物体深度，ti为采样点到光线原点的距离；

31、物体体素密度优化损失使物体体素密度在光线r上的分布尽可能的致密，对非致密分布进行惩罚，其积分形式为其中u和v为光线r上任意两点，其离散形式为其中ti,ti’为光线r上采样点。

32、进一步地，所述步骤f中，对亮度增强模型进行监督训练，具体为：

33、训练阶段，亮度增强模型φ3输入为场景神经辐射场φ1输出的采样点光场值l(r(ti))与亮度调整系数其中，∈0,∈j∈∈,j＝1,…,m，∈为由多曝光可见光学图像数据对应的曝光参数构成的集合，m＝|∈|-1；φ3输出为曝光参数∈j对应的增强光场值经过可微体渲染并结合场景神经辐射场φ1输出的采样点反射场值r(r(ti))，得到曝光参数∈j下对应的预测可见光学图像训练采用梯度下降优化策略，训练损失其中，χ1、χ2为超参数；为重建光度损失，为基于灰度世界理论的色彩矫正损失，为对比度损失；

34、推理阶段，通过控制亮度调整系数以获取亮度增强后的水下低光静态场景。

35、进一步地，中的重建光度损失公式为：其中sg(·)表示梯度停止，ε＝10-3，cj,分别为曝光参数∈j下相机采集可见光学图像和神经辐射场模型φ1和φ2预测图像的颜色值；

36、色彩矫正损失公式为：其中p,q为的rgb通道，且满足(p,q)∈{(r,g),(r,b),(g,b)}；

37、对比度损失公式为：其中ζ为超参数。

38、进一步地，所述场景神经辐射场模型为一个由全连接层组成的神经网络，包含：一个8层256维共用全连接层，后接三个分支网络，分别为1层128维全连接层、1层128维全连接层、4层分别为128维、128维、1维、128维的全连接层，分别用于输出物体体素密度值、反射场值与光场值，层级间采用非线性激活函数relu，输出层分别采用softplus、sigmoid、sigmoid激活函数；

39、所述介质神经辐射场模型为一个4层全连接层网络，其中前3层为256维，最后一层为128维，用于输出采样点介质体素密度值与介质颜色值，层级间采用非线性激活函数relu，输出层分别采用softpulus、sigmoid激活函数；

40、所述亮度增强模型为一个由3层分别为256维、128维、128维的全连接层组成的神经网络。

41、本发明还提供一种基于神经辐射场的水下低光静态场景三维重建及增强系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行上述的基于神经辐射场的水下低光静态场景三维重建及增强方法。

42、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行上述的基于神经辐射场的水下低光静态场景三维重建及增强方法。

43、本发明的有益效果是：本发明提出的基于神经辐射场的水下低光静态场景三维重建及增强方法，结合了nerf的优势，并针对水下环境的特殊光学特性进行了物理建模，旨在提高水下三维重建的精度和效率。具体而言，本发明基于retinex理论以及水下环境的物理特性构建了适应性的神经网络结构以及有效的训练策略，实现了在低光条件下的高质量水下三维重建。该方法不仅能够在低光条件下有效工作，还可以增强水下图像的视觉效果，从而为后续的应用提供更高质量的数据支持。

技术特征：

1.一种基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，所述步骤a具体为：对目标场景均匀划分采集相机点位；在每个点位采集至少两组不同快门时间下的可见光学图像。

3.根据权利要求1所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，所述步骤b中，通过sfm算法计算拍摄可见光学图像对应的相机内外参，具体为：

4.根据权利要求1所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，所述步骤c具体包括以下子步骤：

5.根据权利要求4所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，所述可微体渲染计算公式为：

6.根据权利要求4所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，所述步骤d中，通过相机采集的曝光参数为∈0的可见光学图像数据集进行监督训练，采用梯度下降优化策略，训练损失其中，λ1，λ2，λ3为超参数；为重建光度损失；为光场平滑损失；为介质体素密度优化损失，用于约束水介质的密度分布，使其尽可能的均匀；为物体体素密度优化损失，用于保证场景神经辐射场模型能够构建正确的物体几何；训练结束后，可由任意视角访问神经辐射场模型，获取对应的二维含介质/无介质重建视图。

7.根据权利要求6所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，中的重建光度损失公式为：其中sg(·)表示梯度停止，ε＝10-3，分别为曝光参数∈0下相机采集可见光学图像和神经辐射场模型φ1和φ2预测图像的颜色值；

8.根据权利要求6所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，所述步骤f中，对亮度增强模型进行监督训练，具体为：

9.根据权利要求8所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，中的重建光度损失公式为：其中sg(·)表示梯度停止，ε＝10-3，分别为曝光参数∈j下相机采集可见光学图像和神经辐射场模型φ1和φ2预测图像的颜色值；

10.根据权利要求1-9中任一项所述的基于神经辐射场的水下低光静态场景三维重建及增强方法，其特征在于，所述场景神经辐射场模型为一个由全连接层组成的神经网络，包含：一个8层256维共用全连接层，后接三个分支网络，分别为1层128维全连接层、1层128维全连接层、4层分别为128维、128维、1维、128维的全连接层，分别用于输出物体体素密度值、反射场值与光场值，层级间采用非线性激活函数relu，输出层分别采用softplus、sigmoid、sigmoid激活函数；

技术总结
本发明公开了一种基于神经辐射场的水下低光静态场景三维重建及增强方法，包括如下步骤：通过相机获取多曝光的水下低光静态场景的可见光学图像数据；计算拍摄可见光学图像对应的相机内外参；构建水下低光静态场景的神经辐射场模型；将相机采集的可见光学图像以及对应的相机内外参输入神经辐射场模型进行监督训练；基于视觉理论构建亮度增强模型；将训练好的神经辐射场输入亮度增强模型进行监督训练，输出去除水介质干扰、增亮后的水下三维场景模型。本发明方法能够有效降低由于海水对光的吸收和散射、低光拍摄噪声等干扰因素对三维重建精度的影响，显著提高水下低光静态场景三维重建的真实性和准确性。

技术研发人员：孙浩,邹常青
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/12/5