基于无人机系统的光场重建方法
本发明涉及无人机和光场重建领域，具体涉及基于无人机系统的光场重建方法，采用自动控制技术，实现图像采集，通过移动载体暂时保存数据或者将数据实时传到地面端处理，利用图像数据实现光场重建。
背景技术：
1、由alexander gershun提出的光场概念相对于电磁场而言，认为光辐射可以表示为空间三维。直到后来，edward h.adelson用一个全光函数代表光场，全光函数是一个7维数学模型，包括三维空间的位置坐标、光线进入人眼的夹角、光线的波长、光线进入人眼的时刻。现在，学术界普遍采用一种由marc levoy提出的光场4d模型。目前，光场采集方案主要分为基于微透镜阵列的光场采集方案和基于相机阵列的光场采集方案。如美国lytro的基于微透镜阵列的光场相机，将物体发出的光线通过主透镜聚焦在微透镜阵列平面，然后利用微透镜阵列将光线分开并用传感器记录下来，这样就同时记录了光线的方向和强度。而基于相机阵列的光场采集，实质上就是很多传感器排列在一起，同时获取光线，每个传感器是一个视点。一般而言，基于微透镜阵列的光场采集方案体积较小，成本较低，但是受到透镜精度的限制，基于微透镜阵列的采集方法会造成严重的分辨率损失。而基于相机阵列的光场采集方案拥有基线大、视点分辨率不损失等优点，但其成本高，并具有硬件同步困难的缺点。此外，相机阵列体积大且笨重，不方便移动，应用场景非常受限。还有一些融合的方法，如基于掩膜的光场采集方案，基于掩膜的光场采集是通过对光场的学习去掉光场的冗余性，具体而言是用一块半透明的编码掩膜，利用可学习的光场字典从单幅图像重建，达到采集更少的数据重建出完整光场。但基于掩膜的光场采集光场质量较差，信噪比低。
2、近年来，无人机的身影频频出现，在农业植保、电力巡检、测绘、航拍、救援等领域已广泛应用。得益于传感器的发展和无人机技术的成熟，无人机用于测绘领域具有灵活机动、高速快速、精细准确、成本低等优点。在实际任务中，无人机一般根据预设的航点飞行，传感器将数据采集完成，交给地面站进行处理，获得测绘数据，也可用于三维重建。三维重建在文物保护、战场分析等场景均有重要用处。
3、在中国发明公开专利cn113850902a公开的“一种基于光场显微系统的光场三维重建方法”中，该系统按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机，根据需求确定了相机的移动间隔与移动平台的速度，由此确定相机端扫描策略。然后对采集到的图像进行一系列预处理，根据显微镜成像过程中散粒噪声特性，得到多光场图像三维重建目标函数。最终，完成目标物体的三维重建。该方案使用微透镜阵列采集光场信息，而微透镜阵列为了更多的角度分辨率，牺牲了其空间分辨率，会造成光场图像中每个子孔径图像的分辨率损失。除此之外，该光场显微系统使用固定平台挟持相机进行图像采集，其使用场景受限，无法自由移动平台并且能够采集的物体也有所限制。
技术实现思路
1、为了至少解决现有技术存在的问题之一，本发明提供一种基于无人机系统的光场重建方法，将目前成熟的无人机技术与光场图像采集结合起来，以无人机搭载高清相机来模仿相机阵列的光场采集，能够在不牺牲分辨率的同时进行灵活、多场景的光场信息采集，且具有基线大、灵活性高、不损失视点分辨率的优点，可用于空中和近地场景的优点。
2、为了实现本发明目的，本发明提供的基于无人机系统的光场重建方法，包括以下步骤：
3、控制搭载了高清相机的无人机接近光场重建目标并通过采集光场图像跑法进行光场采集，采集多张图像，所述采集光场图像跑法为单无人机九宫格跑法采集、单无人机环形跑法采集和无人机阵列采集中的任一种；
4、将无人机采集的图像从机载电脑回传至地面控制站；
5、地面控制站对回传的多张图像进行预处理；
6、将处理好的多张图像进行拼接，合成得到多子孔径光场图像。
7、进一步地，地面控制站采用电脑，利用3dr数传电台与无人机飞控进行通信，以获取无人机飞行状态数据，地面控制站的电脑与无人机的机载电脑连接，以利用地面控制站对机载电脑发送指令，机载电脑接受指令后控制无人机进行图像采集。
8、进一步地，地面控制站的电脑与无人机的机载电脑通过局域网或热点进行连接。
9、进一步地，在运行无人机进行图像采集前，先在仿真环境中验证无人机控制算法。
10、进一步地，运行无人机采集图像时，先利用遥控器控制无人机飞行至光场重建目标附近，调整无人机位置距离光场重建目标至预设距离，并使无人机携带高清相机正对光场重建目标，启动无人机hold模式稳定无人机位置，然后通过采集光场图像跑法进行光场采集。
11、进一步地，所述预处理包括但不限于去除运动模糊、色彩校准、平移中的任一种或多种。
12、进一步地，将合成得到的所述多子孔径光场图像存储在地面控制站中。
13、进一步地，所述单无人机九宫格跑法采集为，以无人机当前位置作为坐标原点与九宫格的中心，设置无人机九宫格航点，并设置九宫格各相邻航点的间距、无人机与光场重建目标之间的距离，无人机按顺序在每个航点悬停并拍摄光场重建目标的图像。
14、进一步地，所述单无人机环形跑法采集为，无人机以光场重建目标的上方预设距离处为初始点位，并在初始点位进行图像采集，然后以初始点位为圆心，以预设距离为半径进行环形飞行，并在环形飞行过程中间隔拍摄光场重建目标的多组图像。
15、进一步地，所述无人机阵列采集为，将无人机阵列中的所有无人机导航至光场重建目标前并位于不同位置，所有无人机搭载的高清图像均对光场重建目标进行拍摄。
16、进一步地，无人机系统包括基本的组成：牢固的机架、稳定的动力系统、安全的控制系统并能够搭载高清相机。动力系统包括桨叶、电调、电机和电池等，动力系统部件间相互匹配兼容，保证安全稳定的动力供给。控制系统包括飞控、机载电脑以及地面控制站，飞控接口足够并且兼容，保证包括数传、图传、gps、光流计等部件连接，确保能够获取准确的无人机飞行状态信息。要求机载电脑与地面控制站间通信稳定、快速。
17、进一步地，无人机采集跑法由机载电脑向无人机发送指令，利用mavros打通无人机与电脑的通信，并利用ros系统来进行无人机的控制。
18、进一步地，无人机可以导航飞到目的地附近，再通过飞手手动调整至合适位置。
19、进一步地，以上采集图像跑法都是基于无人机offboard模式下，以ros系统向无人机发送指令实现无人机的图像自动采集控制。
20、与现有技术相比，本发明至少能够实现以下有益效果：
21、1、以搭载了高清相机的无人机进行光场采集，拼接合成的光场图像的每张子孔径图的分辨率都为相机所支持分辨率，并且无人机进行图像采集时具有广阔的移动范围，具有基线大、分辨率不损失的优点。
22、2、利用无人机搭载普通相机进行光场采集，具有高灵活性，能够在多种场景下进行，不受场景约束。
技术特征：
1.基于无人机系统的光场重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于无人机系统的光场重建方法，其特征在于，地面控制站采用电脑，利用3dr数传电台与无人机飞控进行通信，以获取无人机飞行状态数据，地面控制站的电脑与无人机的机载电脑连接，以利用地面控制站对机载电脑发送指令，机载电脑接受指令后控制无人机进行图像采集。
3.根据权利要求2所述的基于无人机系统的光场重建方法，其特征在于，地面控制站的电脑与无人机的机载电脑通过局域网或热点进行连接。
4.根据权利要求1所述的基于无人机系统的光场重建方法，其特征在于，在运行无人机进行图像采集前，先在仿真环境中验证无人机控制算法。
5.根据权利要求1所述的基于无人机系统的光场重建方法，其特征在于，运行无人机采集图像时，先利用遥控器控制无人机飞行至光场重建目标附近，调整无人机位置距离光场重建目标至预设距离，并使无人机携带高清相机正对光场重建目标，启动无人机hold模式稳定无人机位置，然后通过采集光场图像跑法进行光场采集。
6.根据权利要求1所述的基于无人机系统的光场重建方法，其特征在于，所述预处理包括但不限于去除运动模糊、色彩校准、平移中的任一种或多种。
7.根据权利要求1所述的基于无人机系统的光场重建方法，其特征在于，将合成得到的所述多子孔径光场图像存储在地面控制站中。
8.根据权利要求1-7任一所述的基于无人机系统的光场重建方法，其特征在于，所述单无人机九宫格跑法采集为，以无人机当前位置作为坐标原点与九宫格的中心，设置无人机九宫格航点，并设置九宫格各相邻航点的间距、无人机与光场重建目标之间的距离，无人机按顺序在每个航点悬停并拍摄光场重建目标的图像。
9.根据权利要求1-7任一所述的基于无人机系统的光场重建方法，其特征在于，所述单无人机环形跑法采集为，无人机以光场重建目标的上方预设距离处为初始点位，并在初始点位进行图像采集，然后以初始点位为圆心，以预设距离为半径进行环形飞行，并在环形飞行过程中间隔拍摄光场重建目标的多组图像。
10.根据权利要求1-7任一所述的基于无人机系统的光场重建方法，其特征在于，所述无人机阵列采集为，将无人机阵列中的所有无人机导航至光场重建目标前并位于不同位置，所有无人机搭载的高清图像均对光场重建目标进行拍摄。
技术总结
本发明公开的基于无人机系统的光场重建方法，包括以下步骤：控制搭载了高清相机的无人机接近光场重建目标并通过采集光场图像跑法进行光场采集，采集多张图像，所述采集光场图像跑法为单无人机九宫格跑法采集、单无人机环形跑法采集和无人机阵列采集中的任一种；将无人机采集的图像从机载电脑回传至地面控制站；地面控制站对回传的多张图像进行预处理；将处理好的多张图像进行拼接，合成得到多子孔径光场图像。本发明能够在不牺牲分辨率的同时进行灵活、多场景的光场信息采集，且具有基线大、灵活性高、不损失视点分辨率的优点，可用于空中和近地场景的优点。
技术研发人员：周智恒,杨志鑫,刘兴达,陶希远,陈鸿杰,于泽睿,周泽南
受保护的技术使用者：华南理工大学
技术研发日：
技术公布日：2024/12/5