一种图像处理方法及其相关装置与流程
本技术实施例涉及人工智能(artificial intelligence，ai)，尤其涉及一种图像处理方法及其相关装置。
背景技术：
1、高动态范围(high dynamic range，hdr)成像以及运动去模糊(motiondeblurring)作为计算机视觉应用中的关键问题，受到了越来越广泛的关注。随着ai技术的快速发展，越来越多的设备厂商在设备中内置ai技术中的神经网络模型，以通过模型来获取清晰的hdr图像。
2、在相关技术中，通常会利用两个神经网络模型来分别实现高动态范围成像以及运动去模糊。一般地，会通过第一个神经网络模型对模糊的低动态范围(low dynamic range，ldr)图像进行处理，从而得到模糊的hdr图像，然后通过第二个神经网络模型对模糊的hdr图像进行处理，从而得到清晰的hdr图像。至此，则成功完成了高动态范围成像以及运动去模糊。
3、上述过程中，由于高动态范围成像以及运动去模糊这两个过程是相互独立实现的，这样往往导致最终得到的清晰的hdr图像的质量较差，例如，最终得到的清晰的hdr图像出现色彩瑕疵、不正常的图像亮度以及不同程度的细节模糊等各种质量问题。
技术实现思路
1、本技术实施例提供了一种图像处理方法及其相关装置，可利用事件流从模糊的ldr图像中，恢复得到质量较高的清晰的hdr图像。
2、本技术实施例的第一方面提供了一种图像处理方法，该方法可通过目标模型实现，该方法包括：
3、当需要进行高动态范围成像以及运动去模糊时，可将模糊的ldr图像以及在模糊的ldr图像的曝光时间内所触发的事件流，输入至目标模型中。需要说明的是，事件流是在模糊的ldr图像的曝光时间内，由于拍摄场景的亮度发生变化所触发的，可以理解的是，模糊的ldr图像用于呈现前述的拍摄场景。
4、得到模糊的ldr图像以及事件流后，目标模型可利用事件流，对ldr图像进行动态范围增强处理，从而得到模糊的hdr图像。得到模糊的hdr图像后，目标模型可将模糊的hdr图像拆分为模糊的hdr图像的强度分量以及模糊的hdr图像的颜色分量，并利用事件流，对模糊的hdr图像的强度分量进行去模糊处理，从而得到清晰且不具备颜色的hdr图像。得到清晰且不具备颜色的hdr图像后，目标模型还可对模糊的hdr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，从而得到清晰且具备颜色的hdr图像。至此，则成功完成了高动态范围成像以及运动去模糊。
5、从上述方法可以看出：目标模型可利用事件流，从模糊的ldr图像中恢复出模糊的hdr图像，再继续利用事件流，从模糊的hdr图像中恢复出清晰且具备颜色的hdr图像，可见，目标模型可一次性实现高动态范围成像以及运动去模糊，使得这两个过程耦合在一起，二者之间存在联系，故以这种方式所得到的清晰的hdr图像往往具备较高的质量，也就是说，最终得到的清晰的hdr图像不存在色彩瑕疵、不正常的图像亮度以及不同程度的细节模糊等各种质量问题。
6、在一种可能实现的方式中，基于事件流，对ldr图像进行动态范围增强处理，得到模糊的hdr图像包括：对ldr图像以及事件流分别进行特征提取，得到ldr图像的特征以及事件流的特征；对ldr图像的特征以及事件流的特征进行特征融合，得到模糊的hdr图像。前述实现方式中，目标模型可先对模糊的ldr图像进行特征提取，从而得到ldr图像的初始特征，再对ldr图像的初始特征进行进一步的特征提取，从而得到ldr图像的中间特征，然后对ldr图像的中间特征进行更进一步的特征提取，从而得到ldr图像的最终特征。同样地，目标模型可先对事件流进行特征提取，从而得到事件流的初始特征，再对事件流的初始特征进行进一步的特征提取，从而得到事件流的中间特征，然后对事件流的中间特征进行更进一步的特征提取，从而得到事件流的最终特征。目标模型可先对ldr图像的最终特征以及事件流的最终特征进行特征融合，从而得到第一融合特征，再对第一融合特征、ldr图像的中间特征以及事件流的中间特征进行特征融合，从而得到第二融合特征，然后对第二融合特征、ldr图像的初始特征以及事件流的初始特征进行特征融合，从而得到第三融合特征，也就是模糊的hdr图像。由此可见，目标模型可将模糊的ldr图像以及事件流投影至相同的特征空间，再将得到的特征进行融合从而准确估计出模糊的hdr图像。
7、在一种可能实现的方式中，基于事件流，对模糊的hdr图像的强度分量进行去模糊处理，得到清晰且不具备颜色的hdr图像包括：将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流，曝光时间包含第一曝光时间以及第二曝光时间；对第一事件流以及第二事件流分别进行特征提取，得到第一事件流的特征以及第二事件流的特征；对第一事件流的特征以及第二事件流的特征进行叠加，得到叠加后的特征；对模糊的hdr图像的强度分量以及叠加后的特征进行运算，得到清晰且不具备颜色的hdr图像。前述实现方式中，在得到模糊的hdr图像后，目标模型可先将模糊的ldr图像的曝光时间划分为第一曝光时间以及第二曝光时间，基于此，目标模型可将将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流。在得到第一事件流以及第二事件流后，目标模型可对第一事件流以及第二事件流分别进行特征提取，从而相应得到第一事件流的特征以及第二事件流的特征。然后，目标模型可对第一事件流的特征以及第二事件流的特征进行叠加，从而得到叠加后的特征。在得到叠加后的特征后，目标模型可从模糊的hdr图像中提取出模糊的hdr图像的强度分量，并对模糊的hdr图像的强度分量以及叠加后的特征进行运算，从而得到清晰且不具备颜色的hdr图像。由此可见，目标模型可利用事件流的高时间分辨率，来针对模糊的hdr图像的强度分量进行运动先验，从而得到非线性运动的模糊因子(前述叠加后的特征)，以基于该因子来准确得到清晰且不具备颜色的hdr图像。
8、在一种可能实现的方式中，对模糊的hdr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像包括：对模糊的hdr图像的颜色分量进行特征提取，得到颜色分量的特征；对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，得到清晰且具备颜色的hdr图像。前述实现方式中，在得到清晰且不具备颜色的hdr图像后，目标模型可以从模糊的hdr图像中提取出模糊的hdr图像的颜色分量，并对模糊的hdr图像的颜色分量进行特征提取，从而得到颜色分量的特征。在得到颜色分量的特征后，目标模型可对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，从而得到清晰且具备颜色的hdr图像。由此可见，目标模型可对清晰且不具备颜色的hdr图像进行上色，从而最终得到清晰且具备颜色的hdr图像。
9、在一种可能实现的方式中，获取模糊的ldr图像包括：获取以rgb形式呈现的模糊的ldr图像；将以rgb形式呈现的ldr图像，转换为以yuv形式呈现的ldr图像。
10、在一种可能实现的方式中，获取ldr图像的曝光时间内所触发的事件流包括：获取以离散数据呈现的ldr图像的曝光时间内所触发的事件流；将以离散数据呈现的事件流，转换为以序列数据呈现的事件流。
11、本技术实施例的第二方面提供了一种图像处理方法，该方法可通过目标模型实现，该方法包括：获取模糊的ldr图像，以及在模糊的ldr图像的曝光时间内所触发的事件流；基于事件流，对模糊的ldr图像进行去模糊处理，得到清晰的ldr图像；基于事件流，对清晰的ldr图像的强度分量进行动态增强处理，得到清晰且不具备颜色的hdr图像；对清晰的ldr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像。
12、在一种可能实现的方式中，基于事件流，对模糊的ldr图像进行去模糊处理，得到清晰的ldr图像包括：对模糊的ldr图像以及事件流分别进行特征提取，得到模糊的ldr图像的特征以及事件流的特征；对模糊的ldr图像的特征以及事件流的特征进行特征融合，得到清晰的ldr图像。
13、在一种可能实现的方式中，基于事件流，对清晰的ldr图像的强度分量进行动态增强处理，得到清晰且不具备颜色的hdr图像包括：将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流，曝光时间包含第一曝光时间以及第二曝光时间；对第一事件流以及第二事件流分别进行特征提取，得到第一事件流的特征以及第二事件流的特征；对第一事件流的特征以及第二事件流的特征进行叠加，得到叠加后的特征；对清晰的ldr图像的强度分量以及叠加后的特征进行运算，得到清晰且不具备颜色的hdr图像。
14、在一种可能实现的方式中，对清晰的ldr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像包括：对清晰的ldr图像的颜色分量进行特征提取，得到颜色分量的特征；对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，得到清晰且具备颜色的hdr图像。
15、在一种可能实现的方式中，获取模糊的ldr图像包括：获取以rgb形式呈现的模糊的ldr图像；将以rgb形式呈现的ldr图像，转换为以yuv形式呈现的ldr图像。
16、在一种可能实现的方式中，获取ldr图像的曝光时间内所触发的事件流包括：获取以离散数据呈现的ldr图像的曝光时间内所触发的事件流；将以离散数据呈现的事件流，转换为以序列数据呈现的事件流。
17、本技术实施例的第三方面提供了一种模型训练方法，该方法包括：通过待训练模型对模糊的ldr图像以及在ldr图像的曝光时间内所触发的事件流进行处理，得到清晰且具备颜色的hdr图像，待训练模型用于：获取模糊的ldr图像，以及在ldr图像的曝光时间内所触发的事件流；基于事件流，对ldr图像进行动态范围增强处理，得到模糊的hdr图像；基于事件流，对模糊的hdr图像的强度分量进行去模糊处理，得到清晰且不具备颜色的hdr图像；对模糊的hdr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像；基于清晰且具备颜色的hdr图像，对待训练模型进行训练，得到目标模型。
18、在一种可能实现的方式中，待训练模型，用于：对ldr图像以及事件流分别进行特征提取，得到ldr图像的特征以及事件流的特征；对ldr图像的特征以及事件流的特征进行特征融合，得到模糊的hdr图像。
19、在一种可能实现的方式中，待训练模型，用于：将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流，曝光时间包含第一曝光时间以及第二曝光时间；对第一事件流以及第二事件流分别进行特征提取，得到第一事件流的特征以及第二事件流的特征；对第一事件流的特征以及第二事件流的特征进行叠加，得到叠加后的特征；对模糊的hdr图像的强度分量以及叠加后的特征进行运算，得到清晰且不具备颜色的hdr图像。
20、在一种可能实现的方式中，待训练模型，用于：对模糊的hdr图像的颜色分量进行特征提取，得到颜色分量的特征；对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，得到清晰且具备颜色的hdr图像。
21、在一种可能实现的方式中，待训练模型，用于：获取以rgb形式呈现的模糊的ldr图像；将以rgb形式呈现的ldr图像，转换为以yuv形式呈现的ldr图像。
22、在一种可能实现的方式中，待训练模型，用于：获取以离散数据呈现的ldr图像的曝光时间内所触发的事件流；将以离散数据呈现的事件流，转换为以序列数据呈现的事件流。
23、本技术实施例的第四方面提供了一种模型训练方法，该方法包括：通过待训练模型对模糊的ldr图像以及在模糊的ldr图像的曝光时间内所触发的事件流进行处理，得到清晰且具备颜色的hdr图像，待训练模型用于：获取模糊的ldr图像，以及在模糊的ldr图像的曝光时间内所触发的事件流；基于事件流，对模糊的ldr图像进行去模糊处理，得到清晰的ldr图像；基于事件流，对清晰的ldr图像的强度分量进行动态增强处理，得到清晰且不具备颜色的hdr图像；对清晰的ldr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像；基于清晰且具备颜色的hdr图像，对待训练模型进行训练，得到目标模型。
24、在一种可能实现的方式中，待训练模型，用于：对模糊的ldr图像以及事件流分别进行特征提取，得到模糊的ldr图像的特征以及事件流的特征；对模糊的ldr图像的特征以及事件流的特征进行特征融合，得到清晰的ldr图像。
25、在一种可能实现的方式中，待训练模型，用于：将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流，曝光时间包含第一曝光时间以及第二曝光时间；对第一事件流以及第二事件流分别进行特征提取，得到第一事件流的特征以及第二事件流的特征；对第一事件流的特征以及第二事件流的特征进行叠加，得到叠加后的特征；对清晰的ldr图像的强度分量以及叠加后的特征进行运算，得到清晰且不具备颜色的hdr图像。
26、在一种可能实现的方式中，待训练模型，用于：对清晰的ldr图像的颜色分量进行特征提取，得到颜色分量的特征；对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，得到清晰且具备颜色的hdr图像。
27、在一种可能实现的方式中，待训练模型，用于：获取以rgb形式呈现的模糊的ldr图像；将以rgb形式呈现的ldr图像，转换为以yuv形式呈现的ldr图像。
28、在一种可能实现的方式中，待训练模型，用于：获取以离散数据呈现的ldr图像的曝光时间内所触发的事件流；将以离散数据呈现的事件流，转换为以序列数据呈现的事件流。
29、本技术实施例的第五方面提供了一种图像处理装置，该装置包含目标模型，该装置包括：获取模块，用于获取模糊的ldr图像，以及在ldr图像的曝光时间内所触发的事件流；第一处理模块，用于基于事件流，对ldr图像进行动态范围增强处理，得到模糊的hdr图像；第二处理模块，用于基于事件流，对模糊的hdr图像的强度分量进行去模糊处理，得到清晰且不具备颜色的hdr图像；第三处理模块，用于对模糊的hdr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像。
30、在一种可能实现的方式中，第一处理模块1402，用于：对ldr图像以及事件流分别进行特征提取，得到ldr图像的特征以及事件流的特征；对ldr图像的特征以及事件流的特征进行特征融合，得到模糊的hdr图像。
31、在一种可能实现的方式中，第二处理模块1403，用于：将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流，曝光时间包含第一曝光时间以及第二曝光时间；对第一事件流以及第二事件流分别进行特征提取，得到第一事件流的特征以及第二事件流的特征；对第一事件流的特征以及第二事件流的特征进行叠加，得到叠加后的特征；对模糊的hdr图像的强度分量以及叠加后的特征进行运算，得到清晰且不具备颜色的hdr图像。
32、在一种可能实现的方式中，第三处理模块1404，用于：对模糊的hdr图像的颜色分量进行特征提取，得到颜色分量的特征；对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，得到清晰且具备颜色的hdr图像。
33、在一种可能实现的方式中，获取模块1401，用于：获取以rgb形式呈现的模糊的ldr图像；将以rgb形式呈现的ldr图像，转换为以yuv形式呈现的ldr图像。
34、在一种可能实现的方式中，获取模块1401，用于：获取以离散数据呈现的ldr图像的曝光时间内所触发的事件流；将以离散数据呈现的事件流，转换为以序列数据呈现的事件流。
35、本技术实施例的第六方面提供了一种图像处理装置，该装置包含目标模型，该装置包括：获取模块，用于获取模糊的ldr图像，以及在模糊的ldr图像的曝光时间内所触发的事件流；第一处理模块，用于基于事件流，对模糊的ldr图像进行去模糊处理，得到清晰的ldr图像；第二处理模块，用于基于事件流，对清晰的ldr图像的强度分量进行动态增强处理，得到清晰且不具备颜色的hdr图像；第三处理模块，用于对清晰的ldr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像。
36、在一种可能实现的方式中，第一处理模块1502，用于：对模糊的ldr图像以及事件流分别进行特征提取，得到模糊的ldr图像的特征以及事件流的特征；对模糊的ldr图像的特征以及事件流的特征进行特征融合，得到清晰的ldr图像。
37、在一种可能实现的方式中，第二处理模块1503，用于：将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流，曝光时间包含第一曝光时间以及第二曝光时间；对第一事件流以及第二事件流分别进行特征提取，得到第一事件流的特征以及第二事件流的特征；对第一事件流的特征以及第二事件流的特征进行叠加，得到叠加后的特征；对清晰的ldr图像的强度分量以及叠加后的特征进行运算，得到清晰且不具备颜色的hdr图像。
38、在一种可能实现的方式中，第三处理模块1503，用于：对清晰的ldr图像的颜色分量进行特征提取，得到颜色分量的特征；对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，得到清晰且具备颜色的hdr图像。
39、在一种可能实现的方式中，获取模块1501，用于：获取以rgb形式呈现的模糊的ldr图像；将以rgb形式呈现的ldr图像，转换为以yuv形式呈现的ldr图像。
40、在一种可能实现的方式中，获取模块1501，用于：获取以离散数据呈现的ldr图像的曝光时间内所触发的事件流；将以离散数据呈现的事件流，转换为以序列数据呈现的事件流。
41、本技术实施例的第七方面提供了一种模型训练装置，该装置包括：处理模块，用于通过待训练模型对模糊的ldr图像以及在ldr图像的曝光时间内所触发的事件流进行处理，得到清晰且具备颜色的hdr图像，待训练模型用于：获取模糊的ldr图像，以及在ldr图像的曝光时间内所触发的事件流；基于事件流，对ldr图像进行动态范围增强处理，得到模糊的hdr图像；基于事件流，对模糊的hdr图像的强度分量进行去模糊处理，得到清晰且不具备颜色的hdr图像；对模糊的hdr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像；训练模块，用于基于清晰且具备颜色的hdr图像，对待训练模型进行训练，得到目标模型。
42、在一种可能实现的方式中，待训练模型，用于：对ldr图像以及事件流分别进行特征提取，得到ldr图像的特征以及事件流的特征；对ldr图像的特征以及事件流的特征进行特征融合，得到模糊的hdr图像。
43、在一种可能实现的方式中，待训练模型，用于：将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流，曝光时间包含第一曝光时间以及第二曝光时间；对第一事件流以及第二事件流分别进行特征提取，得到第一事件流的特征以及第二事件流的特征；对第一事件流的特征以及第二事件流的特征进行叠加，得到叠加后的特征；对模糊的hdr图像的强度分量以及叠加后的特征进行运算，得到清晰且不具备颜色的hdr图像。
44、在一种可能实现的方式中，待训练模型，用于：对模糊的hdr图像的颜色分量进行特征提取，得到颜色分量的特征；对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，得到清晰且具备颜色的hdr图像。
45、在一种可能实现的方式中，待训练模型，用于：获取以rgb形式呈现的模糊的ldr图像；将以rgb形式呈现的ldr图像，转换为以yuv形式呈现的ldr图像。
46、在一种可能实现的方式中，待训练模型，用于：获取以离散数据呈现的ldr图像的曝光时间内所触发的事件流；将以离散数据呈现的事件流，转换为以序列数据呈现的事件流。
47、本技术实施例的第八方面提供了一种模型训练装置，该装置包括：处理模块，用于通过待训练模型对模糊的ldr图像以及在模糊的ldr图像的曝光时间内所触发的事件流进行处理，得到清晰且具备颜色的hdr图像，待训练模型用于：获取模糊的ldr图像，以及在模糊的ldr图像的曝光时间内所触发的事件流；基于事件流，对模糊的ldr图像进行去模糊处理，得到清晰的ldr图像；基于事件流，对清晰的ldr图像的强度分量进行动态增强处理，得到清晰且不具备颜色的hdr图像；对清晰的ldr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像；训练模块，用于基于清晰且具备颜色的hdr图像，对待训练模型进行训练，得到目标模型。
48、在一种可能实现的方式中，待训练模型，用于：对模糊的ldr图像以及事件流分别进行特征提取，得到模糊的ldr图像的特征以及事件流的特征；对模糊的ldr图像的特征以及事件流的特征进行特征融合，得到清晰的ldr图像。
49、在一种可能实现的方式中，待训练模型，用于：将事件流划分为在第一曝光时间内所触发的第一事件流以及在第二曝光时间内所触发的第二事件流，曝光时间包含第一曝光时间以及第二曝光时间；对第一事件流以及第二事件流分别进行特征提取，得到第一事件流的特征以及第二事件流的特征；对第一事件流的特征以及第二事件流的特征进行叠加，得到叠加后的特征；对清晰的ldr图像的强度分量以及叠加后的特征进行运算，得到清晰且不具备颜色的hdr图像。
50、在一种可能实现的方式中，待训练模型，用于：对清晰的ldr图像的颜色分量进行特征提取，得到颜色分量的特征；对颜色分量的特征以及清晰且不具备颜色的hdr图像进行特征融合，得到清晰且具备颜色的hdr图像。
51、在一种可能实现的方式中，待训练模型，用于：获取以rgb形式呈现的模糊的ldr图像；将以rgb形式呈现的ldr图像，转换为以yuv形式呈现的ldr图像。
52、在一种可能实现的方式中，待训练模型，用于：获取以离散数据呈现的ldr图像的曝光时间内所触发的事件流；将以离散数据呈现的事件流，转换为以序列数据呈现的事件流。
53、本技术实施例的第九方面提供了一种故障预测装置，该装置包括存储器和处理器；存储器存储有代码，处理器被配置为执行代码，当代码被执行时，故障预测装置执行如第一方面、第一方面中任意一种可能的实现方式、第二方面或第二方面中任意一种可能的实现方式所述的方法。
54、本技术实施例的第十方面提供了一种模型训练装置，该装置包括存储器和处理器；存储器存储有代码，处理器被配置为执行代码，当代码被执行时，模型训练装置执行如第三方面、第三方面中任意一种可能的实现方式、第四方面或第四方面中任意一种可能的实现方式所述的方法。
55、本技术实施例的第十一方面提供了一种电路系统，该电路系统包括处理电路，该处理电路配置为执行如第一方面、第一方面中任意一种可能的实现方式、第二方面、第二方面中任意一种可能的实现方式、第三方面、第三方面中任意一种可能的实现方式、第四方面或第四方面中任意一种可能的实现方式所述的方法。
56、本技术实施例的第十二方面提供了一种芯片系统，该芯片系统包括处理器，用于调用存储器中存储的计算机程序或计算机指令，以使得该处理器执行如第一方面、第一方面中任意一种可能的实现方式、第二方面、第二方面中任意一种可能的实现方式、第三方面、第三方面中任意一种可能的实现方式、第四方面或第四方面中任意一种可能的实现方式所述的方法。
57、在一种可能的实现方式中，该处理器通过接口与存储器耦合。
58、在一种可能的实现方式中，该芯片系统还包括存储器，该存储器中存储有计算机程序或计算机指令。
59、本技术实施例的第十三方面提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，该程序在由计算机执行时，使得计算机实施如第一方面、第一方面中任意一种可能的实现方式、第二方面、第二方面中任意一种可能的实现方式、第三方面、第三方面中任意一种可能的实现方式、第四方面或第四方面中任意一种可能的实现方式所述的方法。
60、本技术实施例的第十四方面提供了一种计算机程序产品，该计算机程序产品存储有指令，该指令在由计算机执行时，使得计算机实施如第一方面、第一方面中任意一种可能的实现方式、第二方面、第二方面中任意一种可能的实现方式、第三方面、第三方面中任意一种可能的实现方式、第四方面或第四方面中任意一种可能的实现方式所述的方法。
61、本技术实施例中，当需要进行高动态范围成像以及运动去模糊时，可先获取模糊的ldr图像，以及在模糊的ldr图像的曝光时间内所触发的事件流，并将模糊的ldr图像以及事件流输入至目标模型中。那么，目标模型可先基于事件流，对ldr图像进行动态范围增强处理，从而得到模糊的hdr图像。然后，目标模型可基于事件流，对模糊的hdr图像的强度分量进行去模糊处理，从而得到清晰且不具备颜色的hdr图像。最后，目标模型可对模糊的hdr图像的颜色分量以及清晰且不具备颜色的hdr图像进行融合处理，从而得到清晰且具备颜色的hdr图像。至此，则完成了高动态范围成像以及运动去模糊。前述过程中，目标模型可利用事件流，从模糊的ldr图像中恢复出模糊的hdr图像，再继续利用事件流，从模糊的hdr图像中恢复出清晰且具备颜色的hdr图像，可见，目标模型可一次性实现高动态范围成像以及运动去模糊，使得这两个过程耦合在一起，二者之间存在联系，故以这种方式所得到的清晰的hdr图像往往具备较高的质量，也就是说，最终得到的清晰的hdr图像不存在色彩瑕疵、不正常的图像亮度以及不同程度的细节模糊等各种质量问题。
技术特征：
1.一种图像处理方法，其特征在于，所述方法通过目标模型实现，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述事件流，对所述ldr图像进行动态范围增强处理，得到模糊的hdr图像包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述事件流，对所述模糊的hdr图像的强度分量进行去模糊处理，得到清晰且不具备颜色的hdr图像包括：
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述对所述模糊的hdr图像的颜色分量以及所述清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像包括：
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述获取模糊的ldr图像包括：
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述获取所述ldr图像的曝光时间内所触发的事件流包括：
7.一种图像处理方法，其特征在于，所述方法通过目标模型实现，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述事件流，对所述模糊的ldr图像进行去模糊处理，得到清晰的ldr图像包括：
9.根据权利要求7或8所述的方法，其特征在于，所述基于所述事件流，对所述清晰的ldr图像的强度分量进行动态增强处理，得到清晰且不具备颜色的hdr图像包括：
10.根据权利要求7至9任意一项所述的方法，其特征在于，所述对所述清晰的ldr图像的颜色分量以及所述清晰且不具备颜色的hdr图像进行融合处理，得到清晰且具备颜色的hdr图像包括：
11.根据权利要求7至10任意一项所述的方法，其特征在于，所述获取模糊的ldr图像包括：
12.根据权利要求7至11任意一项所述的方法，其特征在于，所述获取所述ldr图像的曝光时间内所触发的事件流包括：
13.一种模型训练方法，其特征在于，所述方法包括：
14.一种模型训练方法，其特征在于，所述方法包括：
15.一种图像处理装置，其特征在于，所述装置包含目标模型，所述装置包括：
16.一种图像处理装置，其特征在于，所述装置包含目标模型，所述装置包括：
17.一种模型训练装置，其特征在于，所述装置包括：
18.一种模型训练装置，其特征在于，所述装置包括：
19.一种图像处理装置，其特征在于，所述装置包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为执行所述代码，当所述代码被执行时，所述图像处理装置执行如权利要求1至14任意一项所述的方法。
20.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或多个指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施权利要求1至14任一所述的方法。
21.一种计算机程序产品，其特征在于，所述计算机程序产品存储有指令，所述指令在由计算机执行时，使得所述计算机实施权利要求1至14任意一项所述的方法。
技术总结
本申请公开了一种图像处理方法及其相关装置，可利用事件流从模糊的低动态范围LDR图像中，恢复得到质量较高的清晰的高动态范围HDR图像。本申请的方法包括：可先获取模糊的LDR图像，以及在模糊的LDR图像的曝光时间内所触发的事件流，并将模糊的LDR图像以及事件流输入至目标模型中。那么，目标模型可先基于事件流，对LDR图像进行动态范围增强处理，从而得到模糊的HDR图像。然后，目标模型可基于事件流，对模糊的HDR图像的强度分量进行去模糊处理，从而得到清晰且不具备颜色的HDR图像。最后，目标模型可对模糊的HDR图像的颜色分量以及清晰且不具备颜色的HDR图像进行融合处理，从而得到清晰且具备颜色的HDR图像。
技术研发人员：李晓鹏,余磊,刘健庄,王应龙
受保护的技术使用者：华为技术有限公司
技术研发日：
技术公布日：2024/12/5