本发明涉及目标检测,更具体地说,涉及一种目标检测模型训练方法、目标检测方法、装置及设备。
背景技术:
1、目标检测以传感器采集的数据作为输入,预测感兴趣目标在空间中的信息。不同传感器采集的模态不同,优势互补,因此,多模态融合方案成为目标检测的重要趋势。
2、在采用多模态融合进行目标检测时,多类传感器的数据特征融合后的数据特征中存在前景背景混淆问题。而前景背景混淆问题会导致目标检测出现误检或漏检,从而降低目标检测精度。
3、综上所述,如何提高目标检测精度,是目前本领域技术人员亟待解决的技术问题。
技术实现思路
1、有鉴于此,本发明的目的是提供一种目标检测模型训练方法、目标检测方法、目标检测模型训练装置、目标检测装置、电子设备及可读存储介质,用于提高目标检测精度。
2、为了实现上述目的,本发明提供如下技术方案:
3、一种目标检测模型训练方法,包括:
4、获取多个模态在同一视图下的训练数据特征;
5、将各所述模态在所述视图下的所述训练数据特征进行融合,得到训练融合特征;
6、在所述视图下对所述训练集中的样本进行前景区域标注,利用所述训练融合特征及前景区域标注结果,训练第一前景感知模型;其中,在所述前景区域标注结果中前景区域的前景标注值大于背景区域的前景标注值;
7、利用所述第一前景感知模型及所述训练融合特征,得到多模态训练前景热度图;
8、利用所述多模态训练前景热度图和所述训练融合特征,得到前景增强的所述训练融合特征;
9、利用前景增强的所述训练融合特征训练得到目标检测模型。
10、优选的,在获取多个模态在同一视图下的训练数据特征之后,还包括:
11、利用各所述模态的训练数据特征及所述前景区域标注结果,训练各所述模态对应的第二前景感知模型;
12、利用各所述模态对应的第二前景感知模型和所述训练数据特征,得到各所述模态对应的单模态训练前景热度图;
13、利用各所述模态对应的单模态训练前景热度图和所述训练数据特征,得到各所述模态对应的模态内前景增强的所述训练数据特征;
14、将各所述模态在所述视图下的所述训练数据特征进行融合,包括:
15、将各所述模态对应的模态内前景增强的所述训练数据特征进行融合。
16、优选的,在利用各所述模态的训练数据特征及所述前景区域标注结果,训练各所述模态对应的第二前景感知模型时,还包括:
17、利用各所述第二前景感知模型对应的前景感知损失函数,监督相应的所述第二前景感知模型的训练。
18、优选的,在利用各所述第二前景感知模型对应的前景感知损失函数,监督相应的所述第二前景感知模型的训练之前,还包括:
19、对所述训练集中的样本中的混淆区域进行标注;其中,所述混淆区域为前景背景的混淆区域,在混淆区域标注结果中,所述混淆区域内的数值大于1,非混淆区域内的数值等于1;
20、利用所述混淆区域标注结果对各所述第二前景感知模型对应的前景感知损失函数进行加权,得到各所述第二前景感知模型对应的混淆区域加权后的所述前景感知损失函数;
21、利用各所述第二前景感知模型对应的前景感知损失函数,监督相应的所述第二前景感知模型的训练,包括:
22、利用各所述第二前景感知模型对应的混淆区域加权后的所述前景感知损失函数,监督相应的所述第二前景感知模型的训练。
23、优选的,在对所述训练集中的样本中的混淆区域进行标注之前,还包括:
24、根据所述样本中标注的前景区域,确定混淆区域外边界和混淆区域内边界;
25、将所述混淆区域外边界和所述混淆区域内边界之间的区域确定为所述混淆区域。
26、优选的,在利用各所述模态对应的第二前景感知模型和所述训练数据特征,得到各所述模态对应的单模态训练前景热度图之后,还包括:
27、利用各所述模态对应的训练数据特征和其它所述模态对应的单模态训练前景热度图,得到各所述模态对应的模态间前景增强的所述训练数据特征;
28、将各所述模态对应的模态内前景增强的所述训练数据特征进行融合,包括:
29、将各所述模态对应的模态内前景增强的所述训练数据特征、各所述模态对应的模态间前景增强的所述训练数据特征进行融合。
30、优选的,将各所述模态对应的模态内前景增强的所述训练数据特征、各所述模态对应的模态间前景增强的所述训练数据特征进行融合,包括:
31、对各所述模态对应的模态内前景增强的所述训练数据特征、各所述模态对应的模态间前景增强的所述训练数据特征,按照通道维度进行组合,得到组合后训练数据特征;
32、对所述组合后训练数据特征进行融合。
33、优选的,对各所述模态对应的模态内前景增强的所述训练数据特征、各所述模态对应的模态间前景增强的所述训练数据特征,按照通道维度进行组合,包括:
34、获取各所述模态对应的模态内前景增强的所述训练数据特征、各所述模态对应的模态间前景增强的所述训练数据特征分别对应的权重值;
35、利用各所述权重值对相应的模态内前景增强的所述训练数据特征、模态间前景增强的所述训练数据特征进行加权处理;
36、对加权处理后的模态内前景增强的所述训练数据特征、加权处理后的模态间前景增强的所述训练数据特征进行组合。
37、优选的,所述第一前景感知模型及各所述模态对应的第二前景感知模型均包括编码模块和解码模块。
38、优选的,所述编码模块包括多个编码单元,所述编码单元包括均值池化单元和第一残差单元,所述解码模块包括多个解码单元,所述解码单元包括上采样单元和第二残差单元。
39、优选的,所述第一残差单元和所述第二残差单元均包括批次归一化层、非线性激活层和1×1卷积层。
40、优选的,在所述视图下对所述对训练集中的样本进行前景区域标注,包括:
41、获取所述样本中的各目标边界框的二维信息;所述二维信息包括所述目标边界框的中心点、宽度、长度和朝向角;
42、根据各所述目标边界框的二维信息,对所述样本进行前景区域标注;
43、其中,当所述样本中包含多个所述目标边界框且至少两个所述目标边界框之间存在重叠部分时,则对所述重叠部分的前景标注值进行平均处理。
44、优选的,根据各所述目标边界框的二维信息,对所述样本进行前景区域标注,包括:
45、若所述样本中的当前目标边界框的朝向角等于0,则根据所述当前目标边界框的中心点、宽度和长度确定所述当前目标边界框的第一内切椭圆,按照二维高斯分布对所述第一内切椭圆进行前景区域标注,并将所述第一内切椭圆外的区域标注为0,得到第一标注结果;
46、若所述样本中的所述当前目标边界框的朝向角不等于0,则根据所述当前目标边界框的朝向角确定所述当前目标边界框对应的标准边界框,根据所述当前目标边界框的中心点、宽度和长度确定所述标准边界框的第二内切椭圆,按照二维高斯分布对所述第二内切椭圆进行前景区域标注,并将所述第二内切椭圆外的区域标注为0,得到第二前景标注结果,根据所述当前目标边界框和所述标准边界框间的坐标映射关系,将所述第二前景标注结果转换为第三前景标注结果;所述标准边界框的朝向角等于0;
47、将所述样本中的下一所述目标边界框作为当前目标边界框,并返回执行所述若所述样本中的当前目标边界框的朝向角等于0或所述若所述样本中的所述当前目标边界框的朝向角不等于0对应的步骤,直至得到所述样本中所有所述目标边界框对应的前景标注结果,若至少两个所述目标边界框之间存在重叠部分时,则对所述重叠部分的前景标注值进行平均处理,以得到所述样本的全局前景标注;
48、将所述样本的全局前景标注与第一辅助矩阵相加,得到前景区域标注结果;所述第一辅助矩阵中的各元素均相同且均非0。
49、优选的,在利用所述训练融合特征及前景区域标注结果,训练第一前景感知模型时,还包括:
50、利用所述第一前景感知模型对应的前景感知损失函数,监督所述第一前景感知模型的训练。
51、优选的,在利用所述第一前景感知模型对应的前景感知损失函数,监督所述第一前景感知模型的训练之前,还包括:
52、对所述训练集中的样本中的混淆区域进行标注;其中,所述混淆区域为前景背景的混淆区域,在混淆区域标注结果中,所述混淆区域内的数值大于1,非混淆区域内的数值等于1;
53、利用所述混淆区域标注结果对所述第一前景感知模型对应的前景感知损失函数进行加权,得到所述第一前景感知模型对应的混淆区域加权后的所述前景感知损失函数;
54、利用所述第一前景感知模型对应的前景感知损失函数,监督所述第一前景感知模型的训练,包括:
55、利用所述第一前景感知模型对应的混淆区域加权后的所述前景感知损失函数,监督所述第一前景感知模型的训练。
56、优选的,当所述模态包括摄像机图像和点云、所述视图为鸟瞰图视图时,获取多个模态在同一视图下的训练数据特征,包括:
57、获取摄像机视图下的训练图像的训练图像数据,从所述训练图像数据中提取训练图像特征;
58、采用二维到三维转换方法,将所述训练图像特征转换成所述鸟瞰图视图下的训练图像特征;
59、获取训练点云数据,从所述训练点云数据中提取在所述鸟瞰图视图下的训练点云特征。
60、优选的,在从所述训练图像数据中提取训练图像特征之后,在采用二维到三维转换方法,将所述训练图像特征转换成所述鸟瞰图视图下的训练图像特征之前,还包括:
61、对所述训练图像进行前景区域标注;
62、利用所述训练图像特征及前景区域标注后的所述训练图像,训练第三前景感知模型;
63、利用所述第三前景感知模型及所述训练图像特征,得到摄像机视图训练前景热度图;
64、利用所述摄像机视图训练前景热度图和所述训练图像特征,得到前景增强的所述训练图像特征。
65、优选的,对所述训练图像进行前景区域标注,包括:
66、获取所述训练图像中的各目标边界框的二维信息;所述二维信息包括所述目标边界框的中心点、宽度和长度;
67、根据各所述目标边界框的二维信息,对所述训练图像进行前景区域标注;
68、其中,当所述训练图像中包含多个所述目标边界框且至少两个所述目标边界框之间存在重叠部分时,则对所述重叠部分的前景标注值进行平均处理。
69、优选的,根据各所述目标边界框的二维信息,对所述训练图像进行前景区域标注,包括:
70、根据各所述目标边界框的中心点、宽度和长度,对应确定各所述目标边界框的第三内切椭圆,按照二维高斯分布对所述第三内切椭圆进行前景区域标注,并将所述第三内切椭圆外的区域标注为0,得到第三标注结果;
71、若至少两个所述目标边界框之间存在重叠部分时,则对所述重叠部分的前景标注值进行平均处理,以得到所述训练图像的全局前景标注;
72、将所述训练图像的全局前景标注与第二辅助矩阵相加,得到前景区域标注后的所述训练图像;所述第二辅助矩阵中的各元素均相同且均非0。
73、优选的,利用前景增强的所述训练融合特征训练得到目标检测模型,包括:
74、利用前景增强的所述训练融合特征对目标检测模型进行训练;
75、利用分类损失函数和回归损失函数,监督所述检测模型的训练,直至所述分类损失函数、所述回归损失函数满足预设训练条件。
76、一种目标检测方法,包括:
77、获取多个模态在同一视图下的待检测数据特征;
78、将各所述模态在所述视图下的待检测数据特征进行融合,得到待检测融合特征;
79、利用所述待检测融合特征及第一前景感知模型,得到多模态待检测前景热度图;所述第一前景感知模型利用如上述任一项所述的目标检测模型训练方法训练得到的;
80、利用所述多模态待检测前景热度图和所述待检测融合特征,得到前景增强的所述待检测融合特征;
81、将前景增强的所述待检测融合特征输入目标检测模型,得到目标检测结果;所述目标检测模型利用如上述任一项所述的目标检测模型训练方法训练得到的。
82、优选的,在获取多个模态在同一视图下的待检测数据特征之后,还包括:
83、利用各所述模态对应的第二前景感知模型和所述待检测数据特征,得到各所述模态对应的单模态待检测前景热度图;各所述模态对应的第二前景感知模型如上述任一项所述的目标检测模型训练方法训练得到的;
84、利用各所述模态对应的单模态待检测前景热度图和所述待检测数据特征,得到各所述模态对应的模态内前景增强的所述待检测数据特征;
85、将各所述模态在所述视图下的待检测数据特征进行融合,得到待检测融合特征,包括:
86、将各所述模态对应的模态内前景增强的所述待检测数据特征进行融合。
87、优选的,在利用各所述模态对应的单模态待检测前景热度图和所述待检测数据特征,得到各所述模态对应的模态内前景增强的所述待检测数据特征之后,还包括:
88、利用各所述模态对应的待检测数据特征和其它所述模态对应的单模态待检测前景热度图,得到各所述模态对应的模态间前景增强的所述待检测数据特征;
89、将各所述模态对应的模态内前景增强的所述待检测数据特征进行融合,包括:
90、将各所述模态对应的模态内前景增强的所述待检测数据特征、各所述模态对应的模态间前景增强的所述待检测数据特征进行融合。
91、优选的,将各所述模态对应的模态内前景增强的所述待检测数据特征、各所述模态对应的模态间前景增强的所述待检测数据特征进行融合,包括:
92、对各所述模态对应的模态内前景增强的所述待检测数据特征、各所述模态对应的模态间前景增强的所述待检测数据特征,按照通道维度进行组合,得到组合后待检测数据特征;
93、对所述组合后待检测数据特征进行融合。
94、优选的,对各所述模态对应的模态内前景增强的所述待检测数据特征、各所述模态对应的模态间前景增强的所述待检测数据特征,按照通道维度进行组合,包括:
95、获取各所述模态对应的模态内前景增强的所述待检测数据特征、各所述模态对应的模态间前景增强的所述待检测数据特征分别对应的权重值;
96、利用各所述权重值对相应的模态内前景增强的所述待检测数据特征、模态间前景增强的所述待检测数据特征进行加权处理;
97、对加权处理后的模态内前景增强的所述待检测数据特征、加权处理后的模态间前景增强的所述待检测数据特征进行组合。
98、优选的,当所述模态包括摄像机图像和点云、所述视图为鸟瞰图视图时,获取多个模态在同一视图下的待检测数据特征,包括:
99、获取摄像机待检测图像的待检测图像数据,从所述待检测图像数据中提取待检测图像特征;
100、采用二维到三维转换方法,将所述待检测图像特征转换成所述鸟瞰图视图下的待检测图像特征;
101、获取待检测点云数据,从所述待检测点云数据中提取在所述鸟瞰图视图下的待检测点云特征。
102、优选的,在从所述待检测图像数据中提取待检测图像特征之后,在采用二维到三维转换方法,将所述待检测图像特征转换成所述鸟瞰图视图下的待检测图像特征之前,还包括:
103、利用第三前景感知模型和所述待检测图像特征,得到摄像机视图待检测前景热度图;所述第三前景感知模型利用如上述所述的目标检测模型训练方法训练得到;
104、利用所述摄像机视图待检测前景热度图和所述待检测图像特征,得到前景增强的所述待检测图像特征。
105、一种目标检测模型训练装置,包括:
106、第一获取模块,用于获取多个模态在同一视图下的训练数据特征;
107、第一融合模块,用于将各所述模态在所述视图下的所述训练数据特征进行融合,得到训练融合特征;
108、第一训练模块,用于在所述视图下对所述训练集中的样本进行前景区域标注,利用所述训练融合特征及前景区域标注结果,训练第一前景感知模型;其中,在所述前景区域标注结果中前景区域的前景标注值大于背景区域的前景标注值;
109、第一得到热度图模块,用于利用所述第一前景感知模型及所述训练融合特征,得到多模态训练前景热度图;
110、第一得到前景增强模块,用于利用所述多模态训练前景热度图和所述训练融合特征,得到前景增强的所述训练融合特征;
111、得到目标检测模型模块,用于利用前景增强的所述训练融合特征训练得到目标检测模型。
112、一种目标检测装置,包括:
113、第二获取模块,用于获取多个模态在同一视图下的待检测数据特征;
114、第二融合模块,用于将各所述模态在所述视图下的待检测数据特征进行融合,得到待检测融合特征;
115、第四得到热度图模块,用于利用所述待检测融合特征及第一前景感知模型,得到多模态待检测前景热度图;所述第一前景感知模型利用如上述任一项所述的目标检测模型训练方法训练得到的;
116、第五得到前景增强模块,用于利用所述多模态待检测前景热度图和所述待检测融合特征,得到前景增强的所述待检测融合特征;
117、得到检测结果模块,用于将前景增强的所述待检测融合特征输入目标检测模型,得到检测结果;所述目标检测模型利用如上述任一项所述的目标检测模型训练方法训练得到的。
118、一种电子设备,包括:
119、存储器,用于存储计算机程序;
120、处理器,用于执行所述计算机程序时实现如上述任一项所述的目标检测模型训练方法的步骤,和/或,如上述任一项所述的目标检测方法的步骤。
121、一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的目标检测模型训练方法的步骤,和/或,如上述任一项所述的目标检测方法的步骤。
122、本发明提供了一种目标检测模型训练方法、目标检测方法、装置及设备,其中,训练方法包括:获取多个模态在同一视图下的训练数据特征;将各模态在视图下的训练数据特征进行融合,得到训练融合特征;在视图下对训练集中的样本进行前景区域标注,利用训练融合特征及前景区域标注后结果,训练第一前景感知模型;其中,在前景区域标注结果中前景标注值大于背景区域的前景标注值;利用第一前景感知模型及训练融合特征,得到多模态训练前景热度图;利用多模态训练前景热度图和训练融合特征,得到前景增强的训练融合特征;利用前景增强的训练融合特征训练得到目标检测模型。
123、本发明公开的上述技术方案,将多个模态在同一视图下的训练数据特征进行融合,得到训练融合特征。在上述视图下对训练集中的样本进行前景区域标注,其中,在前景区域标注结果中前景区域的前景标注值大于背景区域的前景标注值,以便提升目标检测模型对前景区域的感知能力。之后,利用训练融合特征及前景区域标注结果训练第一前景感知模型,并利用第一前景感知模型及训练融合特征预测得到多模态训练前景热度图,由于前景区域标注结果中的前景区域的前景标注值大于背景区域的前景标注值,因此,第一前景感知模型预测得到的多模态训练前景热度图中前景区域的数值要大于背景区域的数值,以利用第一前景感知模型实现对前景区域的感知。然后,利用多模态训练前景热度图对训练融合特征中的前景进行增强,得到前景增强的训练融合特征,从而便于增强目标检测模型对前景的判别能力,提升对前景和背景的区分能力。之后,则利用前景增强的训练融合特征训练得到目标检测模型。通过上述方式可以解决融合特征存在的前景背景混淆问题,提升目标检测模型对融合特征中前景的判别和识别能力,有效降低误检、漏检的概率,提高目标检测精度。
1.一种目标检测模型训练方法,其特征在于,包括:
2.根据权利要求1所述的目标检测模型训练方法,其特征在于,在获取多个模态在同一视图下的训练数据特征之后,还包括:
3.根据权利要求2所述的目标检测模型训练方法,其特征在于,在利用各所述模态的训练数据特征及所述前景区域标注结果,训练各所述模态对应的第二前景感知模型时,还包括:
4.根据权利要求3所述的目标检测模型训练方法,其特征在于,在利用各所述第二前景感知模型对应的前景感知损失函数,监督相应的所述第二前景感知模型的训练之前,还包括:
5.根据权利要求4所述的目标检测模型训练方法,其特征在于,在对所述训练集中的样本中的混淆区域进行标注之前,还包括:
6.根据权利要求2所述的目标检测模型训练方法,其特征在于,在利用各所述模态对应的第二前景感知模型和所述训练数据特征,得到各所述模态对应的单模态训练前景热度图之后,还包括:
7.根据权利要求6所述的目标检测模型训练方法,其特征在于,将各所述模态对应的模态内前景增强的所述训练数据特征、各所述模态对应的模态间前景增强的所述训练数据特征进行融合,包括:
8.根据权利要求7所述的目标检测模型训练方法,其特征在于,对各所述模态对应的模态内前景增强的所述训练数据特征、各所述模态对应的模态间前景增强的所述训练数据特征,按照通道维度进行组合,包括:
9.根据权利要求2所述的目标检测模型训练方法,其特征在于,所述第一前景感知模型及各所述模态对应的第二前景感知模型均包括编码模块和解码模块。
10.根据权利要求9所述的目标检测模型训练方法,其特征在于,所述编码模块包括多个编码单元,所述编码单元包括均值池化单元和第一残差单元,所述解码模块包括多个解码单元,所述解码单元包括上采样单元和第二残差单元。
11.根据权利要求10所述的目标检测模型训练方法,其特征在于,所述第一残差单元和所述第二残差单元均包括批次归一化层、非线性激活层和1×1卷积层。
12.根据权利要求1所述的目标检测模型训练方法,其特征在于,在所述视图下对所述对训练集中的样本进行前景区域标注,包括:
13.根据权利要求12所述的目标检测模型训练方法,其特征在于,根据各所述目标边界框的二维信息,对所述样本进行前景区域标注,包括:
14.根据权利要求1所述的目标检测模型训练方法,其特征在于,在利用所述训练融合特征及前景区域标注结果,训练第一前景感知模型时,还包括:
15.根据权利要求14所述的目标检测模型训练方法,其特征在于,在利用所述第一前景感知模型对应的前景感知损失函数,监督所述第一前景感知模型的训练之前,还包括:
16.根据权利要求1所述的目标检测模型训练方法,其特征在于,当所述模态包括摄像机图像和点云、所述视图为鸟瞰图视图时,获取多个模态在同一视图下的训练数据特征,包括:
17.根据权利要求16所述的目标检测模型训练方法,其特征在于,在从所述训练图像数据中提取训练图像特征之后,在采用二维到三维转换方法,将所述训练图像特征转换成所述鸟瞰图视图下的训练图像特征之前,还包括:
18.根据权利要求17所述的目标检测模型训练方法,其特征在于,对所述训练图像进行前景区域标注,包括:
19.根据权利要求18所述的目标检测模型训练方法,其特征在于,根据各所述目标边界框的二维信息,对所述训练图像进行前景区域标注,包括:
20.根据权利要求1所述的目标检测模型训练方法,其特征在于,利用前景增强的所述训练融合特征训练得到目标检测模型,包括:
21.一种目标检测方法,其特征在于,包括:
22.根据权利要求21所述的目标检测方法,其特征在于,在获取多个模态在同一视图下的待检测数据特征之后,还包括:
23.根据权利要求22所述的目标检测方法,其特征在于,在利用各所述模态对应的单模态待检测前景热度图和所述待检测数据特征,得到各所述模态对应的模态内前景增强的所述待检测数据特征之后,还包括:
24.根据权利要求23所述的目标检测方法,其特征在于,将各所述模态对应的模态内前景增强的所述待检测数据特征、各所述模态对应的模态间前景增强的所述待检测数据特征进行融合,包括:
25.根据权利要求24所述的目标检测方法,其特征在于,对各所述模态对应的模态内前景增强的所述待检测数据特征、各所述模态对应的模态间前景增强的所述待检测数据特征,按照通道维度进行组合,包括:
26.根据权利要求21所述的目标检测方法,其特征在于,当所述模态包括摄像机图像和点云、所述视图为鸟瞰图视图时,获取多个模态在同一视图下的待检测数据特征,包括:
27.根据权利要求26所述的目标检测方法,其特征在于,在从所述待检测图像数据中提取待检测图像特征之后,在采用二维到三维转换方法,将所述待检测图像特征转换成所述鸟瞰图视图下的待检测图像特征之前,还包括:
28.一种目标检测模型训练装置,其特征在于,包括:
29.一种目标检测装置,其特征在于,包括:
30.一种电子设备,其特征在于,包括:
31.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至20任一项所述的目标检测模型训练方法的步骤,和/或,如权利要求21至27任一项所述的目标检测方法的步骤。