一种基于真伪标签一致性的跨模态行人再辨识方法及系统

本发明涉及图像处理与目标识别，尤其涉及一种基于真伪标签一致性的跨模态行人再辨识方法及系统。

背景技术：

1、公共安全智能视频监控昼夜全天候工作，在白天拍摄可见光行人图像，在夜晚多拍摄红外光行人图像，因此可见与红外跨模态行人再辨识具有重要意义。但是，可见光与红外光行人图像在光谱、分辨率和对比度等方面存在显著差异，对行人匹配矩阵的模态变化鲁棒性造成巨大的干扰，例如相同身份的可见光行人图像和红外光行人图像之间的相似度常常远低于不同身份的可见光行人图像之间相似度或者不同身份的红外光行人图像之间的相似度，这加剧了跨模态行人再辨识的难度。因此，对行人匹配矩阵的优化，除了常规身份鉴别性优化，尚需考虑模态变化鲁棒性。

技术实现思路

1、本发明的目的在于解决现有技术中不同模态之间确实鲁棒性的问题。

2、本发明解决其技术问题所采用的技术方案是：提供一种基于真伪标签一致性的跨模态行人再辨识方法，包括以下步骤：

3、基于深度神经网络构建可见与红外跨模态行人再辨识模型；

4、利用真伪标签一致性损失函数训练可见与红外跨模态行人再辨识模型；

5、使用训练好的可见与红外跨模态行人再辨识模型实现行人再辨识。

6、优选的，所述可见与红外跨模态行人再辨识模型采用resnet50网络，包括依次连接的一个网络茎部stem、四个残差组、一个广义均值池化层、一个批量归一化层和一个全连接层，其中，输入图像经过一个网络茎部stem、四个残差组和一个广义均值池化层后输出特征向量。

7、优选的，所述利用真伪标签一致性损失函数训练可见与红外跨模态行人再辨识模型，包括以下步骤：

8、获取可见光行人图像和红外光行人图像作为训练样本；其中，每个图像均配有身份标识作为真实标签；

9、将训练样本的图片输入可见与红外跨模态行人再辨识模型，获得特征向量；

10、计算同模态间的特征向量相似度和不同模态间的特征向量相似度，从而分别构建同模态归一化匹配矩阵和跨模态归一化匹配矩阵；

11、采用同模态归一化匹配矩阵和跨模态归一化匹配矩阵对真实标签进行投影以获得跨模态伪标签；

12、优化真实标签与跨模态伪标签之间的kl散度，从而使跨模态伪标签趋近真实标签。

13、优选的，构建同模态归一化匹配矩阵和跨模态归一化匹配矩阵的过程包括以下步骤：

14、构建同模态匹配和跨模态匹配矩阵，表示为：

15、；

16、；

17、；

18、；

19、其中，表示从可见光到可见光的同模态匹配矩阵，表示的第i行第j列对应的元素，该元素等于和之间的余弦相似度；表示从红外光到红外光的同模态匹配矩阵，表示第i行第j列对应的元素，该元素等于和之间的余弦相似度；表示从可见光到红外光的跨模态匹配矩阵，表示第i行第j列对应的元素，该元素等于和之间的余弦相似度；表示红外光到可见光的跨模态匹配矩阵，表示第i行第j列对应的元素，该元素等于和之间的余弦相似度；和分别表示第个可见光行人图像对应的d维特征向量和第j个可见光行人图像对应的d维特征向量；和表示第个红外光行人图像对应的d维特征向量和第个红外光行人图像对应的d维特征向量；表示可见光行人图像数量，表示红外光行人图像数量；表示转置运算，表示求特征向量的l2范数的运算；

20、对同模态匹配矩阵和跨模态匹配矩阵进行归一化处理，表示为：

21、；

22、；

23、；

24、；

25、其中，表示可见光到可见光的同模态归一化匹配矩阵的第i行第j列对应的元素；表示红外光到红外光的同模态归一化匹配矩阵的第i行第j列对应的元素；表示可见光到红外光的跨模态归一化匹配矩阵的第i行第j列对应的元素；表示红外光到可见光的跨模态归一化匹配矩阵的第i行第j列对应的元素；exp表示自然指数函数。

26、优选的，所述跨模态伪标签的生成过程包括以下步骤：

27、采用跨模态归一化匹配矩阵和同模态归一化匹配矩阵对真实标签进行投影，表示为：

28、；

29、；

30、其中，和 分别表示具有同一批身份的可见光图像的真实标签和红外光行人图像的真实标签，m表示可见光图像数量，n表示红外光图像数量，k表示行人身份类别数量；表示红外光真实标签的跨模态投影，表示可见光真实标签的跨模态投影；

31、对跨模态投影进行softmax归一化，表示为：

32、；

33、；

34、其中， 表示红外光真实标签的跨模态伪标签；表示可见光真实标签的跨模态伪标签；表示归一化按行进行，即对每一行的k对应元素进行归一化。

35、优选的，所述优化真实标签与跨模态伪标签之间的kl散度，采用真伪标签一致性损失函数l度量真实标签与跨模态伪标签之间的差异，通过梯度下降法进行对真伪标签一致性损失函数l的优化，从而使得跨模态伪标签趋近真实标签；

36、真伪标签一致性损失函数l表示为：

37、；

38、其中，表示可见光行人图像的真实标签的第i行第j列对应的元素；表示红外光真实标签的跨模态伪标签的第i行第j列对应的元素；表示红外光行人图像的真实标签的第i行第j列对应的元素；表示可见光真实标签的跨模态伪标签的第i行第j列对应的元素。

39、优选的，所述使用训练好的可见与红外跨模态行人再辨识模型实现行人再辨识，具体为：

40、利用训练好的跨模态行人再辨识模型分别提取待查询图像集和注册图像集中每个行人的可见光行人图像和红外光行人图像的特征向量，得到查询图像特征和注册图像特征；

41、计算查询图像特征和注册图像特征的欧式距离，输出欧式距离小于预设阈值的图像作为行人再辨识结果。

42、本发明还提供一种基于真伪标签一致性的跨模态行人再辨识系统，包括：

43、模型构建模块，基于深度神经网络构建可见与红外跨模态行人再辨识模型；

44、模型训练模块，利用真伪标签一致性损失函数训练可见与红外跨模态行人再辨识模型；

45、行人再辨识模块，使用训练好的可见与红外跨模态行人再辨识模型实现行人再辨识。

46、本发明具有如下有益效果：本发明创新地在有监督条件下利用可见光模态和红外光模态下的真实标签与跨模态伪标签优化同模态和跨模态匹配矩阵；通过计算同模态和不同模态间的特征向量相似度得到同模态和跨模态归一化匹配矩阵；再采用同模态和跨模态归一化匹配矩阵对真实标签进行投影，获得跨模态伪标签；进而优化真实标签与跨模态伪标签之间的kullback-leibler （kl）散度，使跨模态伪标签更接近于真实标签，从而优化同模态和跨模态匹配矩阵，使得相同身份的可见光行人图像和红外光行人图像之间的相似度高于不同身份的可见光行人图像之间相似度或者不同身份的红外光行人图像之间的相似度，提升匹配矩阵对模态变化的鲁棒性，提高跨模态行人再辨识准确性。

47、以下结合附图及实施例对本发明作进一步详细说明，但本发明不局限于实施例。

技术特征：

1.一种基于真伪标签一致性的跨模态行人再辨识方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于真伪标签一致性的跨模态行人再辨识方法，其特征在于，所述可见与红外跨模态行人再辨识模型采用resnet50网络，包括依次连接的一个网络茎部stem、四个残差组、一个广义均值池化层、一个批量归一化层和一个全连接层，其中，输入图像经过一个网络茎部stem、四个残差组和一个广义均值池化层后输出特征向量。

3.根据权利要求1所述的基于真伪标签一致性的跨模态行人再辨识方法，其特征在于，构建同模态归一化匹配矩阵和跨模态归一化匹配矩阵的过程包括以下步骤：

4.根据权利要求1所述的基于真伪标签一致性的跨模态行人再辨识方法，其特征在于，所述跨模态伪标签的生成过程包括以下步骤：

5.根据权利要求1所述的基于真伪标签一致性的跨模态行人再辨识方法，其特征在于，所述优化真实标签与跨模态伪标签之间的kl散度，采用真伪标签一致性损失函数l度量真实标签与跨模态伪标签之间的差异，通过梯度下降法进行对真伪标签一致性损失函数l的优化，从而使得跨模态伪标签趋近真实标签；

6.根据权利要求1所述的基于真伪标签一致性的跨模态行人再辨识方法，其特征在于，所述使用训练好的可见与红外跨模态行人再辨识模型实现行人再辨识，具体为：

7.一种基于真伪标签一致性的跨模态行人再辨识系统，其特征在于，包括：

技术总结
本发明涉及图像处理与目标识别技术领域，公开了一种基于真伪标签一致性的跨模态行人再辨识方法及系统，方法包括：通过深度神经网络对可见光与红外光两种不同模态的行人图像提取特征向量；计算同模态、不同模态间的特征向量相似度，构建同模态、跨模态匹配矩阵，并进行归一化处理，生成同模态和跨模态归一化匹配矩阵；采用跨模态归一化匹配矩阵和同模态归一化匹配矩阵对真实标签进行投影，获得跨模态伪标签；优化真实标签与跨模态伪标签之间的Kullback‑Leibler（KL）散度，从而优化同模态和跨模态匹配矩阵，提升匹配矩阵对模态变化的鲁棒性，从而提升跨模态行人再辨识准确性。

技术研发人员：黄麟涵,朱建清,柳璞都,范慧玲,姚舜嘉,黄婉婷,曾焕强,陈婧,周前果
受保护的技术使用者：华侨大学
技术研发日：
技术公布日：2024/12/5