基于空间降维的高分辨率人体姿态估计模型的轻量化方法与流程

1.本发明涉及人体姿态估计领域，具体涉及基于空间降维的高分辨率人体姿态估计模型的轻量化方法。


背景技术：

2.人体姿态估计是计算机视觉中一个基础而又富有挑战性的问题，其目的是从单张rgb图像中，精确地识别出多个人体的位置以及每个人体实例的预先定义好的关节点（左/右眼睛、鼻子、左/右肩膀、左/右手肘等17类关节点）的位置。人体姿态任务从提出至今一直是学术界研究的热点任务，它承接了基础的目标检测的同时又作为行为识别、情感分析等众多高阶理解任务的基础，在工业界也广受关注。
3.研究技术尝试利用前沿的深度学习技术改善模型表现力，基于深度学习的人体姿态估计技术不断涌现。相较于手工设计数据的特征，深度学习方法可以自动学习数据的特征并由此对数据进行分类与回归，因此具有更高的鲁棒性。随着深度卷积神经网络的应用和mscoco等大规模数据集的发布，人体姿态估计方法已经取得了较大的发展，它们大致可以分为自底向上（bottom-up）和自顶向下（top-down）的方法。
4.1）对于自顶向下的方法，首先对输入图片进行人体检测，定位所有人体实例，然后根据检测的结果将每个人体实例对应的区域裁剪出，再对每个人体实例进行单人的姿态估计，此类方法的设计核心主要集中在如何设计高效的单人姿态估计方法。
5.2）自底向上的方法则正好相反，首先通过一个关键点检测器定位出所有的人体关键点，然后以对每个关键点的编码为依据将这些关键点分配到不同的人体实例，从而组成图片中所有的人体姿态。这类方法的核心技术在于如何检测出所有的关键点以及如何正确地进行分组。
6.虽然相较于需要提前进行人体检测的自顶向下的方法来说，自底向上的方法具有更高的检测效率，但在精度上仍然有一定的差距，因此目前的研究热点仍然集中在自顶向下的方法上。
7.目前自顶向下的方法在精度方面已经完全达到了工业应用的要求，但是因为人体姿态估计这个任务本身就是一个像素级的密集预测任务，因此要求在通过神经网络提取特征时要保持高分辨率的空间维度，这就导致深度神经网络所需要的计算资源巨大，而这些大网络对计算资源的苛刻要求，使得其难以部署到日益普遍的移动端设备上。


技术实现要素：

8.本发明的目的在于：克服现有技术的不足，提供基于空间降维的高分辨率人体姿态估计模型的轻量化方法，通过对将神经网络学习到的高分辨率二维空间特征压缩到两个一维的空间特征实现对人体姿态估计网络的轻量化设计。
9.本发明采用的技术方案如下：基于空间降维的高分辨率人体姿态估计模型的轻量化方法，包括以下步骤：
步骤s1：选择训练数据集为mscoco key point数据集，并通过人体检测框截取图片得到输入图片；步骤s2：构建基于空间降维的高分辨率轻量级基础网络模块m
x
；步骤s3：基于步骤s2中构建好的轻量级基础网络模块m
x
，构建基于空间降维的高分辨率轻量级特征提取网络n
x
，对步骤s1中截取到的输入图片通过卷积编码的方法生成高分辨率的视觉特征；步骤s4：构建基于热力图的人体姿态估计器e
x
，利用步骤s3中提取出的高分辨率的视觉特征，得到人体姿态的预测结果，并定义损失函数计算预测结果的误差；步骤s5：采用adam优化器，根据步骤s3得到的误差，对整个基于空间降维的轻量级高分辨率姿态估计网络进行训练；步骤s6：实用训练完的基于空间降维的轻量级高分辨率姿态估计网络对人体图片进行姿态估计，以验证训练完的基于空间降维的轻量级高分辨率姿态估计网络的检测精度。
10.进一步地，所述步骤s2具体包括：步骤s21：首先设定基础网络模块，输入的初始图像特征为f∈rc×h×w，其中rc×h×w表示维度为c
×h×
w的实数域，c表示初始图像特征f的通道数，h和w分别表示初始图像特征f的两个空间维度；步骤s22：对步骤s21中定义好的初始图像特征f在通道数c二等分、得到等分图像特征一f1∈r
1/2c
×h×w和等分图像特征二f2∈r
1/2c
×h×w；步骤s23：对二等分的到的等分图像特征二f2，首先对h空间维度通过带权重的平均函数进行压缩得到压缩等分图像特征二f
2w
∈r
1/2c
×1×w，对压缩等分图像特征二f
2w
通过1*1卷积核进行编码，通过sigmoid激活函数后得到w维度的注意力图a
2w
∈r
1/2c
×1×w；将学习到注意力图a
2w
与等分图像特征二f2进行元素级的相乘、得到对维度强化后的第一代等分图像特征二f
'2
。
11.步骤s24：对步骤s23中得到的第一代等分图像特征二f
'2
通过卷积核为3*3的深度可分离卷积进行编码，得到更大感受野的第二代等分图像特征二f
''2
；步骤s25：对步骤s24中得到的第二代等分图像特征二f
''2
对w空间维度通过带权重的平均函数进行压缩得到第二代压缩等分图像特征二f
''2h
∈r
1/2c
×h×1,对第二代压缩等分图像特征二f
''2h
通过1*1卷积核进行编码，通过sigmoid激活函数后得到h维度的注意力图a
''2h
∈r
1/2c
×h×1；将学习到注意力图a
''2h
与第二代等分图像特征二f
''2
进行元素级的相乘得到对维度强化后的第三代等分图像特征二f
'''2
；步骤s26：将步骤s25中的强化后的第三代等分图像特征二f
'''2
和步骤s22中二等分后的另一半等分图像特征一f1在特征维度重新拼接在一起，得到输出特征f
*
，将输出特征f
*
带入到步骤s21中设定的基础网络模块，得到基于空间降维的高分辨率轻量级基础网络模块m
x
。
12.进一步地，所述步骤s3具体包括：步骤s31：首先通过卷积核和双线性插值操作对输入的图片i∈r3×h×w；提取4倍下采样的基础特征f
base
∈rc×h×w；步骤s32：构建多分辨率网络结构，最终构建出有四个分支的三角形层级网络结
构，这四个分支的分辨率分别4倍下采样，8倍下采样，16倍下采样和32倍下采样；“整个网络结构的所有编码模块都是在步骤s2中构建的基于空间降维的高分辨率轻量级基础网络模块m
x
；步骤s33：构建对不同分辨率的特征融合模块，对小分辨率的特征进行上采样后通过元素级加法的方式加到大分辨率的特征上，对大分辨率的特征进行下采样后通过元素级加法的方式加到小分辨率的特征上；步骤s34：在步骤s32中设计的多分辨率网络结构中，加入在步骤s33中构建的对不同分辨率的特征融合模块，对不同分辨率的特征进行信息交互，得到基于空间降维的高分辨率轻量级特征提取网络n
x
；步骤s35：通过步骤s34中设计好的基于空间降维的高分辨率轻量级特征提取网络n
x
对s31中提取好的4倍下采样的基础特征进行编码，最终得到一组不同分辨率的视觉特征（f
4x、f8x、f16x、f32x
）。
13.进一步地，所述步骤s4具体包括：步骤s41：通过卷积操作构建人体姿态估计器，对步骤s35中提取出的高分辨率特征f
4x
进行编码，得到k张人体关节点的热力图，其中k表示数据集预先定义好的人体关节点类别数量；步骤s42：对步骤s41中预测到的k张人体关节点的热力图与根据真值构造好的高斯分布真值热力图通过均方差损失函数计算损失。
14.进一步地，在mscoco key point数据集中，k=17。
15.进一步地，所述均方差损失函数为l
mse
，具体如下：其中，k表示数据集预先定义好的人体关节点类别、表示第k个关节点对应的真值热力图；表示第k个关节点对应的预测热力图。
16.进一步地，所述步骤s5中，对adam的超参设置为：学习率为2e-3，用于计算梯度以及梯度平方的运行平均值的系数β1=0.9，β2=0.999。
17.进一步地，所述步骤s6中，对在步骤s4中预测到的k张人体关节点的热力图分别得到对应的峰值所在的索引位置即为最终的关节点的预测结果。
18.本发明的有益效果如下：1.本发明的轻量化方法保持了特征的高分辨率，由于在自顶向下的姿态估计方法中两个一维的空间特征可以还原出一个二维的空间特征的特性，这种方法能够在保持高精度的同时将网络的计算复杂度从二次方级降低到一次方级；2.本发明使用空间降维的方式对自顶向下的人体姿态估计方法进行轻量化优化，有效地将计算量从二次方级降低到一次方级；3.本发明所设计的基于空间降维的高分辨率人体姿态估计模型轻量化方法在轻量化的过程中保持了特征的高分辨率，基本对网络的精度不造成损失。
point数据集，并通过人体检测框截取图片得到输入图片；mscoco key poin数据集基于mscoco数据集构建。训练集包括57,000张图片，其中包含了150,000个人体实例，验证集包含了5,000张图片。mscoco key point中包含各种各样的自然场景，人体姿态多样性高，这是一个非常具有挑战性的数据集；步骤s2：构建基于空间降维的高分辨率轻量级基础网络模块m
x
；该步骤具体内容如下：步骤s21：首先设定基础网络模块，输入的初始图像特征为f∈rc×h×w，其中rc×h×w表示维度为c
×h×
w的实数域，c表示初始图像特征f的通道数，h和w分别表示初始图像特征f的两个空间维度；步骤s22：对步骤s21中定义好的初始图像特征f在通道数c二等分、得到等分图像特征一f1∈r
1/2c
×h×w和等分图像特征二f2∈r
1/2c
×h×w；步骤s23：对二等分的到的等分图像特征二f2，首先对h空间维度通过带权重的平均函数进行压缩得到压缩等分图像特征二f
2w
∈r
1/2c
×1×w，对压缩等分图像特征二f
2w
通过1*1卷积核进行编码，通过sigmoid激活函数后得到w维度的注意力图a
2w
∈r
1/2c
×1×w；将学习到注意力图a
2w
与等分图像特征二f2进行元素级的相乘、得到对维度强化后的第一代等分图像特征二f
'2
。
26.步骤s24：对步骤s23中得到的第一代等分图像特征二f
'2
通过卷积核为3*3的深度可分离卷积进行编码，得到更大感受野的第二代等分图像特征二f
''2
；步骤s25：对步骤s24中得到的第二代等分图像特征二f
''2
对w空间维度通过带权重的平均函数进行压缩得到第二代压缩等分图像特征二f
''2h
∈r
1/2c
×h×1,对第二代压缩等分图像特征二f
''2h
通过1*1卷积核进行编码，通过sigmoid激活函数后得到h维度的注意力图a
''2h
∈r
1/2c
×h×1；将学习到注意力图a
''2h
与第二代等分图像特征二f
''2
进行元素级的相乘得到对维度强化后的第三代等分图像特征二f
'''2
；步骤s26：将步骤s25中的强化后的第三代等分图像特征二f
'''2
和步骤s22中二等分后的另一半等分图像特征一f1在特征维度重新拼接在一起，得到输出特征f
*
，将输出特征f
*
带入到步骤s21中设定的基础网络模块，得到基于空间降维的高分辨率轻量级基础网络模块m
x
。
27.步骤s3：基于步骤s2中构建好的轻量级基础网络模块m
x
，构建基于空间降维的高分辨率轻量级特征提取网络n
x
，对步骤s1中截取到的输入图片通过卷积编码的方法生成高分辨率的视觉特征。具体内容如下：步骤s31：首先通过卷积核和双线性插值操作对输入的图片i∈r3×h×w；提取4倍下采样的基础特征f
base
∈rc×h×w；步骤s32：构建多分辨率网络结构，最终构建出有四个分支的三角形层级网络结构，这四个分支的分辨率分别4倍下采样，8倍下采样，16倍下采样和32倍下采样；“整个网络结构的所有编码模块都是在步骤s2中构建的基于空间降维的高分辨率轻量级基础网络模块m
x
；步骤s33：构建对不同分辨率的特征融合模块，对小分辨率的特征进行上采样后通过元素级加法的方式加到大分辨率的特征上，对大分辨率的特征进行下采样后通过元素级加法的方式加到小分辨率的特征上；
步骤s34：在步骤s32中设计的多分辨率网络结构中，加入在步骤s33中构建的对不同分辨率的特征融合模块，对不同分辨率的特征进行信息交互，得到基于空间降维的高分辨率轻量级特征提取网络n
x
；步骤s35：通过步骤s34中设计好的基于空间降维的高分辨率轻量级特征提取网络n
x
对s31中提取好的4倍下采样的基础特征进行编码，最终得到一组不同分辨率的视觉特征（f
4x、f8x、f16x、f32x
）。
28.步骤s4：构建基于热力图的人体姿态估计器e
x
，利用步骤s3中提取出的高分辨率的视觉特征，得到人体姿态的预测结果，并定义损失函数计算预测结果的误差。具体内容如下：步骤s41：通过卷积操作构建人体姿态估计器，对s35中提取出的高分辨率特征f
4x
进行编码，得到k张人体关节点的热力图，其中k表示数据集预先定义好的人体关节点类别数量，就mscoco key point数据集来说，k=17；步骤s42：对s41中预测到的k张人体关节点的热力图与根据真值构造好的高斯分布真值热力图通过均方差损失函数计算损失。
29.所述步骤s4中提到的均方差损失函数l
mse
，具体如下：步骤s5：采用adam优化器，根据s3计算出的误差，对整个基于空间降维的轻量级高分辨率姿态估计网络进行训练。具体的，我们对adam的超参设置为：学习率为2e-3，用于计算梯度以及梯度平方的运行平均值的系数β1=0.9，β2=0.999。
30.步骤s6：实用训练完的基于空间降维的轻量级高分辨率姿态估计网络对人体图片进行姿态估计，以验证训练完的基于空间降维的轻量级高分辨率姿态估计网络的检测精度。具体地，我们对在步骤s4中预测到的k张人体关节点的热力图分别得到对应的峰值所在的索引位置即为最终的关节点的预测结果。
31.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于空间降维的高分辨率人体姿态估计模型的轻量化方法，其特征在于，包括以下步骤：步骤s1：选择训练数据集为mscoco key point数据集，并通过人体检测框截取图片得到输入图片；步骤s2：构建基于空间降维的高分辨率轻量级基础网络模块m
x
；步骤s3：基于步骤s2中构建好的轻量级基础网络模块m
x
，构建基于空间降维的高分辨率轻量级特征提取网络n
x
，对步骤s1中截取到的输入图片通过卷积编码的方法生成高分辨率的视觉特征；步骤s4：构建基于热力图的人体姿态估计器e
x
，利用步骤s3中提取出的高分辨率的视觉特征，得到人体姿态的预测结果，并定义损失函数计算预测结果的误差；步骤s5：采用adam优化器，根据步骤s3得到的误差，对整个基于空间降维的轻量级高分辨率姿态估计网络进行训练；步骤s6：实用训练完的基于空间降维的轻量级高分辨率姿态估计网络对人体图片进行姿态估计，以验证训练完的基于空间降维的轻量级高分辨率姿态估计网络的检测精度。2.根据权利要求1所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法，其特征在于，所述步骤s2具体包括：步骤s21：首先设定基础网络模块，输入的初始图像特征为f∈r
c
×
h
×
w
，其中r
c
×
h
×
w
表示维度为c
×
h
×
w的实数域，c表示初始图像特征f的通道数，h和w分别表示初始图像特征f的两个空间维度；步骤s22：对步骤s21中定义好的初始图像特征f在通道数c二等分、得到等分图像特征一f1∈r
1/2c
×
h
×
w
和等分图像特征二f2∈r
1/2c
×
h
×
w
；步骤s23：对二等分的到的等分图像特征二f2，首先对h空间维度通过带权重的平均函数进行压缩得到压缩等分图像特征f
2w
∈r
1/2c
×1×
w
，对压缩等分图像特征二f
2w
通过1*1卷积核进行编码，通过sigmoid激活函数后得到w维度的注意力图a
2w
∈r
1/2c
×1×
w
；将学习到注意力图a
2w
与等分图像特征二f2进行元素级的相乘、得到对维度强化后的第一代等分图像特征二f
'2
；步骤s24：对步骤s23中得到的第一代等分图像特征二f
'2
通过卷积核为3*3的深度可分离卷积进行编码，得到更大感受野的第二代等分图像特征二f
''2
；步骤s25：对步骤s24中得到的第二代等分图像特征二f
''2
对w空间维度通过带权重的平均函数进行压缩得到第二代压缩等分图像特征二f
''2h
∈r
1/2c
×
h
×1,对第二代压缩等分图像特征二f
''2h
通过1*1卷积核进行编码，通过sigmoid激活函数后得到h维度的注意力图a
''2h
∈r
1/2c
×
h
×1；将学习到注意力图a
''2h
与第二代等分图像特征二f
''2
进行元素级的相乘得到对维度强化后的第三代等分图像特征二f
'''2
；步骤s26：将步骤s25中的强化后的第三代等分图像特征二f
'''2
和步骤s22中二等分后的另一半等分图像特征一f1在特征维度重新拼接在一起，得到输出特征f
*
，将输出特征f
*
带入到步骤s21中设定的基础网络模块，得到基于空间降维的高分辨率轻量级基础网络模块m
x
。3.根据权利要求1所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法，其特征在于，所述步骤s3具体包括：步骤s31：首先通过卷积核和双线性插值操作对输入的图片i∈r3×
h
×
w
；提取4倍下采样
的基础特征f
base
∈r
c
×
h
×
w
；步骤s32：构建多分辨率网络结构，最终构建出有四个分支的三角形层级网络结构，这四个分支的分辨率分别4倍下采样，8倍下采样，16倍下采样和32倍下采样；“整个网络结构的所有编码模块都是在步骤s2中构建的基于空间降维的高分辨率轻量级基础网络模块m
x
；步骤s33：构建对不同分辨率的特征融合模块，对小分辨率的特征进行上采样后通过元素级加法的方式加到大分辨率的特征上，对大分辨率的特征进行下采样后通过元素级加法的方式加到小分辨率的特征上；步骤s34：在步骤s32中设计的多分辨率网络结构中，加入在步骤s33中构建的对不同分辨率的特征融合模块，对不同分辨率的特征进行信息交互，得到基于空间降维的高分辨率轻量级特征提取网络n
x
；步骤s35：通过步骤s34中设计好的基于空间降维的高分辨率轻量级特征提取网络n
x
对s31中提取好的4倍下采样的基础特征进行编码，最终得到一组不同分辨率的视觉特征（f
4x、
f
8x、
f
16x、
f
32x
）。4.根据权利要求3所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法，其特征在于，所述步骤s4具体包括：步骤s41：通过卷积操作构建人体姿态估计器，对步骤s35中提取出的高分辨率特征f
4x
进行编码，得到k张人体关节点的热力图，其中k表示数据集预先定义好的人体关节点类别数量；步骤s42：对步骤s41中预测到的k张人体关节点的热力图与根据真值构造好的高斯分布真值热力图通过均方差损失函数计算损失。5.根据权利要求4所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法，其特征在于，在mscoco key point数据集中，k=17。6.根据权利要求4所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法，其特征在于，所述均方差损失函数为l
mse
，具体如下：其中，k表示数据集预先定义好的人体关节点类别、表示第k个关节点对应的真值热力图；表示第k个关节点对应的预测热力图。7.根据权利要求1所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法，其特征在于，所述步骤s5中，对adam的超参设置为：学习率为2e-3，用于计算梯度以及梯度平方的运行平均值的系数β1=0.9，β2=0.999。8.根据权利要求1所述的基于空间降维的高分辨率人体姿态估计模型的轻量化方法，其特征在于，所述步骤s6中，对在步骤s4中预测到的k张人体关节点的热力图分别得到对应的峰值所在的索引位置即为最终的关节点的预测结果。

技术总结
本发明公开了基于空间降维的高分辨率人体姿态估计模型的轻量化方法，涉及人体姿态估计领域，解决深度神经网络所需要的计算资源巨大的技术问题，本发明提出一种对1*1卷积核的等级替换方案。首先通过条纹状的上下文建模对输入的二维空间特征压缩后得到单维的空间特征，再分别对两个单维的空间特征进行编码学习到条纹状的注意力图，最终用学习到的两个单维空间的注意力图还原成一个双维空间的注意力图，并且用此注意力图帮助模型聚焦在关键点附近的区域；由于在自顶向下的姿态估计方法中两个一维的空间特征可以还原出一个二维的空间特征的特性，这种方法能够在保持高精度的同时将网络的计算复杂度从二次方级降低到一次方级。级。级。


技术研发人员：沈复民 周宜暄 徐行 申恒涛
受保护的技术使用者：成都考拉悠然科技有限公司
技术研发日：2022.02.08
技术公布日：2022/3/8