基于任务对齐和重参数的学生课堂行为识别轻量化小目标检测模型及方法
本发明涉及一种目标检测模型，具体涉及一种用于学生课堂行为识别的轻量化小目标检测模型。
背景技术：
1、现有的课堂行为检测方法分为基于人体姿态估计的检测方法和直接检测方法。基于人体姿态估计的检测方法首先使用openpose framework作为人体姿态估计框架从课堂图像中生成表示人体姿势的向量，包括关节位置、距离和骨骼角度，随后使用cnn从骨骼信息中学习学生课堂行为的特征，对学生课堂行为进行分类。这种方法并不适用于复杂的教室场景。姿态估计需要清晰的骨架信息，但教室中往往存在严重的遮挡。姿态估计也要更多的计算资源和复杂的模型来实现，相比传统的目标检测方法，算法的复杂度更高，这就使得其在教学资源受限的教室中难以部署。直接检测方法使用单阶段检测器yolo、ssd、detr等一个阶段的推理中定位和分类所有对象，检测速度更快，所需的计算资源更少。单阶段检测器通常由主干、颈部和检测头这三个部件组成，主干从输入图像中提取特征，在颈部中进行特征融合和增强，最后检测头输出检测结果。现有的检测头通常使用独立的定位和分类分支，忽视了定位任务和分类任务在学习策略上的差异，这可能会导致两个任务之间的预测出现一定程度的空间错位，影响预测的准确性。课堂图像中因为存在座椅并且排列紧密，导致要检测的学生目标的尺度大小不一致，存在许多小目标，直接检测方法因为使用单阶段检测器并不预先检测候选区域因而在检测小目标时表现较差。detr这类基于transformer的目标检测模型尽管检测精度高，但计算复杂度高，因而模型拥有极高的参数量，使得其难以部署在性能受限的设备上。
技术实现思路
1、为了解决现有学生课堂行为检测方法对因教室内普遍的遮挡而造成的小目标的检测精度低的问题和学生课堂行为检测模型因为参数量和计算量过高部署在性能受限设备上的部署难度高的问题，本发明提供了一种基于任务对齐和重参数的学生课堂行为识别轻量化小目标检测模型及方法。
2、本发明的目的是通过以下技术方案实现的：
3、一种基于任务对齐和重参数的学生课堂行为识别轻量化小目标检测模型，包括主干网络backbone、颈部neck和基于任务对齐思想的任务交互预测头taph，主干网络backbone从图像中提取特征、进行下采样处理，颈部neck进行特征融合，任务交互预测头taph进一步提取任务交互特征并输出预测结果，其中：
4、所述主干网络backbone在darknet53中引入r-dwr模块，r-dwr模块将提取多尺度特征的过程分为区域残差化和语义残差化两个步骤，在区域残差化部分，利用结合了bn和relu函数的3×3的卷积提取初步的特征；在语义残差化部分，使用多个不同扩张率的膨胀卷积提取多尺度的特征；在提取多尺度特征后，融合所有的特征图并对融合的特征图进行bn标准化，采用逐点卷积来合并特征，形成最终的残差，最后，将输入特征图加到最终残差中，以构建更强、更全面的特征表示；
5、所述neck由fpn和panet构成，在c2f层中结合gdc，主干网络backbone输入的特征图首先经过一个1×1的cbs调整通道数和提取特征，随后使用split操作将输出的特征图分为两个部分，一部分通道数为cin/2的特征图直接通过残差连接到输出，另一部分通道数为cin/2的特征图经过多个并行的gdc提取更多的特征，随后对两个部分的输出进行融合操作，生成通道数为(n+2)cin/2的融合后的特征图，n表示使用的gdc的数量，最后通过一个cbs模块进一步处理，调整通道数为cin，以生成最终的输出特征图；
6、所述taph由四个部分组成，分别是特征提取器、任务分解模块、边界预测分支和类别预测分支，特征提取器使用两个conv_gn从neck的输入中学习任务交互特征，conv_gn使用gn(group normalization，组归一化)代替bn(batch normalization,批归一化)以增强检测头定位和分类的性能，特征提取器将学习到的任务交互特征输入到任务分解模块中，任务分解模块通过tdm将任务交互特征分解为分类预测特征和边界预测特征，分类预测特征和边界预测特征分别用于分类预测分支和边界预测分支计算分类分数和定位区域，输出的特征图使用scale层调整卷积层后的特征的尺度以适应共享卷积的使用，最终得到预测结果。
7、一种基于任务对齐和重参数的学生课堂行为检测方法，包括如下步骤：
8、步骤一、输入待检测图像
9、将包含学生课堂行为的图像输入到预先训练好的学生课堂行为识别轻量化小目标检测模型中；
10、步骤二、特征提取
11、利用主干网络进行特征提取；
12、步骤三、特征融合
13、在颈部中对主干网络提取的特征进行特征融合、增强，以获得更强大的特征表示；
14、步骤四、任务交互特征提取
15、利用特征提取器从颈部输出的融合特征中计算任务交互特征；
16、步骤五、任务分解
17、利用任务分解模块对任务交互特征进行分解，将任务交互特征分解为分类预测特征和边界预测特征；
18、计算分类分数和区域概率；
19、步骤六、定位和分类
20、分类预测特征和边界预测特征分别通过分类预测分支和边界预测分支进行计算，得到区域概率和分类分数；
21、步骤七、解码
22、对区域概率和分类分数进行解码操作，将其转换成最终的定位结果和分类结果；
23、步骤八、非极大值抑制
24、使用非极大值抑制技术对最终的预测结果进行调整，通过保留得分最高的学生课堂行为检测框(bounding boxes)，并抑制与其高度重叠的其他学生课堂行为检测框，消除冗余的学生课堂行为检测框；
25、步骤九、输出检测结果
26、学生课堂行为识别轻量化小目标检测模型输出最终的检测结果，检查结果包括检测框、类别标签和置信度分数，每个检测框的置信度分数表示该框是否包含目标以及目标类别的准确性。
27、相比于现有技术，本发明具有如下优点：
28、1、本发明构建了一个用于学生课堂行为检测和分析的数据集，重点关注课堂中典型的7种学生行为和3种教师与学生的互动行为。
29、2、针对小目标识别问题，本发明设计了一个检测头taph，在检测头上设计了任务对齐的结构。这种结构增强了传统单阶段检测器定位任务和分类任务的交互性，并通过特征提取器从多个卷积层中学习任务交互特征。此外，在检测头中使用共享卷积来减少模型的参数量，在使用共享卷积的同时，为了应对每个检测头所检测的目标尺度不一致的问题，使用scale层对特征进行缩放。该方法有效地提高了模型从遮挡严重的图像中提取小目标特征信息的能力。
30、3、本发明为了适应教室中性能受限的设备，在yolov8模型neck的c2f中引入了ghost module，通过将ghost module中的普通卷积替换为动态卷积，减少模型的计算量和提高精度。
31、4、本发明在yolov8模型backbone中引入r-dwr，通过不同膨胀率的膨胀卷积来提取多尺度的上下文特征，提升模型识别小目标的能力，并使用重参数方法减少模型计算量。
32、5、本发明提出的学生课堂行为检测模型在检测精度比基准模型yolov8n更高，在stcb数据集上，map达到了79.2％，比yolov8n高1.5％，对数据集中的小目标检测精度为11.2％，比yolov8n高1.7％。模型的计算量从8.1flops降到了6.9gflops，降低了14.8％。参数量从3.2m降到了1.8m，降低了43.8％。
技术特征：
1.一种基于任务对齐和重参数的学生课堂行为识别轻量化小目标检测模型，其特征在于所述模型包括主干网络backbone、颈部neck和基于任务对齐思想的任务交互预测头taph，主干网络backbone从图像中提取特征、进行下采样处理，颈部neck进行特征融合，任务交互预测头taph进一步提取任务交互特征并输出预测结果，其中：
2.根据权利要求1所述的基于任务对齐和重参数的学生课堂行为识别轻量化小目标检测模型，其特征在于所述tdm通过在层级别动态计算特定于任务的特征来促进任务分解，令xinter表示特征提取器从neck中提取到的任务交互特征，为从xinter中针对每个分类或定位任务单独计算的特定任务的特征，如式1所示：
3.根据权利要求2所述的基于任务对齐和重参数的学生课堂行为识别轻量化小目标检测模型，其特征在于所述分类预测分支使用空间概率图c学习每个空间位置的两个任务之间的一致性，如式4所示，c从xinter计算得到，计算公式如式5所示，p和b的元素乘积结果随后经过一个卷积层得到最后的分类结果palign：
4.根据权利要求1所述的基于任务对齐和重参数的学生课堂行为识别轻量化小目标检测模型，其特征在于所述gdc由ghost module和动态卷积组成，其中：
5.一种利用权利要求1-4任一项所述模型进行基于任务对齐和重参数的学生课堂行为检测方法，其特征在于所述方法包括如下步骤：
技术总结
本发明公开了一种基于任务对齐和重参数的学生课堂行为识别轻量化小目标检测模型及方法，所述模型包括主干网络、颈部和基于任务对齐思想的任务交互预测头，主干网络从图像中提取特征、进行下采样处理，颈部进行特征融合，任务交互预测头进一步提取任务交互特征并输出预测结果。本发明提出的学生课堂行为检测模型在检测精度比基准模型YOLOV8n更高，在STCB数据集上，mAP达到了79.2％，比YOLOV8n高1.5％，对数据集中的小目标检测精度为11.2％，比YOLOV8n高1.7％。模型的计算量从8.1FLOPs降到了6.9GFLOPs，降低了14.8％。参数量从3.2M降到了1.8M，降低了43.8％。
技术研发人员：季伟东,李金龙,包程柯,张傲东,刘荫权,王浩宇,郑霖,周国辉,杨建柏
受保护的技术使用者：哈尔滨师范大学
技术研发日：
技术公布日：2024/12/5