基于TCN网络的多头上下文注意力步态相位分类方法

本发明涉及步态分析，具体涉及一种基于tcn网络的多头上下文注意力步态相位分类方法。

背景技术：

1、当前步态相位分类技术主要利用计算机视觉和机器学习算法，通过分析步态数据的变化趋势来判断步态相位。这些技术在医疗和康复领域具有重要应用，可以帮助医护人员更客观和及时地评估步行状态，监测异常步态行为。

2、目前，以深度学习为代表的人工智能算法凭借各类算法及强大的计算资源，在传感器、信号处理、步态分析等领域取得了出色的成果。对于步态相位分类，许多学者提出了大量优秀的评估算法，包括循环神经网络、卷积神经网络等。这些算法能够根据传感器所采集步态信号的变化规律进行步态相位分类，能在一定程度上减轻医护人员的工作负担，并及时地评估步行状态，监测异常步态行为。但是在该领域仍然存在一些问题。一方面，步态是一个动态过程，各个阶段之间存在明显的时间连续性，不同步态相位的特征通常依赖于之前和之后的状态，数据的长时间依赖特征难以捕获；另一方面，步态数据通常来自多个传感器通道（如加速度计和陀螺仪），每个通道捕捉不同类型的运动信息，不同通道可能在不同步态阶段展现出独特的特征，不同通道之间的特征差异难以捕获。关注传感器数据中长时间依赖特征和通道特征差异对步态相位分类非常重要，为此，深入研究对传感器数据中长时间依赖特征和通道特征是一个必要的发展。

3、因此，本发明提出一种基于tcn网络的多头上下文注意力步态相位分类方法来解决上述问题。

技术实现思路

1、本发明针对现有技术的不足，提出了一种基于tcn网络的多头上下文注意力步态相位分类方法，本发明通过在现有的tcn网络的基础上引入mhma多头上下文注意力模块与se模块，改进后的tcn网络可以更加准确的提取传感器数据的时间上下文特征，并提高对于步态相位分类的准确性。

2、本发明解决技术问题的技术方案为一种基于tcn网络的多头上下文注意力步态相位分类方法，具体如下：

3、s1、构建基于tcn网络和多头上下文注意力模块的模型，将传感器采集的数据输入该模型的tcn网络中进行特征提取，得到加速度计和陀螺仪数据的特征；

4、s2、构建多头上下文注意力模块，模块包括一个线性层和四个并行设置的上下文注意力模块，模块由并行设置的时间注意力单元和通道注意力单元组成，将特征输入至模块，得到融合特征；

5、s3、将融合特征输入到通道注意力模块提取步态相位之间的过渡特征，最终得到综合特征；

6、s4、计算在原tcn网络基础上加入模块和通道注意力模块后的改进的tcn网络的总损失，对改进的tcn网络进行优化，总损失包括交叉熵损失和差异损失；

7、s5、将综合特征输入至线性层分类器，得到最后的相位分类预测分数，得分最高的相位分类预测分数对应的类别即为预测的最终类别。

8、s1具体如下：

9、基于tcn网络和多头上下文注意力模块的模型包括tcn网络，mhma多头上下文注意力模块、通道注意力模块和线性层分类器；

10、将传感器采集的加速度计和陀螺仪数据输入至该模型的tcn网络进行特征提取，得到特征，其中，tcn网络由六个残差块串联组成。

11、s2具体如下：

12、s2.1、将tcn网络提取的特征输入至模块，首先经过线性层对特征进行处理得到特征，具体过程如下：

13、，

14、其中，表示线性层操作，特征和特征的维度均为，表示批大小，表示通道数；

15、s2.2、将四个并行连接的上下文注意力模块分别记作、、和，四个上下文注意力模块、、和均包括一个时间注意力单元和一个通道注意力单元；

16、将特征分别输入至四个模块、、、中，分别得到特征、、和，特征、、和的维度均为；

17、s2.3、通过分区约束损失函数对四个模块、、和进行约束，计算公式如下：

18、，

19、其中，n表示总的输入的样本数，l表示类别总数，设置l=4，表示第个样本在第类上的置信度分数，取值范围为，表示第个样本在第类上的预测分布方差，k表示可学习的超参数；

20、对四个模块、、和进行约束后，模块、、、分别关注一个步态类别，进而得到特征、、和，表示只关注步态相位类别1的特征，表示只关注步态相位类别2的特征，表示只关注步态相位类别3的特征，表示只关注步态相位类别4的特征；

21、s2.4将特征、、和进行加权融合，具体计算如下：

22、，

23、其中，、、和表示四个不同的权重参数，，且、、、均大于0，表示包含时间信息和通道信息的融合特征。

24、s2.2具体如下：

25、s2.2.1、将特征输入至第一个模块后，分别经过时间注意力单元和通道注意力单元；

26、时间注意力单元包括两个网络层，两个网络层均为膨胀卷积层，卷积核大小均为1×1、步长为1、膨胀率为4，第二个网络层后设有一个网络组件，为激活函数；

27、通道注意力单元包括三个网络层，第一个网络层为自适应平均池化层，第二个网络层和第三个网络层均为线性层，第三个网络层后设有一个网络组件，为激活函数；

28、在时间注意力单元中，特征首先经过第一个网络层的膨胀卷积层，得到特征，再将特征输入至第二个网络层的膨胀卷积层得到特征，再将特征输入至relu激活函数得到时间注意力单元的注意力分数，最后将时间注意力单元的输入特征与注意力分数相乘，得到时间特征；

29、在通道注意力单元中，特征首先经过第一个网络层的自适应平均池化层，得到特征，再将特征输入至第二个网络层的线性层，得到特征，再将特征输入至第三个网络层的线性层，得到特征，再将特征输入至relu激活函数，得到通道注意力单元的注意力分数，最后将通道注意力单元的输入特征与注意力分数相乘，得到通道特征；

30、将时间特征和通道特征进行相加，得到特征；

31、s2.2.2、同理，将特征输入至第二个模块后，经过步骤s2.2.1中操作得到特征；

32、将特征输入至第三个模块后，经过步骤s2.2.1中操作得到特征；

33、将特征输入至第四个模块后，经过步骤s2.2.1中操作得到特征。

34、s3具体如下：

35、将融合特征输入至模块，在融合特征的基础上继续提取不同步态相位之间的过渡特征，得到包含步态数据时间特征、通道特征、过渡特征的综合特征。

36、s4具体如下：

37、通过均方误差损失mse计算融合特征和综合特征之间的差异，得到融合特征和综合特征之间的差异损失，差异损失越小，则模块计算的越准确，具体过程如下：

38、，

39、其中，表示和的维度，表示维度的索引；

40、多分类任务中的交叉熵损失计算方式为：

41、，

42、其中，表示输入数据的真实类别标签，用独热编码形式表示，真实类别表示为1，其他类别表示为0，表示相位类别索引，表示预测概率，表示相位类别的总数，设置；

43、基于tcn网络和多头上下文注意力模块的模型总损失具体计算如下：

44、。

45、s5具体如下：

46、将得到的综合特征输入到线性层分类器，在总损失的监督下进行训练，最后得到改进的tcn网络预测的相位分类分数，其中，表示相位类别索引，表示相位类别总数，，，相位分类分数计算如下：

47、，

48、其中，表示线性层操作；

49、最后，从相位分类预测分数中选择得分最高的相位分类分数，该位分类分数对应的类别即为预测的最终类别。

50、
技术实现要素：
中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：

51、本发明提供了一种基于tcn网络的多头上下文注意力步态相位分类方法，可以同时关注传感器数据的时间维度特征和通道维度特征，在极大程度上关注到了步态相位在时间上下文中的主要特征，使网络更加准确的提取传感器数据的时间上下文特征；同时，使用四头的上下文注意力模块使模型从输入的不同特征角度来学习特征信息，再将提取到的不同特征角度的信息进行聚合，从而捕获更加全面的特征信息，由此提高模型对不同步态相位的区分能力，大大提高对于步态相位分类的准确性；

52、本发明提出的多头上下文注意力模块，在极大程度上关注到了传感器数据的时间上下文特征，由此提高模型对不同步态相位的区分能力，大大提高对于步态相位分类的准确性。

技术特征：

1.一种基于tcn网络的多头上下文注意力步态相位分类方法，其特征是，包括以下步骤：

2.根据权利要求1所述的基于tcn网络的多头上下文注意力步态相位分类方法，其特征是，s1具体如下：

3.根据权利要求2所述的基于tcn网络的多头上下文注意力步态相位分类方法，其特征是，s2具体如下：

4.根据权利要求3所述的基于tcn网络的多头上下文注意力步态相位分类方法，其特征是，s2.2具体如下：

5.根据权利要求4所述的基于tcn网络的多头上下文注意力步态相位分类方法，其特征是，s3具体如下：

6.根据权利要求5所述的基于tcn网络的多头上下文注意力步态相位分类方法，其特征是，s4具体如下：

7.根据权利要求6所述的基于tcn网络的多头上下文注意力步态相位分类方法，其特征是，s5具体如下：

技术总结
本发明涉及步态分析技术领域，具体涉及一种基于TCN网络的多头上下文注意力步态相位分类方法，具体如下：构建基于TCN网络和多头上下文注意力模块的模型，将传感器采集的数据输入至模型的TCN网络进行特征提取，得到特征；构建多头上下文注意力模块，将特征输入至模块，得到融合特征；将融合特征输入到通道注意力模块得到综合特征；计算模型的总损失；将综合特征输入至线性层分类器，得到最后的相位分类预测分数，得分最高的相位分类预测分数对应的类别即为预测的最终类别。本发明可以更加准确的提取传感器数据的时间上下文特征，并提高对于步态相位分类的准确性。

技术研发人员：李金宝,刘晓薇,郭亚红,魏诺,高天雷
受保护的技术使用者：齐鲁工业大学（山东省科学院）
技术研发日：
技术公布日：2024/12/5