一种基于深度学习的运动员投掷动作分析与训练方法及设备与流程

本发明涉及图像处理领域，尤其是涉及一种基于深度学习的运动员投掷动作分析与训练方法。

背景技术：

1、传统的运动员投掷动作分析方法，如专利申请公布号为cn116665296a的专利申请，公开了一种基于pca-lbp算法的运动员投掷动作识别方法，只是针对运动员投掷动作的识别，无法将该投掷动作与投掷物的运动轨迹关联起来，缺少指导意义。

2、因此有必要提出一种新型的基于深度学习的运动员投掷动作分析与训练方法和设备，解决传统运动员投掷动作分析方法只是针对运动员投掷动作的识别，导致的无法将该投掷动作与投掷物的运动轨迹关联起来、缺少指导意义的问题。

技术实现思路

1、本发明提供一种基于深度学习的运动员投掷动作分析与训练方法和设备，解决传统运动员投掷动作分析方法只是针对运动员投掷动作的识别，导致的无法将该投掷动作与投掷物的运动轨迹关联起来、缺少指导意义的问题。

2、本发明所解决的技术问题采用以下技术方案来实现：

3、一种基于深度学习的运动员投掷动作分析与训练方法，其特征在于，其方法包括：

4、使用传感器同步采集标准投掷动作数据，构建源域数据集；使用单目相机在目标场景下采集待分析投掷视频，作为目标域数据；

5、对源域数据进行配准与融合，通过三维重建算法，构建出完整、精细的运动员三维骨骼模型和投掷物三维轨迹模型；利用计算机视觉算法从目标域视频中提取运动员二维关键点和投掷物二维位置；

6、在与目标场景相似的虚拟环境中，导入源域标准投掷动作三维模型，通过虚拟相机渲染得到不同视角下的投掷动作图像；

7、根据所述源域真实样本和虚拟样本，以及目标域视频关键帧为训练数据，设计一种端到端的投掷动作分析深度神经网络模型；所述深度神经网络模型采用多任务联合训练策略，损失函数包含骨骼热图回归损失、投掷物边界框回归损失、投掷物分类损失以及关键动作分割损失，根据以下公式计算总损失：

8、，

9、其中，为关键点检测损失，采用热图与高斯gt图的mse；为关键点的几何约束，采用骨骼线段长度与gt的l1 loss； 为投掷物框回归损失，采用平滑l1 损失；为投掷物分类损失，采用焦点损失函数；为动作分割损失，采用交叉熵，为各任务损失的权重因子；

10、使用训练好的模型对目标域待分析投掷视频进行推理，给出定量评价指标，选取最相似的标准投掷视频，生成文字以及示例视频反馈。

11、进一步地，所述使用传感器同步采集标准投掷动作数据包括：双目相机获取多视角rgb视频、深度相机获取人体深度图、惯性传感器获取人体关键部位的三维姿态信息。

12、进一步地，对采集到的源域数据进行预处理包括：对rgb视频帧提取sift特征，利用ransac算法完成不同视角序列的同步与配准；对深度图进行畸变校正、空间降采样，与rgb图对齐，获得配准后的rgb-d序列；对惯性传感器数据进行时间同步、坐标系对齐与卡尔曼滤波，得到平滑、连续的关节三维运动曲线。

13、 进一步地，对目标域视频数据进行预处理：使用openpose工具提取每帧图像中运动员的二维骨骼关键点；使用faster r-cnn目标检测算法定位图像中的投掷物像素坐标，并标注其所在帧的时间戳。

14、进一步地，对运动员三维骨骼模型的构建，包括：将配准后的rgb-d序列送入基于体素占用地图的三维重建管线，该管线首先将每帧rgb-d图转化为概率体素网格，再通过可信度加权的tsdf融合方法，重建生成连续、完整的三维人体表面模型，融合后的模型表示为高分辨率体素网格；对rgb图使用人体姿态估计算法，获得各帧的人体三维骨架，骨架结构定义为若干个关节点和若干个连杆的树状拓扑；将所述估计的骨架与重建的表面模型对齐，骨架中的关节点作为变形控制，驱动表面网格产生运动。

15、进一步地，对投掷物三维轨迹模型构建，包括：从rgb视频中检测并分割出投掷物区域，形成二值mask；在连续帧上使用lucas-kanade光流算法跟踪投掷物像素坐标；利用投掷物mask，从rgb图和深度图中截取对应区域，获得投掷物的rgb-d子图，将子图转化为点云表示；假设投掷物近似为规则几何形状，使用ransac算法拟合点云的形状参数；将不同帧估计的参数结果平均，得到投掷物的三维尺寸；在连续帧上使用kalman滤波算法追踪投掷物的三维质心坐标，获得其完整飞行轨迹。

16、进一步地，所述通过虚拟相机渲染得到不同视角下的投掷动作图像，包括：在虚拟环境中布置若干个虚拟摄像机，均匀覆盖投掷动作的各个方位，将运动员三维骨骼模型的关节角度映射到虚拟人物的骨骼控制器，基于运动捕捉数据，自动生成若干种变体动作。

17、进一步地，所述神经网络模型以视频片段为输入，输出对应的三维投掷轨迹、人体骨骼运动参数以及关键动作时间点。

18、一种基于深度学习的运动员投掷动作分析与训练设备，包括：运动数据采集设备、数据处理终端和模型训练服务器，以实现上述基于深度学习的运动员投掷动作分析与训练方法。

19、本发明具有的有益效果是：

20、本发明通过使用传感器同步采集标准投掷动作数据，构建源域数据集；使用单目相机在目标场景下采集待分析投掷视频，作为目标域数据；对源域数据进行配准与融合，通过三维重建算法，构建出完整、精细的运动员三维骨骼模型和投掷物三维轨迹模型；利用计算机视觉算法从目标域视频中提取运动员二维关键点和投掷物二维位置；在与目标场景相似的虚拟环境中，导入源域标准投掷动作三维模型，通过虚拟相机渲染得到不同视角下的投掷动作图像；根据所述源域真实样本和虚拟样本，以及目标域视频关键帧为训练数据，设计一种端到端的投掷动作分析深度神经网络模型，使用训练好的模型对目标域待分析投掷视频进行推理，给出定量评价指标，选取最相似的标准投掷视频，生成文字以及示例视频反馈，辅助运动员优化动作要领，具有较强的训练指导作用，解决传统运动员投掷动作分析方法只是针对运动员投掷动作的识别，导致的无法将该投掷动作与投掷物的运动轨迹关联起来、缺少指导意义的问题。

技术特征：

1.一种基于深度学习的运动员投掷动作分析与训练方法，其特征在于，其方法包括：

2.根据权利要求1所述的基于深度学习的运动员投掷动作分析与训练方法，其特征在于，所述使用传感器同步采集标准投掷动作数据包括：双目相机获取多视角rgb视频、深度相机获取人体深度图、惯性传感器获取人体关键部位的三维姿态信息。

3.根据权利要求2所述的基于深度学习的运动员投掷动作分析与训练方法，其特征在于，对采集到的源域数据进行预处理包括：对rgb视频帧提取sift特征，利用ransac算法完成不同视角序列的同步与配准；对深度图进行畸变校正、空间降采样，与rgb图对齐，获得配准后的rgb-d序列；对惯性传感器数据进行时间同步、坐标系对齐与卡尔曼滤波，得到平滑、连续的关节三维运动曲线。

4.根据权利要求1所述的基于深度学习的运动员投掷动作分析与训练方法，其特征在于，对目标域视频数据进行预处理：使用openpose工具提取每帧图像中运动员的二维骨骼关键点；使用faster r-cnn目标检测算法定位图像中的投掷物像素坐标，并标注其所在帧的时间戳。

5.根据权利要求3所述的基于深度学习的运动员投掷动作分析与训练方法，其特征在于，对运动员三维骨骼模型的构建，包括：将配准后的rgb-d序列送入基于体素占用地图的三维重建管线，该管线首先将每帧rgb-d图转化为概率体素网格，再通过可信度加权的tsdf融合方法，重建生成连续、完整的三维人体表面模型，融合后的模型表示为高分辨率体素网格；对rgb图使用人体姿态估计算法，获得各帧的人体三维骨架，骨架结构定义为若干个关节点和若干个连杆的树状拓扑；将所述估计的骨架与重建的表面模型对齐，骨架中的关节点作为变形控制，驱动表面网格产生运动。

6.根据权利要求1所述的基于深度学习的运动员投掷动作分析与训练方法，其特征在于，对投掷物三维轨迹模型构建，包括：从rgb视频中检测并分割出投掷物区域，形成二值mask；在连续帧上使用lucas-kanade光流算法跟踪投掷物像素坐标；利用投掷物mask，从rgb图和深度图中截取对应区域，获得投掷物的rgb-d子图，将子图转化为点云表示；假设投掷物近似为规则几何形状，使用ransac算法拟合点云的形状参数；将不同帧估计的参数结果平均，得到投掷物的三维尺寸；在连续帧上使用kalman滤波算法，追踪投掷物的三维质心坐标，获得其完整飞行轨迹。

7.根据权利要求1所述的基于深度学习的运动员投掷动作分析与训练方法，其特征在于，所述通过虚拟相机渲染得到不同视角下的投掷动作图像，包括：在虚拟环境中布置若干个虚拟摄像机，均匀覆盖投掷动作的各个方位，将运动员三维骨骼模型的关节角度映射到虚拟人物的骨骼控制器，基于运动捕捉数据,自动生成若干种变体动作。

8.根据权利要求1所述的基于深度学习的运动员投掷动作分析与训练方法，其特征在于：所述神经网络模型以视频片段为输入，输出对应的三维投掷轨迹、人体骨骼运动参数以及关键动作时间点。

9.一种基于深度学习的运动员投掷动作分析与训练设备，其特征在于，所述基于深度学习的运动员投掷动作分析与训练设备包括：运动数据采集设备、数据处理终端和模型训练服务器，以实现权利要求1至8中任一项所述的基于深度学习的运动员投掷动作分析与训练方法。

技术总结
本发明涉及图像处理领域，公开了一种基于深度学习的运动员投掷动作分析与训练方法，包括：使用传感器同步采集标准投掷动作数据，构建源域数据集；使用单目相机在目标场景下采集待分析投掷视频，作为目标域数据；对源域数据进行配准与融合，构建出完整、精细的运动员三维骨骼模型和投掷物三维轨迹模型；从目标域视频中提取运动员二维关键点和投掷物二维位置；在与目标场景相似的虚拟环境中，导入源域标准投掷动作三维模型，渲染得到不同视角下的投掷动作图像；设计一种端到端的投掷动作分析深度神经网络模型，使用训练好的模型对目标域待分析投掷视频进行推理，生成文字以及示例视频反馈。

技术研发人员：柯人元,张家伟,李晶华,谢东亮
受保护的技术使用者：天芯（珠海）芯片科技有限公司
技术研发日：
技术公布日：2024/12/5