基于人体关键点的关节活动度检测方法和装置与流程
本申请涉及机器视觉姿态估计以及康复运动评估，具体涉及基于人体关键点的关节活动度检测方法和装置。
背景技术：
1、在四肢和躯干的评价中，最重要、最基本的内容是肌力和关节活动度的检查。关节活动度测试(range of motion test，romt)是在特定的体位下，关节可以完成的最大活动范围。它是人体运动功能的基本要素和前提。
2、关节活动度测试是指对于关节运动所通过的运动弧进行量化、评定的方法，常规的关节活动度测试方法是用量角器、尺子等量具，通过对关节的近端和远端骨运动弧的测试而获得的。除了能直接的得到患者最大活动范围，romt还可以作为肌力、痉挛等评估数据的前置评估来定性的评估患者肌力、痉挛等情况。提高romt的速度和精度，在加快康复师测试速度，提升患者康复体验的评估场景中具有相当价值。
3、目前的romt测试多由康复师使用量角器完成，整个测量过程需要康复师手动固定量角器的旋转臂和固定臂，量角器的使用较为直接，结果可信度也较高，但整个过程相对费时，无法实时对旋转过程的速度、加速度等信息进行准确提取和记录。目前在学术界和工业界在视觉方面针对肢体运动相关的研究很多，但是均缺乏在关节旋转过程中直接计算关节旋转活动度的方法，并能提供运动过程信息的解决方案。
技术实现思路
1、本申请旨在针对目前romt测试多由康复师使用量角器完成费事费力，且缺乏在关节旋转过程中直接计算关节旋转活动度方法的技术问题，提供一种基于人体关键点的关节活动度检测方法和装置。
2、为实现上述技术目的，本申请采用以下技术方案。
3、第一方面，本申请实施例提供一种基于人体关键点的关节活动度检测方法，包括：
4、获取人体姿势估计模型，所述人体姿势估计模型包括人体关键点；
5、基于所述人体关键点以及待评估肢体部位，确定旋转关节；将所述旋转关节确定为旋转关键点，将人体关键点中与所述旋转关节两侧连接关节对应的关键点分别作为第一连接关键点和第二连接关键点，以此构建关节旋转平面；所述关节旋转平面包括所述第一连接关键点到所述旋转关键点形成第一向量，所述第二连接关键点到所述旋转关键点形成第二向量；
6、基于所述旋转关键点、所述第一向量和所述第二向量，获得关节活动度检测结果。
7、在一些实施方式中，利用blazepose33点模型，基于人体图像获取人体姿势估计模型。
8、在一些实施方式中，所述关节活动度检测结果包括待评估肢体部位的旋转角度；基于所述旋转关键点、所述第一连接关键点和所述第二连接关键点的坐标，获得关节活动度检测结果，包括：
9、确定所述第一向量和所述第二向量的内积，表达式如下：
10、inner_product＝p1·p2＝p1xp1y+p2xp2y；
11、其中inner_product为所述第一向量和所述第二向量的内积，p1为第一向量，p2为第二向量，p1x为第一向量的横坐标，p1y为第一向量的纵坐标，p2x为第二向量的横坐标，p2y为第二向量的纵坐标；
12、用所述内积除以所述第一向量的模长与所述第二向量的模长之积，得到所述第一向量和所述第二向量之间夹角的余弦值；
13、根据所述余弦值，得到所述第一向量与所述第二向量之间的夹角，将所述夹角作为所述待评估肢体部位的旋转角度。
14、在一些实施方式中，所述方法还包括：
15、根据本次检测初始时刻的所述旋转角度，本次检测结束时刻的旋转角度，以及本次检测所用时间，确定待评估肢体部位本次检测的角速度，表达式如下：
16、
17、其中，velocity为角速度，angle为本次检测结束时刻的旋转角度，anglelast为本次检测初始时刻的所述旋转角度，time为本次检测所用时间。
18、在一些实施方式中，所述方法还包括：
19、根据本次检测初始时刻的所述角速度，本次检测结束时刻的角速度，以及本次检测所用时间，确定待评估肢体部位本次检测的角加速度，表达式如下：
20、
21、其中acclerate为角加速度，vekicity为本次检测结束时刻的角速度，velocitylast为本次检测初始时刻的所述加速度。
22、在一些实施方式中，所述方法还包括：
23、将所述关节活动度检测结果打包成json格式的报文，解析所述报文获得解析结果，并根据所述解析结果绘图。
24、在一些实施方式中，所述方法还包括将所述关节活动度检测结果以预设格式的文件导出。
25、第二方面，本申请实施例提供一种基于人体关键点的关节活动度检测装置，包括：
26、人体模型构建模块，被配置为获取人体姿势估计模型，所述人体姿势估计模型包括人体关键点；
27、关节旋转平面构建模块，被配置为基于所述人体关键点以及待评估肢体部位，确定旋转关节；将所述旋转关节确定为旋转关键点，将人体关键点中与所述旋转关节两侧连接关节对应的关键点分别作为第一连接关键点和第二连接关键点，以此构建关节旋转平面，所述关节旋转平面包括所述第一连接关键点到所述旋转关键点形成第一向量，所述第二连接关键点到所述旋转关键点形成第二向量；
28、关节活动度分析模块，被配置为基于所述旋转关键点、所述第一向量和所述第二向量，获得关节活动度检测结果。
29、在一些实施方式中，所述装置还包括数据传输模块和可视化绘图模块；
30、所述数据传输模块被配置为将所述关节活动度检测结果打包成json格式的报文，通过预设协议和端口传输至所述可视化绘图模块；
31、所述可视化绘图模块被配置为接收所述报文，解析所述报文并进行绘图。
32、在一些实施方式中，所述装置还包括数据导出模块和数据存储模块，所述数据导出模块被配置为将所述关节活动度检测结果以预设格式的文件导出；所述数据存储模块被配置为将所述关节活动度检测结果以预设格式的文件存储。
33、与现有技术相比，本申请实施例提供的基于人体关键点的关节活动度检测方法，通过构建关节旋转平面，并基于旋转关键点、第一连接关键点和第二连接关键点来计算关节活动度，能够实现高精度的测量，比传统的目测或简单测量工具更为准确；测量结果不依赖于主观判断，减少了人为因素对结果的影响，提高了测量的客观性。该方法可以应用于人体多个关节的活动度检测，包括但不限于肩关节、髋关节、膝关节等，为全面的关节功能评估提供了可能。
34、本申请实施例提供的基于人体关键点的关节活动度检测装置，具有以上基于人体关键点的关节活动度检测方法相同的有益技术效果，不做赘述。
技术特征：
1.一种基于人体关键点的关节活动度检测方法，其特征在于，包括：
2.根据权利要求1所述的基于人体关键点的关节活动度检测方法，其特征在于，利用blazepose33点模型，基于人体图像获取人体姿势估计模型。
3.根据权利要求1所述的基于人体关键点的关节活动度检测方法，其特征在于，所述关节活动度检测结果包括待评估肢体部位的旋转角度；基于所述旋转关键点、所述第一连接关键点和所述第二连接关键点的坐标，获得关节活动度检测结果，包括：
4.根据权利要求1所述的基于人体关键点的关节活动度检测方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的基于人体关键点的关节活动度检测方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的基于人体关键点的关节活动度检测方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的基于人体关键点的关节活动度检测方法，其特征在于，所述方法还包括将所述关节活动度检测结果以预设格式的文件导出。
8.基于人体关键点的关节活动度检测装置，其特征在于，包括：
9.根据权利要求8所述的基于人体关键点的关节活动度检测装置，其特征在于，所述装置还包括数据传输模块和可视化绘图模块；
10.根据权利要求8所述的基于人体关键点的关节活动度检测装置，其特征在于，所述装置还包括数据导出模块和数据存储模块，所述数据导出模块被配置为将所述关节活动度检测结果以预设格式的文件导出；所述数据存储模块被配置为将所述关节活动度检测结果以预设格式的文件存储。
技术总结
本申请实施例提供了基于人体关键点的关节活动度检测方法和装置，方法包括获取人体姿势估计模型，人体姿势估计模型包括人体关键点；基于人体关键点以及待评估肢体部位，确定旋转关节；将旋转关节确定为旋转关键点，将人体关键点中与旋转关节两侧连接关节对应的关键点分别作为第一连接关键点和第二连接关键点，以此构建关节旋转平面；关节旋转平面包括第一连接关键点到旋转关键点形成第一向量，第二连接关键点到旋转关键点形成第二向量；基于旋转关键点、第一向量和第二向量，获得关节活动度检测结果。本申请能够实现高精度的测量，比传统的目测或简单测量工具更为准确，测量结果不依赖于主观判断，减少了人为因素对结果的影响，提高了测量的客观性。
技术研发人员：杜昊,唐顿,王薇
受保护的技术使用者：上海术理智能科技有限公司
技术研发日：
技术公布日：2024/12/5