手语手势识别方法、装置和AR头戴显示设备与流程

本发明涉及手语手势识别以及扩展范围，具体涉及一种手语手势识别方法、装置和ar头戴显示设备。

背景技术：

1、特殊人群一直以来都是备受社会关注的对象，已出版的《国家通用手语常用词表》作为通用教材指导特殊人群学习以及学校教学。如此，专门学习训练过的特殊人群能够相对准确表达自身意思。不过，当该部分特殊人群需要与一般人(泛指无法理解手语，听力语言正常的人群)交流时，双方仍然存在着相当大的沟通障碍。鉴于此，有必要提供一种新的手语手势识别方法。

技术实现思路

1、针对现有技术的不足，本发明提供了一种手语手势识别方法、装置和ar头戴显示设备，可解决双方沟通障碍、手语手势识别准确性低的技术问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、一种手语手势识别方法，包括：

4、实时接收配对的第一和第二手语手势视频，将所述第一和第二手语手势视频对应分解为第一和第二手语手势图像帧序列；其中，第一手语手势视频源于一般人视角，第二手语手势视频源于特殊人群视角；

5、根据所述第一和第二手语手势图像帧序列，对应生成第一和第二骨架点图动画；

6、根据所述第一和第二骨架点图动画，基于预先构建的手语手势资源特征库对应匹配第一和第二语义信息；

7、比较所述第一和第二语义信息的置信值大小；

8、采用扩展范围方法在三维空间中向一般人展示置信值大的语义信息。

9、优选的，基于超宽带无线通信配对所述第一和第二手语手势视频。

10、优选的，所述第一手语手势视频至少保存一般人视角的特殊人群的双手的完整动作，以及保存特殊人群的小臂、大臂、肩膀、口、鼻、眼、耳、头部中的一个或多个组合的完整动作；

11、所述第二手语手势视频至少保存特殊人群视角的特殊人群自身的双手的完整动作，以及保存特殊人群自身的小臂、大臂、肩膀、口、鼻、眼、耳、头部中的一个或多个组合的完整动作。

12、优选的，所述手语手势识别方法还包括：

13、实时接收语音信息，并识别为文本信息；

14、针对所述文本信息进行关键词提取，获取第三语义信息；

15、根据所述第三语义信息，基于所述手语手势资源特征库匹配相应的标准手语手势图像帧序列；

16、采用扩展范围方法在三维空间中向特殊人群展示所述标准手语手势图像帧序列。

17、优选的，所述手语手势资源特征库的构建过程包括：

18、s100、将当前语义信息关联指定的标准手语手势图像帧序列；

19、s200、针对每一标准手语手势图像帧序列，获取预设数量的一般人视角、特殊人群视角的真实手语手势图像帧序列对；

20、s300、针对每一所述真实手语手势图像帧序列对，对应生成不同视角的骨架点图动画；其中，所述骨架点图动画由若干张骨架点图组成；

21、s400、重复执行s100～s300，直至遍历国家通用手语常用词表中所有的语义信息，结束所述手语手势资源特征库的构建。

22、一种手语手势识别装置，包括：

23、分解模块，用于实时接收配对的第一和第二手语手势视频，将所述第一和第二手语手势视频对应分解为第一和第二手语手势图像帧序列；其中，第一手语手势视频源于一般人视角，第二手语手势视频源于特殊人群视角；

24、生成模块，用于根据所述第一和第二手语手势图像帧序列，对应生成第一和第二骨架点图动画；

25、第一匹配模块，用于根据所述第一和第二骨架点图动画，基于预先构建的手语手势资源特征库对应匹配第一和第二语义信息；

26、比较模块，用于比较所述第一和第二语义信息的置信值大小；

27、第一展示模块，用于采用扩展范围方法在三维空间中向一般人展示置信值大的语义信息。

28、优选的，基于超宽带无线通信配对所述第一和第二手语手势视频。

29、优选的，所述第一手语手势视频至少保存一般人视角的特殊人群的双手的完整动作，以及保存特殊人群的小臂、大臂、肩膀、口、鼻、眼、耳、头部中的一个或多个组合的完整动作；

30、所述第二手语手势视频至少保存特殊人群视角的特殊人群自身的双手的完整动作，以及保存特殊人群自身的小臂、大臂、肩膀、口、鼻、眼、耳、头部中的一个或多个组合的完整动作。

31、优选的，所述手语手势识别装置还包括：

32、识别模块，用于实时接收语音信息，并识别为文本信息；

33、提取模块，用于针对所述文本信息进行关键词提取，获取第三语义信息；

34、第二匹配模块，用于根据所述第三语义信息，基于所述手语手势资源特征库匹配相应的标准手语手势图像帧序列；

35、第二展示模块，用于采用扩展范围方法在三维空间中向特殊人群展示所述标准手语手势图像帧序列。

36、优选的，所述手语手势资源特征库的构建过程包括：

37、s100、将当前语义信息关联指定的标准手语手势图像帧序列；

38、s200、针对每一指定的标准手语手势图像帧序列，获取预设数量的一般人视角、特殊人群视角的真实手语手势图像帧序列对；

39、s300、针对每一所述真实手语手势图像帧序列对，对应生成不同视角的骨架点图动画；其中，所述骨架点图动画由若干张骨架点图组成；

40、s400、重复执行s100～s300，直至遍历国家通用手语常用词表中所有的语义信息，结束所述手语手势资源特征库的构建。

41、一种ar头戴显示设备，包括如上所述的手语手势识别装置。

42、本发明提供了一种手语手势识别方法、装置和ar头戴显示设备。与现有技术相比，具备以下有益效果：

43、本发明中，实时接收配对的第一和第二手语手势视频，将所述第一和第二手语手势视频对应分解为第一和第二手语手势图像帧序列；其中，第一手语手势视频源于一般人视角，第二手语手势视频源于特殊人群视角；根据所述第一和第二手语手势图像帧序列，对应生成第一和第二骨架点图动画；根据所述第一和第二骨架点图动画，基于预先构建的手语手势资源特征库对应匹配第一和第二语义信息；比较所述第一和第二语义信息的置信值大小；采用扩展范围方法在三维空间中向一般人展示置信值大的语义信息。通过不同视角进行手语手势识别，便于一般人快速、准确理解特殊人群所使用的手语手势动作对应的语义信息。

技术特征：

1.一种手语手势识别方法，其特征在于，包括：

2.如权利要求1所述的手语手势识别方法，其特征在于，基于超宽带无线通信配对所述第一和第二手语手势视频。

3.如权利要求1所述的手语手势识别方法，其特征在于，

4.如权利要求1～3任一项所述的手语手势识别方法，其特征在于，还包括：

5.如权利要求4所述的手语手势识别方法，其特征在于，所述手语手势资源特征库的构建过程包括：

6.一种手语手势识别装置，其特征在于，包括：

7.如权利要求6所述的手语手势识别装置，其特征在于，基于超宽带无线通信配对所述第一和第二手语手势视频。

8.如权利要求6所述的手语手势识别装置，其特征在于，

9.如权利要求6～8任一项所述的手语手势识别装置，其特征在于，还包括：

10.如权利要求9所述的手语手势识别装置，其特征在于，所述手语手势资源特征库的构建过程包括：

11.一种ar头戴显示设备，其特征在于，包括如权利要求6～10任一项所述的手语手势识别装置。

技术总结
本发明提供一种手语手势识别方法、装置和AR头戴显示设备，涉及手语手势识别以及扩展范围技术领域。本发明中，结合一般人视角和特殊人群视角的手语手势视频进行手语手势识别，便于一般人快速、准确理解特殊人群所使用的手语手势动作对应的语义信息；以及通过将语音信息翻译为标准的手语手势图像序列，便于特殊人群快速、准确理解一般人所表达的语音信息。此外，考虑到手语手势动作除了与双手有关，实际上还需要其他人体部位共同参与表示，因此还设定第一和第二手语手势视频均至少保存特殊人群的双手的完整动作，还保存特殊人群的一个或多个组合的完整动作，以进一步提高手语手势的识别准确性。

技术研发人员：姜李琪,聂林
受保护的技术使用者：北京细红线科技有限公司
技术研发日：
技术公布日：2024/12/5