基于肌电信号的信息处理方法、装置、设备及存储介质与流程

1.本发明涉及人机交互领域，尤其涉及基于肌电信号的信息处理方法、装置、设备及存储介质。


背景技术：

2.传统的物理键盘是一种最常见的用于文字输入的人机交互设备，但是物理键盘通常是安置在固定的地方，并且体积太大不易于随身携带。在可移动的人机交互领域中，设备应该具有体积小、易于携带以及计算和通信能力的特点，由此有了虚拟键盘的概念，虚拟键盘允许用户通过不同的设备和方法向计算机等设备中输入文字和命令。现如今，最常见的虚拟键盘为智能手机和平板的虚拟键盘，它们被安置在设备的屏幕中，用户可以通过触摸按键对应的屏幕区域来输入文本。但是这类虚拟键盘的尺寸通常很小，使得用户容易触摸错误的区域，而且该类虚拟键盘需要占用设备额外的显示区域。
3.肌电信号是众多肌肉纤维中运动单元动作电位在时间和空间上的叠加，表面肌电信号是浅层肌肉emg和神经干上电活动在皮肤表面的综合效应，能在一定程度上反应神经肌肉的活动。目前基于肌电信号的应用主要体现在诊断医学疾病、帮助残疾人控制假肢的医学领域和基于肌电信号的人机交互领域。将肌电信号用于人机交互，通过肌电信号识别的手势来与计算机进行通信。现有的虚拟键盘在基于肌电信号进行文字输入时，需要用户事先熟悉手势动作对应的键码，同时现有虚拟键盘存在灵敏度较低从而导致快速操作时准确率较差的问题，无法给用户带来使用真实键盘的使用体验。
4.因此，现有技术还有待于改进和发展。


技术实现要素：

5.鉴于上述现有技术的不足，本发明的目的在于提供基于肌电信号的信息处理方法、装置、设备及存储介质，旨在解决现有的虚拟键盘使用繁琐且准确率较差导致使用体验不佳的问题。
6.本发明的技术方案如下：一种基于肌电信号的信息处理方法，其中，包括：获取实时的操作手势；根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；对所述实时的信号信息进行处理，得到识别后的手势动作序列。
7.所述基于肌电信号的信息处理方法，其中，所述实时的信号信息为实时肌电信号；所述方法包括：获取训练后的手势识别模型；将所述实时肌电信号输入所述训练后的手势识别模型，得到识别后的手势动作序列。
8.所述基于肌电信号的信息处理方法，其中，所述获取训练后的手势识别模型的步
骤包括：获取训练数据和特征模板，并根据所述训练数据和所述特征模板确定预设标签；所述训练数据包括训练样本和所述训练样本对应的真实标签；根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本；根据所述偏差样本和所述真实标签，对所述特征模板的参数进行调整，得到训练后的手势识别模型。
9.所述基于肌电信号的信息处理方法，其中，所述根据所述偏差样本和所述真实标签，对所述特征模板的参数进行调整，得到训练后的手势识别模型的步骤包括：将所述偏差样本输入所述特征模板 ，通过所述特征模板得到所述偏差样本对应的生成标签；根据所述生成标签和所述真实标签，对所述特征模板的参数进行调整，并继续执行所述根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本的步骤，直至所述特征模板满足预设条件，得到训练后的手势识别模型。
10.所述基于肌电信号的信息处理方法，其中，所述将所述实时的信号信息输入所述训练后的手势识别模型，得到识别后的手势动作序列的步骤之后，还包括：根据所述识别后的手势动作序列确定用户的操作指令。
11.所述基于肌电信号的信息处理方法，其中，所述用户的操作指令为字符序列；所述根据所述识别后的手势动作序列确定用户的操作指令的步骤包括：将所述识别后的手势动作序列进行键码转化，得到字符序列。
12.所述基于肌电信号的信息处理方法，其中，在所述识别后的手势动作序列中，每个手势动作对应一个键码。
13.一种基于肌电信号的信息处理装置，其中，包括：手势获取模块，用于获取实时的操作手势；信息识别模块，用于根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；手势转化模块，用于对所述实时的信号信息进行处理，得到识别后的手势动作序列。
14.所述基于肌电信号的信息处理装置，其中，还包括模型构建模块，用于获取训练后的手势识别模型；所述手势转化模块包括序列转化模块，所述实时的信号信息为实时肌电信号，用于将所述实时肌电信号输入所述训练后的手势识别模型，得到识别后的手势动作序列。
15.所述基于肌电信号的信息处理装置，其中，所述模型构建模块包括：数据与特征获取单元，用于获取训练数据和特征模板，并根据所述训练数据和所述特征模板确定预设标签；所述训练数据包括训练样本和所述训练样本对应的真实标签；偏差确定单元，用于根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本；特征模板调整单元，用于根据所述偏差样本和所述真实标签，对所述特征模板的参数进行调整，得到训练后的手势识别模型。
16.所述基于肌电信号的信息处理装置，其中，所述特征模板调整单元包括：调整输入子单元，用于将所述偏差样本输入所述特征模板，通过所述特征模板得到所述偏差样本对应的生成标签；调整确认子单元，用于根据所述生成标签和所述真实标签，对所述特征模板的参数进行调整，并继续执行所述根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本的步骤，直至所述特征模板满足预设条件，得到训练后的手势识别模型。
17.所述基于肌电信号的信息处理装置，其中，所述序列转化模块还包括：指令匹配单元，用于根据所述识别后的手势动作序列确定用户的操作指令。
18.所述基于肌电信号的信息处理装置，其中，所述指令匹配单元包括指令确认子单元，所述用户的操作指令为字符序列，用于将所述识别后的手势动作序列进行键码转化，得到字符序列。
19.所述基于肌电信号的信息处理装置，其中，所述装置还包括键码对应单元，用于在所述识别后的手势动作序列中使，每个手势动作对应一个键码。
20.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述基于肌电信号的信息处理方法的步骤。
21.一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述基于肌电信号的信息处理方法的步骤。
22.有益效果：本发明提供了基于肌电信号的信息处理方法、装置、设备及存储介质，其中，所述方法包括：获取实时的操作手势；根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；对所述实时的信号信息进行处理，得到识别后的手势动作序列。在本发明中，通过采用基于肌电信号的信息处理方法，将不同的手部动作对应的信号信息形成特征模板得到手势识别模型，配合实时的操作手势，确定用户的操作指令，实现准确方便输入不同字符的目的。
附图说明
23.图1为本发明的基于肌电信号的信息处理方法的流程图。
具体实施方式
24.本发明提供基于肌电信号的信息处理方法、装置、设备及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
25.需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接连接到另一个部件或者间接连接至该另一个部件上。
26.还需说明的是，本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此，附图
中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
27.肌电信号是众多肌肉纤维中运动单元动作电位在时间和空间上的叠加，表面肌电信号是浅层肌肉emg和神经干上电活动在皮肤表面的综合效应，能在一定程度上反应神经肌肉的活动。目前基于肌电信号的应用主要体现在诊断医学疾病、帮助残疾人控制假肢的医学领域和基于肌电信号的人机交互领域。将肌电信号用于人机交互，通过肌电信号识别的手势来与计算机进行通信。现有的虚拟键盘在基于肌电信号进行文字输入时，需要用户事先熟悉手势动作对应的键码，同时现有虚拟键盘存在灵敏度较低从而导致快速操作时准确率较差的问题，无法给用户带来使用真实键盘的使用体验。
28.为了解决上述问题，本发明提供了一种基于肌电信号的信息处理方法，如图1所示，所述方法包括：步骤s100、获取实时的操作手势。
29.所述步骤s10之前，所述方法还包括：s10获取训练后的手势识别模型。
30.步骤s10具体包括：步骤s11、获取训练数据和特征模板，并根据所述训练数据和所述特征模板确定预设标签；所述训练数据包括训练样本和所述训练样本对应的真实标签；步骤s12、根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本；步骤s13、根据所述偏差样本和所述真实标签，对所述特征模板的参数进行调整，得到训练后的手势识别模型。
31.需要说明的是，训练样本为在建立模型时的手部动作对应的电极检测的预设肌电信号。
32.所述步骤s13具体包括：步骤s131、将所述偏差样本输入所述特征模板 ，通过所述特征模板得到所述偏差样本对应的生成标签；步骤s132、根据所述生成标签和所述真实标签，对所述特征模板的参数进行调整，并继续执行所述根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本的步骤，直至所述特征模板满足预设条件，得到训练后的手势识别模型。
33.步骤s200、根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息。
34.具体地，所述实时的信号信息为实时肌电信号。
35.进一步，对九个键码（即按键区域）自定义九组手势动作，每组动作对应虚拟键盘中的一个区域；将肌电设备通过蓝牙与电子设备（手机或电脑）连接，并佩戴在用户的手臂上，肌电设备内壁设置有多个电极检测肌电信号，从而将不同的手部动作对应的肌电信号形成特征模板，通过设定每个手指的动作对应一个特征模板，实现不同的字母控制。
36.在本实施例中，在所述手势动作序列中，每个手势动作对应一个键码；所述实时的信号信息为实时肌电信号；每个键码对应三个字符。
37.具体地，用户通过左手的大拇指、食指、中指、无名指与小拇指和右手的大拇指、食指、中指与无名指，来进行手势动作使用虚拟键盘，上述每根手指分别对应不同的字母（即
字符序列），例如左手大拇指对应字母abc、左手食指对应字母def。
38.需要说明的是，上述九根手指的九组手势动作为手指进行伸展、正常和弯曲的动作；键码序列为字符序列，同样是手势动作序列；采用ctc技术对齐输入的肌电信号和输出的手势动作序列一一对应，实现手势动作序列。
39.明基于深度学习方法建立的手势识别模型结合cnn(convolutional neural network)层和rnn(recurrent neural network)层的结构实现，通过cnn网络提取肌电信号时频图的特征，利用rnn网络获取手势动作序列，能够学习到不同时间段的手势动作对应的肌电信号的特性。
40.步骤s300、对所述实时的信号信息进行处理，得到识别后的手势动作序列。
41.本步骤中具体包括：步骤s310、将所述实时肌电信号输入所述训练后的手势识别模型，得到识别后的手势动作序列。
42.所述步骤s300之后还包括：步骤s400、根据所述识别后的手势动作序列确定用户的操作指令。
43.进一步，所述用户的操作指令为字符序列；所述根据所述识别后的手势动作序列确定用户的操作指令的步骤包括：将所述识别后的手势动作序列进行键码转化，得到字符序列。
44.需要说明的是，将英文字符序列预先转换成键码序列（即手势动作序列）。
45.具体地，手臂上佩戴肌电设备后，通过实时的手部动作，接收用户敲击键盘操作时的实时肌电信号，将实时肌电信号输入训练后的手势识别模型进行识别确定识别后的手势动作序列，将识别后的手势动作序列进行键码转化，输出字符序列，实现文字输入。
46.在本发明的较佳实施例中，正因为采用了上述的技术方案，通过采用基于肌电信号的信息处理方法，将不同的手部动作对应的信号信息形成特征模板得到手势识别模型，配合实时的操作手势，确定用户的操作指令，实现准确方便输入不同字符的目的。
47.下面通过具体实施列对本发明内容作进一步的说明：k100、获取训练后的手势识别模型；k110、获取预设肌电信号、预设肌电信号对应的实际上的每个手指的动作（即伸展、正常和弯曲）以及特征模板，并根据预设肌电信号和每个手指的动作确定理论上的每个手指的动作；k120、根据预设肌电信号、实际手指动作、特征模板以及理论手指动作，确定所述预设肌电信号与实际手指动作对应的偏差动作样本；k130、将偏差动作样本输入特征模板，通过特征模板得到偏差动作样本对应的待调整手指动作；k140、根据待调整手指动作和实际手指动作，对特征模板的参数进行调整，并继续执行所述根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本的步骤，直至所述特征模板满足预设条件，得到训练后的手势识别模型。
48.需要说明的是，采用ctc技术对齐输入的肌电信号和输出的手势动作序列的一一对应，实现手势序列识别，从而使每个手指的动作（即伸展、正常和弯曲）对应训练后的手势识别模型中的一个预设肌电信号。
49.k200、获取实时的操作手势（即用于操作键盘时的手指动作）；k210、将肌电设备佩戴到手臂上，通过肌电设备内壁的八个电极获取预设手部动作的预设肌电信号；k300、根据操作键盘时的手指动作，接收用户佩戴的肌电设备发送的实时肌电信号；k400、对所述实时的信号信息进行处理，得到识别后的手势动作序列；k410、将所述实时肌电信号输入所述训练后的手势识别模型，得到识别后的手势动作序列；k500、根据所述识别后的手势动作序列确定用户的操作指令（即文字的输入）。
50.k510、将所述识别后的手势动作序列进行键码转化，得到字符序列，实现文字输入。
51.基于上述实施例，本发明提供一种基于肌电信号的信息处理装置，其中，包括：手势获取模块，用于获取实时的操作手势，其功能如步骤100所述；信息识别模块，用于根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息，其功能如步骤200所述；手势转化模块，用于对所述实时的信号信息进行处理，得到识别后的手势动作序列，其功能如步骤300所述。
52.在本实施例中，所述装置还包括模型构建模块，用于获取训练后的手势识别模型；所述手势转化模块包括序列转化模块，所述实时的信号信息为实时肌电信号，用于将所述实时肌电信号输入所述训练后的手势识别模型，得到识别后的手势动作序列。
53.具体地，所述模型构建模块包括：数据与特征获取单元，用于获取训练数据和特征模板，并根据所述训练数据和所述特征模板确定预设标签；所述训练数据包括训练样本和所述训练样本对应的真实标签；偏差确定单元，用于根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本；特征模板调整单元，用于根据所述偏差样本和所述真实标签，对所述特征模板的参数进行调整，得到训练后的手势识别模型。
54.进一步，所述特征模板调整单元包括：调整输入子单元，用于将所述偏差样本输入所述特征模板，通过所述特征模板得到所述偏差样本对应的生成标签；调整确认子单元，用于根据所述生成标签和所述真实标签，对所述特征模板的参数进行调整，并继续执行所述根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本的步骤，直至所述特征模板满足预设条件，得到训练后的手势识别模型。
55.在本实施例中，所述序列转化模块还包括：指令匹配单元，用于根据所述识别后的手势动作序列确定用户的操作指令。
56.具体地，所述指令匹配单元包括指令确认子单元，所述用户的操作指令为字符序列，用于将所述识别后的手势动作序列进行键码转化，得到字符序列。
57.进一步，所述装置还包括键码对应单元，用于在所述识别后的手势动作序列中使，
每个手势动作对应一个键码。
58.在本实施例中，所述装置包括肌电设备内壁上设置的多个电极，具体设置为八个电极，从而通过电极检测手部的肌电信号。
59.需要说明的是，所述肌电设备为具有肌电信号采集功能的设备，进一步，本实施例中的肌电设备设置为臂环。
60.本发明提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现以下步骤步骤：获取实时的操作手势；根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；对所述实时的信号信息进行处理，得到识别后的手势动作序列。
61.本发明还提供了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现以下步骤：获取实时的操作手势；根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；对所述实时的信号信息进行处理，得到识别后的手势动作序列。
62.综上所述，本发明提供了基于肌电信号的信息处理方法、装置、设备及存储介质，其中，所述方法包括：获取实时的操作手势；根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；对所述实时的信号信息进行处理，得到识别后的手势动作序列。在本发明中，通过采用基于肌电信号的信息处理方法，将不同的手部动作对应的信号信息形成特征模板得到手势识别模型，配合实时的操作手势，确定用户的操作指令，实现准确方便输入不同字符的目的。
63.应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

技术特征：
1.一种基于肌电信号的信息处理方法，其特征在于，包括：获取实时的操作手势；根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；对所述实时的信号信息进行处理，得到识别后的手势动作序列。2.根据权利要求1所述的基于肌电信号的信息处理方法，其特征在于，所述实时的信号信息为实时肌电信号；所述方法包括：获取训练后的手势识别模型；将所述实时肌电信号输入所述训练后的手势识别模型，得到识别后的手势动作序列。3.根据权利要求2所述的基于肌电信号的信息处理方法，其特征在于，所述获取训练后的手势识别模型的步骤包括：获取训练数据和特征模板，并根据所述训练数据和所述特征模板确定预设标签；所述训练数据包括训练样本和所述训练样本对应的真实标签；根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本；根据所述偏差样本和所述真实标签，对所述特征模板的参数进行调整，得到训练后的手势识别模型。4.根据权利要求3所述的基于肌电信号的信息处理方法，其特征在于，所述根据所述偏差样本和所述真实标签，对所述特征模板的参数进行调整，得到训练后的手势识别模型的步骤包括：将所述偏差样本输入所述特征模板，通过所述特征模板得到所述偏差样本对应的生成标签；根据所述生成标签和所述真实标签，对所述特征模板的参数进行调整，并继续执行所述根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本的步骤，直至所述特征模板满足预设条件，得到训练后的手势识别模型。5.根据权利要求2所述的基于肌电信号的信息处理方法，其特征在于，所述将所述实时肌电信号输入所述训练后的手势识别模型，得到识别后的手势动作序列的步骤之后，还包括：根据所述识别后的手势动作序列确定用户的操作指令。6.根据权利要求5所述的基于肌电信号的信息处理方法，其特征在于，所述用户的操作指令为字符序列；所述根据所述识别后的手势动作序列确定用户的操作指令的步骤包括：将所述识别后的手势动作序列进行键码转化，得到字符序列。7.根据权利要求6所述的基于肌电信号的信息处理方法，其特征在于，在所述识别后的手势动作序列中，每个手势动作对应一个键码。8.一种基于肌电信号的信息处理装置，其特征在于，包括：手势获取模块，用于获取实时的操作手势；信息识别模块，用于根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；手势转化模块，用于对所述实时的信号信息进行处理，得到识别后的手势动作序列。9.根据权利要求8所述的基于肌电信号的信息处理装置，其特征在于，还包括模型构建
模块，用于获取训练后的手势识别模型；所述手势转化模块包括序列转化模块，所述实时的信号信息为实时肌电信号，用于将所述实时肌电信号输入所述训练后的手势识别模型，得到识别后的手势动作序列。10.根据权利要求9所述的基于肌电信号的信息处理装置，其特征在于，所述模型构建模块包括：数据与特征获取单元，用于获取训练数据和特征模板，并根据所述训练数据和所述特征模板确定预设标签；所述训练数据包括训练样本和所述训练样本对应的真实标签；偏差确定单元，用于根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本；特征模板调整单元，用于根据所述偏差样本和所述真实标签，对所述特征模板的参数进行调整，得到训练后的手势识别模型。11.根据权利要求10所述的基于肌电信号的信息处理装置，其特征在于，所述特征模板调整单元包括：调整输入子单元，用于将所述偏差样本输入所述特征模板，通过所述特征模板得到所述偏差样本对应的生成标签；调整确认子单元，用于根据所述生成标签和所述真实标签，对所述特征模板的参数进行调整，并继续执行所述根据所述训练数据、所述特征模板以及所述预设标签，确定所述训练数据对应的偏差样本的步骤，直至所述特征模板满足预设条件，得到训练后的手势识别模型。12.根据权利要求9所述的基于肌电信号的信息处理装置，其特征在于，所述序列转化模块还包括：指令匹配单元，用于根据所述识别后的手势动作序列确定用户的操作指令。13.根据权利要求12所述的基于肌电信号的信息处理装置，其特征在于，所述指令匹配单元包括指令确认子单元，所述用户的操作指令为字符序列，用于将所述识别后的手势动作序列进行键码转化，得到字符序列。14.根据权利要求13所述的基于肌电信号的信息处理装置，其特征在于，所述装置还包括键码对应单元，用于在所述识别后的手势动作序列中使，每个手势动作对应一个键码。15.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述基于肌电信号的信息处理方法的步骤。16.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于肌电信号的信息处理方法的步骤。

技术总结
本发明提供了基于肌电信号的信息处理方法、装置、设备及存储介质，其中，所述方法包括：获取实时的操作手势；根据所述实时的操作手势接收用户佩戴的肌电设备发送的实时的信号信息；对所述实时的信号信息进行处理，得到识别后的手势动作序列。在本发明中，通过采用基于肌电信号的信息处理方法，将不同的手部动作对应的信号信息形成特征模板得到手势识别模型，配合实时的操作手势，确定用户的操作指令，实现准确方便输入不同字符的目的。现准确方便输入不同字符的目的。现准确方便输入不同字符的目的。


技术研发人员：韩璧丞 阿迪斯 王俊霖 程交 杨钊祎
受保护的技术使用者：深圳市心流科技有限公司
技术研发日：2022.02.07
技术公布日：2022/3/8