一种基于情绪脑机接口的机械臂路径规划方法

本发明涉及人机交互，特别涉及一种基于情绪脑机接口的机械臂路径规划方法。

背景技术：

1、脑机接口(brain computer interface,bci)为机器人理解人类意图提供了技术支撑。其中，情绪脑机接口(affective brain-computer interface,abci)是情感智能领域的一个重要分支，旨在通过识别人的情绪来实现更自然、友好的人机交互。用于区分情绪的脑电特征主要有功率谱密度(power spectral density,psd)和微分熵(differentialentropy,de)。其中不同情绪状态下大脑的神经活动会在不同的频率段表现出不同的功率谱密度，通常用于情绪识别的频率段包括delta(1～4hz)、theta(4～8hz)、alpha(8～13hz)、beta(13～30hz)和gamma(30～50hz)。另外，微分熵能反应出脑电信号的动态变化，根据左右大脑半球的不对称性反应出与情绪正负价值相关的特征。

2、在过去关于路径规划的研究中，往往需要提前对环境进行建模。但这种方法的泛化性较差，无法较好地适应未建模的场景，且建模的时间成本与计算成本较高。另外，有一些研究基于智能体与环境的交互进行强化学习，为智能体设置状态空间、动作空间与合适的奖励函数，通过不断的探索，学习一个奖励值最高的策略。但是，强化学习通常需要大量的交互数据来训练模型，在现实世界中会导致较高的训练成本。

技术实现思路

1、本发明提供了一种基于情绪脑机接口的机械臂路径规划方法，以解决背景技术所提到的技术问题。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、本发明提供了一种基于情绪脑机接口的机械臂路径规划方法，包括如下步骤：

4、s1、用户观看摄像头实时采集到的视频，通过眼动仪记录用户的视觉轨迹，并同步采集用户脑电数据；

5、s2、根据脑电信号分析用户的情绪，将脑电信号分类为积极情绪，中立情绪与消极情绪；

6、s3、对眼动数据进行分析并定位用户注视的三维空间坐标；

7、s4、依据用户注视的三维空间坐标将用户的积极和消极情绪赋值到三维空间环境中，得到总奖励值图；

8、s5、依据贪婪算法和总奖励值图对路径进行规划，直至到达目标位置，完成路径规划。

9、进一步地，所述s2具体包括如下步骤：

10、s21、首先对原始脑电信号进行预处理，从而将原始脑电信号中的干扰信号和非脑电噪声去除，并对预处理后的脑电信号以第一设定时间为步长，同时以第二设定时间为窗口长度进行滑窗分段；

11、s22、将每段预处理后的脑电数据通过带通滤波器提取为多个不同频段的脑电信号；

12、s23、计算各频段脑电信号的平均功率谱密度与每个导联脑电信号的微分熵，然后将各频段脑电信号的平均功率谱密度与每个导联脑电信号的微分熵作为特征输入到支持向量机中，以将各段脑电信号分类为积极情绪、中立情绪与消极情绪。

13、进一步地，所述s23中的各频段脑电信号的平均功率谱密度与每个导联脑电信号的微分熵计算公式如下：

14、

15、de＝log2(psd)

16、其中，psd表示各频段脑电信号的平均功率谱密度，de表示各频段脑电信号的平均功率谱密度与每个导联脑电信号的微分熵，fft(·)是快速傅里叶变换，len(·)是信号长度，eeg表示脑电信号。

17、进一步地，所述s3具体包括如下步骤：

18、s31、对采样得到的眼动数据进行分析，判定用户处于注视眼动运动或者眼跳眼动运动，并将注视眼动运动下的所有采样点或者眼跳眼动运动下的第一个采样点存入到注视缓冲器中；

19、s32、以机械臂底座为原点，指向操作空间为x轴正方向，水平向右为y轴正向，竖直向上为z轴正方向，构建机械臂坐标系；

20、s33、每隔第一设定时间，取出与脑电数据同步的第二设定时间的眼动数据；

21、s34、如果取出的第二设定时间内眼动数据中注视缓冲器内的采样点的个数仅有1个，则将该第二设定时间内脑电信号所对应的用户情绪强制改判为中立情绪；如果取出的第二设定时间内眼动数据中注视缓冲器内的采样点的个数大于1个，则分别求解注视缓冲区内所有数据在摄像头坐标系中横坐标与纵坐标的平均值，并根据双目摄像头的深度图像获得平均坐标对应的深度值；

22、s35、通过摄像头坐标系和机械臂坐标系之间的标定关系，将摄像头坐标系中横坐标与纵坐标的平均值以及深度值转换为机械臂坐标系中的三维空间坐标，从而定位得到在机械臂坐标系中该第二设定时间内用户注视的三维空间坐标；

23、s36、循环s34至s35，直至将s33中所有取出的第二设定时间的眼动数据按照s34至s35的步骤处理完成。

24、进一步地，所述s31具体包括如下步骤：

25、s311、首先，每获得一个采样点，就将一个最早的采样点从眼动数据缓冲区中剔除，并将最新的采样点加入到眼动数据缓冲区中；

26、s312、通过速度阈值滤波算法，逐点计算眼动数据缓冲区中每个采样点与上一个采样点之间的距离；如果某个采样点与上一个采样点的距离满足注视眼动运动的标准，则认为发生了注视眼动运动，将该采样点加入一个注视缓冲器；如果某采样点与上一个采样点的距离大于阈值，则认为发生了眼跳眼动运动，将注视缓冲器清空，并将该采样点作为注视缓冲器的第一个点。

27、进一步地，所述第一设定时间为100～300ms，第二设定时间为1000～4000ms。

28、进一步地，所述s4具体包括如下步骤：

29、s41、建立一个数值全为0的代表积极情绪的积极三维空间矩阵，和一个数值全为0的代表消极情绪的消极三维空间矩阵；积极三维空间矩阵和消极三维空间矩阵构成了三维空间环境；

30、s42、如果某段脑电信号被判别为积极情绪，则根据该段脑电信号所对应的眼动数据分析出的注视三维坐标，在积极三维空间矩阵的注视坐标处赋值1；反之，如果某段脑电信号被判别为消极情绪，则在消极三维空间矩阵的注视坐标处赋值-1；

31、s43、以所有含非0值坐标处为球心，以相同的扩散衰减速度将积极与消极情绪扩散到整个三维空间环境中，填充积极三维空间矩阵与消极三维空间矩阵，从而形成积极奖励值图和消极奖励值图；

32、s44、最后将积极奖励值图与消极奖励值图相加，得到总奖励值图。

33、进一步地，所述s5具体包括如下步骤：

34、s51、以机械手中心在机械臂坐标系中的坐标为路径规划起点；

35、s52、依次遍历周围n个路径点，并依据贪婪算法和总奖励值图，将周围n个路径点中奖励值最大的坐标作为路径中的下一个点；

36、s53、循环s52，直至到达目标位置，完成路径规划。

37、本发明的有益效果：

38、本发明通过解码脑电信号识别用户积极与消极的态度，并通过眼动仪将用户的态度作为奖励赋值到三维的环境空间中，能帮助机器人在理解环境与用户期望的基础上进行路径规划，规划的路径更符合人的期望；同时本发明也提高了机械臂路径规划的效率。

39、本发明相对传统的通过建模进行路径规格，泛化性更高，且无需建模，没有建模时间成本，同时降低了计算成本；

40、另外，本发明相对传统的通过大模型进行路径规格，无需大量的交互数据来训练模型，也没有训练模型的时间成本。

技术特征：

1.一种基于情绪脑机接口的机械臂路径规划方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的机械臂路径规划方法，其特征在于，所述s2具体包括如下步骤：

3.根据权利要求2所述的机械臂路径规划方法，其特征在于，所述s23中的各频段脑电信号的平均功率谱密度与每个导联脑电信号的微分熵计算公式如下：

4.根据权利要求2所述的机械臂路径规划方法，其特征在于，所述s3具体包括如下步骤：

5.根据权利要求4所述的机械臂路径规划方法，其特征在于，所述s31具体包括如下步骤：

6.根据权利要求4所述的机械臂路径规划方法，其特征在于，所述第一设定时间为100～300ms，第二设定时间为1000～4000ms。

7.根据权利要求4所述的机械臂路径规划方法，其特征在于，所述s4具体包括如下步骤：

8.根据权利要求1至7任一项所述的机械臂路径规划方法，其特征在于，所述s5具体包括如下步骤：

技术总结
本发明涉及人机交互技术领域，具体为一种基于情绪脑机接口的机械臂路径规划方法，包括如下步骤：S1、用户观看摄像头采集到的视频，通过眼动仪记录用户的视觉轨迹，并同步采集用户脑电数据；S2、根据脑电信号分析用户的情绪，将脑电信号分类为积极情绪，中立情绪与消极情绪；S3、对眼动数据进行分析并定位用户注视的三维空间坐标；S4、依据用户注视的三维空间坐标将用户的积极和消极情绪赋值到三维空间环境中，得到总奖励值图；S5、依据贪婪算法和总奖励值图对路径进行规划，直至到达目标位置，完成路径规划。本发明提高了机械臂路径规划的效率，同时规划的路径更符合人的期望。

技术研发人员：于扬,叶泽祺,曾令李,周宗潭,胡德文,章艺云
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/12/5