一种情感识别方法、装置、系统及计算机可读存储介质与流程

1.本发明实施例涉及情感识别技术领域，特别是涉及一种情感识别方法、装置、系统及计算机可读存储介质。


背景技术：

2.当前，随着云计算，大数据和人工智能的不断发展，包括但不限于人脸识别，步态识别等应用已经被广泛应用到各行各业。人工智能客服对话则是其中另一个重要的商用场景，这种潜在的人机交互的应用对现在的现状提出了很多挑战，其中重要的一点就是人机交互中，如何让机器理解人的情感，也就是情感识别的任务。情感识别作为情感计算领域的一个热门研究课题，受到了来自计算机视觉，自然语言处理和人机交互等领域的许多研究人员的关注，大多数方法采用人工神经网络（ann，artificial neural network）来完成情感识别，然而，情感识别模型的推理需要消耗移动端设备较大的能量，这种高能耗anns模式的情感识别方式阻碍了情感识别在嵌入式和移动设备上的应用。
3.作为第三代神经网络，低功耗的脉冲神经网络（snn，spiking neural network）是实现适用于嵌入式和移动端的情感识别算法的一个潜在解决方案，相比于ann，snn中单个神经元的构造和大脑中神经元的结构具有更强的相似性。snn中常用的神经元模型是leaky integrate-and-fire (lif)模型，该模型中信息的传递定义为单个脉冲组成的时间不规则的序列，主要计算过程是对输入脉冲进行时间上的累积，根据每一时刻的累计值决定是否发放脉冲。由于脉冲的传递方式，snn中采用的是能耗更少的累加操作，强的生物相似性和低的能耗使得snn在低能耗情感识别方面有巨大的应用潜力。
4.目前，现有技术中通常应用snns完成情感识别任务的方法来从语音、跨模态或脑电图中提取情感信息，尚未实现从视频片段中提取情感信息，因此如何从视频片段中提取情感信息是本领域技术人员需要解决的问题。


技术实现要素：

5.本发明实施例的目的是提供一种情感识别方法、装置、系统及计算机可读存储介质，在使用过程中能够实现基于视频信息识别出情感类别，使情感识别的途径增多，有利于更好的进行情感识别。
6.为解决上述技术问题，本发明实施例提供了一种情感识别方法，包括：获取与视频信息对应的待识别脉冲序列；采用预先建立的脉冲神经网络情感识别模型对所述待识别脉冲序列进行识别，得到对应的情感类别；其中，所述脉冲神经网络情感识别模型为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的。
7.可选的，所述采用预先建立的动态视觉数据集对脉冲神经网络进行训练的过程包括：预先建立基于情感识别的动态视觉数据集；
采用所述动态视觉数据集对预先建立的脉冲神经网络进行训练，得到训练后的脉冲神经网络情感识别模型。
8.可选的，所述预先建立动态视觉数据集的过程包括：获取基于情感识别的原始视觉数据；采用动态视觉传感器模拟方法对所述原始视觉数据处理，得到对应的脉冲序列；基于所述脉冲序列建立动态视觉数据集。
9.可选的，所述采用动态视觉传感器模拟方法对所述原始视觉数据处理，得到对应的脉冲序列的过程包括：从所述原始视觉数据的第一帧视频帧图像开始遍历，将第i帧视频帧图像从rgb的颜色空间转换至灰度空间，得到转换后的当前视频帧数据；判断所述i是否等于1；若等于1，则将所述当前视频帧数据的所有浮点型数据赋值至模拟数据第一时间步的第一输出通道，并将所述当前视频帧数据作为前一帧视频帧；若不等于1，则根据所述当前视频帧与前一帧视频帧的灰度差异值及预设阈值，对第一输出通道和第二输出通道分别进行赋值，并将所述当前视频帧数据作为前一帧视频帧；将所述i的数值加1，并判断更新后的i是否小于n；若小于n，则返回执行将第i帧视频帧图像从rgb的颜色空间转换至灰度空间的步骤；若不小于n，则结束操作，得到由所述第一输出通道和所述第二输出通道构成的脉冲序列；其中，n表示所述原始视觉数据包含的视频帧图像总数量。
10.可选的，所述根据所述当前视频帧与前一帧视频帧的灰度差异值及预设阈值，对第一输出通道和第二输出通道分别进行赋值，包括：针对每个像素，计算出所述当前视频帧与前一帧视频帧在所述像素处的灰度差异值；将所述灰度差异值与预设阈值进行比较，当所述灰度差异值大于所述预设阈值时，第一输出通道对应的位置处赋值为1；当所述灰度差异值小于所述预设阈值时，第二输出通道对应的位置处赋值为1。
11.可选的，所述脉冲神经网络包括特征提取模块、表决神经元群模块以及情感映射模块；所述采用所述动态视觉数据集对预先建立的脉冲神经网络进行训练，得到训练后的脉冲神经网络情感识别模型的过程包括：初始化预先建立的脉冲神经网络的参数权重；将所述动态视觉数据集作为当前脉冲神经网络的输入，网络前向传播得到各情感类别的表决神经元群的输出频率；针对每个情感类别计算输出频率与对应情感类别的真实标签之间的误差；根据所述误差计算参数权重对应的梯度，并采用所述梯度对所述当前脉冲神经网络的参数权重进行更新；判断更新参数权重后的当前脉冲神经网络是否收敛，若是，则结束训练，得到训练
后的脉冲神经网络情感识别模型；若否，则返回执行所述将所述动态视觉数据集作为当前脉冲神经网络的输入，网络前向传播得到各情感类别的表决神经元群的输出频率的步骤，以进行下一轮训练。
12.可选的，所述特征提取模块包括由卷积、归一化、参数化带泄露整合发放模型plif和平均池化构成的单次前向提取单元以及由间隔排列的两层全连接和plif构成的网络单元。
13.本发明实施例还提供了一种情感识别装置，包括：获取模块，用于获取与视频信息对应的待识别脉冲序列；识别模块，用于采用预先建立的脉冲神经网络情感识别模型对所述待识别脉冲序列进行识别，得到对应的情感类别；其中，所述脉冲神经网络情感识别模型为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的。
14.本发明实施例还提供了一种情感识别装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述所述情感识别方法的步骤。
15.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述情感识别方法的步骤。
16.本发明实施例提供了一种情感识别方法、装置、系统及可读存储介质，该方法包括：获取与视频信息对应的待识别脉冲序列；采用预先建立的脉冲神经网络情感识别模型对待识别脉冲序列进行识别，得到对应的情感类别；其中，脉冲神经网络情感识别模型为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的。
17.可见，本发明实施例中通过预先建立动态视觉数据集对脉冲神经网络进行训练得到脉冲神经网络情感识别模型，然后获取与视频信息对应的待识别脉冲序列，将该待识别脉冲序列输入至脉冲神经网络情感识别模型中，通过脉冲神经网络情感识别模型对待识别脉冲序列进行识别，得到对应的情感类别；本发明在使用过程中能够实现基于视频信息识别出情感类别，使情感识别的途径增多，有利于更好的进行情感识别。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的一种情感识别方法的流程示意图；图2为本发明实施例提供的一种将原始动态视觉数转换为脉冲序列方法的流程示意图；图3为本发明实施例提供的一种脉冲神经网络的结构示意图；图4为本发明实施例提供的一种建立脉冲神经网络情感识别模型方法的流程示意图；图5为本发明实施例提供的一种情感识别装置的结构示意图。
具体实施方式
20.本发明实施例提供了一种情感识别方法、装置、系统及计算机可读存储介质，在使用过程中能够实现基于视频信息识别出情感类别，使情感识别的途径增多，有利于更好的进行情感识别。
21.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.请参照图1，图1为本发明实施例提供的一种情感识别方法的流程示意图。该方法，包括：s110：获取与视频信息对应的待识别脉冲序列；需要说明的是，本发明实施例中可以预先建立脉冲神经网络情感识别模型，具体的预先建立动态视觉数据集，并采用该动态视觉数据集对脉冲神经网络进行训练，得到脉冲神经网络情感识别模型。
23.在实际应用中，获取与视频信息对应的待识别脉冲序列，具体的可以采用动态视觉相机直接获取与视频信息对应的待识别脉冲序列，但是由于动态视觉相机成本较高，本发明实施例中为了降低成本可以先获取视频信息，然后对视频信息进行仿真模拟，得到对应的待识别脉冲序列。
24.s120：采用预先建立的脉冲神经网络情感识别模型对待识别脉冲序列进行识别，得到对应的情感类别；其中，脉冲神经网络情感识别模型为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的。
25.具体的，将该待识别脉冲序列输入至脉冲神经网络情感识别模型中，通过该脉冲神经网络情感识别模型对该待识别脉冲序列进行识别，得到对应的情感类别。
26.进一步的，上述采用预先建立的动态视觉数据集对脉冲神经网络进行训练的过程，具体可以包括：预先建立基于情感识别的动态视觉数据集；采用动态视觉数据集对预先建立的脉冲神经网络进行训练，得到训练后的脉冲神经网络情感识别模型。
27.可以理解的是，本发明实施例中预先建立基于情感识别的动态视觉数据集以及脉冲神经网络，然后采用该动态视觉数据集对脉冲神经网络进行训练，从而得到训练后的脉冲网络情感识别模型。其中，上述预先建立动态视觉数据集的过程，具体可以包括：获取基于情感识别的原始视觉数据；采用动态视觉传感器模拟方法对原始视觉数据处理，得到对应的脉冲序列；基于脉冲序列建立动态视觉数据集。
28.需要说明的是，在实际应用中可以采用动态视觉相机直接获取与视频信息对应的待识别脉冲序列，但是动态视觉相机成本较高。本发明实施例中为了进一步降低成本，可以先通过普通的视频采集设备采集基于情感识别的原始视觉数据，然后采用动态视觉传感器模拟方法对原始视觉数据进行模拟仿真，得到与原始视觉数据对应的脉冲数据，实现了将原始视觉数据转换为脉冲数据，节约了设备成本。可以理解的是，一个原始视觉数据对应的
脉冲序列实际上时整个原始视觉数据中每个视频画面的每个像素位置的脉冲序列构成的脉冲序列阵列，本发明实施例中将该脉冲序列阵列简称为与原始视觉数据对应的脉冲序列，并且在实际应用中通过对多个原始视觉数据均采用上述动态视觉传感器模拟方法进行模拟仿真，得到多个脉冲序列，基于多个脉冲序列建立动态视觉数据集。
29.更进一步的，请参照图2，上述采用动态视觉传感器模拟方法对原始视觉数据处理，得到对应的脉冲序列的过程，具体可以包括：s200：从原始视觉数据的第一帧视频帧图像开始遍历，将第i帧视频帧图像从rgb的颜色空间转换至灰度空间，得到转换后的当前视频帧数据；s210：判断i是否等于1；若等于1，则进入s220；若不等于1，则进入s230；s220：将当前视频帧数据的所有浮点型数据赋值至模拟数据第一时间步的第一输出通道，并将当前视频帧数据作为前一帧视频帧；s230：根据当前视频帧与前一帧视频帧的灰度差异值及预设阈值，对第一输出通道和第二输出通道分别进行赋值，并将当前视频帧数据作为前一帧视频帧；s240：将i的数值加1，并判断更新后的i是否小于n；若小于n，则进入s250；若不小于n，则进入s260；s250：返回执行将第i帧视频帧图像从rgb的颜色空间转换至灰度空间的步骤；s260：结束操作，得到由第一输出通道和第二输出通过构成的脉冲序列；其中，n表示原始视觉数据包含的视频帧图像总数量。
30.需要说明的是，动态视觉的特点就是相机捕捉的不再是整个场景中的所有信息，尤其是在场景变化不大的情况下，这些可以极大的减少数据的记录量和传输量，本发明实施例中通过将视频数据中相邻画面帧之间灰度信息进行差分，并根据预设阈值对差分结果进行判定，以便确定是否需要记录数据来完成符合动态视觉特性的模拟。
31.动态视觉数据的记录特点是只记录变化，用形式化的符号描述来定义，一般用来表示，其中e代表事件，事件只有两种属性，发生和不发生，(xi,yi)代表的是场景中事件发生的位置，ti代表发生事件的时间，pi代表事件发生的极性，例如对于事件记录的场景中的光强的变化情况，光强的变化有两个方向，有强转弱或者由弱转强，这两个变化都表示事件的发生，为了区别这两种事件，所以定义了极性这个维度。本发明实施例提供的方法就是要通过计算机模拟的方式来产生形式上类似的动态视觉数据，一个场景的连续记录这里使用视频数据来表示，因为本系统面向的任务是情感识别，所以这里使用的数据是情感识别的原始视觉数据，假设一段原始视觉数据总共包含n帧视频帧图像，这些视频帧图像就是动态视觉传感器模拟方法的输入，具体可以按照以下模拟步骤进行计算，产生模拟的动态视觉数据：在实际应用中可以定义全零数值的模拟视觉数据表示：，其中，i的数值范围为1到n，e的大小为h
×w×n×
2，其中，h和w分别为视频帧图像的高和宽；初始化中间变量记录前一帧的数据，标记为，定义帧间的敏感度（也即预设阈值）为，具体为两帧之间差异超过敏感度的时候模拟事件发生。
32.具体的，本发明实施例中在将原始动态视频数据转换为脉冲序列的过程中，可以
从第一帧视频帧图像开始对整个原始动态视频数据中的n帧视频帧图像进行遍历。例如，对于当前的第i帧视频帧图像，将该视频帧图像从rgb的颜色空间转换至灰度空间，用v
gray
表示，并将转换后的视频帧数据作为当前视频帧数据，然后对i的大小进行判断。
33.具体的，当i等于1时，也即针对与第一帧视频帧图像对应的当前视频帧数据，可以将当前视频帧数据的所有浮点型数据赋值至模拟数据第一时间步的第一输出通道（可以通过代码实现），并将当前视频帧数据作为前一帧视频帧（可以通过代码实现），并执行s240将i的数值加1的步骤。
34.当i不等于1时，则根据当前视频帧与前一帧视频帧的灰度差异值及预设阈值，对第一输出通道和第二输出通道分别进行赋值，并将当前视频帧数据作为前一帧视频帧，并执行s240将i的数值加1的步骤。该过程可以通过以下方法实现：针对每个像素，计算出当前视频帧与前一帧视频帧在像素处的灰度差异值；将灰度差异值与预设阈值进行比较，当灰度差异值大于预设阈值时，第一输出通道对应的位置处赋值为1；当灰度差异值小于预设阈值时，第二输出通道对应的位置处赋值为1。
35.具体的，本发明实施例中针当前的视频帧图像中的每个像素，均计算出当前视频帧与前一帧视频帧在该像素处的灰度差异值，然后将该灰度差异值与预设阈值进行比较，根据比较结果对两类不同的事件进行赋值，具体的在当灰度差异值大于预设阈值时，第一输出通道对应的位置处赋值为1，可以通过代码实现，当灰度差异值小于预设阈值时，第二输出通道对应的位置处赋值为1，可以通过代码实现。
36.另外，本发明实施例中在将i的数值加1后，判断更新后的i是否小于n，当小于n时，返回执行将第i帧视频帧图像从rgb的颜色空间转换至灰度空间的步骤以便继续对下一视频帧图像进行处理，当不小于n时，结束操作，说明n个视频帧图像均处理完毕，从而得到由第一输出通道和第二输出通道构成的脉冲序列。
37.还需要说明的是，脉冲神经网络由于采用脉冲的方式传递信息，脉冲传递过程本身是不可求导的，导致无法使用梯度反向传播的方式进行突触权重更新，并且在优化过程中为了避免手动设置一些超参数（例如，神经元的膜时间常数τ），近来领域内技术人员提出一种可以将神经元的膜时间常数τ融入到整个模型突触权重的联合更新当中，这种模型称之为plif（parametric leaky-integrate and fire model，参数化带泄漏整合发放模型）。联合优化要比手动设置更加方面，能够优化得到更好的突出权重，本发明实施例采用了plif作为snn中的层来进行情感识别snn模型的构建，具体如下：请参照图3，上述脉冲神经网络包括特征提取模块、表决神经元群模块以及情感映射模块；需要说明的是，图3中原始视频帧通过动态视觉仿真算法（也即动态视觉传感器模拟方法）后得到脉冲序列，该脉冲序列作为脉冲神经网络的输入，脉冲神经网络中的特征提取模块的作用是从输入的脉冲序列当中进行特征提取，得到表达性更强的脉冲特征；表决
神经元群模块的作用是模拟大脑中群组神经元的工作特征，用多个神经元代表一种决策倾向；情感映射模块基于神经元群发射脉冲的频率来决定最终情感分类的映射结果。
38.具体的，本发明实施例中的特征提取模块，模拟大脑神经元对信息处理的方式，抽象出了卷积操作和池化操作，并且本发明实施例中在信息传递的时候使用了脉冲神经元模型plif。具体地，单次前向特征提取的操作包括：卷积核为3
×
3的卷积操作（如图3中的conv 3x3），归一化操作（如图3中的batchnorm），plif（如图3中的plifnode），平均池化（如图3中的avgpool），该计算过程可以重复多次（例如3次），会将输入脉冲进行一定程度的压缩，减少了脉冲特征的数量，提高了脉冲特征的判别性，其中，平均池化的窗口大小可以为2
×
2。特别地，本发明实施例为了进一步减少脉冲特征的数量，特征提取模块中还使用了两层全连接的方式进行进一步的特征有效压缩，因为传统全连接层的输出是浮点数，这里代表膜电势，因此需要加入plif层来将浮点数转化为脉冲的传递形式，也即，采用隔排列的两层全连接和plif，具体顺序为全连接层1、plif1、全连接层2、plif2，其中，全连接层1和plif1中包含的神经元个数可以灵活设置，但两者数量必须一致，例如设置为1000；全连接层2和plif2中包含的神经元数量需要根据具体的输出情感类别数目设置，例如为二分类，可以设置为20，具体数值均可以根据实际需要进行确定，本发明实施例对此不做特殊限定。
39.表决神经元群模块，大脑中神经元的决策是基于多个神经元协同工作的，所以本发明实施例中针对最终情感识别类别数，使用多个神经元组成一个群来对某个情感类别进行识别。具体地，可以使用十个神经元组成一个类别对应的群，本发明实施例中用两个情感类别的识别例子展开解释，也就是说使用十个神经元协同决定最终是否为该群神经元对应的情感类别，总共数量为情感类别数量乘以十，该表决神经元群模块的输出是脉冲序列。
40.情感映射模块，情感映射模块需要对表决神经元群模块输出的脉冲序列进行映射到最终的情感类别。具体的，每一个神经元发射的脉冲序列可以对应一个频率，该频率可以作为神经元的输出映射之一，随后将所有当前类别的神经元群内的神经元的频率做平均，这样每一类神经元群都有对应一个最终频率，该频率越大，表示对应的情感类别被激活，将频率最大的神经元群对应的情感类别输出。
41.请参照图4，下面对采用动态视觉数据集对预先建立的脉冲神经网络进行训练，得到训练后的脉冲神经网络情感识别模型的过程进行详细介绍，该过程可以包括：s310：初始化预先建立的脉冲神经网络的参数权重；需要说明的是，在实际应用中可以将动态视觉数据集分为三部分，分别为训练集、验证集和测试集，并预先搭建好脉冲神经网络，该脉冲神经网络具体如上述所述，本发明实施例不再赘述。具体的，先初始化脉冲神经网络的参数权重。
42.s320：将动态视觉数据集作为当前脉冲神经网络的输入，网络前向传播得到各情感类别的表决神经元群的输出频率；具体的，在每一轮训练过程中均基于当前的参数权重确定当前脉冲神经网络，并将动态视觉数据集中的训练集作为当前脉冲神经网络的输入，然后网络前向传播，得到各个情感类别的表决神经元群的输出频率，针对一个表决神经元群，可以通过计算该表决神经元群中的各个表决神经元的输出频率的平均值，得到表决神经元群的输出频率。
43.s330：针对每个情感类别计算输出频率与对应情感类别的真实标签之间的误差；具体的，由于每个表决神经元群各自对应一个情感类别，因此可以根据表决神经
元群的输出频率及对应的情感类别的真实标签，计算出误差，本发明实施例中具体可以计算出均方误差mse。
44.s340：根据误差计算参数权重对应的梯度，并采用梯度对当前脉冲神经网络的参数权重进行更新；具体的，可以根据与每个表决神经元群各自对应的误差，计算得到最终的平均误差，然后根据该平均误差计算参数权重对应的梯度，然后采用梯度对当前脉冲神经网络的参数权重进行更新。
45.需要说明的是，在实际应用中可以采用随机梯度下降（stochastic gradient descent，sgd）算法，同时也可以选用其它基于梯度下降的参数优化方法对参数权重进行更新，具体包括但不限于 rmsprob（root mean square propagation），adagrad（adaptive subgradient），adam（adaptive moment estimation），adamax（adam基于无穷范数的变种），asgd（averaged stochastic gradient descent），rmsprob等方法，具体采用哪种方法可以根据实际情况进行确定，本发明实施例对此不做特殊限定。
46.s350：判断更新参数权重后的当前脉冲神经网络是否收敛，若是，则进入s360；若否，则返回执行s320，以进行下一轮训练；具体的，在对参数权重更新后，基于更新后的参数权重确定出当前脉冲神经网络，然后可以进一步根据动态视觉数据集中的验证集对当前脉冲神经网络的收敛性进行判断，在当前脉冲神经网络收敛时，进入s360结束操作，并得到基于最新的参数权重的脉冲神经网络情感识别模型，还可以通过测试集对该脉冲神经网络情感识别模型进行测试，输出对应的情感类别。在当前脉冲神经网络不收敛时，则可以返回s320中重新采用训练集对更新后的当前脉冲神经网络进行下一轮训练，以对参数权重进行再次更新，直至更新后的当前脉冲神经网络收敛为止。
47.s360：结束训练，得到训练后的脉冲神经网络情感识别模型。
48.需要说明的是，在实际应用中判断当前脉冲神经网络是否收敛的方法可以有多种，例如，判断当前训练次数是否达到预设次数，若达到，则收敛，若没有达到，则不收敛。还可以判断基于当前脉冲神经网络的误差下降程度是否稳定在预设范围，若是，则收敛，若否，则不收敛。还可以进一步通过判断基于当前脉冲神经网络的误差是否小于误差阈值来判断是否收敛，当小于时收敛，不小于则不收敛。
49.可见，本发明实施例中通过预先建立动态视觉数据集对脉冲神经网络进行训练得到脉冲神经网络情感识别模型，然后获取与视频信息对应的待识别脉冲序列，将该待识别脉冲序列输入至脉冲神经网络情感识别模型中，通过脉冲神经网络情感识别模型对待识别脉冲序列进行识别，得到对应的情感类别；本发明在使用过程中能够实现基于视频信息识别出情感类别，使情感识别的途径增多，有利于更好的进行情感识别。
50.在上述实施例的基础上，本发明实施例还提供了一种情感识别装置，具体请参照图5。该装置包括：获取模块21，用于获取与视频信息对应的待识别脉冲序列；识别模块22，用于采用预先建立的脉冲神经网络情感识别模型对待识别脉冲序列进行识别，得到对应的情感类别；其中，脉冲神经网络情感识别模型为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的。
51.需要说明的是，本发明实施例中提供的情感识别装置具有与上述实施例中所提供的情感识别方法相同的有益效果，并且对于本发明实施例所涉及到的情感识别方法的具体介绍请参照上述实施例，本发明在此不再赘述。
52.在上述实施例的基础上，本发明实施例还提供了一种情感识别装置，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现如上述情感识别方法的步骤。
53.例如，本发明实施例中的处理器具体可以用于实现获取与视频信息对应的待识别脉冲序列；采用预先建立的脉冲神经网络情感识别模型对待识别脉冲序列进行识别，得到对应的情感类别；其中，脉冲神经网络情感识别模型为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的。
54.在上述实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述情感识别方法的步骤。
55.该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器（read-only memory ，rom）、随机存取存储器（random access memory ，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
56.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
57.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
58.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种情感识别方法，其特征在于，包括：获取与视频信息对应的待识别脉冲序列；采用预先建立的脉冲神经网络情感识别模型对所述待识别脉冲序列进行识别，得到对应的情感类别；其中，所述脉冲神经网络情感识别模型为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的。2.根据权利要求1所述的情感识别方法，其特征在于，所述采用预先建立的动态视觉数据集对脉冲神经网络进行训练的过程包括：预先建立基于情感识别的动态视觉数据集；采用所述动态视觉数据集对预先建立的脉冲神经网络进行训练，得到训练后的脉冲神经网络情感识别模型。3.根据权利要求2所述的情感识别方法，其特征在于，所述预先建立动态视觉数据集的过程包括：获取基于情感识别的原始视觉数据；采用动态视觉传感器模拟方法对所述原始视觉数据处理，得到对应的脉冲序列；基于所述脉冲序列建立动态视觉数据集。4.根据权利要求3所述的情感识别方法，其特征在于，所述采用动态视觉传感器模拟方法对所述原始视觉数据处理，得到对应的脉冲序列的过程包括：从所述原始视觉数据的第一帧视频帧图像开始遍历，将第i帧视频帧图像从rgb的颜色空间转换至灰度空间，得到转换后的当前视频帧数据；判断所述i是否等于1；若等于1，则将所述当前视频帧数据的所有浮点型数据赋值至模拟数据第一时间步的第一输出通道，并将所述当前视频帧数据作为前一帧视频帧；若不等于1，则根据所述当前视频帧与前一帧视频帧的灰度差异值及预设阈值，对第一输出通道和第二输出通道分别进行赋值，并将所述当前视频帧数据作为前一帧视频帧；将所述i的数值加1，并判断更新后的i是否小于n；若小于n，则返回执行将第i帧视频帧图像从rgb的颜色空间转换至灰度空间的步骤；若不小于n，则结束操作，得到由所述第一输出通道和所述第二输出通道构成的脉冲序列；其中，n表示所述原始视觉数据包含的视频帧图像总数量。5.根据权利要求4所述的情感识别方法，其特征在于，所述根据所述当前视频帧与前一帧视频帧的灰度差异值及预设阈值，对第一输出通道和第二输出通道分别进行赋值，包括：针对每个像素，计算出所述当前视频帧与前一帧视频帧在所述像素处的灰度差异值；将所述灰度差异值与预设阈值进行比较，当所述灰度差异值大于所述预设阈值时，第一输出通道对应的位置处赋值为1；当所述灰度差异值小于所述预设阈值时，第二输出通道对应的位置处赋值为1。6.根据权利要求2至5任意一项所述的情感识别方法，其特征在于，所述脉冲神经网络包括特征提取模块、表决神经元群模块以及情感映射模块；所述采用所述动态视觉数据集对预先建立的脉冲神经网络进行训练，得到训练后的脉冲神经网络情感识别模型的过程包括：初始化预先建立的脉冲神经网络的参数权重；
将所述动态视觉数据集作为当前脉冲神经网络的输入，网络前向传播得到各情感类别的表决神经元群的输出频率；针对每个情感类别计算输出频率与对应情感类别的真实标签之间的误差；根据所述误差计算参数权重对应的梯度，并采用所述梯度对所述当前脉冲神经网络的参数权重进行更新；判断更新参数权重后的当前脉冲神经网络是否收敛，若是，则结束训练，得到训练后的脉冲神经网络情感识别模型；若否，则返回执行所述将所述动态视觉数据集作为当前脉冲神经网络的输入，网络前向传播得到各情感类别的表决神经元群的输出频率的步骤，以进行下一轮训练。7.根据权利要求6所述的情感识别方法，其特征在于，所述特征提取模块包括由卷积、归一化、参数化带泄露整合发放模型plif和平均池化构成的单次前向提取单元以及由间隔排列的两层全连接和plif构成的网络单元。8.一种情感识别装置，其特征在于，包括：获取模块，用于获取与视频信息对应的待识别脉冲序列；识别模块，用于采用预先建立的脉冲神经网络情感识别模型对所述待识别脉冲序列进行识别，得到对应的情感类别；其中，所述脉冲神经网络情感识别模型为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的。9.一种情感识别装置，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述情感识别方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述情感识别方法的步骤。

技术总结
本发明公开了一种情感识别方法、装置、系统及可读存储介质，该方法包括：获取与视频信息对应的待识别脉冲序列；采用预先建立的脉冲神经网络情感识别模型对待识别脉冲序列进行识别，得到对应的情感类别；其中，脉冲神经网络情感识别模型的为采用预先建立的动态视觉数据集对脉冲神经网络进行训练得到的；本发明在使用过程中能够实现基于视频信息识别出情感类别，使情感识别的途径增多，有利于更好的进行情感识别。行情感识别。行情感识别。


技术研发人员：赵雅倩 王斌强 董刚 李仁刚
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：2022.02.09
技术公布日：2022/3/8