基于相对情绪强度的数据分析系统、修改数据方法及其通用框架与流程

1.本发明涉及计算机领域，尤指一种基于相对情绪强度的数据分析系统、修改数据方法及其通用框架。


背景技术：

2.情感被认为是表演的核心要素，这是令身体动作看起来更真实及不可或缺的一部分。在电脑上动画，身体动作和面部表情都是两种流行的情感表达媒介。为了理解和表达情绪，目前越来越研究关注分析用户如何透过身体动作和面部表情感受表演者的情感。虽然现有的技术在计算机视觉及人工智能等领域能从动作身体动作和面部表情识别表演者情绪，但以情绪强度来控制动昼则是一个更具挑战性的工作。
3.目前，最相关的工作是从范例中进行风格迁移。然而，现有的方法通过插值来解决这个问题。我们认为这种方法的缺点是它只对身体动作和面部表情进行插值，但这不一定能准确地修改数据中表达的情绪。也就是说，现有的方法主要针对低级运动特征进行插值，因此所有修改只发生在运动层面上，而不发生在情绪表达上。这是因为学习方法忽略了低级运动特征与较高级、抽象的情绪层面之间的关系。


技术实现要素：

4.为解决上述问题，本发明提供一种基于相对情绪强度的数据分析系统、修改数据方法及其通用框架，通过学习低级运动特征(例如关节位置、速度)和具有不同强度等级的高级情感属性之间的关系。
5.为实现上述目的，本发明采用的技术方案是：一种基于相对情绪强度的数据分析系统，数据通过模糊方式卷标，并且通过卷标相对强度能自动计算绝对强度；使用rankingsvm排序支持向量机，学习低级运动特征和具有不同强度等级的高级情感属性之间的关系。
6.进一步地，通过卷标10％相对强度的训练数据便能自动计算绝对强度。
7.其中，相对强度通过输入三维骨架动作序列或人脸图像的输入特征xi作为训练数据，利用ranking svm排序支持向量机所求的w值计算数据特征的绝对情绪强度s，利用非线性回归算法f(si)对数据特征与情感表达强度s的关系进行建模。
8.进一步地，以基于ranking svm排序支持向量机的排序学习来计算输入特征xi的属性分数来决定顺序位置：
9.r(xi)＝wxi10.w为权重向量并把输入特征xi转化成情感表达强度。
11.其中，设定两组相对约束：
[0012][0013]
[0014]
当中o及s为有序及相近的集合。
[0015]
w值可透过以下的约束优化问题方程求解算法获得：
[0016][0017][0018][0019]
β
ij
≥0；γ
ij
≥0
[0020]
当中c为权衡参数以决定相对约束的强度，β
ij
及γ
ij
为松弛变量。
[0021]
还提供一种基于相对情绪强度的修改数据方法，包括以下步骤：
[0022]
s1，输入三维骨架动作序列或人脸图像作为训练数据并且得到输入特征xi；
[0023]
s2,利用rankingsvm排序支持向量机所求的w值计算数据特征的绝对情绪强度s；
[0024]
s3，利用非线性回归算法f(si)对数据特征与情感表达强度s的关系进行建模。
[0025]
其中，在步骤s1中，输入三维骨架动作序列作为训练数据时，首先进行关键帧ki提取，(i＝1,2,3,
…
,p)将用于表达整个动作m＝{k1,...k
p
}，一共p帧；然后每一关键帧通过主成分分析法降维：xi＝pca(ki)。
[0026]
其中，在步骤s1中，输入人脸图像作为训练数据时，每张图片均通过面部标志检测以获取重要的二维关键点，然后以聚类算法把图像以头部姿势分组，最后进行局部坐标计算。
[0027]
其中，在步骤s2中，以基于rankingsvm排序支持向量机的排序学习来计算输入特征xi的属性分数来决定顺序位置:
[0028]
r(xi)＝wxi[0029]
w为权重向量并把输入特征xi转化成情感表达强度。
[0030]
其中，设定两组相对约束:
[0031][0032][0033]
当中o及s为有序及相近的集合。
[0034]
w值可透过以下的约束优化问题方程求解算法获得:
[0035][0036][0037][0038]
β
ij
≥0；γ
ij
≥0
[0039]
当中c为权衡参数以决定相对约束的强度，β
ij
及γ
ij
为松弛变量。
[0040]
其中，在步骤s3中，数据特征与属性分数(即情感表达强度s)的关系可利用非线性回归算法f(si)获取：si＝wxi；x
i’＝f(si)；当中我们利用matlab内建的三层神经网络作为回归算法；最后把神经网络的输出转成原始数据的格式。
[0041]
还保护一种基于相对情绪强度的通用框架，包括上述述数据分析系统或/和上述修改数据方法的用于编辑和合成多模态数据的通用框架。
[0042]
本发明的有益效果在于：本发明数据分析系统利用相对情绪强度，对多模态数据，如三维骨架动作序列或人脸图像(图像修改功能)，通过排序学习，学习低级运动特征(例如关节位置、速度)和具有不同强度等级的高级情感属性之间的关系，只需要卷标少量训练数据便能达到高效能；同时本发明提出一种新的数据修改优化方法，利用非线性回归算法建模，可以于通用框架上实现动画制作及人脸图像修改功能。
附图说明
[0043]
图1是本实施例的算法流程图。
具体实施方式
[0044]
下面通过具体实施方式结合附图对本发明作进一步详细说明。本技术可以以多种不同的形式来实现，并不限于本实施案例所描述的实施方式。提供以下具体实施方式的目的是便于对本技术公开内容更清楚透彻的理解。
[0045]
本发明关于一种基于相对情绪强度的数据分析系统，数据通过模糊方式卷标，并且通过卷标相对强度能自动计算绝对强度；使用rankingsvm排序支持向量机，学习低级运动特征和具有不同强度等级的高级情感属性之间的关系。其中，通过卷标10％相对强度的训练数据便能自动计算绝对强度，只需要卷标少量训练数据，卷标10％的数据便能达到高效能。
[0046]
请参阅图1所示，在本实施例中，基于相对情绪强度的修改数据方法包括以下步骤：
[0047]
s1，输入三维骨架动作序列或人脸图像作为训练数据并且得到输入特征xi；
[0048]
s2,利用ranking svm排序支持向量机所求的w值计算数据特征的绝对情绪强度s；
[0049]
s3，利用非线性回归算法f(si)对数据特征与情感表达强度s的关系进行建模。
[0050]
其中，在步骤s1中，输入三维骨架动作序列(动画制作功能)作为训练数据时，首先进行关键帧ki提取，(i＝1,2,3,
…
,p)将用于表达整个动作m＝{k1,...k
p
}，一共p帧；然后每一关键帧通过主成分分析法降维：xi＝pca(ki)，从而加快程序运行速度。
[0051]
至于人脸图像方面，输入人脸图像(图像修改功能)作为训练数据时，每张图片均通过面部标志检测以获取重要的二维关键点，然后以聚类算法把图像以头部姿势分组，最后进行局部坐标计算；由于每一组的头部姿势相近，令局部坐标计算更加准确。
[0052]
之后的框架能供动动画作及图像修改两个不同的功能共享。为了学习数据(三维骨架动作序列或人脸图像)中不同程度的情感表达，首先以基于排序支持向量机(ranking svm)的排序学习来计算输入特征xi的属性分数来决定顺序位置:
[0053]
其中，在步骤s2中，以基于ranking svm排序支持向量机的排序学习来计算输入特征xi的属性分数来决定顺序位置:
[0054]
r(xi)＝wxi[0055]
w为权重向量并把输入特征xi转化成情感表达强度。
[0056]
其中，设定两组相对约束：
[0057][0058][0059]
当中o及s为有序及相近的集合。
[0060]
由于训练数据中已卷标每一个数据的情感表达程度，w值可透过以下的约束优化问题方程求解算法获得：
[0061][0062][0063][0064]
β
ij
≥0；γ
ij
≥0
[0065]
当中c为权衡参数以决定相对约束的强度，β
ij
及γ
ij
为松弛变量令系统更加稳定。
[0066]
其中，在步骤s3中，在成功从训练数据中学习w值后，整个数据库的数据将以属性分数表达，而数据特征与属性分数(即情感表达强度s)的关系可利用非线性回归算法f(si)获取：si＝wxi；x
i’＝f(si)；
[0067]
当中我们利用matlab内建的三层神经网络作为回归算法；最后把神经网络的输出转成原始数据的格式。以三维骨架动为例，新生成的特征x
i’可透过主成分分析反投影转换成已修改的关键帧数据，再利用关键帧插值法获得最终的三维动作数据；人脸图像修改方面，x
i’为已修改的面部标志，我们利用大位移光流算法来控制图像修改。
[0068]
需要进一步说明的是，除非另有明确的规定和限定，术语“获取”“学习”“输出”等术语应做广义理解，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0069]
以上实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

技术特征：
1.一种基于相对情绪强度的数据分析系统，其特征在于：数据通过模糊方式卷标，并且通过卷标相对强度能自动计算绝对强度；使用ranking svm排序支持向量机，学习低级运动特征和具有不同强度等级的高级情感属性之间的关系。2.根据权利要求1所述的基于相对情绪强度的数据分析系统，其特征在于：通过卷标10％相对强度的训练数据便能自动计算绝对强度。3.根据权利要求1所述的基于相对情绪强度的数据分析系统，其特征在于：其中相对强度通过输入三维骨架动作序列或人脸图像的输入特征x
i
作为训练数据，利用ranking svm排序支持向量机所求的w值计算数据特征的绝对情绪强度s，利用非线性回归算法f(s
i
)对数据特征与情感表达强度s的关系进行建模。4.根据权利要求3所述的基于相对情绪强度的数据分析系统，其特征在于：以基于ranking svm排序支持向量机的排序学习来计算输入特征x
i
的属性分数来决定顺序位置:r(x
i
)＝wx
i
w为权重向量并把输入特征x
i
转化成情感表达强度。其中，设定两组相对约束:其中，设定两组相对约束:当中o及s为有序及相近的集合。w值可透过以下的约束优化问题方程求解算法获得:w值可透过以下的约束优化问题方程求解算法获得:w值可透过以下的约束优化问题方程求解算法获得:β
ij
≥0；γ
ij
≥0当中c为权衡参数以决定相对约束的强度，β
ij
及γ
ij
为松弛变量。5.一种基于相对情绪强度的修改数据方法，其特征在于：包括以下步骤：s1，输入三维骨架动作序列或人脸图像作为训练数据并且得到输入特征x
i
；s2，利用ranking svm排序支持向量机所求的w值计算数据特征的绝对情绪强度s；s3，利用非线性回归算法f(s
i
)对数据特征与情感表达强度s的关系进行建模。6.根据权利要求5所述的基于相对情绪强度的修改数据方法，其特征在于：在步骤s1中，输入三维骨架动作序列作为训练数据时，首先进行关键帧k
i
提取，(i＝1，2，3，
…
，p)将用于表达整个动作m＝{k1，...k
p
}，一共p帧；然后每一关键帧通过主成分分析法降维：x
i
＝pca(k
i
)。7.根据权利要求5所述的基于相对情绪强度的修改数据方法，其特征在于：在步骤s1中，输入人脸图像作为训练数据时，每张图片均通过面部标志检测以获取重要的二维关键点，然后以聚类算法把图像以头部姿势分组，最后进行局部坐标计算。8.根据权利要求5所述的基于相对情绪强度的修改数据方法，其特征在于：在步骤s2中，以基于ranking svm排序支持向量机的排序学习来计算输入特征x
i
的属性分数来决定顺序位置：
r(x
i
)＝wx
i
w为权重向量并把输入特征x
i
转化成情感表达强度。其中，设定两组相对约束：两组相对约束：当中o及s为有序及相近的集合。w值可透过以下的约束优化问题方程求解算法获得：w值可透过以下的约束优化问题方程求解算法获得：w值可透过以下的约束优化问题方程求解算法获得：β
ij
≥0；γ
ij
≥0当中c为权衡参数以决定相对约束的强度，β
ij
及γ
ij
为松弛变量。9.根据权利要求5所述的基于相对情绪强度的修改数据方法，其特征在于：在步骤s3中，数据特征与情感表达强度s的关系可利用非线性回归算法f(s
i
)获取：s
i
＝wx
i
；x
i’＝f(s
i
)；当中我们利用matlab内建的三层神经网络作为回归算法；最后把神经网络的输出转成原始数据的格式。10.一种基于相对情绪强度的通用框架，其特征在于：包括权利要求1-4任一项所述数据分析系统或/和权利要求5-9任一项所述修改数据方法的用于编辑和合成多模态数据的通用框架。

技术总结
本发明涉及计算机领域，尤指一种基于相对情绪强度的数据分析系统、修改数据方法及其通用框架。本发明数据分析系统利用相对情绪强度，对多模态数据，如三维骨架动作序列或人脸图像(图像修改功能)，通过排序学习，学习低级运动特征(例如关节位置、速度)和具有不同强度等级的高级情感属性之间的关系，只需要卷标少量训练数据便能达到高效能；同时本发明提出一种新的数据修改优化方法，利用非线性回归算法建模，可以于通用框架上实现动画制作及人脸图像修改功能。像修改功能。像修改功能。


技术研发人员：陆晓飞 何书廉 徐阳
受保护的技术使用者：亿匀智行（深圳）科技有限公司
技术研发日：2021.11.30
技术公布日：2022/3/8