基于数据分析的高仿真数字人形象生成方法与流程

本发明涉及数字人形象生成，特别涉及基于数据分析的高仿真数字人形象生成方法。

背景技术：

1、随着计算机图形学和人工智能技术的发展，数字人形象生成技术已经取得了显著的进展。

2、但现有技术中的高仿真数字人形象生成方法还存在以下不足：

3、不同的多模态融合网络策略可能会生成具有不同效果的数字人形象；每种融合策略都有其特定的优势和局限性，可能会在数字人形象的逼真度、自然度、情感表达等方面产生不同的影响，现有技术不能对不同的多模态融合网络策略生成数字人形象的效果进行分析和评估，从而选取最佳的多模态融合网络策略，导致生成的数字人形象效果和体验较差。

4、为此，推出一种基于数据分析的高仿真数字人形象生成方法。

技术实现思路

1、有鉴于此，本发明提供基于数据分析的高仿真数字人形象生成方法，以解决上述背景技术提出的问题。

2、本发明的目的可以通过以下技术方案实现：基于数据分析的高仿真数字人形象生成方法，包括：

3、数据收集：收集目标人物的面部、身体、动作和语音数据；

4、特征提取：对目标人物所收集的数据进行分析，提取关键特征，从而建立目标人物所对应的数据模型；

5、特征融合：采用多模态融合网络策略，将面部、身体、动作和语音特征融合，生成初步的数字人形象，生成完成后对不同融合策略的效果进行分析，基于分析的结果以选取最佳策略，并基于选取的最佳策略生成目标人物的应用数字人形象；

6、仿真优化：通过迭代优化算法，不断调整数字人形象的生成参数，提高仿真度；

7、用户交互：提供用户交互接口，允许用户根据需要调整数字人形象的细节；

8、数据加密：对生成数字人形象的数据进行加密，由此构建当前目标人物生成数字人形象的加密图案。

9、在一些实施例中，对不同融合策略的效果进行分析，具体为：

10、预设用于测试效果的数据集；其中数据集内包括多样化的面部表情、身体动作以及语音样本；

11、确定评估数字人形象效果的指标，包括逼真度、自然度、同步性以及一致性；

12、首先从数据集中提取所需测试的参考图像，使用生成的数字人形象产生对应参考图像的测试图像，应用图像质量评估算法对测试图像和参考图像进行比较分析，对于每对参考图像和测试图像，分别计算结构相似性指数、多尺度结构相似性以及峰值信噪比，并分别标记为a、b以及c；

13、将计算的a、b以及c标准化到相同的尺度，通过预设a、b以及c的各组取值范围，设定每组a、b以及c所对应的取值范围对应一个效果评分；将a、b以及c与对应的各组取值范围进行匹配，从而得到每对参考图像和测试图像之间a、b以及c的效果评分；

14、预设a、b以及c每个指标的权重系数，将a、b以及c所对应的效果评分分别与对应权重系数进行相乘，然后求和得到每对参考图像和测试图像的综合评分；

15、随后对于每对参考图像和测试图像的综合评分进行均值的计算，将计算的均值作为生成数字人形象的逼真指数gai；其中i表示生成数字人形象的编号，其中i=1,2...k，k为生成数字人形象的总数。

16、在一些实施例中，对不同融合策略的效果进行分析，进一步：

17、从数据集中提取所需测试动作的关键帧和运动轨迹；并根据提取所需测试动作的关键帧和运动轨迹，生成数字人形象所需的动作指令，利用对应动作指令生成相应的动作序列，并对生成的数字人形象动作进行关键点追踪；从追踪结果中提取关键点在连续帧中的位置数据，对于每一对连续帧，计算关键点的位移，将位移除以帧的时间间隔，得到关键点的速度；随后计算速度序列的一阶导数，即速度随时间的变化率；进一步计算一阶导数的导数，得到加速度的变化率，即二阶导数；

18、计算二阶导数的标准差，作为测试动作的平滑度；建立一个评分机制对得到的平滑度进行分数的量化，通过预设平滑度的各组取值范围，设定每组取值范围对应一个自然度评分；将计算的平滑度与预设的各组取值范围进行匹配，从而将得到的平滑度进行分数的转化；

19、提取不同测试动作的自然度评分，预设不同测试动作所对应的权重系数，将不同测试动作的自然度评分别与对应的权重系数相乘，然后求和得到生成数字人形象的自然指数gbi。

20、在一些实施例中，对不同融合策略的效果进行分析，还包括：

21、从数据集中提取所需测试的面部表情、身体动作以及语音数据；利用生成的数字人形象执行提取的测试数据，对面部表情和身体动作的时间序列数据进行时间序列分析，提取时序特征，使用时间戳将语音数据与面部表情和身体动作特征对齐；

22、计算面部表情和身体动作的时间序列与语音数据的时间序列之间的交叉相关性；测量面部表情和身体动作的关键点变化与语音特征的相位差；确定面部表情和身体动作与语音数据的延迟，即动作与语音开始点的饿时间差；

23、根据得到的交叉相关性、相位差以及延迟，将交叉相关性、相位差以及延迟分别标记为e、r以及t，预设e、r以及t的各组取值范围，设定每组e、r以及t所对应的取值范围对应一个同步性评分，将生成数字人形象的交叉相关性、相位差以及延迟进行同步性评分的转化；

24、预设交叉相关性、相位差以及延迟所对应的权重系数，将生成数字人形象的交叉相关性、相位差以及延迟分别与对应的权重系数相乘，然后求和得到生成数字人形象的同步性指数gci。

25、在一些实施例中，基于分析的结果以选取最佳策略，具体为：

26、预设不同的测试场景，并通过分析和计算得到不同测试场景下生成数字人形象的逼真指数gai、自然指数gbi以及同步性指数gci；将对应测试场景的编号标记为e，其中e=1,2...s，其中s为预设测试场景的总数；

27、将上述不同测试场景下生成数字人形象的逼真指数gai、自然指数gbi以及同步性指数gci分别标记为、以及，并代入公式（1）和（2），进行加权计算得到不同测试场景下生成数字人形象的效果评估指数kqfi；其中通过公式（1）计算得到对应测试场景下生成数字人形象的场景评估指数，公式（1）中的、以及分别表示在不同测试场景下的及格逼真指数、及格自然指数以及及格同步性指数，、以及分别为不同测试场景下逼真指数、自然指数以及同步性指数的影响权重因子；

28、其中公式（2）中的表示不同测试场景下生成数字人形象效果评估指数kqfi的影响权重因子；

29、将计算的各组效果评估指数kqfi进行从大到小的排序，选取效果评估指数kqfi最大的数字人形象生成融合策略作为最佳策略，并基于选取的最佳策略生成目标人物的应用数字人形象。

30、在一些实施例中，对生成数字人形象的数据进行加密，具体为：

31、首先基于当前目标人物所生成的数字人形象，生成一组唯一的随机代码；其中代码由数字、字母以及符号组成；基于自定义的转化规则，对代码中的字母和符号进行数字的转化，预设各字母和符号分别对应一个0-10的数字，提取代码中的字母和符号并根据自定义的转换规则进行转换后，得到当前目标人物所生成数字人形象的一连串数字集合；

32、对一连串的数字集合应用预设的计算公式进行进一步处理，预设的计算公式为{（ce+cr）×1.59+cb}×0.85；其中ce表示一连串数字集合中的具体数值，cr和cb为预设的附加值，且取值＞0，具体取值由技术人员进行设定；

33、对一连串的数字集合进行处理完成后，得到当前目标人物所生成数字人形象的处理数字集合。

34、在一些实施例中，构建当前目标人物生成数字人形象的加密图案，具体为：

35、提取处理数字集合中的每一组数字，并将每一组数字的具体数值作为圆的半径构建圆形，设定每组数字对应圆形的圆心处于同一直线上，绘制完第一组数字所构建的圆形后，将第二组数字所构建圆形的绘制圆心选在第一组构建圆形的边缘，以此类推，直至绘制完最后一组数字所构建的圆形，由此得到当前目标人物生成数字人形象的加密图案。

36、与现有技术相比，本发明的有益效果是：

37、本发明通过采用多模态融合网络策略，将面部、身体、动作和语音特征融合，生成高仿真的数字人形象，并基于效果分析选取最佳融合策略，引入逼真指数、自然指数和同步性指数，结合设定的不同测试场景，得到不同测试场景下的场景评估指数，进一步根据不同测试场景下的场景评估指数，得到不同融合策略下数字人形象的效果评估指数，全面评估数字人形象生成的效果，确保在多样化的应用环境中表现稳定，提高了数字人形象的逼真度、自然度和情感表达；

38、本发明通过对生成的数字人形象数据进行加密处理，构建加密图案，增强了数据的安全性，保护了数字人形象的数据免受未授权访问和滥用。

技术特征：

1.基于数据分析的高仿真数字人形象生成方法，其特征在于，包括：

2.根据权利要求1所述的基于数据分析的高仿真数字人形象生成方法，其特征在于，对不同融合策略的效果进行分析，具体为：

3.根据权利要求2所述的基于数据分析的高仿真数字人形象生成方法，其特征在于，对不同融合策略的效果进行分析，进一步：

4.根据权利要求3所述的基于数据分析的高仿真数字人形象生成方法，其特征在于，对不同融合策略的效果进行分析，还包括：

5.根据权利要求4所述的基于数据分析的高仿真数字人形象生成方法，其特征在于，基于分析的结果以选取最佳策略，具体为：

6.根据权利要求5所述的基于数据分析的高仿真数字人形象生成方法，其特征在于，对生成数字人形象的数据进行加密，具体为：

7.根据权利要求6所述的基于数据分析的高仿真数字人形象生成方法，其特征在于，构建当前目标人物生成数字人形象的加密图案，具体为：

技术总结
本发明公开了基于数据分析的高仿真数字人形象生成方法，本发明通过采用多模态融合网络策略，将面部、身体、动作和语音特征融合，生成高仿真的数字人形象，并基于效果分析选取最佳融合策略，引入逼真指数、自然指数和同步性指数，结合设定的不同测试场景，得到不同测试场景下的场景评估指数，进一步根据不同测试场景下的场景评估指数，得到不同融合策略下数字人形象的效果评估指数，全面评估数字人形象生成的效果，确保在多样化的应用环境中表现稳定，提高了数字人形象的逼真度、自然度和情感表达。

技术研发人员：杨安培
受保护的技术使用者：南京盛克莱智能科技有限公司
技术研发日：
技术公布日：2024/12/5