一种场景画面的展示控制方法、装置以及计算机存储介质与流程

专利查询2023-5-11  113



1.本公开涉及画面处理技术领域,具体而言,涉及一种场景画面的展示控制方法、装置、计算机设备和存储介质。


背景技术:

2.在直播场景下,主播在直播过程中可以通过调整摄像头的位置来切换直播视角,以实现最佳的直播效果。但是,在直播场景中往往只在固定角度采集直播画面,所采集到的画面范围有限,如何在直播中呈现更多样的场景画面,是值得研究的问题。


技术实现要素:

3.本公开实施例至少提供一种虚拟角色的展示控制方法、装置以及计算机存储介质。
4.第一方面,本公开实施例提供了一种场景画面的展示控制方法,应用于控制展示目标场景的场景画面,所述场景画面中包含通过控制信息驱动的虚拟角色,所述控制信息为基于捕捉的虚拟角色控制对象的行为数据生成的;所述场景画面为虚拟相机拍摄的画面;所述方法包括:
5.预制所述虚拟相机的至少一种拍摄参数变化信息;所述拍摄参数变化信息用于指示虚拟相机拍摄参数的变化过程;
6.响应所述虚拟角色控制对象的当前行为数据或与所述当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息;
7.基于所述拍摄参数变化信息,展现所述虚拟相机拍摄出的场景画面的对应变换过程。
8.一种可选的实施方式中,预制虚拟相机的至少一种拍摄参数变化信息,包括:
9.在控制真实相机变换拍摄参数的过程中,采集真实相机的拍摄参数变化信息;或者,
10.按照所述目标场景对应的三维场景数据,以及规划的至少一种拍摄效果,生成虚拟相机的至少一种拍摄参数变化信息。
11.一种可选的实施方式中,响应所述虚拟角色控制对象的当前行为数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息,包括:
12.采集所述虚拟角色控制对象的特征点位置信息;
13.在根据所述特征点位置信息,确定所述虚拟角色控制对象的当前动作满足预设条件后,确定与所述当前动作匹配的拍摄参数变化信息。
14.一种可选的实施方式中,所述当前行为数据包括歌唱表演数据;
15.所述响应所述虚拟角色控制对象的当前行为数据或与所述当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参
数变化信息,包括:
16.在根据所述虚拟角色控制对象当前的歌唱表演数据,或预先存储的与所述歌唱表演数据匹配的场景配乐,确定当前满足所述镜头变化触发条件中的目标音乐节点的情况下,确定与所述目标音乐节点匹配的拍摄参数变化信息。
17.一种可选的实施方式中,所述基于所述拍摄参数变化信息,展现所述虚拟相机拍摄出的场景画面的对应变换过程,包括:
18.基于所述拍摄参数变化信息,调整所述虚拟相机拍摄出的场景画面,并在所述场景画面中同步展示所述虚拟角色进行镜头调整的动作过程。
19.一种可选的实施方式中,所述方法还包括:
20.响应所述虚拟角色控制对象的行为数据满足特效触发条件,确定与所述变换后的场景画面匹配的场景特效;所述行为数据包括动作数据和/或语音数据;
21.在变换后的场景画面中,展示所述场景特效。
22.一种可选的实施方式中,所述场景特效包括聚光灯特效;
23.所述响应所述虚拟角色控制对象的行为数据满足特效触发条件,确定与所述变换后的场景画面匹配的场景特效,包括:
24.响应所述虚拟角色控制对象的行为数据满足预设的显著性特征,确定与所述变换后的场景画面匹配的场景特效为聚光灯特效;
25.所述在变换后的场景画面中,展示所述场景特效,包括:
26.在所述虚拟角色控制对象控制的目标虚拟角色所在的场景位置范围内,展示所述聚光灯特效。
27.一种可选的实施方式中,所述场景特效包括情绪渲染特效;
28.所述响应所述虚拟角色控制对象的行为数据满足特效触发条件,确定与所述变换后的场景画面匹配的场景特效,包括:
29.确定与所述虚拟角色控制对象的行为数据匹配的情绪类型;
30.若确定的所述情绪类型属于预设的情绪类型,将与该预设的情绪类型匹配的情绪渲染特效作为所述场景特效;
31.所述在变换后的场景画面中,展示所述场景特效,包括:
32.在变换后的场景画面中,展示所述情绪渲染特效。
33.第二方面,本公开实施例还提供了一种场景画面的展示控制装置,应用于控制展示目标场景的场景画面,所述场景画面中包含通过控制信息驱动的虚拟角色,所述控制信息为基于捕捉的虚拟角色控制对象的行为数据生成的;所述场景画面为虚拟相机拍摄的画面;所述装置包括:
34.信息预制模块,用于预制所述虚拟相机的至少一种拍摄参数变化信息;所述拍摄参数变化信息用于指示虚拟相机拍摄参数的变化过程;
35.信息确定模块,用于响应所述虚拟角色控制对象的当前行为数据或与所述当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息;
36.画面变换模块,用于基于所述拍摄参数变化信息,展现所述虚拟相机拍摄出的场景画面的对应变换过程。
37.一种可选的实施方式中,信息预制模块,用于在控制真实相机变换拍摄参数的过程中,采集真实相机的拍摄参数变化信息;或者,
38.按照所述目标场景对应的三维场景数据,以及规划的至少一种拍摄效果,生成虚拟相机的至少一种拍摄参数变化信息。
39.一种可选的实施方式中,信息确定模块,用于采集所述虚拟角色控制对象的特征点位置信息;
40.在根据所述特征点位置信息,确定所述虚拟角色控制对象的当前动作满足预设条件后,确定与所述当前动作匹配的拍摄参数变化信息。
41.一种可选的实施方式中,所述当前行为数据包括歌唱表演数据;
42.所述信息确定模块,用于在根据所述虚拟角色控制对象当前的歌唱表演数据,或预先存储的与所述歌唱表演数据匹配的场景配乐,确定当前满足所述镜头变化触发条件中的目标音乐节点的情况下,确定与所述目标音乐节点匹配的拍摄参数变化信息。
43.一种可选的实施方式中,所述画面变换模块,用于基于所述拍摄参数变化信息,调整所述虚拟相机拍摄出的场景画面,并在所述场景画面中同步展示所述虚拟角色进行镜头调整的动作过程。
44.一种可选的实施方式中,所述装置还包括特效展示模块,用于响应所述虚拟角色控制对象的行为数据满足特效触发条件,确定与所述变换后的场景画面匹配的场景特效;所述行为数据包括动作数据和/或语音数据;
45.在变换后的场景画面中,展示所述场景特效。
46.一种可选的实施方式中,所述场景特效包括聚光灯特效;
47.所述特效展示模块,用于响应所述虚拟角色控制对象的行为数据满足预设的显著性特征,确定与所述变换后的场景画面匹配的场景特效为聚光灯特效;
48.在所述虚拟角色控制对象控制的目标虚拟角色所在的场景位置范围内,展示所述聚光灯特效。
49.一种可选的实施方式中,所述场景特效包括情绪渲染特效;
50.所述特效展示模块,用于确定与所述虚拟角色控制对象的行为数据匹配的情绪类型;
51.若确定的所述情绪类型属于预设的情绪类型,将与该预设的情绪类型匹配的情绪渲染特效作为所述场景特效;
52.在变换后的场景画面中,展示所述情绪渲染特效。
53.第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的场景画面的展示控制方法的步骤。
54.第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的场景画面的展示控制方法的步骤。
55.关于上述场景画面的展示控制装置、计算机设备和存储介质的效果描述参见上述场景画面的展示控制方法的说明,这里不再赘述。
56.本公开实施例提供的场景画面的展示控制方法,应用于控制展示目标场景的场景画面,场景画面为虚拟相机拍摄的画面,包含有通过控制信息驱动的虚拟角色,其中,控制信息为基于捕捉的虚拟角色控制对象的行为数据生成的。在真实场景下的虚拟角色控制对象控制目标场景下的虚拟角色的场景中,本公开实施例将虚拟角色控制对象的当前行为数据或当前行为数据相关的其他场景数据作为能够触发满足镜头变化触发条件的指标,在虚拟角色控制对象的当前行为数据或与当前行为数据相关的其他场景数据满足预设的镜头变化触发条件的情况下,利用预设的拍摄参数变化信息指示虚拟相机拍摄参数变化,进而展现虚拟相机拍摄出的场景画面的对应变化过程。其通过设置触发镜头变化的指标以及预设的拍摄参数变化信息,自动触发虚拟相机拍摄参数的变化,可以在直播场景中提高场景画面展示的灵活性,丰富了目标场景。
57.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
58.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
59.图1为本公开实施例提供的一种场景画面的控制展示方法的流程示意图;
60.图2为本公开实施例提供的在场景画面中同步展示虚拟角色进行镜头调整的动作过程的示意图;
61.图3为本公开实施例提供的一种场景画面的控制展示装置的示意图;
62.图4为本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
63.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
64.针对真人控制虚拟角色的画面展示的场景,所展示的虚拟场景画面往往是利用固定视角的镜头拍摄到的,然而固定视角所拍摄到的虚拟场景画面范围有限,因此,真人控制虚拟角色动作,往往受限于镜头拍摄到的有限的虚拟场景画面,这样一方面会导致场景画面较为局限,另一方面,还有可能出现真人所做出的动作无法完整通过虚拟角色展示在场景画面中的情况。
65.考虑到固定相机拍摄参数情况下所拍摄到的虚拟场景画面范围有限,本公开实施
例提出一种自动调整虚拟相机的拍摄参数,展示变换过程中的场景画面的方案,能够提高画面展示的灵活性,以展现出虚拟角色在目标场景中的最佳的展示效果。上述场景包括但不限于基于真人控制的虚拟直播场景、元宇宙中真人对虚拟角色的实时控制展示场景等。
66.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
67.为便于对本实施例进行理解,首先对本公开实施例所公开的一种场景画面的展示控制方法进行详细介绍,本公开实施例所提供的场景画面的展示控制方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中,该场景画面的展示控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
68.下面对本公开实施例的场景画面的展示控制方法做详细说明。
69.如图1所示,为本公开实施例提供的场景画面的展示控制方法的流程图,本公开实施例的场景画面的展示控制方法应用于控制展示目标场景的场景画面,场景画面中包含通过控制信息驱动的虚拟角色,控制信息为基于捕捉的虚拟角色控制对象的行为数据生成的;场景画面为虚拟相机拍摄的画面。该方法主要包括以下步骤s101~s103:
70.s101:预制虚拟相机的至少一种拍摄参数变化信息;拍摄参数变化信息用于指示虚拟相机拍摄参数的变化过程。
71.本步骤中,虚拟相机可以为一种模拟的相机应用,用于采集虚拟场景的场景画面。示例性的,虚拟相机可以根据拍摄参数获取虚拟场景下的场景画面。拍摄参数比如可以包括拍摄的位置、朝向、旋转角度、视野范围、使用的滤镜等,通过至少一种拍摄参数变化信息所指示的拍摄参数的变化,可以控制虚拟相机采集虚拟场景下的不同场景画面。
72.这里,拍摄参数可以随着预设维度上的信息的改变而发生变化,预设维度可以包括但不仅限于以下几种:时间维度、场景内容维度、场景声音维度等。示例性的,拍摄参数可以随着时间维度的变化而变化,比如随着时间流逝,虚拟相机拍摄位置不断靠近拍摄对象,又示例性的,拍摄参数随着三维场景中画面内容或声音的变化而发生适应性改变,等等。
73.s102:响应虚拟角色控制对象的当前行为数据或与当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与镜头变化触发条件匹配的拍摄参数变化信息。
74.本步骤中,虚拟角色控制对象可以为真实场景中的人物。当前行为数据可以包括动作数据,还可以包括音频数据(也即虚拟角色控制对象产生发声的行为)等。与当前行为数据相关的其他场景数据比如可以包括背景音频数据,预设场景特效数据等。
75.满足预设的镜头变化触发条件可以包括但不仅限于满足至少一个预先存储的虚拟控制对象的预设动作、虚拟控制对象的预设音频、背景音频、场景特效等。
76.示例性的,如果虚拟角色控制对象的动作数据指示的动作,例如举手,为预设动作的一种,则可以确定满足镜头变化触发条件,进而确定与该镜头变化触发条件相匹配的拍摄参数变化信息,比如与预设动作中的“举手”动作相匹配的拍摄参数变化信息;如果虚拟角色控制对象的音频数据指示为预设音频中的某一句话,则可以确定满足镜头变化触发条件,进而确定与该镜头变化触发条件相匹配的拍摄参数变化信息,比如与预设音频中的该音频数据相匹配的拍摄参数变化信息,示例性的,可以识别音频中包含的情绪信息,若所述情绪信息为“发怒”,则可以确定满足镜头变化触发条件,匹配对应的拍摄参数变化信息;如果场景画面中出现特效,例如烟花特效,为预设的场景特效的情况下,则可以确定满足镜头
变化触发条件,进而确定与该镜头变化触发条件相匹配的拍摄参数变化信息,比如与预设的场景特效中烟花特效相匹配的拍摄参数变化信息。
77.这里,由于拍摄参数变化信息是预制的,因此,可以预先设置与镜头变化触发条件相匹配的拍摄参数变化信息,之后,可以直接通过响应满足镜头变化触发条件,来确定与镜头变化触发条件相匹配的拍摄参数变化信息。
78.上述场景包括但不限于基于真人控制的虚拟直播场景、元宇宙中真人对虚拟角色的实时控制展示场景等。针对虚拟直播场景,目标场景的场景画面中可以包含预先搭建的三维虚拟空间,比如虚拟舞台等,以及虚拟角色,比如虚拟主播等,虚拟主播在真人(也即虚拟角色控制对象)的控制下进行各种直播活动。基于真人控制的虚拟主播在直播中的行为数据或直播场景内容或声音的变化,可以触发虚拟相机进行拍摄参数的变化,进而使得整个直播画面及直播内容更加灵活可控,整个直播过程更加生动形象。
79.除此之外,在元宇宙场景下,比如真实用户通过虚拟现实(virtual reality,vr)设备远程开会或聊天时,同样可以采用本公开实施例来实现在该场景下镜头的灵活切换。比如,真实用户在虚拟场景中发生吵架行为时,确定拍摄参数变化信息可以包括,例如为虚拟相机的拍摄画面添加恐怖特效,并调整镜头位置,使其贴近真实用户控制的虚拟角色的面部,比如可以尤其体现在牙齿部位,让该虚拟角色看起来较为凌厉。
80.s103:基于拍摄参数变化信息,展现虚拟相机拍摄出的场景画面的对应变换过程。
81.虚拟相机可以根据拍摄参数变化信息,不断调整虚拟相机的拍摄参数,可以拍摄到不同视角下的场景画面,从而通过镜头展现出场景画面的对应变换过程。
82.上述s101~s103,在利用虚拟角色控制对象控制目标场景下的虚拟角色的场景中,设置能够触发镜头变化的指标以及预设的拍摄参数变化信息,自动变化虚拟相机拍摄参数,提高了场景画面展示的灵活性;另外,自动变化虚拟相机拍摄参数,还能够在场景画面中完整还原虚拟角色行为动作,展现出虚拟角色在目标场景中的最佳的直播效果。
83.上述过程中,虚拟角色可以通过控制信息进行驱动,而控制信息可以是基于真实场景下捕捉到的虚拟角色控制对象的行为数据生成的。
84.捕捉真实场景下的虚拟角色控制对象的行为数据,具体的,可以通过动作捕捉设备进行捕捉,其中,动作捕捉设备可以是感应身体各部位动作的传感器设备,比如全身动捕服、动捕手套、动捕头盔(用于捕捉面部表情动作)、以及发声捕捉设备(比如捕捉嘴部发声的麦克风和捕捉发声动作的喉麦)等,也可以仅仅依靠单摄像头或者多摄像头,实现身体、面部、手部中一种或者多种动作的捕捉。
85.基于动作捕捉设备捕捉到的虚拟角色控制对象的行为数据可以相应的转化为控制信息,例如控制信号,以确定虚拟角色展示与虚拟角色控制对象相同或相似的动作。
86.在行为数据包括动作数据的情况下,可以利用全身动捕服对虚拟角色控制对象的肢体动作进行采集,以得到动作信号,并转化为用于对虚拟角色进行控制的控制信息。示例性的,在真实主播直播跳舞的场景下,通过真实主播穿戴的全身动捕服采集真实主播的肢体动作,确定舞姿数据,并驱动虚拟角色还原真实主播的舞姿。
87.在行为数据包括音频数据的情况下,可以利用发声捕捉设备对虚拟角色控制对象发出的声音进行采集,以得到音频信号,并转化为用于对虚拟角色进行控制的控制信息。示例性的,在真实主播唱歌的场景下,通过发声捕捉设备采集真实主播的声音,得到音频信
号,并驱动虚拟角色还原嘴部动作。
88.下面针对上述图1中示出的步骤进行详细说明。
89.针对s101,预制虚拟相机的至少一种拍摄参数变化信息,可以包括以下两种方式至少之一:
90.方式1、在控制真实相机变换拍摄参数的过程中,采集真实相机的拍摄参数变化信息。
91.这里,真实相机可以是在真实场景下的相机。控制真实相机变换拍摄参数,例如,可以是利用真人操控真实相机,变换操控的真实相机的运动轨迹,同时,采集真实相机在运动过程中变换的拍摄参数,即为拍摄参数变化信息。其中,真人操控真实相机,可以是手持控制,或者远程遥控,本公开实施例不进行具体限定。
92.其中,拍摄参数可以包括但不仅限于:真实相机镜头的位置、朝向、旋转角、视野范围等。
93.方式2、按照目标场景对应的三维场景数据,以及规划的至少一种拍摄效果,生成虚拟相机的至少一种拍摄参数变化信息。
94.其中,三维场景数据,可以包括预先搭建的三维虚拟空间的数据。规划的拍摄效果,比如,虚拟角色旋转过程中,虚拟相机实时跟踪虚拟角色正面(面部所在面)的拍摄效果。示例性的,在三维虚拟空间中,预制跟踪拍摄该虚拟角色旋转的拍摄参数,即为作为虚拟相机的拍摄参数变化信息。
95.或者,在三维虚拟空间中,预制一段舞蹈的拍摄参数变化信息,针对目标虚拟角色,设置该段舞蹈的最佳舞姿节点,在最佳舞姿节点处预制虚拟相机的拍摄参数,比如,调整虚拟相机镜头的位置,近距离的拍摄虚拟角色的画面,同时,缩小虚拟相机镜头的视野范围,给予虚拟角色最佳舞姿处的特写。
96.方式3、可以将上述方式1和方式2结合实施;
97.具体地,一方面,在控制真实相机变换拍摄参数的过程中,采集真实相机的第一拍摄参数变化信息,另一方面,按照目标场景对应的三维场景数据,以及规划的至少一种拍摄效果,生成虚拟相机的至少一种第二拍摄参数变化信息;将采集的真实相机的第一拍摄参数变化信息与规划好的拍摄效果对应的第二拍摄参数变化信息进行融合,比如,可以按照两者对应的拍摄时间分别依次执行,或者,将第二拍摄参数变化信息植入第一拍摄参数变化信息中,也即在按照第一拍摄参数变化信息进行拍摄的过程中,若检测到满足第二拍摄参数变化信息的触发条件,则按照第二拍摄参数变化信息拍摄。
98.针对s102,响应虚拟角色控制对象的当前动作是否与预设动作相匹配,确定匹配到的拍摄参数变化信息,具体的:
99.可以采集虚拟角色控制对象的特征点位置信息;在根据特征点位置信息,确定虚拟角色控制对象的当前动作满足预设条件后,确定与当前动作匹配的拍摄参数变化信息。
100.这里,特征点位置信息可以包括面部特征点的位置信息、关节特征点的位置信息、头部特征点的位置信息等。
101.可以根据采集到的虚拟角色控制对象不断变化的特征点位置信息,确定各个特征点的位置,之后,可以根据各个特征点的位置,确定虚拟角色控制对象的当前动作,再进一步判断当前动作是否与预设动作相匹配,如果相匹配,则可以确定当前动作满足预设条件;
否则,将不满足预设条件。其中,预设动作可以为根据实际应用场景进行设置的,本公开实施例不进行具体限定。
102.示例性的,在虚拟直播场景下,通过动作捕捉设备捕捉到真实主播在虚拟校园场景中介绍校园景色、文化,采集真实主播的关节点的位置信息,确定手部关节位置指示校园文化版面,响应真实主播的当前指示动作(指示动作为预设动作的一种),可以确定满足预设条件,进一步确定与当前指示动作相匹配的拍摄参数变化信息,比如,调整虚拟主播手中的虚拟相机,给予校园文化版面一个特写镜头,停留预设时长后,再返回拍摄虚拟角色。
103.针对s102,响应虚拟角色控制对象的音频数据是否与预先设置的音频数据相匹配,确定匹配到的拍摄参数变化信息,具体的:
104.这里,音频数据可以包括歌唱表演数据。
105.在根据虚拟角色控制对象当前的歌唱表演数据,或预先存储的与歌唱表演数据匹配的场景配乐,确定当前满足镜头变化触发条件中的目标音乐节点的情况下,确定与目标音乐节点匹配的拍摄参数变化信息。
106.歌唱表演数据,可以包括真实主播发生唱歌表演行为时所产生的数据。与唱歌表演匹配的场景配乐,可以包括直播场景下的与唱歌表演匹配的场景配乐。目标音乐节点可以为设置在发生唱歌表演行为时,歌唱表演数据或场景配乐中的某一或某些音乐节点。当响应目标音乐节点时,可以确定满足镜头变化触发条件。在设置目标音乐节点时,可以对应设置与目标音乐节点匹配的拍摄参数变化信息。
107.示例性的,歌唱表演数据和场景配乐中包括多个音乐节点,可以预先设置至少一个目标音乐节点,比如,在某句歌词结束位置,设置一个目标音乐节点,或者,在场景配乐开始或结束后,设置目标音乐节点。在进行唱歌表演行为时,实时检测是否响应目标音乐节点,如果响应目标音乐节点,确定满足镜头变化触发条件,进而确定与目标音乐节点匹配的拍摄参数变化信息。
108.针对s103,基于拍摄参数变化信息,调整虚拟相机拍摄出的场景画面,并在场景画面中同步展示虚拟角色进行镜头调整的动作过程。
109.调整场景画面,具体的,可以根据拍摄参数变化信息,调整虚拟相机的拍摄参数,此时,虚拟相机将根据调整后的拍摄参数拍摄到目标场景中的不断变化的场景画面,这里,由于场景画面中包括虚拟角色,因此,不断变化的场景画面中还可以包括虚拟角色进行虚拟相机镜头调整的动作画面。之后,将拍摄到的不同场景画面进行同步展示。
110.参见图2所示,其为在场景画面中同步展示虚拟角色进行镜头调整的动作过程的示意图。其中,21表示虚拟角色,22表示场景画面。图2中从图a到图b再到图c再到图d的过场景画面,表示调整虚拟相机的过程中虚拟角色不断变化的动作,以及不断变化的场景。虚拟角色不断变化的动作包括虚拟角色旋转一圈的动作,也即虚拟角色执行拍摄行为的动作。不断变化的场景包括室内不同拍摄角度的场景。
111.在一种可能的实施方式中,在控制虚拟相机的拍摄参数变化之后,还可以根据切换的镜头,展示相应的场景特效。具体的,可以响应虚拟角色控制对象的行为数据满足特效触发条件,确定与变换后的场景画面匹配的场景特效;行为数据包括动作数据和/或语音数据;在变换后的场景画面中,展示场景特效。
112.这里,满足特效触发条件可以包括但不仅限于满足至少一个预先存储的虚拟控制
对象的预设动作、虚拟控制对象的预设语音等。场景特效可以包括但不仅限于聚光灯特效、情绪渲染特效、滤镜特效、音乐特效等。
113.示例性的,可以通过动作捕捉设备捕捉虚拟角色控制对象的动作数据,例如捕捉到虚拟角色控制对象做出预设动作,此时展示在场景画面中的虚拟角色将还原与其对应的虚拟角色控制对象相同或相似的预设动作,此时,可以确定满足特效触发条件,针对虚拟角色控制对象控制的虚拟角色,展示与该虚拟角色所做出的预设动作相匹配的场景特效。例如,虚拟角色做出画心动作,则场景画面中展示心形动态特效;又例如,虚拟角色做出补妆动作,则场景画面中展示滤镜特效等。
114.或者,针对语音数据,在虚拟角色还原出虚拟角色控制对象所说的祝福语(属于预设语音)的情况下,场景画面中可以展示该祝福语对应的场景特效。
115.针对场景特效包括聚光灯特效的情况,在一些实施例中,响应虚拟角色控制对象的行为数据满足预设的显著性特征,确定与变换后的场景画面匹配的场景特效为聚光灯特效;在虚拟角色控制对象控制的目标虚拟角色所在的场景位置范围内,展示聚光灯特效。
116.这里,行为数据可以包括动作数据或音频数据。预设的显著性特征可以包括但不仅限于:虚拟角色还原后的预设动作明显区别于还原前在场景画面中展示的动作的特征,或者,明显区别于其他虚拟角色的动作的特征;或者,虚拟角色还原后的预设语音明显区别于还原前在场景画面中展示的语音的特征,例如由舒缓音调突然转变为高亢音调等。
117.示例性的,虚拟舞台中的虚拟表演者在各自表演位置处于坐姿,虚拟角色控制对象随后处于站立姿态,则其控制对应的目标虚拟角色站立(预设动作包括站立),此时,该目标虚拟角色的动作特征明显区别于其他虚拟角色的动作特征,因此,虚拟角色控制对象的行为数据满足预设的显著性特征,可以确定与变化后的场景画面匹配的场景特效为聚光灯特效,之后,可以将聚光灯特效设置在处于站立姿态的目标虚拟角色上。
118.针对场景特效包括情绪渲染特效的情况,在一些实施例中,确定与虚拟角色控制对象的行为数据匹配的情绪类型;若确定的情绪类型属于预设的情绪类型,将与该预设的情绪类型匹配的情绪渲染特效作为场景特效;在变换后的场景画面中,展示情绪渲染特效。
119.这里,行为数据可以包括动作数据或音频数据。虚拟角色控制对象的行为数据可以包括动捕头盔捕捉到的脸部表情动作、全身动捕服捕捉到的肢体动作、语音设备捕捉到的音频等数据。可以根据行为数据确定情绪类型。示例性的,在识别出脸部表情为微笑的情况下,可以确定情绪类型为高兴;在识别出脸部表情为流泪的情况下,可以确定情绪类型为伤心,等等。在识别到肢体动作为防御动作(比如格挡)的情况下,确定情绪类型为紧张。在识别到肢体动作为主动出击的情况下,确定情绪类型为愤怒。在比赛场景,识别到语音为“加油”、“厉害”、“完美”等较为积极性语音的情况下,确定情绪类型为激动。
120.预设的情绪类型包括但不仅限于高兴、伤心、紧张、愤怒、恐惧、激动等。
121.与情绪类型相匹配的情绪渲染特效可以包括但不仅限于:与高兴的情绪类型相匹配的情绪渲染特效为“阳光普照”特效,与伤心的情绪类型相匹配的情绪渲染特效为“下雨”特效,与紧张的情绪类型相匹配的情绪渲染特效为场景画面“抖动”特效,与愤怒的情绪类型相匹配的情绪渲染特效为“火苗燃烧”的特效,与恐惧的情绪类型相匹配的情绪渲染特效为“雪花飘落”的特效。
122.判断虚拟角色控制对象控制的目标虚拟角色的情绪类型是否属于预设的情绪类
型,若确定的情绪类型属于预设的情绪类型,则可以确定与该预设的情绪类型相匹配的情绪渲染特效。之后,将该情绪渲染特效展示在变化后的场景画面中。
123.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
124.基于同一发明构思,本公开实施例中还提供了与场景画面的控制展示方法对应的场景画面的控制展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟角色控制方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
125.如图3所示,为本公开实施例提供的一种场景画面的控制展示装置示意图,应用于控制展示目标场景的场景画面,所述场景画面中包含通过控制信息驱动的虚拟角色,所述控制信息为基于捕捉的虚拟角色控制对象的行为数据生成的;所述场景画面为虚拟相机拍摄的画面;所述装置包括:信息预制模块301,信息确定模块302和画面变换模块303;其中,
126.信息预制模块301,用于预制所述虚拟相机的至少一种拍摄参数变化信息;所述拍摄参数变化信息用于指示虚拟相机拍摄参数的变化过程;
127.信息确定模块302,用于响应所述虚拟角色控制对象的当前行为数据或与所述当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息;
128.画面变换模块303,用于基于所述拍摄参数变化信息,展现所述虚拟相机拍摄出的场景画面的对应变换过程。
129.一种可选的实施方式中,信息预制模块301,用于在控制真实相机变换拍摄参数的过程中,采集真实相机的拍摄参数变化信息;或者,
130.按照所述目标场景对应的三维场景数据,以及规划的至少一种拍摄效果,生成虚拟相机的至少一种拍摄参数变化信息。
131.一种可选的实施方式中,信息确定模块302,用于采集所述虚拟角色控制对象的特征点位置信息;
132.在根据所述特征点位置信息,确定所述虚拟角色控制对象的当前动作满足预设条件后,确定与所述当前动作匹配的拍摄参数变化信息。
133.一种可选的实施方式中,所述当前行为数据包括歌唱表演数据;
134.所述信息确定模块302,用于在根据所述虚拟角色控制对象当前的歌唱表演数据,或预先存储的与所述歌唱表演数据匹配的场景配乐,确定当前满足所述镜头变化触发条件中的目标音乐节点的情况下,确定与所述目标音乐节点匹配的拍摄参数变化信息。
135.一种可选的实施方式中,所述画面变换模块303,用于基于所述拍摄参数变化信息,调整所述虚拟相机拍摄出的场景画面,并在所述场景画面中同步展示所述虚拟角色进行镜头调整的动作过程。
136.一种可选的实施方式中,所述装置还包括特效展示模块304,用于响应所述虚拟角色控制对象的行为数据满足特效触发条件,确定与所述变换后的场景画面匹配的场景特效;所述行为数据包括动作数据和/或语音数据;
137.在变换后的场景画面中,展示所述场景特效。
138.一种可选的实施方式中,所述场景特效包括聚光灯特效;
139.所述特效展示模块304,用于响应所述虚拟角色控制对象的行为数据满足预设的显著性特征,确定与所述变换后的场景画面匹配的场景特效为聚光灯特效;
140.在所述虚拟角色控制对象控制的目标虚拟角色所在的场景位置范围内,展示所述聚光灯特效。
141.一种可选的实施方式中,所述场景特效包括情绪渲染特效;
142.所述特效展示模块304,用于确定与所述虚拟角色控制对象的行为数据匹配的情绪类型;
143.若确定的所述情绪类型属于预设的情绪类型,将与该预设的情绪类型匹配的情绪渲染特效作为所述场景特效;
144.在变换后的场景画面中,展示所述情绪渲染特效。
145.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
146.基于同一技术构思,本技术实施例还提供了一种计算机设备。参照图4所示,为本技术实施例提供的计算机设备的结构示意图,包括:
147.处理器41、存储器42和总线43。其中,存储器42存储有处理器41可执行的机器可读指令,处理器41用于执行存储器42中存储的机器可读指令,所述机器可读指令被处理器41执行时,处理器41执行下述步骤:s101:预制虚拟相机的至少一种拍摄参数变化信息;拍摄参数变化信息用于指示虚拟相机拍摄参数的变化过程;s102:响应虚拟角色控制对象的当前行为数据或与当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与镜头变化触发条件匹配的拍摄参数变化信息;s103:基于拍摄参数变化信息,展现虚拟相机拍摄出的场景画面的对应变换过程。
148.上述存储器42包括内存421和外部存储器422;这里的内存421也称内存储器,用于暂时存放处理器41中的运算数据,以及与硬盘等外部存储器422交换的数据,处理器41通过内存421与外部存储器422进行数据交换,当计算机设备运行时,处理器41与存储器42之间通过总线43通信,使得处理器41在执行上述方法实施例中所提及的执行指令。
149.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的虚拟角色控制方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
150.本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的虚拟角色控制方法的步骤,具体可参见上述方法实施例,在此不再赘述。
151.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
152.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际
实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
153.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
154.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
155.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
156.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

技术特征:
1.一种场景画面的展示控制方法,其特征在于,应用于控制展示目标场景的场景画面,所述场景画面中包含通过控制信息驱动的虚拟角色,所述控制信息为基于捕捉的虚拟角色控制对象的行为数据生成的;所述场景画面为虚拟相机拍摄的画面;所述方法包括:预制所述虚拟相机的至少一种拍摄参数变化信息;所述拍摄参数变化信息用于指示虚拟相机拍摄参数的变化过程;响应所述虚拟角色控制对象的当前行为数据或与所述当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息;基于所述拍摄参数变化信息,展现所述虚拟相机拍摄出的场景画面的对应变换过程。2.根据权利要求1所述的方法,其特征在于,预制虚拟相机的至少一种拍摄参数变化信息,包括:在控制真实相机变换拍摄参数的过程中,采集真实相机的拍摄参数变化信息;或者,按照所述目标场景对应的三维场景数据,以及规划的至少一种拍摄效果,生成虚拟相机的至少一种拍摄参数变化信息。3.根据权利要求1所述的方法,其特征在于,响应所述虚拟角色控制对象的当前行为数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息,包括:采集所述虚拟角色控制对象的特征点位置信息;在根据所述特征点位置信息,确定所述虚拟角色控制对象的当前动作满足预设条件后,确定与所述当前动作匹配的拍摄参数变化信息。4.根据权利要求1所述的方法,其特征在于,所述当前行为数据包括歌唱表演数据;所述响应所述虚拟角色控制对象的当前行为数据或与所述当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息,包括:在根据所述虚拟角色控制对象当前的歌唱表演数据,或预先存储的与所述歌唱表演数据匹配的场景配乐,确定当前满足所述镜头变化触发条件中的目标音乐节点的情况下,确定与所述目标音乐节点匹配的拍摄参数变化信息。5.根据权利要求1所述的方法,其特征在于,所述基于所述拍摄参数变化信息,展现所述虚拟相机拍摄出的场景画面的对应变换过程,包括:基于所述拍摄参数变化信息,调整所述虚拟相机拍摄出的场景画面,并在所述场景画面中同步展示所述虚拟角色进行镜头调整的动作过程。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:响应所述虚拟角色控制对象的行为数据满足特效触发条件,确定与所述变换后的场景画面匹配的场景特效;所述行为数据包括动作数据和/或语音数据;在变换后的场景画面中,展示所述场景特效。7.根据权利要求6所述的方法,其特征在于,所述场景特效包括聚光灯特效;所述响应所述虚拟角色控制对象的行为数据满足特效触发条件,确定与所述变换后的场景画面匹配的场景特效,包括:响应所述虚拟角色控制对象的行为数据满足预设的显著性特征,确定与所述变换后的
场景画面匹配的场景特效为聚光灯特效;所述在变换后的场景画面中,展示所述场景特效,包括:在所述虚拟角色控制对象控制的目标虚拟角色所在的场景位置范围内,展示所述聚光灯特效。8.根据权利要求6所述的方法,其特征在于,所述场景特效包括情绪渲染特效;所述响应所述虚拟角色控制对象的行为数据满足特效触发条件,确定与所述变换后的场景画面匹配的场景特效,包括:确定与所述虚拟角色控制对象的行为数据匹配的情绪类型;若确定的所述情绪类型属于预设的情绪类型,将与该预设的情绪类型匹配的情绪渲染特效作为所述场景特效;所述在变换后的场景画面中,展示所述场景特效,包括:在变换后的场景画面中,展示所述情绪渲染特效。9.一种场景画面的展示控制装置,其特征在于,应用于控制展示目标场景的场景画面,所述场景画面中包含通过控制信息驱动的虚拟角色,所述控制信息为基于捕捉的虚拟角色控制对象的行为数据生成的;所述场景画面为虚拟相机拍摄的画面;所述装置包括:信息预制模块,用于预制所述虚拟相机的至少一种拍摄参数变化信息;所述拍摄参数变化信息用于指示虚拟相机拍摄参数的变化过程;信息确定模块,用于响应所述虚拟角色控制对象的当前行为数据或与所述当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息;画面变换模块,用于基于所述拍摄参数变化信息,展现所述虚拟相机拍摄出的场景画面的对应变换过程。10.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一项所述的场景画面的展示控制方法的步骤。11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任一项所述的场景画面的展示控制方法的步骤。

技术总结
本公开提供了一种场景画面的展示控制方法、装置、计算机设备和存储介质,其中,该方法应用于控制展示目标场景的场景画面,所述场景画面中包含通过控制信息驱动的虚拟角色,所述控制信息为基于捕捉的虚拟角色控制对象的行为数据生成的;所述场景画面为虚拟相机拍摄的画面;所述方法包括:预制所述虚拟相机的至少一种拍摄参数变化信息;所述拍摄参数变化信息用于指示虚拟相机拍摄参数的变化过程;响应所述虚拟角色控制对象的当前行为数据或与所述当前行为数据相关的其他场景数据满足预设的镜头变化触发条件,确定与所述镜头变化触发条件匹配的拍摄参数变化信息;基于所述拍摄参数变化信息,展现所述虚拟相机拍摄出的场景画面的对应变换过程。的对应变换过程。的对应变换过程。


技术研发人员:王骁玮 程晗
受保护的技术使用者:北京字跳网络技术有限公司
技术研发日:2021.12.01
技术公布日:2022/3/8

最新回复(0)