一种HDR传感器和非HDR传感器的切换方法与电子设备与流程

专利查询2023-7-31  141


一种hdr传感器和非hdr传感器的切换方法与电子设备
【技术领域】
1.本发明实施例涉及图像处理领域,尤其涉及一种hdr传感器和非hdr传感器的切换方法与电子设备。


背景技术:

2.电子设备中的相机由于受到硬件成本和模组制程的限制,拍照效果与单反相机会有一定的差距,尤其是在亮度动态范围较高的场景,效果差距更加明显。高动态范围图像(high dynamic range,简称hdr)传感器支持多种曝光。特别是hdr传感器为单帧逐行(stagger)hdr传感器时,针对高动态场景,单帧逐行hdr传感器采集不同曝光的图像数据,将采集的图像数据进行融合以产生高动态图像。高动态图像中亮度高的地方不过曝且亮度低的地方细节依然清晰可见。
3.在三摄电子设备和四摄电子设备上,通常仅设置一个hdr传感器,例如,该hdr传感器为主摄广角sensor。在变焦(zoom)场景中,存在hdr传感器平滑切换到非hdr传感器的情况,反之依然。三摄电子设备与四摄电子设备上,hdr传感器与非hdr传感器之间的动态切换机制相同。
4.在支持多个传感器数据处理的图像信号处理器(image signal prosessor,简称isp)知识产权(intellectual property right,简称ip)中,为了支持hdr传感器,需要专门为hdr图像处理建立完整的流水线。以单帧逐行hdr传感器为例,单帧逐行hdr传感器支持行级曝光。所谓行级曝光是指,根据当前场景需求,对每行进行不同的曝光,同一时刻有n1行处于长曝,有n2行处于中曝,有n3行处于短曝。因此在一帧时间内,同时获取了长曝图像、中曝图像和短曝图像三种曝光的图像数据,整体缩短了采集数据时间,大大减弱了鬼影出现的可能性。为了满足实时需求,isp ip需要同时处理具有长曝图像、中曝图像和短曝图像的同一帧图像。isp ip为此需要预留资源满足三种曝光图像的处理需求。
5.为了支持hdr传感器和非hdr传感器的动态切换,相关技术中为hdr传感器和非hdr传感器这两种传感器的图像处理分别预留了资源,导致isp ip面积变大,进而导致芯片面积增大,增加了芯片成本。


技术实现要素:

6.有鉴于此,本发明实施例提供了一种hdr传感器和非hdr传感器的切换方法与电子设备,用以降低芯片面积,从而降低芯片成本。
7.一方面,本发明实施例提供了一种高动态范围图像hdr传感器和非hdr传感器的切换方法,包括:
8.接收用户输入的变焦指令,所述变焦指令包括变焦比例;
9.根据所述变焦比例,确定出目标传感器,所述目标传感器为hdr传感器或非hdr传感器;
10.释放所述目标传感器对应的目标资源,所述目标资源为图像信号处理器isp的流
水线资源中用于处理所述目标传感器输出图像的流水线资源;
11.接收所述目标传感器输出的目标图像,并通过所述目标资源对所述目标图像进行第一图像处理。
12.可选地,所述目标传感器为非hdr传感器;
13.所述根据所述变焦比例,确定出目标传感器之后,还包括:
14.接收所述hdr传感器输出的长曝图像、中曝图像和短曝图像;
15.通过用于处理所述短曝图像的流水线资源对所述短曝图像进行第二图像处理,以及通过用于处理所述中曝图像的流水线资源对所述中曝图像进行第二图像处理;
16.所述释放所述目标传感器对应的目标资源,包括:
17.停止处理所述长曝图像,以释放所述非hdr传感器对应的目标资源。
18.可选地,所述目标传感器为非hdr传感器;
19.所述根据所述变焦比例,确定出目标传感器之后,还包括:
20.接收所述hdr传感器输出的长曝图像、中曝图像和短曝图像;
21.通过用于处理所述中曝图像的流水线资源对所述中曝图像进行第二图像处理;
22.所述释放所述目标传感器对应的目标资源,包括:
23.停止处理所述长曝图像和所述短曝图像,以释放所述非hdr传感器对应的目标资源。
24.可选地,所述目标传感器为非hdr传感器;
25.所述根据所述变焦比例,确定出目标传感器之后,还包括:
26.接收所述hdr传感器输出的中曝图像和短曝图像;
27.通过用于处理所述中曝图像的流水线资源对所述中曝图像进行第二图像处理;
28.所述释放所述目标传感器对应的目标资源,包括:
29.停止处理所述短曝图像,以释放所述非hdr传感器对应的目标资源。
30.可选地,所述目标传感器为hdr传感器;
31.所述根据所述变焦比例,确定出目标传感器之后,还包括:
32.接收所述非hdr传感器输出的目标图像,通过用于处理所述非hdr传感器输出的目标图像的流水线资源对所述目标图像进行第一图像处理;
33.接收所述hdr传感器输出的长曝图像、中曝图像和短曝图像,通过用于处理所述hdr传感器输出的中曝图像的流水线资源对中曝图像进行第二图像处理,并丢弃长曝图像和短曝图像;
34.所述释放所述目标传感器对应的目标资源,包括:
35.停止处理所述非hdr传感器输出的目标图像,以释放所述hdr传感器对应的目标资源;
36.所述释放所述目标传感器对应的目标资源之后,还包括:
37.接收所述hdr传感器输出的长曝图像、中曝图像和短曝图像;
38.通过用于处理所述中曝图像的流水线资源对所述中曝图像进行第二图像处理、通过用于处理短曝图像的流水线资源对所述短曝图像进行第二图像处理以及通过所述hdr传感器对应的目标资源对所述长曝图像进行第二图像处理。
39.可选地,所述目标传感器为hdr传感器;
40.所述根据所述变焦比例,确定出目标传感器之后,还包括:
41.接收所述非hdr传感器输出的目标图像,通过用于处理所述非hdr传感器输出的目标图像的流水线资源对目标图像进行第一图像处理;
42.接收所述hdr传感器输出的中曝图像和短曝图像,通过用于处理所述hdr传感器输出的中曝图像的流水线资源对中曝图像进行第二图像处理,并丢弃短曝图像;
43.所述释放所述目标传感器对应的目标资源,包括:
44.停止处理所述非hdr传感器输出的目标图像,以释放所述hdr传感器对应的目标资源;
45.所述释放所述目标传感器对应的目标资源之后,还包括:
46.接收所述hdr传感器输出的中曝图像和短曝图像;
47.通过用于处理中曝图像的流水线资源对所述中曝图像进行第二图像处理以及通过所述hdr传感器对应的目标资源对所述短曝图像进行第二图像处理。
48.另一方面,本发明实施例提供了一种电子设备,包括:芯片和目标传感器,所述芯片和所述目标传感器连接,所述目标传感器为hdr传感器或非hdr传感器;
49.所述芯片,用于接收用户输入的变焦指令,所述变焦指令包括变焦比例;根据所述变焦比例,确定出目标传感器;释放所述目标传感器对应的目标资源,所述目标资源为图像信号处理器isp的流水线资源中用于处理所述目标传感器输出图像的流水线资源;接收所述目标传感器输出的目标图像,并通过所述目标资源对所述目标图像进行第一图像处理。
50.另一方面,本发明实施例提供了一种芯片,所述芯片包括控制模块、第一isp和二个第二isp,所述控制模块与第一isp和二个第二isp连接;
51.第一isp包括至少一个第一处理器、与每个第一处理器对应的流水线源、影像融合模块和第二处理器,每个第一处理器与对应的流水线资源连接,至少一个第一处理器与影像融合模块连接,影像融合模块与第二处理器连接;
52.第二isp包括第三处理器,非hdr传感器通过接口模块与对应的第三处理器连接。
53.另一方面,本发明实施例提供了一种电子设备,包括一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述终端设备执行时,使得所述终端设备执行上述方法。
54.另一方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述方法。
55.本发明实施例提供的技术方案中,接收用户输入的变焦指令,变焦指令包括变焦比例;根据变焦比例,确定出目标传感器,目标传感器为hdr传感器或非hdr传感器;释放目标传感器对应的目标资源,目标资源为图像信号处理器isp的流水线资源中用于处理目标传感器输出图像的流水线资源;接收目标传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理,本发明实施例中通过释放目标资源实现hdr传感器和非hdr传感器的切换,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
【附图说明】
56.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
57.图1为本发明实施例提供的一种hdr传感器和非hdr传感器切换系统的结构示意图;
58.图2a为本发明实施例提供的一种hdr传感器和非hdr传感器切换方法的流程图;
59.图2b为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的流程图;
60.图2c为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的流程图;
61.图2d为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的流程图;
62.图2e为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的流程图;
63.图2f为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的流程图;
64.图3a为本发明实施例提供的一种hdr传感器和非hdr传感器切换方法的信令流程图;
65.图3b为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的信令流程图;
66.图3c为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的信令流程图;
67.图3d为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的信令流程图;
68.图3e为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的信令流程图;
69.图4为本发明实施例提供的电子设备的结构示意图。
【具体实施方式】
70.为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
71.应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
72.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
73.应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
74.图1为本发明实施例提供的一种电子设备的结构示意图,如图1所示,该电子设备包括芯片15和目标传感器,芯片15和目标传感器连接,其中,目标传感器为hdr传感器或非
hdr传感器。
75.本发明实施例中,该电子设备可包括芯片15、一个hdr传感器11和至少一个非hdr传感器。例如,至少一个hdr传感器可包括非hdr传感器12和非hdr传感器13。
76.本发明实施例中,该电子设备还包括接口模块14,hdr传感器11和至少一个非hdr传感器通过接口模块14与芯片15连接。
77.接口模块14可包括至少一个物理层(physical layer,简称phy)接口和至少一个相机串行接口(cmos serial interface,简称csi)。
78.芯片15可包括控制模块、第一isp和二个第二isp,控制模块与第一isp和二个第二isp连接。hdr传感器11通过phy接口和csi与第一isp连接,非hdr传感器12通过phy接口和csi与第二isp连接,非hdr传感器13通过phy接口和csi与第二isp连接。
79.第一isp包括至少一个第一处理器、与每个第一处理器对应的流水线资源、影像融合模块和第二处理器,每个第一处理器与对应的流水线资源连接,至少一个第一处理器与影像融合模块连接,影像融合模块与第二处理器连接。hdr传感器11通过接口模块14与至少一个第一处理器连接。
80.第二isp包括第三处理器,非hdr传感器12通过接口模块14与对应的第三处理器连接。
81.进一步地,芯片15还包括至少一个ddr。第二处理器与对应的ddr连接,第三处理器与对应的ddr连接。
82.本发明实施例提供的一种电子设备中,电子设备通过芯片中的控制模块接收用户输入的变焦指令,变焦指令包括变焦比例;根据变焦比例,确定出目标传感器,目标传感器为hdr传感器或非hdr传感器;释放目标传感器对应的目标资源,目标资源为图像信号处理器isp的流水线资源中用于处理目标传感器输出图像的流水线资源;接收目标传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理。本发明实施例中电子设备通过释放目标资源实现hdr传感器和非hdr传感器的切换,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
83.图2a为本发明实施例提供的一种hdr传感器和非hdr传感器的切换方法的流程图,如图2a所示,该方法包括:
84.步骤101、接收用户输入的变焦指令,变焦指令包括变焦比例。
85.本发明实施例中的各步骤可以由芯片执行。
86.本发明实施例中,变焦指令用于指示芯片执行变焦操作。例如,用户在电子设备的拍摄界面上滑动变焦(zoom)滑动条,以输入变焦指令。
87.例如,若用户将变焦滑动条滑动至0.5x时,变焦比例为0.5x变焦;若用户将变焦滑动条滑动至1.0x时,变焦比例为1.0x变焦;若用户将变焦滑动条滑动至2.0x时,变焦比例为2.0x变焦;若用户将变焦滑动条滑动至3.0x时,变焦比例为3.0x变焦。
88.步骤102、根据变焦比例,确定目标传感器,目标传感器为hdr传感器或非hdr传感器。
89.例如,电子设备可以为三摄手机或者四摄手机,本发明实施例以电子设备为三摄手机为例进行描述,例如,该三摄手机包括三个摄像头,该三个摄像头包括超广角(ultra wide angle,简称uw)摄像头、广角(wide angle,简称w)摄像头和长焦(telephoto,简称t)
摄像头,每个摄像头可包括一个传感器,则该电子设备可包括三个传感器,该三个传感器包括一个hdr传感器和二个非hdr传感器。其中,hdr传感器包括广角传感器,该广角传感器也可以称为w传感器,该广角传感器具有16百万像素(megapixel,简称mp或m);非hdr传感器包括长焦传感器,该长焦传感器可以称为t传感器,该长焦传感器具有16m像素;非hdr传感器包括超广角传感器,该超广角传感器可以称为uw传感器,该超广角传感器具有16m像素。
90.本发明实施例中,不同的变焦比例对应于不同的目标传感器,则步骤102具体可包括:根据变焦比例,确定出该变焦比例对应的目标传感器。例如,变焦比例为3.0x变焦时,该变焦比例对应的目标传感器为t传感器,则确定出的目标传感器为非hdr传感器;变焦比例为1.0x变焦时,该变焦比例对应的目标传感器为w传感器,则确定出的目标传感器为hdr传感器。
91.步骤103、释放目标传感器对应的目标资源,目标资源为isp的流水线资源中用于处理目标传感器输出图像的流水线资源。
92.作为一种可选方案,若目标传感器为hdr传感器时,目标资源为hdr传感器对应的isp中用于处理hdr传感器输出图像的流水线资源。
93.作为另一种可选方案,若目标传感器为非hdr传感器时,目标资源为hdr传感器对应的isp中用于处理非hdr传感器输出图像的流水线资源。
94.步骤104、接收目标传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理。
95.本发明实施例中,若目标传感器为hdr传感器时,第一图像处理可以为raw处理,则芯片可通过目标资源对目标图像进行raw处理。
96.本发明实施例中,若目标传感器为非hdr传感器时,第一图像处理可以包括raw处理、rgb处理和yuv处理,则芯片可通过目标资源对目标图像进行raw处理、rgb处理和yuv处理。
97.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,通过释放目标传感器对应的目标资源,接收目标传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理。本发明实施例中通过释放目标资源实现hdr传感器和非hdr传感器的切换,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
98.图2b为本发明实施例提供的另一种hdr传感器和非hdr传感器的切换方法的流程图,如图2b所示,该方法包括:
99.步骤201、接收用户输入的变焦指令,变焦指令包括变焦比例。
100.本发明实施例中的各步骤可以由芯片执行。
101.本实施例中,假设当前的传感器为hdr传感器,用户将拍摄界面上的变焦滑动条滑动至1.0x,hdr传感器输出长曝图像、中曝图像和短曝图像至芯片,芯片需要对上述长曝图像、中曝图像和短曝图像三种曝光图像进行处理。例如,hdr传感器为w传感器。本实施例示出的是hdr传感器输出三种曝光图像的情况。
102.此时,用户将变焦滑动条滑动至3.0x以输入变焦指令,变焦指令中的变焦比例为3.0x变焦。
103.步骤202、根据变焦比例,确定目标传感器,目标传感器为非hdr传感器。
104.本实施例中,例如,变焦比例为3.0x变焦,确定出的3.0x变焦对应的非hdr传感器
为t传感器。则芯片根据变焦指令需要将hdr传感器切换为非hdr传感器,即将w传感器切换为t传感器。
105.步骤203、接收hdr传感器输出的长曝图像、中曝图像和短曝图像。
106.当芯片接收到变焦指令时,此时,hdr传感器依然向芯片输出长曝图像、中曝图像和短曝图像。
107.步骤204、通过用于处理短曝图像的流水线资源对短曝图像进行第二图像处理,以及通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理。
108.本实施例中,由于芯片接收到了变焦指令,因此仅对短曝图像和中曝图像进行第二图像处理。
109.本实施例中,第二图像处理为raw处理。
110.步骤205、停止处理长曝图像,以释放非hdr传感器对应的目标资源。
111.本步骤中,目标资源为用于处理长曝图像的流水线资源。由于芯片接收到了变焦指令,因此停止处理长曝图像,以释放用于处理长曝图像的流水线资源。从而使得该目标资源可用于处理非hdr传感器输出的目标图像。
112.需要说明的是:本实施例中,步骤205和步骤204可同时执行,或者步骤205可以在步骤204之前执行。
113.步骤206、接收非hdr传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理。
114.本实施例中,芯片可接收t传感器输出的目标图像。
115.本实施例中,第一图像处理可包括raw处理、rgb处理和yuv处理。
116.本实施例中,由于芯片已经释放了目标资源,因此芯片可通过释放的目标资源处理非hdr传感器输出的目标图像。而后当芯片对非hdr传感器输出的目标图像进行图像处理后得到的图像满足显示要求时,芯片可停止处理hdr传感器输出的图像,即:芯片可停止处理hdr传感器输出的短曝图像和中曝图像,从而实现了从hdr传感器切换至非hdr传感器。
117.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,通过停止处理hdr传感器输出的长曝图像,以释放非hdr传感器对应的目标资源;接收非hdr传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
118.图2c为本发明实施例提供的另一种hdr传感器和非hdr传感器的切换方法的流程图,如图2c所示,该方法包括:
119.步骤301、接收用户输入的变焦指令,变焦指令包括变焦比例。
120.步骤302、根据变焦比例,确定目标传感器,目标传感器为非hdr传感器。
121.步骤303、接收hdr传感器输出的长曝图像、中曝图像和短曝图像。
122.本实施例中,对步骤301至步骤303的描述可参见对上述实施例中步骤201至步骤203的描述,此处不再赘述。
123.步骤304、通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理。
124.本实施例中,由于芯片接收到了变焦指令,因此仅对中曝图像进行第一图像处理。
125.本实施例中,第二图像处理为raw处理。
126.步骤305、停止处理长曝图像和短曝图像,以释放非hdr传感器对应的目标资源。
127.本步骤中,目标资源为用于处理长曝图像的流水线资源。由于芯片接收到了变焦指令,因此停止处理长曝图像和短曝图像,以释放用于处理长曝图像和短曝图像的流水线资源。从而使得用于处理长曝图像的流水线资源可用于处理非hdr传感器输出的目标图像。
128.需要说明的是:本实施例中,步骤305和步骤304可同时执行,或者步骤305可以在步骤304之前执行。
129.步骤306、接收非hdr传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理。
130.本实施例中,第一图像处理可包括raw处理、rgb处理和yuv处理。
131.本实施例中,由于芯片已经释放了目标资源,因此芯片可通过释放的目标资源处理非hdr传感器输出的目标图像,而后芯片可停止处理hdr传感器输出的图像,从而实现了从hdr传感器切换至非hdr传感器。
132.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,通过停止处理hdr传感器输出的长曝图像和短曝图像,以释放非hdr传感器对应的目标资源;接收非hdr传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
133.图2d为本发明实施例提供的另一种hdr传感器和非hdr传感器的切换方法的流程图,如图2d所示,该方法包括:
134.步骤401、接收用户输入的变焦指令,变焦指令包括变焦比例。
135.本发明实施例中的各步骤可以由芯片执行。
136.本实施例中,假设当前的传感器为hdr传感器,用户将拍摄界面上的变焦滑动条滑动至1.0x,hdr传感器输出中曝图像和短曝图像至芯片,芯片需要对上述中曝图像和短曝图像两种曝光图像进行处理。例如,hdr传感器为w传感器。本实施例示出的是hdr传感器输出两种曝光图像的情况。
137.此时,用户将变焦滑动条滑动至3.0x以输入变焦指令,变焦指令中的变焦比例为3.0x变焦。
138.步骤402、根据变焦比例,确定目标传感器,目标传感器为非hdr传感器。
139.本实施例中,例如,变焦比例为3.0x变焦,确定出的3.0x变焦对应的非hdr传感器为t传感器。则芯片根据变焦指令需要将hdr传感器切换为非hdr传感器,即将w传感器切换为t传感器。
140.步骤403、接收hdr传感器输出的中曝图像和短曝图像。
141.当芯片接收到变焦指令时,此时,hdr传感器依然向芯片输出中曝图像和短曝图像。
142.步骤404、通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理。
143.本实施例中,由于芯片接收到了变焦指令,因此仅对中曝图像进行第二图像处理。
144.本实施例中,第二图像处理为raw处理。
145.步骤405、停止处理短曝图像,以释放非hdr传感器对应的目标资源。
146.本步骤中,目标资源为用于处理短曝图像的流水线资源。由于芯片接收到了变焦
指令,因此停止处理短曝图像,以释放用于处理短曝图像的流水线资源。从而使得该目标资源可用于处理非hdr传感器输出的目标图像。
147.需要说明的是:本实施例中,步骤405和步骤404可同时执行,或者步骤405可以在步骤404之前执行。
148.步骤406、接收非hdr传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理。
149.本实施例中,第一图像处理可包括raw处理、rgb处理和yuv处理。
150.本实施例中,由于芯片已经释放了目标资源,因此芯片可通过释放的目标资源处理非hdr传感器输出的目标图像,而后芯片可停止处理hdr传感器输出的图像,从而实现了从hdr传感器切换至非hdr传感器。
151.在图2a至图2d所示的实施例中,作为一种可选方案,芯片若在第n帧内接收到变焦指令,且在第n帧内完成从hdr传感器切换至非hdr传感器的过程,则表明芯片在一帧内完成了从hdr传感器到非hdr传感器的切换,从而完成了传感器的帧级动态切换,对于滑动变焦条的用户来说,几乎感受不到切换过程。
152.在图2a至图2d所示的实施例中,作为一种可选方案,芯片若在第n帧内接收到变焦指令,且在第n+1帧内完成从hdr传感器切换至非hdr传感器的过程,即在第n帧和第n+1帧内完成从hdr传感器切换至非hdr传感器的过程,则表明芯片在两帧内完成了从hdr传感器到非hdr传感器的切换,从而完成了传感器的帧级动态切换,对于滑动变焦条的用户来说,几乎感受不到切换过程。
153.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,通过停止处理hdr传感器输出的短曝图像,以释放非hdr传感器对应的目标资源;接收非hdr传感器输出的目标图像,并通过目标资源对目标图像进行第一图像处理,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
154.图2e为本发明实施例提供的另一种hdr传感器和非hdr传感器的切换方法的流程图,如图2e所示,该方法包括:
155.步骤501、接收用户输入的变焦指令,变焦指令包括变焦比例。
156.本发明实施例中的各步骤可以由芯片执行。
157.本实施例中,假设当前的传感器为非hdr传感器,用户将拍摄界面上的变焦滑动条滑动至3.0x,非hdr传感器输出目标图像至芯片,芯片需要对上述目标图像进行处理。例如,非hdr传感器为t传感器。
158.此时,用户将变焦滑动条滑动至1.0x以输入变焦指令,变焦指令中的变焦比例为1.0x变焦。
159.步骤502、根据变焦比例,确定目标传感器,目标传感器为hdr传感器。
160.本实施例中,例如,变焦比例为1.0x变焦,确定出的1.0x变焦对应的hdr传感器为w传感器。则芯片根据变焦指令需要将非hdr传感器切换为hdr传感器,即将t传感器切换为w传感器。
161.步骤503、接收非hdr传感器输出的目标图像,通过用于处理非hdr传感器输出的目标图像的流水线资源对目标图像进行第一图像处理。
162.当芯片接收到变焦指令时,此时,非hdr传感器依然向芯片输出目标图像。
163.由于非hdr传感器依然向芯片输出目标图像,此时芯片仍然对非hdr传感器输出的目标图像进行第一图像处理。
164.本实施例中,第一图像处理可包括raw处理。
165.步骤504、接收hdr传感器输出的长曝图像、中曝图像和短曝图像,通过用于处理hdr传感器输出的中曝图像的流水线资源对中曝图像进行第二图像处理,并丢弃长曝图像和短曝图像。
166.本实施例中,第二图像处理可以为raw处理。
167.步骤505、停止处理非hdr传感器输出的目标图像,以释放hdr传感器对应的目标资源。
168.本实施例中,当芯片对hdr传感器输出的中曝图像进行第二图像处理后得到的图像满足显示要求时,芯片可停止处理非hdr传感器输出的目标图像,以达到释放hdr传感器对应的目标资源的目的。
169.本步骤中,目标资源为用于处理非hdr传感器输出的目标图像的流水线资源。由于芯片接收到了变焦指令,因此停止处理非hdr传感器输出的目标图像,以释放用于处理非hdr传感器输出的目标图像的流水线资源。从而使得该目标资源可用于处理hdr传感器输出的图像,例如,该目标资源后续用于处理hdr传感器输出的长曝图像。
170.步骤506、接收hdr传感器输出的长曝图像、中曝图像和短曝图像。
171.本实施例示出的是hdr传感器输出三种曝光图像的情况。在步骤504的基础上,本步骤中芯片进一步开始接收hdr传感器输出的长曝图像和短曝图像,以达到同时接收hdr传感器输出的长曝图像、中曝图像和短曝图像的目的。
172.步骤507、通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理、通过用于处理短曝图像的流水线资源对短曝图像进行第二图像处理以及通过hdr传感器对应的目标资源对长曝图像进行第二图像处理。
173.本实施例中,由于芯片已经释放了目标资源,因此芯片可通过释放的目标资源处理hdr传感器输出的长曝图像,从而实现了从非hdr传感器切换至hdr传感器。
174.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,通过停止处理非hdr传感器输出的目标图像,以释放hdr传感器对应的目标资源;接收hdr传感器输出的长曝图像、中曝图像和短曝图像,并通过目标资源对hdr传感器输出的长曝图像、中曝图像和短曝图像进行第一图像处理,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
175.图2f为本发明实施例提供的另一种hdr传感器和非hdr传感器的切换方法的流程图,如图2f所示,该方法包括:
176.步骤601、接收用户输入的变焦指令,变焦指令包括变焦比例。
177.步骤602、根据变焦比例,确定目标传感器,目标传感器为hdr传感器。
178.步骤603、接收非hdr传感器输出的目标图像,通过用于处理非hdr传感器输出的目标图像的流水线资源对目标图像进行第一图像处理。
179.本实施例中,第一图像处理可包括raw处理。
180.步骤604、接收hdr传感器输出的中曝图像和短曝图像,通过用于处理hdr传感器输
出的中曝图像的流水线资源对中曝图像进行第二图像处理,并丢弃短曝图像。
181.本实施例中,对步骤601至步骤604的描述可参见对上述实施例中步骤501至步骤504的描述,此处不再赘述。
182.本实施例中,第二图像处理为raw处理。
183.步骤605、停止处理非hdr传感器输出的目标图像,以释放hdr传感器对应的目标资源。
184.本实施例中,当芯片对hdr传感器输出的中曝图像进行第二图像处理后得到的图像满足显示要求时,芯片可停止处理非hdr传感器输出的目标图像,以达到释放hdr传感器对应的目标资源的目的。
185.本步骤中,目标资源为用于处理非hdr传感器输出的目标图像的流水线资源。由于芯片接收到了变焦指令,因此停止处理非hdr传感器输出的目标图像,以释放用于处理非hdr传感器输出的目标图像的流水线资源。从而使得该目标资源可用于处理hdr传感器输出的图像,例如,该目标资源后续用于处理hdr传感器输出的短曝图像。
186.步骤606、接收hdr传感器输出的中曝图像和短曝图像。
187.本实施例示出的是hdr传感器输出两种曝光图像的情况。在步骤604的基础上,本步骤中芯片进一步开始接收hdr传感器输出的短曝图像,以达到同时接收hdr传感器输出的中曝图像和短曝图像的目的。
188.步骤607、通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理以及通过hdr传感器对应的目标资源对短曝图像进行第二图像处理。
189.本实施例中,由于芯片已经释放了目标资源,因此芯片可通过释放的目标资源处理hdr传感器输出的短曝图像,从而实现了从非hdr传感器切换至hdr传感器。
190.在图2e至图2f所示的实施例中,芯片在第n帧开始处理hdr传感器输出的中曝图像,在第n+1帧停止处理非hdr传感器输出的目标图像以释放hdr传感器对应的目标资源,在第n+2帧处理图2e实施例中hdr传感器输出的长曝图像、中曝图像和短曝图像,芯片在三帧内完成了从非hdr传感器到hdr传感器的切换,从而完成了传感器的帧级动态切换,对于滑动变焦条的用户来说,几乎感受不到切换过程。
191.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,通过停止处理非hdr传感器输出的目标图像,以释放hdr传感器对应的目标资源;接收hdr传感器输出的中曝图像和短曝图像,并通过目标资源对hdr传感器输出的中曝图像和短曝图像进行第一图像处理,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
192.图3a为本发明实施例提供的一种hdr传感器和非hdr传感器的切换方法的信令流程图,如图3a所示,该方法包括:
193.步骤801、控制模块接收用户输入的变焦指令,变焦指令包括变焦比例。
194.本实施例中,假设当前的传感器为hdr传感器,用户将拍摄界面上的变焦滑动条滑动至3.0x以输入变焦指令,变焦指令中的变焦比例为3.0x变焦。
195.步骤802、控制模块根据变焦比例确定出目标传感器,目标传感器为非hdr传感器。
196.本实施例中,例如,变焦比例为3.0x变焦,确定出的3.0x变焦对应的非hdr传感器为t传感器。
197.步骤803、控制模块向第一isp发送切换指令,该切换指令包括非hdr传感器的信息。
198.本实施例中,非hdr传感器的信息用于标识非hdr传感器,例如,非hdr传感器的信息用于标识非hdr传感器为t传感器,假设当前的传感器为hdr传感器,即本实施例中需要将hdr传感器切换为非hdr传感器,即将w传感器切换为t传感器。
199.步骤804、第一isp接收hdr传感器输出的长曝图像、中曝图像和短曝图像。
200.本实施例中,当控制模块接收到变焦指令时,此时,hdr传感器依然向第一isp输出长曝图像、中曝图像和短曝图像。
201.步骤805、第一isp响应于非hdr传感器的信息,通过用于处理短曝图像的流水线资源对短曝图像进行第二图像处理生成短曝处理图像,通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理生成中曝处理图像,并停止处理长曝图像以释放非hdr传感器对应的目标资源。
202.本实施例中,第一isp通过非hdr传感器的信息获知需要将hdr传感器切换为非hdr传感器,即将w传感器切换为t传感器,因此执行步骤805开始仅处理短曝图像和中曝图像,并停止处理长曝图像,以释放目标资源,其中,目标资源为用于处理长曝图像的流水线资源。
203.本实施例中,第二图像处理为raw处理。
204.步骤806、第一isp将短曝处理图像和中曝处理图像进行hdr融合处理生成融合图像,并对融合图像进行第三图像处理生成第一显示图像数据。
205.本实施例中,第三图像处理可包括raw处理、rgb处理和yuv处理。
206.步骤807、第一isp将第一显示图像数据输出至显示屏。
207.步骤808、显示屏根据第一显示图像数据显示第一显示图像。
208.步骤809、第二isp接收非hdr传感器输出的目标图像。
209.本实施例中,第二isp接收t传感器输出的目标图像。
210.步骤810、第二isp通过目标资源对目标图像进行第一图像处理生成第二显示图像数据。
211.本实施例中,第一图像处理包括raw处理、rgb处理和yuv处理。
212.步骤811、第二isp将第二显示图像数据输出至显示屏。
213.步骤812、显示屏根据第二显示图像数据显示第二显示图像。
214.本实施例中,当第二isp对目标图像进行图像处理后得到的第二显示图像数据满足显示要求时,第一isp可停止处理hdr传感器输出的图像,第一isp可停止向显示屏输出图像数据,此时显示屏停止显示第一显示图像,显示屏开始根据第二isp输出的第二显示图像数据显示第二显示图像,从而实现了从hdr传感器切换至非hdr传感器。
215.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,第一isp响应于非hdr传感器的信息,停止处理长曝图像以释放非hdr传感器对应的目标资源,第二isp通过目标资源对目标图像进行第一图像处理生成第二显示图像数据,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
216.图3b为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的信令流
程图,如图3b所示,该方法包括:
217.步骤901、控制模块接收用户输入的变焦指令,变焦指令包括变焦比例。
218.步骤902、控制模块根据变焦比例确定出目标传感器,目标传感器为非hdr传感器。
219.步骤903、控制模块向第一isp发送切换指令,该切换指令包括非hdr传感器的信息。
220.步骤904、第一isp接收hdr传感器输出的长曝图像、中曝图像和短曝图像。
221.本实施例中,对步骤901至步骤904的描述可参见对上述实施例中步骤801至步骤804的描述,此处不再赘述。
222.步骤905、第一isp响应于非hdr传感器的信息,通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理生成中曝处理图像,并停止处理长曝图像和短曝图像以释放非hdr传感器对应的目标资源。
223.本实施例中,第一isp通过非hdr传感器的信息获知需要将hdr传感器切换为非hdr传感器,即将w传感器切换为t传感器,因此执行步骤905开始仅处理中曝图像,并停止处理长曝图像和短曝图像,以释放目标资源,其中,目标资源为用于处理长曝图像和短曝图像的流水线资源。
224.本实施例中,第二图像处理为raw处理。
225.步骤906、第一isp将中曝处理图像进行hdr融合生成融合图像,并对融合图像进行色彩空间处理生成第一显示图像数据。
226.本实施例中,色彩空间处理可包括raw处理、rgb处理和yuv处理。
227.步骤907、第一isp将第一显示图像数据输出至显示屏。
228.步骤908、显示屏根据第一显示图像数据显示第一显示图像。
229.步骤909、第二isp接收非hdr传感器输出的目标图像。
230.本实施例中,第二isp接收t传感器输出的目标图像。
231.步骤910、第二isp通过目标资源对目标图像进行第一图像处理生成第二显示图像数据。
232.本实施例中,第一图像处理包括raw处理、rgb处理和yuv处理。
233.步骤911、第二isp将第二显示图像数据输出至显示屏。
234.步骤912、显示屏根据第二显示图像数据显示第二显示图像。
235.本实施例中,当第二isp对目标图像进行图像处理后得到的第二显示图像数据满足显示要求时,第一isp可停止处理hdr传感器输出的图像,第一isp可停止向显示屏输出图像数据,此时显示屏停止显示第一显示图像,显示屏开始根据第二isp输出的第二显示图像数据显示第二显示图像,从而实现了从hdr传感器切换至非hdr传感器。
236.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,第一isp响应于非hdr传感器的信息,停止处理长曝图像和短曝图像以释放非hdr传感器对应的目标资源,第二isp通过目标资源对目标图像进行第一图像处理生成第二显示图像数据,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
237.图3c为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的信令流程图,如图3c所示,该方法包括:
238.步骤1001、控制模块接收用户输入的变焦指令,变焦指令包括变焦比例。
239.步骤1002、控制模块根据变焦比例确定出目标传感器,目标传感器为非hdr传感器。
240.步骤1003、控制模块向第一isp发送切换指令,该切换指令包括非hdr传感器的信息。
241.本实施例中,对步骤1001至步骤1003的描述可参见对上述实施例中步骤801至步骤803的描述,此处不再赘述。
242.步骤1004、第一isp接收hdr传感器输出的中曝图像和短曝图像。
243.当控制模块接收到变焦指令时,此时,hdr传感器依然向第一isp输出中曝图像和短曝图像。
244.步骤1005、第一isp响应于非hdr传感器的信息,通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理生成中曝处理图像,并停止处理短曝图像以释放非hdr传感器对应的目标资源。
245.本实施例中,第一isp通过非hdr传感器的信息获知需要将hdr传感器切换为非hdr传感器,即将w传感器切换为t传感器,因此执行步骤1005开始仅处理中曝图像,并停止处理短曝图像,以释放目标资源,其中,目标资源为用于处理短曝图像的流水线资源。
246.本实施例中,第二图像处理为raw处理。
247.步骤1006、第一isp对中曝处理图像进行第三图像处理生成第一显示图像数据。
248.本实施例中,第三图像处理可包括raw处理、rgb处理和yuv处理。
249.步骤1007、第一isp将第一显示图像数据输出至显示屏。
250.步骤1008、显示屏根据第一显示图像数据显示第一显示图像。
251.步骤1009、第二isp接收非hdr传感器输出的目标图像。
252.本实施例中,第二isp接收t传感器输出的目标图像。
253.步骤1010、第二isp通过目标资源对目标图像进行第一图像处理生成第二显示图像数据。
254.本实施例中,第一图像处理包括raw处理、rgb处理和yuv处理。
255.步骤1011、第二isp将第二显示图像数据输出至显示屏。
256.步骤1012、显示屏根据第二显示图像数据显示第二显示图像。
257.本实施例中,当第二isp对目标图像进行图像处理后得到的第二显示图像数据满足显示要求时,第一isp可停止处理hdr传感器输出的图像,第一isp可停止向显示屏输出图像数据,此时显示屏停止显示第一显示图像,显示屏开始根据第二isp输出的第二显示图像数据显示第二显示图像,从而实现了从hdr传感器切换至非hdr传感器。
258.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,第一isp响应于非hdr传感器的信息,停止处理短曝图像以释放非hdr传感器对应的目标资源,第二isp通过目标资源对目标图像进行第一图像处理生成第二显示图像数据,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
259.图3d为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的信令流程图,如图3d所示,该方法包括:
260.步骤1101、控制模块接收用户输入的变焦指令,变焦指令包括变焦比例。
261.本实施例中,假设当前的传感器为hdr传感器,用户将拍摄界面上的变焦滑动条滑动至1.0x以输入变焦指令,变焦指令中的变焦比例为1.0x变焦。
262.步骤1102、控制模块根据变焦比例确定出目标传感器,目标传感器为hdr传感器。
263.本实施例中,例如,变焦比例为1.0x变焦,确定出的1.0x变焦对应的非hdr传感器为w传感器。
264.步骤1103、控制模块向第二isp发送切换指令,该切换指令包括hdr传感器的信息。
265.本实施例中,hdr传感器的信息用于标识hdr传感器,例如,hdr传感器的信息用于标识hdr传感器为w传感器,假设当前的传感器为非hdr传感器,即本实施例中需要将非hdr传感器切换为hdr传感器,即将t传感器切换为w传感器。
266.步骤1104、第二isp接收非hdr传感器输出的目标图像。
267.步骤1105、第二isp通过用于处理非hdr传感器输出的目标图像的流水线资源对目标图像进行第一图像处理生成第二显示图像数据。
268.当控制模块接收到变焦指令时,此时,非hdr传感器依然向第二isp输出目标图像。
269.本实施例中,第一图像处理包括raw处理、rgb处理和yuv处理。
270.步骤1106、第二isp将第二显示图像数据输出至显示屏。
271.步骤1107、显示屏根据第二显示图像数据显示第二显示图像。
272.步骤1108、第一isp接收hdr传感器输出的长曝图像、中曝图像和短曝图像。
273.步骤1109、第一isp通过用于处理hdr传感器输出的中曝图像的流水线资源对中曝图像进行第二图像处理生成中曝处理图像,对中曝处理图像进行第三图像处理生成第一显示图像数据,并丢弃长曝图像和短曝图像。
274.本实施例中,第二图像处理为raw处理,第三图像处理包括raw处理、rgb处理和yuv处理。
275.步骤1110、第一isp将第一显示图像数据发送至显示屏。
276.步骤1111、显示屏根据第一显示图像数据显示第一显示图像。
277.当第一isp对中曝图像进行图像处理后得到的第一显示图像数据满足显示要求时,显示屏根据第一显示图像数据显示第一显示图像。
278.步骤1112、第二isp响应于hdr传感器的信息,停止处理非hdr传感器输出的目标图像,以释放hdr传感器对应的目标资源。
279.本实施例中,第二isp通过hdr传感器的信息获知需要将非hdr传感器切换为hdr传感器,即将t传感器切换为w传感器,因此执行步骤1112中的停止处理目标图像,以释放目标资源,其中,目标资源为用于处理长曝图像的流水线资源。此时,第二isp停止图像处理工作。
280.步骤1113、第一isp接收hdr传感器输出的长曝图像、中曝图像和短曝图像。
281.步骤1114、第一isp通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理生成中曝处理图像、通过用于处理短曝图像的流水线资源对短曝图像进行第二图像处理生成短曝处理图像以及通过目标资源对长曝图像进行第二图像处理生成长曝处理图像,将短曝处理图像、中曝处理图像和长曝处理图像进行hdr融合处理生成融合图像,并对融合图像进行第三图像处理生成第一显示图像数据。
282.步骤1115、第一isp将第一显示图像数据输出至显示屏。
283.步骤1116、显示屏根据第一显示图像数据显示第一显示图像。
284.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,第二isp响应于hdr传感器的信息,停止处理非hdr传感器输出的目标图像,以释放hdr传感器对应的目标资源,第一isp通过目标资源对目标图像进行第二图像处理生成短曝处理图像、中曝处理图像和长曝处理图像,将短曝处理图像、中曝处理图像和长曝处理图像进行hdr融合处理生成融合图像,并对融合图像进行第三图像处理生成第一显示图像数据,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
285.图3e为本发明实施例提供的另一种hdr传感器和非hdr传感器切换方法的信令流程图,如图3e所示,该方法包括:
286.步骤1201、控制模块接收用户输入的变焦指令,变焦指令包括变焦比例。
287.步骤1202、控制模块根据变焦比例确定出目标传感器,目标传感器为hdr传感器。
288.步骤1203、控制模块向第二isp发送切换指令,该切换指令包括hdr传感器的信息。
289.步骤1204、第二isp接收非hdr传感器输出的目标图像。
290.步骤1205、第二isp通过用于处理非hdr传感器输出的目标图像的流水线资源对目标图像进行第一图像处理生成第二显示图像数据。
291.步骤1206、第二isp将第二显示图像数据输出至显示屏。
292.步骤1207、显示屏根据第二显示图像数据显示第二显示图像。
293.步骤1208、第一isp接收hdr传感器输出的中曝图像和短曝图像。
294.步骤1209、第一isp通过用于处理hdr传感器输出的中曝图像的流水线资源对中曝图像进行第二图像处理生成中曝处理图像,对中曝处理图像进行第三图像处理生成第一显示图像数据,并丢弃短曝图像。
295.步骤1210、第一isp将第一显示图像数据发送至显示屏。
296.步骤1211、显示屏根据第一显示图像数据显示第一显示图像。
297.本实施例中,对步骤1201至步骤1211的描述可参见对上述实施例中步骤1101至步骤1111的描述,此处不再赘述。
298.步骤1212、第二isp响应于hdr传感器的信息,停止处理非hdr传感器输出的目标图像,以释放hdr传感器对应的目标资源。
299.本实施例中,第二isp通过hdr传感器的信息获知需要将非hdr传感器切换为hdr传感器,即将t传感器切换为w传感器,因此执行步骤1212中的停止处理目标图像,以释放目标资源,其中,目标资源为用于处理短曝图像的流水线资源。此时,第二isp停止图像处理工作。
300.步骤1213、第一isp接收hdr传感器输出的中曝图像和短曝图像。
301.步骤1214、第一isp通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理生成中曝处理图像以及通过目标资源对短曝图像进行第二图像处理生成短曝处理图像,将短曝处理图像和中曝处理图像进行hdr融合处理生成融合图像,并对融合图像进行第三图像处理生成第一显示图像数据。
302.步骤1215、第一isp将第一显示图像数据输出至显示屏。
303.步骤1216、显示屏根据第一显示图像数据显示第一显示图像。
304.本发明实施例提供的hdr传感器和非hdr传感器的切换方法中,第二isp响应于hdr传感器的信息,停止处理非hdr传感器输出的目标图像,以释放hdr传感器对应的目标资源,第一isp通过用于处理中曝图像的流水线资源对中曝图像进行第二图像处理生成中曝处理图像以及通过目标资源对短曝图像进行第二图像处理生成短曝处理图像,将短曝处理图像和中曝处理图像进行hdr融合处理生成融合图像,并对融合图像进行第三图像处理生成第一显示图像数据,节约了从hdr传感器切换至非hdr传感器时所需要的流水线资源,降低了isp ip的面积,从而降低了芯片面积,进而降低了芯片成本。
305.本发明实施例提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述hdr传感器和非hdr传感器的切换方法的实施例的各步骤,具体描述可参见上述hdr传感器和非hdr传感器的切换方法的实施例。
306.本发明实施例提供了一种电子设备,包括存储器和处理器,存储器用于存储包括程序指令的信息,处理器用于控制程序指令的执行,程序指令被处理器加载并执行时实现上述hdr传感器和非hdr传感器的切换方法的实施例的各步骤,具体描述可参见上述hdr传感器和非hdr传感器的切换方法的实施例。
307.图4为本发明实施例提供的一种电子设备的示意图。如图4所示,该实施例的电子设备30包括:处理器31、存储器32以及存储在存储32中并可在处理器31上运行的计算机程序33,该计算机程序33被处理器31执行时实现实施例中的应用于数据处理方法,为避免重复,此处不一一赘述。或者,该计算机程序被处理器31执行时实现实施例中应用于车场协同式自主泊车装置中各模型/单元的功能,为避免重复,此处不一一赘述。
308.电子设备30包括,但不仅限于,处理器31、存储器32。本领域技术人员可以理解,图4仅仅是电子设备30的示例,并不构成对电子设备30的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子设备30还可以包括输入输出设备、网络接入设备、总线等。
309.所称处理器31可以是中央处理单元(central processing unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
310.存储器32可以是电子设备30的内部存储单元,例如电子设备30的硬盘或内存。存储器32也可以是电子设备30的外部存储设备,例如电子设备30上配备的插接式硬盘,智能存储(smart media,sm)卡,安全数字(secure digital,sd)卡,闪存卡(flash card)等。进一步地,存储器32还可以既包括电子设备30的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
311.在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组
件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
312.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
313.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

技术特征:
1.一种高动态范围图像hdr传感器和非hdr传感器的切换方法,其特征在于,包括:接收用户输入的变焦指令,所述变焦指令包括变焦比例;根据所述变焦比例,确定出目标传感器,所述目标传感器为hdr传感器或非hdr传感器;释放所述目标传感器对应的目标资源,所述目标资源为图像信号处理器isp的流水线资源中用于处理所述目标传感器输出图像的流水线资源;接收所述目标传感器输出的目标图像,并通过所述目标资源对所述目标图像进行第一图像处理。2.根据权利要求1所述的方法,其特征在于,所述目标传感器为非hdr传感器;所述根据所述变焦比例,确定出目标传感器之后,还包括:接收所述hdr传感器输出的长曝图像、中曝图像和短曝图像;通过用于处理所述短曝图像的流水线资源对所述短曝图像进行第二图像处理,以及通过用于处理所述中曝图像的流水线资源对所述中曝图像进行第二图像处理;所述释放所述目标传感器对应的目标资源,包括:停止处理所述长曝图像,以释放所述非hdr传感器对应的目标资源。3.根据权利要求1所述的方法,其特征在于,所述目标传感器为非hdr传感器;所述根据所述变焦比例,确定出目标传感器之后,还包括:接收所述hdr传感器输出的长曝图像、中曝图像和短曝图像;通过用于处理所述中曝图像的流水线资源对所述中曝图像进行第二图像处理;所述释放所述目标传感器对应的目标资源,包括:停止处理所述长曝图像和所述短曝图像,以释放所述非hdr传感器对应的目标资源。4.根据权利要求1所述的方法,其特征在于,所述目标传感器为非hdr传感器;所述根据所述变焦比例,确定出目标传感器之后,还包括:接收所述hdr传感器输出的中曝图像和短曝图像;通过用于处理所述中曝图像的流水线资源对所述中曝图像进行第二图像处理;所述释放所述目标传感器对应的目标资源,包括:停止处理所述短曝图像,以释放所述非hdr传感器对应的目标资源。5.根据权利要求1所述的方法,其特征在于,所述目标传感器为hdr传感器;所述根据所述变焦比例,确定出目标传感器之后,还包括:接收所述非hdr传感器输出的目标图像,通过用于处理所述非hdr传感器输出的目标图像的流水线资源对所述目标图像进行第一图像处理;接收所述hdr传感器输出的长曝图像、中曝图像和短曝图像,通过用于处理所述hdr传感器输出的中曝图像的流水线资源对中曝图像进行第二图像处理,并丢弃长曝图像和短曝图像;所述释放所述目标传感器对应的目标资源,包括:停止处理所述非hdr传感器输出的目标图像,以释放所述hdr传感器对应的目标资源;所述释放所述目标传感器对应的目标资源之后,还包括:接收所述hdr传感器输出的长曝图像、中曝图像和短曝图像;通过用于处理所述中曝图像的流水线资源对所述中曝图像进行第二图像处理、通过用于处理短曝图像的流水线资源对所述短曝图像进行第二图像处理以及通过所述hdr传感器
对应的目标资源对所述长曝图像进行第二图像处理。6.根据权利要求1所述的方法,其特征在于,所述目标传感器为hdr传感器;所述根据所述变焦比例,确定出目标传感器之后,还包括:接收所述非hdr传感器输出的目标图像,通过用于处理所述非hdr传感器输出的目标图像的流水线资源对目标图像进行第一图像处理;接收所述hdr传感器输出的中曝图像和短曝图像,通过用于处理所述hdr传感器输出的中曝图像的流水线资源对中曝图像进行第二图像处理,并丢弃短曝图像;所述释放所述目标传感器对应的目标资源,包括:停止处理所述非hdr传感器输出的目标图像,以释放所述hdr传感器对应的目标资源;所述释放所述目标传感器对应的目标资源之后,还包括:接收所述hdr传感器输出的中曝图像和短曝图像;通过用于处理中曝图像的流水线资源对所述中曝图像进行第二图像处理以及通过所述hdr传感器对应的目标资源对所述短曝图像进行第二图像处理。7.一种电子设备,其特征在于,包括:芯片和目标传感器,所述芯片和所述目标传感器连接,所述目标传感器为hdr传感器或非hdr传感器;所述芯片,用于接收用户输入的变焦指令,所述变焦指令包括变焦比例;根据所述变焦比例,确定出目标传感器;释放所述目标传感器对应的目标资源,所述目标资源为图像信号处理器isp的流水线资源中用于处理所述目标传感器输出图像的流水线资源;接收所述目标传感器输出的目标图像,并通过所述目标资源对所述目标图像进行第一图像处理。8.根据权利要求7所述的电子设备,其特征在于,所述芯片包括控制模块、第一isp和二个第二isp,所述控制模块与第一isp和二个第二isp连接;第一isp包括至少一个第一处理器、与每个第一处理器对应的流水线源、影像融合模块和第二处理器,每个第一处理器与对应的流水线资源连接,至少一个第一处理器与影像融合模块连接,影像融合模块与第二处理器连接;第二isp包括第三处理器,非hdr传感器通过接口模块与对应的第三处理器连接。9.一种电子设备,其特征在于,包括一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述终端设备执行时,使得所述终端设备执行权利要求1至6任一项所述的方法。10.一种计算机可读存储介质,其特征在于,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任一项所述的方法。

技术总结
本发明实施例提供了一种HDR传感器和非HDR传感器的切换方法与电子设备。该方法包括:接收用户输入的变焦指令,所述变焦指令包括变焦比例;根据所述变焦比例,确定出目标传感器,所述目标传感器为HDR传感器或非HDR传感器;释放所述目标传感器对应的目标资源,所述目标资源为图像信号处理器ISP的流水线资源中用于处理所述目标传感器输出图像的流水线资源;接收所述目标传感器输出的目标图像,并通过所述目标资源对所述目标图像进行第一图像处理。本发明实施例降低了芯片面积,从而降低了芯片成本。本。本。


技术研发人员:王晓哲 杜建国 朱善武
受保护的技术使用者:北京紫光展锐通信技术有限公司
技术研发日:2021.12.01
技术公布日:2022/3/8

最新回复(0)