影像处理装置及影像系统的制作方法

1.本技术涉及影像处理领域，具体而言，涉及一种影像处理装置及影像系统。


背景技术：

2.目前，影像数据(例如，图像，视频资料等)通常在被压缩编码后存储于各种数据存储介质中。用户可以通过有线连接(例如，数据线直连)或者无线连接(例如，局域网/互联网等)的方式对存储介质中的影像数据进行访问使用。现有技术中，受限于影像数据的内容制作手段、压缩存储效率、及传输带宽限制等诸多因素，个人/商业/公共等各方面影视资料都面临影像数据画质不佳，管理查询困难，内容有效利用率低等各种问题。
3.以往，为了使得影像数据具有较高的画质，通常可以采用提升影像数据制作分辨率，提升压缩编码质量等措施，但是，这样的处理导致生成的影像数据的数据量急剧增大，对影像数据的存储、传输、分享都带来极大的压力。因此，一般商业和公共使用的影像数据中，供分享的影像数据(例如，广播电视、在线视频等)的影像质量都不太高。
4.以往家庭接入摄像头画质质量都不太高，比如市面上很多720p及以下分辨率的家庭监控摄像头，视频画质质量不佳，用户回看画面时普遍面临看不清画面细节等问题。且大量的这些摄像头并不具备充足的安防分析能力，比如并不能够有效进行安全入侵防范、老幼病残安全监控保护、孩子独处行为监护等等日益增长的智能视频辅助需求。


技术实现要素：

5.本技术实施例的目的在于提供一种影像处理装置及影像系统，用以改善现有技术中影像数据画质不佳的问题。
6.本技术提供一种影像处理装置，包括：数据输入接口，用于接入影像数据；网络处理器，与所述数据输入接口通信连接，用于调配来自所述数据输入接口的影像数据；图像处理器，与所述网络处理器通信连接，用于对所述影像数据进行画质增强；中央处理器，与所述数据输入接口，所述网络处理器，所述图像处理器通信连接，用于进行资源调度。
7.本技术提供的影像处理装置，其整体可以作为选配件，应用在影像输出装置(例如，电视，手机，电脑，运动相机，无人机等终端设备)，通过在其中设置图像处理器，在通过数据输入接口接入的影像数据的画质不佳的情况下，可以对影像数据进行画质增强的处理，由此，提升影像数据的画质；通过中央处理器对网络处理器，图像处理器及数据输入接口进行资源调度，能够协调三者之间的工作；利用本技术提供的影像处理装置，除了能够保证输出至影像输出装置的影像数据的画质之外，由于在影像输出装置侧对影像数据的画质进行提升，可以避免直接从影像数据的源端传输画质较佳的影像数据(通常数据量较大)至影像输出装置所导致的传输压力较大的问题。
8.一实施例中，所述图像处理器还用于基于画质增强后的影像数据进行内容分析。
9.利用本技术提供的影像处理装置提升影像数据的画质，使得画质提升后的影像数据可用于安防分析，用于安全入侵防范、老幼病残安全监控保护、孩子独处行为监护等场景
中，能够改善影像数据的可利用性。
10.一实施例中，所述图像处理器为ai芯片。
11.通过采用ai芯片作为图像处理器，一方面能够提升影像处理的效率，另一方面，一定程度上能够降低功耗，提升处理精度。
12.一实施例中，所述图像处理器为高算力芯片。
13.通过采用高算力芯片作为图像处理器，有助于提升影像处理的效率。
14.一实施例中，所述数据输入接口包括hdmi接口，usb接口，ethernet接口，spi接口，mipi接口，wifi接口，蓝牙接口中的任意组合。
15.本技术所提供的影像处理装置，通过使数据输入接口包括hdmi接口，usb接口，ethernet接口，spi接口，mipi接口，wifi接口，蓝牙接口中的任意组合，有助于提升影像处理装置的数据接入便利性，扩大影像处理装置的适用范围。
16.一实施例中，所述影像处理装置还包括数据输出接口，所述数据输出接口与所述网络处理器，所述图像处理器及所述中央处理器通信连接，所述数据输出接口用于输出经画质增强后的影像数据。
17.本技术所提供的影像处理装置，通过设置数据输出接口，便于将经画质增强后的影像数据输出至影像输出装置。
18.一实施例中，所述数据输出接口与所述数据输入接口复用；或者，所述数据输出接口与所述数据输入接口各自单独设置，且所述数据输出接口包括hdmi接口、usb接口、wifi接口、ethernet接口、flash接口，spi接口，mipi接口中的任意组合。
19.本技术所提供的影像处理装置，通过将数据输出接口与数据输入接口复用，有助于简化影像处理装置的结构，节省制造成本；通过将数据输出接口与数据输入接口各自单独设置，有助于避免数据冲突；通过使数据输出接口包括hdmi接口、usb接口、wifi接口、ethernet接口、flash接口，spi接口，mipi接口中的任意组合，有助于提升影像处理装置的数据输出便利性，扩大影像处理装置的适用范围。
20.一实施例中，所述影像处理装置还包括存储器，所述存储器与所述中央处理器，所述网络处理器，所述图像处理器通信连接，所述存储器用于存储所述影像数据，或存储经画质增强的影像数据。
21.由于数据输入接口接入影像数据的速率，网络处理器的工作效率及图像处理器的工作效率之间存在差异(本技术中，图像处理器的工作效率较高)，本技术所提供的影像处理装置，通过设置存储器，可以存储数据输入接口接入的影像数据，协调三者之间的工作，继而提升影像处理装置的处理效率。
22.一实施例中，所述存储器为ddr存储器。
23.本技术还提供一种影像系统，包括：前述影像处理装置；影像输入装置，与所述影像处理装置通信连接，用于为所述影像处理装置提供用于进行影像处理的影像数据；影像输出装置，与所述影像处理装置通信连接，用于输出经所述影像处理装置处理后的影像数据。
24.本技术的一个或多个实施例的细节在下面的附图和描述中提出。本技术的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
25.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
26.图1为本技术一实施例提供的影像系统的结构示意图；
27.图2为本技术一实施例提供的影像处理装置的结构示意图。
28.图标：影像系统-100；影像输入装置-10；影像处理装置-20；影像输出装置-30；数据输入接口-21；网络处理器-22；图像处理器-23；中央处理器-24；数据输出接口-25；存储器-26。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
30.请参阅图1，本技术提供一种影像系统100，包括影像输入装置10，影像处理装置20及影像输出装置30。影像处理装置20分别与影像输入装置10及影像输出装置30通信连接。影像处理装置20用于从影像输入装置10获取影像数据；对所获取的影像数据进行处理(例如，画质增强，内容分析等)；以及将经处理的影像数据输出至影像输出装置30。
31.可以理解，影像输出装置30，影像处理装置20及影像输入装置10可以是相互独立的终端设备，例如，影像输出装置30为智能电视，手机，电脑等，影像处理装置20为智能盒子，而影像输入装置10为手机，电脑，无人机等；或者，影像输入装置10，影像处理装置20与影像输出装置30可以分别为同一终端设备(例如，电视，手机，电脑，运动相机，无人机等)中的不同构件，例如，影像输入装置10可以是终端设备的成像组件(包括镜头，图像传感器等)，影像处理装置20可以是集成芯片，而影像输出装置30可以是显示组件(例如，显示屏，投影模块等)；或者，影像处理装置20与影像输出装置30分别为同一终端设备的不同构件，而影像输入装置10为独立于影像处理装置20及影像输出装置30所在终端设备的另一终端设备；或者，影像输入装置10与影像处理装置20分别为同一终端设备的不同构件，而影像输出装置30为独立于影像输入装置10及影像处理装置20所在终端的另一终端设备。
32.需要说明的是，对于前述影像输入装置10，影像处理装置20或影像输出装置30作为终端设备的构件的不同情况，本技术对构件之间的具体通信连接方式不做限定，只要能够构件之间的通信连接即可。对于前述影像处理装置20作为终端设备的构件的不同情况，影像处理装置20可以为集成芯片。
33.本实施例中，以影像输出装置30，影像处理装置20及影像输入装置10为相互独立的终端设备为例对影像系统进行介绍。可以理解，对于前述影像输出装置30，影像处理装置20及影像输入装置10作为终端设备的构件的不同情况中，影像输出装置30，影像处理装置20及影像输入装置10各自的工作与影像输出装置30，影像处理装置20及影像输入装置10为相互独立的终端设备的情况中，三者各自的工作相同。
34.影像输入装置10用于为影像处理装置20提供用于进行影像处理的影像数据。本实施例中，影像输入装置10所提供的影像数据可以是画质欠佳(例如，分辨率较低，对比度较
小，纹理细节较少等)且数据量较小的影像数据，便于在将影像数据发送给影像处理装置20时，降低数据传输压力。影像输入装置10可以是机顶盒，摄像头(例如，安防摄像头，家用摄像头，运动相机等)，智能终端(例如，手机，平板电脑，无人机等)，nas(network-attached storage)系统等。
35.当影像输入装置10为摄像头时，影像输入装置10所提供的影像数据为摄像头实时采集的影像；当影像输入装置10为智能终端时，影像输入装置10所提供的影像数据可以是智能终端中所存储的影像，智能终端从网络获取的影像，或者智能终端实时采集的影像；当影像输入装置10为机顶盒时，影像输入装置10所提供的影像数据可以是影像输入装置10基于网络缓存至本地的影像或者基于网络实时获取的影像；当影像输入装置10为nas系统，u盘，云存储系统等存储系统时，影像输入装置10所提供的影像数据为存储在存储系统中的影像。可以理解，此处仅为示例，本技术并不以此为限。
36.影像处理装置20与影像输入装置10通信连接，用于从影像输入装置10处获取影像数据。可以理解，影像处理装置20与影像输入装置10可以通过有线连接或无线连接的方式实现通信连接。本实施例中，影像处理装置20与影像输入装置10可以处于同一局域网内。由于同一局域网内的设备之间进行数据传输时，数据传输速度较快，能够一定程度上降低对带宽的要求。
37.影像处理装置20，还用于对从影像输入装置10获取的影像数据进行处理。可以理解，影像处理装置20对从影像输入装置10处获取的影像数据所进行的处理包括诸如分辨率提升，效果增强，局部动态对比度调整，纹理细节增补等画质增强处理，或者，图像识别，图像提取等内容分析处理。当然，影像处理装置20还可以用于基于画质增强后的影像数据进行内容分析，这样便于提高内容分析的有效性。
38.请参阅图2，本实施例中，影像处理装置20包括通信连接的数据输入接口21，网络处理器22，图像处理器23及中央处理器24。可选地，数据输入接口21，网络处理器22，图像处理器23及中央处理器24可以通过数据总线实现通信连接。
39.数据输入接口21用于接入影像数据，即，从影像输入装置10接收影像数据。
40.当影像处理装置20与影像输入装置10之间通过有线连接的方式实现通信连接时，数据输入接口21可以是hdmi接口，usb接口(例如，usb2.0接口，usb3.0接口等)，ethernet接口，spi接口，mipi接口等。示例性地，当影像输入装置10为机顶盒时，数据输入接口25为hdmi接口；当影像输入装置10为诸如nas系统，u盘或云存储系统等存储系统时，数据输入接口25为usb接口或ethernet接口。
41.当影像处理装置20与影像输入装置10之间通过无线连接的方式实现通信连接时，数据输入接口21可以是wifi接口，蓝牙接口等。此时，影像输入装置10可以是手机，电脑等终端。
42.可以理解，数据输入接口21的数量可以为多个，且多个数据输入接口21各自的接口类型可以不同。本实施例中，数据输入接口21可以包括hdmi接口，usb接口，ethernet接口，spi接口，mipi接口，wifi接口，蓝牙接口中的任意组合。通过使数据输入接口21包括hdmi接口，usb接口，ethernet接口，spi接口，mipi接口，wifi接口，蓝牙接口中的任意组合，有助于提升影像处理装置20的数据接入便利性，扩大影像处理装置20的适用范围。
43.网络处理器22与数据输入接口21通信连接，用于调配来自数据输入接口21的影像
数据。
44.图像处理器23，与网络处理器通信连接，用于对影像数据进行画质增强(例如，分辨率提升，效果增强，局部动态对比度调整，纹理细节增补等。
45.可以理解，图像处理器23可以采用并行的进程分别对影像数据进行分辨率提升，效果增强，局部动态对比度调整及纹理细节增补的画质增强处理；或者，图像处理器23可以依次对影像数据进行不同的画质增强处理，不同的画质增强处理的先后顺序不做限定。
46.图像处理器23还可以用于基于画质增强后的影像数据进行内容分析等通过基于画质增强后的影像数据进行内容分析，使得画质提升后的影像数据可用于安全入侵防范、老幼病残安全监控保护、孩子独处行为监护等场景中，能够改善影像数据的可利用性。
47.一实施例中，图像处理器23可以是ai芯片。通过采用ai芯片作为图像处理器23，一方面能够提升影像处理的效率，另一方面，一定程度上能够降低功耗，提升处理精度。
48.可以理解，图像处理器23也可以是高算力芯片。通过采用高算力芯片作为图像处理器23，有助于提升影像处理的效率。需要说明的是，高算力芯片是指算力达业界所使用的普通芯片的算力的(大于1的)正整数倍的芯片。
49.可以理解，图像处理器23中可以内置有计算机视觉算法。计算机视觉算法的具体类型，本技术不做限定。
50.中央处理器24与数据输入接口21，网络处理器22及图像处理器23通信连接，用于进行资源调度，例如，调度数据输入接口21从影像输入装置10接收影像数据；调度网络处理器22对来自数据输入接口21的影像数据进行调配；调度图像处理器23对影像数据进行处理；调度图像处理器23对影像数据进行不同的画质增强处理的先后顺序等。
51.本实施例中，影像处理装置20还包括数据输出接口25。数据输出接口25与网络处理器22，图像处理器23及中央处理器24通信连接(例如，通过通信总线)。数据输出接口25用于输出经画质增强后的影像数据，或者内容分析结果。通过设置数据输出接口25，便于将经画质增强后的影像数据或者内容分析结果输出至影像输出装置30。
52.一实施例中，数据输出接口25与数据输入接口21可以复用。通过将数据输出接口与数据输入接口复用，有助于简化影像处理装置的结构，节省制造成本。
53.当然，数据输出接口25与数据输入接口21也可以各自单独设置。通过将数据输出接口25与数据输入接口21各自单独设置，有助于避免数据冲突。另外，数据输出接口25包括hdmi接口、usb接口、wifi接口、ethernet接口、flash接口，spi接口，mipi接口中的任意组合。通过使数据输出接口25包括hdmi接口、usb接口、wifi接口、ethernet接口、flash接口，spi接口，mipi接口中的任意组合，有助于提升影像处理装置20的数据输出便利性，扩大影像处理装置20的适用范围。
54.本实施例中，影像处理装置20还可以包括存储器26。存储器26与数据输入接口21，网络处理器22，图像处理器23及中央处理器24通信连接(例如，通过数据总线连接)。存储器26用于存储数据输入接口21从影像输入装置10接收的影像数据，或者存储经图像处理器23画质增强后的影像数据；或者存储经图像处理器23内容分析后的分析结果。
55.具体地，网络处理器22可以对数据输入接口21从影像输入装置10接入的影像数据进行调配，并将其存入存储器26中。图像处理器23从存储器26获取影像数据并对所获取的影像数据进行处理，然后将处理后的影像数据存回存储器26中。网络处理器22从存储器26
中调配经处理的影像数据，并送至数据输出接口25，以便将经处理的影像数据经数据输出接口25发送给影像输出装置30。需要说明的是，图像处理器23及网络处理器22在从存储器26读取数据时，可以采用按通道分块读取的方式进行读取。
56.可以理解，由于数据输入接口21接入影像数据的速率，网络处理器22的工作效率及图像处理器23的工作效率之间存在差异(本技术中，图像处理器23的工作效率较高)，通过设置存储器26，可以存储数据输入接口21从影像输入装置10接入的影像数据，协调数据输入接口21，网络处理器22及图像处理器23三者之间的工作，继而提升影像处理装置20的处理效率。
57.可以理解，存储器26可以是ddr存储器。
58.影像输出装置30与影像处理装置20通信连接，用于输出经影像处理装置20处理后的影像数据。
59.可以理解，影像处理装置20可以作为影像输出装置30的选配件应用在影像输出装置30侧。
60.一实施例中，影像处理装置20与影像输出装置30可以各自单独设置。影像处理装置20与影像输出装置30可以通过有线方式(例如，数据线直连)或无线方式(例如，wifi，蓝牙等方式)实现通信连接。本实施例中，影像处理装置20与影像输出装置30位于同一局域网内。由于同一局域网内的设备之间进行数据传输时，数据传输速度较快，能够一定程度上降低对带宽的要求。
61.一实施例中，影像处理装置20与影像输出装置30可以整合在一起(即，影像处理装置20内置与影像输出装置30中)。
62.可以理解，影像输出装置30可以是诸如手机，智能电视，平板电脑等的智能终端。
63.本技术提供的影像处理装置，其整体可以作为选配件，应用在影像输出装置(例如，电视，手机，电脑等具备显示功能的终端)，通过在其中设置图像处理器，在通过数据输入接口接入的影像数据的画质不佳的情况下，可以对影像数据进行画质增强的处理，由此，提升影像数据的画质；通过中央处理器对网络处理器，图像处理器及数据输入接口进行资源调度，能够协调三者之间的工作；利用本技术提供的影像处理装置，除了能够保证输出至影像输出装置的影像数据的画质之外，由于在影像输出装置侧对影像数据的画质进行提升，可以避免直接从影像数据的源端传输画质较佳的影像数据(通常数据量较大)至影像输出装置所导致的传输压力较大的问题；另外，画质增强后的影像数据可用于安全入侵防范、老幼病残安全监控保护、孩子独处行为监护等场景中，能够改善影像数据的可利用性。
64.可以理解，图像处理器23对影像数据进行内容分析所得到的分析结果可以以独立数据流，独立文件等形式，或者以附带在处理后的影像数据的数据流上的形式存入存储器26或者输出至影像输出装置30。
65.可以理解，其他实施例中，影像处理装置20还可以包括编解码器。编解码器与数据输入接口21，网络处理器22，图像处理器23，中央处理器24，数据输出接口25及存储器26通信连接(例如，通过数据总线连接)。编解码器用于对影像处理装置20从影像输入装置10获取的影像数据进行解码，以及对经图像处理器23处理后的影像数据进行编码，以使编码后的数据便于从影像输出装置30输出。
66.可以理解，当数据输出接口25为hdmi接口时，影像处理装置20还可以包括dpu
(distributed processing unit，分散处理单元)及dpi(digital peripheral interface，数字外围设备接口)。dpu与数据输入接口21，网络处理器22，图像处理器23，中央处理器24，存储器26通信连接(例如，通过数据总线连接)。dpi连接在dpu与hdmi接口之间。dpu用于在中央处理器21的调度下从存储器26读取处理后的影像数据，并对所读取到的影像数据进行压缩及格式转换，然后将压缩及格式转换后的影像数据经dpi及hdmi接口输出。
67.可以理解，其他实施例中，影像处理装置20还可以包括存储器控制单元。存储器26经存储器控制单元与数据输入接口21，网络处理器22，图像处理器23，中央处理器24，及数据输出接口25通信连接。存储器控制单元用于对存储器26中数据的存入及读取进行管理。
68.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种影像处理装置，其特征在于，包括：数据输入接口，用于接入影像数据；网络处理器，与所述数据输入接口通信连接，用于调配来自所述数据输入接口的影像数据；图像处理器，与所述网络处理器通信连接，用于对所述影像数据进行画质增强；中央处理器，与所述数据输入接口，所述网络处理器，所述图像处理器通信连接，用于调度所述数据输入接口从影像输入装置接收所述影像数据；调度所述网络处理器对来自所述数据输入接口的影像数据进行调配；调度所述图像处理器对所述影像数据进行处理。2.如权利要求1所述的影像处理装置，其特征在于，所述图像处理器还用于基于画质增强后的影像数据进行内容分析。3.如权利要求1所述的影像处理装置，其特征在于，所述图像处理器为ai芯片。4.如权利要求1所述的影像处理装置，其特征在于，所述数据输入接口包括hdmi接口，usb接口，ethernet接口，spi接口，mipi接口，wifi接口，蓝牙接口中的任意组合。5.如权利要求1所述的影像处理装置，其特征在于，所述影像处理装置还包括数据输出接口，所述数据输出接口与所述网络处理器，所述图像处理器及所述中央处理器通信连接，所述数据输出接口用于输出经画质增强后的影像数据。6.如权利要求5所述的影像处理装置，其特征在于，所述数据输出接口与所述数据输入接口复用；或者，所述数据输出接口与所述数据输入接口各自单独设置，且所述数据输出接口包括hdmi接口、usb接口、wifi 接口、ethernet接口、flash接口，spi接口，mipi接口中的任意组合。7.如权利要求1所述的影像处理装置，其特征在于，所述影像处理装置还包括存储器，所述存储器与所述中央处理器，所述网络处理器，所述图像处理器通信连接，所述存储器用于存储所述影像数据，或存储经画质增强的影像数据。8.如权利要求7所述的影像处理装置，其特征在于，所述存储器为ddr存储器。9.一种影像系统，其特征在于，包括：如权利要求1至8任一项所述的影像处理装置；影像输入装置，与所述影像处理装置通信连接，用于为所述影像处理装置提供用于进行影像处理的影像数据；影像输出装置，与所述影像处理装置通信连接，用于输出经所述影像处理装置处理后的影像数据。

技术总结
本申请提供一种影像处理装置及影像系统，该影像处理装置包括：数据输入接口，用于接入影像数据；网络处理器，与所述数据输入接口通信连接，用于调配来自所述数据输入接口的影像数据；图像处理器，与所述网络处理器通信连接，用于对所述影像数据进行画质增强；中央处理器，与所述数据输入接口，所述网络处理器，所述图像处理器通信连接，用于进行资源调度。本申请的影像处理装置及影像系统，通过设置图像处理器，在中央处理器的调度下，能够实现对从数据输入接口接入的影像数据进行画质增强，即，提升影像数据的画质。提升影像数据的画质。提升影像数据的画质。


技术研发人员：袁梦尤
受保护的技术使用者：上海砹芯科技有限公司
技术研发日：2020.12.18
技术公布日：2022/3/8