视频帧的滤波方法、及编解码方法、编解码器和存储介质与流程

1.本技术涉及视频压缩编码技术领域，特别是涉及一种视频帧的滤波 方法、及编解码方法、编解码器和存储介质。


背景技术：

2.视频是连续的图像序列，由连续的视频帧构成。由于连续的视频帧 之间相似性极高，为便于储存传输，我们需要对原始的视频进行编码压 缩，以去除空间、时间维度的冗余，以降低视频传输过程中的网络带宽 和减少存储空间的占用。然而，对视频帧的编码压缩，会对视频帧的画 质造成一定的影响，往往使得基于残差重建后的图像帧的画质不如编码 压缩前的视频帧。
3.目前，对重建后的图像帧进行滤波，是改善画质的一种手段之一。 滤波方式例如是利用神经网络来对图像帧进行神经网络滤波、去块滤波、 样点自适应补偿滤波、自适应环路滤波等。但是，现有的滤波方法比较 单一，这也使得滤波处理的效果作用不大。


技术实现要素：

4.本技术提供一种视频帧的滤波方法、及编解码方法、编解码器和存 储介质。
5.本技术第一方面提供了一种视频帧的滤波方法，方法包括：获取目 标图像帧；确定目标图像帧的帧类型对应的滤波处理方式；使用对应的 滤波处理方式对目标图像帧的像素点的像素值进行滤波，其中，滤波处 理方式包括依序进行的若干滤波子步骤，若干滤波子步骤中包括神经网 络滤波，且至少两个不同的帧类型对应的滤波处理方式不同。
6.因此，通过确定与每一个目标图像帧的帧类型对应的滤波处理方式， 并且通过限定至少两个不同的帧类型对应的滤波处理方式不同，以此能 够使用与帧类型更加匹配的滤波处理方式来对目标图像帧的像素点的 像素值进行滤波，提高了滤波的针对性，有助于提高滤波效果，改善目 标图像帧的画质。另外，通过确定目标图像帧的帧类型对应的滤波处理 方式，可以降低对每一个目标图像帧进行神经网络滤波的神经网络的复 杂度。
7.本技术第二方面提供了一种编码方法，编码方法包括：利用当前帧 对应的残差得到当前帧的目标图像帧；对目标图像帧执行上述第一方面 描述的视频帧的滤波方法，以得到滤波后目标图像帧；基于滤波后目标 图像帧对当前帧进行编码。
8.本技术第三方面提供了一种解码方法，解码方法包括：利用当前帧 对应的残差得到当前帧的目标图像帧；对目标图像帧执行上述第一方面 描述的视频帧的滤波方法，以得到滤波后目标图像帧。
9.本技术第四方面提供了一种编码器，编码器包括相互耦接的处理器 和存储器，其中，处理器用于执行上述第二方面描述的编码方法。
10.本技术第五方面提供了一种解码器，编码器包括相互耦接的处理器 和存储器，其中，处理器用于执行上述第三方面描述的解码方法。
11.本技术第六方面提供了一种计算机可读存储介质，存储有能够被处 理器运行的
计算机程序，计算机程序用于实现如执行上述第一方面描述 的视频帧的滤波方法，或权上述第二方面描述的编码方法，或上述第三 方面描述的解码方法。
12.上述方案，通过确定与每一个目标图像帧的帧类型对应的滤波处理 方式，并且通过限定至少两个不同的帧类型对应的滤波处理方式不同， 以此能够使用与帧类型更加匹配的滤波处理方式来对目标图像帧的像 素点的像素值进行滤波，提高了滤波的针对性，有助于提高滤波效果， 改善目标图像帧的画质。
附图说明
13.图1是本技术视频帧的滤波方法第一实施例的一流程示意图；
14.图2是本技术视频帧的滤波方法一实施例的另一流程示意图；
15.图3是本技术视频帧的滤波方法实施例视频帧的滤波处理方式示意 图；
16.图4是本技术视频帧的滤波方法第二实施例的流程示意图；
17.图5是本技术视频帧的滤波方法实施例中将目标图像帧及其对应的 参考帧作为输入的示意图；
18.图6是本技术视频帧的滤波方法的第三实施例的流程示意图；
19.图7是本技术视频帧的滤波方法实施例中对目标图像帧的像素点的 亮度分量和两个色度分量进行滤波的示意图；
20.图8是本技术视频帧的滤波方法的第四实施例的流程示意图；
21.图9是本技术视频帧的滤波方法的第五实施例的流程示意图；
22.图10是本技术视频帧的编码方法的实施例的流程示意图；
23.图11是本技术视频帧的解码方法的实施例的流程示意图；
24.图12是本技术编码器一实施例的框架示意图；
25.图13是本技术解码器一实施例的框架示意图；
26.图14是本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
27.下面结合说明书附图，对本技术实施例的方案进行详细说明。
28.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、 接口、技术之类的具体细节，以便透彻理解本技术。
29.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语
ꢀ“
和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系， 例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在 b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种
ꢀ“
或”的关系。此外，本文中的“多”表示两个或者多于两个。
30.在本技术中，视频帧与图像帧的含义相同。
31.请参阅图1，图1是本技术视频帧的滤波方法第一实施例的一流程 示意图。具体而言，可以包括如下步骤：
32.步骤s11：获取目标图像帧。
33.当前帧经过预测后会得到对应的预测值，以及与当前帧对应的残差。 残差经过变换和量化后，结合预测值能够得到与当前帧对应的图像帧， 此即为本技术中的目标图像
帧。具体的，目标图像帧可以是在编码侧得 到的，也可以是在解码侧得到的，也即，本技术的视频帧的滤波方法可 以应用于编码侧和解码侧。
34.步骤s12：确定目标图像帧的帧类型对应的滤波处理方式。
35.目标图像帧的帧类型与其对应的当前帧的帧类型相同。帧类型例如 包括帧内编码图像帧(intra-coded picture，以下简称i帧)、前向预测编 码图像帧(predictive-coded picture，以下简称p帧)和双向预测编码图 像帧(bidirectionally predicted picture，以下简称b帧)。
36.在一个具体实施方式中，b帧的帧类型还可以包括根据b帧的时域 层进行进一步分类型，例如，b帧包括处于第一时域层的b1帧、处于 第二时域层的b2帧和处于第三时域层的b3帧。
37.在确定目标图像帧帧类型之后，便可确定目标图像帧的帧类型对应 的滤波处理方式。例如，目标图像帧的帧类型为p帧，则对应的滤波处 理方式为与p帧对应的滤波处理方式。又如，目标图像帧的帧类型为b 帧，则对应的滤波处理方式为与b帧对应的滤波处理方式。
38.步骤s13：使用对应的滤波处理方式对目标图像帧的像素点的像素 值进行滤波。
39.在本技术中，滤波处理方式包括依序进行的若干滤波子步骤，若干 滤波子步骤中包括神经网络滤波。滤波子步骤例如包括：去块滤波、样 点自适应补偿滤波、自适应环路滤波和神经网络滤波。并且，至少两个 不同的帧类型对应的滤波处理方式不同。也即，在本技术中，至少存在 两种不同的滤波处理方式。例如，每一个帧类型对应的滤波处理方式都 与其他帧类型对应的滤波处理方式不同。又如，部分帧类型对应的滤波 处理方式都与其他帧类型对应的滤波处理方式不同。通过使用对应的滤 波处理方式对目标图像帧的像素点的像素值进行滤波，以此可以实现对 视频帧的滤波。
40.通过对目标图像帧的像素点的像素值进行滤波，可以改变像素点的 像素值。例如目标图像帧的某像素点的像素值为yuv编码下的a值， 滤波后可能是b值，具体可以是修改a值的亮度分量值和/或颜色分量 值，以得到b值。
41.在一个实施方式中，利用包含跳跃连接的神经网络来进行神经网络 滤波。包含跳跃连接的神经网络例如是残差网络。通过利用包含跳跃连 接的神经网络来进行神经网络滤波，可以利用包含跳跃连接的神经网络 更好地特征学习性能来提高滤波效果。
42.因此，通过确定与每一个目标图像帧的帧类型对应的滤波处理方式， 并且通过限定至少两个不同的帧类型对应的滤波处理方式不同，以此能 够使用与帧类型更加匹配的滤波处理方式来对目标图像帧的像素点的 像素值进行滤波，提高了滤波的针对性，有助于提高滤波效果，改善目 标图像帧的画质。另外，通过确定目标图像帧的帧类型对应的滤波处理 方式，可以降低对每一个目标图像帧进行神经网络滤波的神经网络的复 杂度。
43.在一个实施方式中，可以在上述的若干滤波子步骤中，将滤波得到 的图像帧作为参考帧之前的滤波子步骤作为环路滤波。例如，若干滤波 子步骤包括依序进行的去块滤波、样点自适应补偿滤波、自适应环路滤 波和神经网络滤波，并且是将自适应环路滤波得到的图像帧作为参考帧， 此时可以将去块滤波、样点自适应补偿滤波、自适应环路滤波作为环路 滤波。
44.在一个具体实施方式中，在确定目标图像帧的帧类型为i帧的情况 下，可以设置
环路滤波包括神经网络滤波。在确定目标图像帧的帧类型 为b帧的情况下，设置环路滤波不包括神经网络滤波。此时神经网络滤 波是对作为参考帧的b帧进行滤波，此时可以认为神经网络滤波用于后 处理。
45.在一个具体实施方式中，在确定目标图像帧的帧类型为i帧的情况 下，可以设置环路滤波不包括神经网络滤波，此时神经网络滤波是对作 为参考帧的i帧进行滤波，亦可以认为神经网络滤波用于后处理。在确 定目标图像帧的帧类型为b帧的情况下，环路滤波包括神经网络滤波。
46.在一个具体实施方式中，在环路滤波包括神经网络滤波的情况下， 环路滤波具体包括神经网络滤波，以及去块滤波、样点自适应补偿滤波、 自适应环路滤波中的至多两种。例如，环路滤波包括神经网络滤波、去 块滤波和样点自适应补偿滤波。又如，环路滤波包括神经网络滤波、去 块滤波。
47.因此，通过不同帧类型的图像帧设置具体的滤波处理，提高了滤波 的针对性。
48.在一个实施方式中，在确定目标图像帧的帧类型为i帧的情况下， 上述步骤提及的与i帧对应的滤波处理方式包括：对目标图像帧的像素 点的像素值依序进行样点自适应补偿滤波、神经网络滤波和自适应环路 滤波。在一个具体实施方式中，可以将经过自适应环路滤波后得到的图 像作为参考帧图像，用于后续的视频帧编码，以此可以提高参考帧的图 像质量，有助于改善参考该参考帧的视频帧的画质。
49.在一个实施方式中，在确定目标图像帧的帧类型为b帧的情况下， 上述步骤提及的与b帧对应的滤波处理方式包括：对目标图像帧的像素 点的像素值依序进行去块滤波、样点自适应补偿滤波、自适应环路滤波 和神经网络滤波。在一个具体实施方式中，可以将经过自适应环路滤波 后得到的图像作为参考帧图像，将经过神经网络滤波得到的图像作为输 出图像，用于输出。
50.因此，通过为i帧和b帧设置具体的滤波处理方式，可以对于这两 种类型的视频帧的滤波更加具有针对性，有助于提高滤波效果，改善目 标图像帧的画质。
51.请参阅图2，图2是本技术视频帧的滤波方法一实施例的另一流程 示意图。在本实施例中，上述步骤提及的“确定目标图像帧的帧类型对 应的滤波处理方式”具体可以包括s121和步骤s122。
52.步骤s121：在确定目标图像帧的帧类型为b帧的情况下，确定b 帧目标图像帧的时域层。
53.因为b帧目标图像帧还可以进一步按照其所处的时域层进行细分， 因此在确定目标图像帧的帧类型为b帧的情况下，可以进一步确定b帧 目标图像帧的时域层。
54.步骤s122：确定与b帧目标图像帧的时域层对应的滤波处理。
55.确定b帧目标图像帧的时域层后，便可以相应确定与b帧目标图像 帧的时域层对应的滤波处理，以此实现对不同时域层的b帧进行针对性 的滤波，以提高滤波效果。
56.在一个实施方式中，在确定目标图像帧为第一预设时域层的b帧的 情况下，上述的与b帧目标图像帧的时域层对应的滤波处理包括：去块 滤波、样点自适应补偿滤波、自适应环路滤波和神经网络滤波，并且， 将神经网络滤波输出的图像帧作为参考帧。第一预设时域层例如是处于 第一时域层的b1目标图像帧。在其他实施方式中，第一预设时域层也 可以是其他时域层的b帧目标图像帧。此外，将神经网络滤波输出的图 像帧作为参考帧，即
表示与第一预设时域层的b帧对应的滤波处理完之 后，再将滤波得到的图像帧作为参考帧之前处理完成。
57.在一个实施方式中，确定目标图像帧为第二预设时域层的b帧的情 况下，上述的与b帧目标图像帧的时域层对应的滤波处理包括：去块滤 波、神经网络滤波、样点自适应补偿滤波、自适应环路滤波，并且，将 自适应环路滤波输出的图像帧作为参考帧。第二预设时域层例如是处于 第二时域层的b2目标图像帧。在其他实施方式中，第二预设时域层也 可以是其他时域层的b帧目标图像帧。此外，将自适应环路滤波输出的 图像帧作为参考帧，即表示与第二预设时域层的b帧对应的滤波处理完 之后，再将滤波得到的图像帧作为参考帧之前处理完成。
58.在一个实施方式中，确定目标图像帧为第三预设时域层的b帧的情 况下，上述的与b帧目标图像帧的时域层对应的滤波处理包括：去块滤 波、样点自适应补偿滤波、自适应环路滤波和神经网络滤波。并且，将 自适应环路滤波输出的图像帧作为参考帧。第三预设时域层例如是处于 第三时域层的b3目标图像帧。在其他实施方式中，第三预设时域层也 可以是其他时域层的b帧目标图像帧。
59.在本实施例中，何时将滤波得到的图像帧作为参考帧，也可以认为 是滤波处理方法包含的步骤之一。
60.因此，通过为不同时域层的b帧进行确定具体的滤波处理方式，以 此可以实现对不同时域层的b帧目标图像帧进行针对性的滤波，以提高 滤波效果。
61.参阅图3，图3是本技术视频帧的滤波方法实施例视频帧的滤波处 理方式示意图。在图3中，i为i帧，b为b帧，其中，b1是第一时域 层的b帧，b2是第二时域层的b帧，b3是第三时域层的b帧。其中， 实线框内的视频帧为目标图像帧，虚线框内的视频帧为经过滤波后作为 参考帧的视频帧。具体的，在图3中，sao为样点自适应补偿，nn为 神经网络滤波，alf为自适应环路滤波，dbf为去块滤波。另外，在图 3中，虚线表示帧之间的参考关系，虚线箭头指向参考帧。
62.在一个实施例中，上述步骤提及的“使用对应的滤波处理方式对目 标图像帧的像素点的像素值进行滤波”具体包括：将目标图像帧以及目 标图像帧的参考帧作为输入进行神经网络滤波，以利用参考帧对目标图 像帧的像素值进行神经网络滤波。也即，在进行神经网络滤波时，会将 目标图像帧以及目标图像帧的参考帧作为输入来进行神经网络滤波，也 即将目标图像帧以及目标图像帧的参考帧均输入到进行滤波的神经网 络之中，由神经网络来提取目标图像帧以及目标图像帧的参考帧特征信 息，由神经网络输出滤波后的目标图像帧，以此实现对利用参考帧对目 标图像帧的像素值进行神经网络滤波。
63.具体的，将目标图像帧以及目标图像帧的参考帧作为输入，可以是 将目标图像帧以及目标图像帧的参考帧的像素值作为特征通道信息，然 后将特征通道信息作为输入，输入到神经网络中，进行神经网络滤波。
64.在一个具体实施方式中，可以是将p帧目标图像帧及其参考帧作为 神经网络的输入，然后神经网络能够提取p帧目标图像帧及其参考帧的 特征信息，最后输出滤波后的p帧目标图像帧。在另一个具体实施方式 中，可以是将b帧目标图像帧及其参考帧作为神经网络的输入，然后神 经网络能够提取b帧目标图像帧及其参考帧的特征信息，最后输出滤波 后的b帧目标图像帧。
65.因此，通过将目标图像帧及其参考帧均作为输入，使得在进行神经 网络滤波时，可以利用参考帧包含的时域信息，有助于提高滤波效果。
66.参阅图4，图4是本技术视频帧的滤波方法第二实施例的流程示意 图。在本实施例中，上述步骤提及的“将目标图像帧以及目标图像帧的 参考帧作为输入进行神经网络滤波”具体包括步骤s21和步骤s22。
67.步骤s21：确定帧类型为b帧的b帧目标图像帧的参考帧中i帧的 数量。
68.对于b帧目标图像帧而言，其包含两帧参考帧。因此，可以首先确 定b帧目标图像帧参考帧中i帧的数量，以此进行针对性的神经网络滤 波。具体的，b帧目标图像帧参考帧中i帧的数量可以是2帧，1帧或 者是没有i帧参考帧。
69.步骤s22：将包含不同数量的i帧参考帧的b帧目标图像帧及其对 应的参考帧作为输入，并使用与b帧目标图像帧的参考帧中i帧的数量 对应的神经网络滤波处理方式对b帧目标图像帧进行滤波。
70.在本实施例中，可以针对b帧的目标图像帧的参考帧中i帧的数量 的不同，来进行对应的神经网络滤波处理。具体的，可以认为是利用不 用的神经网络来对参考帧中i帧的数量不同的b帧目标图像帧进行神经 网络滤波。在本技术中，不同的神经网络可以认为是神经网络的结构不 同；或者是相同的网络结构，但是网络参数不同；或者是结构和网络参 数均不相同。
71.具体的，可以为参考帧中i帧数量为1的b帧目标图像帧确定一个 神经网络滤波处理方式，为参考帧中i帧数量为2的b帧目标图像帧确 定一个神经网络滤波处理方式，参考帧中i帧数量为0的b帧目标图像 帧确定一个神经网络滤波处理方式。以此实现对参考帧中i帧数量不同 的b帧针对性滤波。
72.在一个具体实施方式中，在确定参考帧包括i帧的情况下，可以将 其中一帧i帧的像素值作为第一预设通道的通道值进行神经网络滤波处 理。第一预设通道的具体通道数量可以是与i帧的像素值类型的数量对 应。例如，i帧的像素值类型包括亮度分量和两个色度分量，则第一预 设通道的具体通道数量为3。又如，i帧的像素值类型包括亮度分量，则 第一预设通道的具体通道数量为1。第一预设通道可以是预设通道序号 的具体通道，例如，第一预设通道具体为3个通道时，可以包括第一通 道、第二通道和第三通道，或者是倒数前三个通道等等，本技术不对第 一预设通道做具体的限定。在一个例子中，在将其中一帧i帧的像素值 作为最前面(前三个通道)的通道值后，后续可以将目标图像帧的像素 值作为通道值，最后是将另外一帧参考帧的像素值作为剩余通道的通道 值。例如，b帧目标图像帧的参考帧为1帧i帧，1帧b帧。每一帧的 像素值都是亮度分量值和两个色度分量值，则可以将i帧参考帧的亮度 分量值和两个色度分量值作为第一通道值至第三通道值，将b帧目标图 像帧的亮度分量值和两个色度分量值作为第四通道值至第六通道值，将 b帧参考帧的亮度分量值和两个色度分量值作为第七通道值至第九通道 值。
73.又如，i帧参考帧的像素值为亮度分量值和两个色度分量值，则是 将i帧参考帧亮度分量值和两个色度分量值分别第一通道值、第二通道 值和第三通道值。若只需要参考帧的亮度分量值，则是将参考帧的亮度 分量值作为第一通道值。
74.参考帧包括i帧，i帧的数量可以为1或2。在i帧的数量为1的情 况下，可以是i帧参考帧的像素值作为输入到神经网络中的通道信息的 第一预设通道的通道值。在i帧的数量
为2的情况下，可以是将i帧参 考帧中，时间序列靠前的i帧的像素值作为输入到神经网络中的通道信 息的第一预设通道的通道值，将另外一帧i帧参考帧的像素值作为最后 的通道值。
75.在一个具体实施方式中，确定参考帧均为b帧的情况下，将处于最 低时域层的b帧参考帧的像素值作为第二预设通道的通道值进行神经网 络滤波处理。第二预设通道的具体通道数量可以是与b帧的像素值类型 的数量对应。第二预设通道的具体设置方法请参阅上述第一预设通道的 相关描述，此处不再赘述。若b帧参考帧的时域层相同，则可以进一步 将时间序列靠前的b帧作为第二预设通道的通道值进行神经网络滤波处 理。，本技术不对第二预设通道做具体的限定。
76.在一个具体实施方式中，确定参考帧为b帧和p帧的情况下，则可 以将p帧参考帧的像素值作为最前面的通道值进行神经网络滤波处理。
77.在一个实施例中，帧类型为p帧的目标图像帧，可以是将其参考帧 的像素值作为最前面的通道值。
78.因此，在将目标图像帧以及目标图像帧的参考帧作为输入进行神经 网络滤波时，通过确定输入到神经网络的通道信息具体确定方法，有助 于提高神经网络的滤波效果。
79.参阅图5，图5是本技术视频帧的滤波方法实施例中将目标图像帧 及其对应的参考帧作为输入的示意图。在图5中，实线框内的视频帧为 目标图像帧，其中，i为i帧，b为b帧，其中，b1是第一时域层的b 帧，b2是第二时域层的b帧，b3是第三时域层的b帧，每一帧图像帧 上括号中的数字表示了该帧的编码顺序。虚线框内的视频帧为经过滤波 后作为参考帧的视频帧。nn1、nn2和nn3为三个不同的神经网络滤 波处理。在图3中，对于b3(5)目标图像帧而言，其对应的神经网络 滤波处理为nn2，nn2的输入包括i(1)目标图像帧、b3(5)目标图 像帧，和b2(4)目标图像帧，其中i(1)目标图像帧和b2(4)目标 图像帧为b3(5)目标图像帧的参考帧。
80.在一个实施例中，上述步骤提及的“使用对应的滤波处理方式对目 标图像帧的像素点的像素值进行滤波”，具体可以包括：在同一个神经 网络滤波处理中对目标图像帧的像素点的亮度分量和色度分量进行滤 波；或者，在不同的神经网络滤波处理中对目标图像帧的像素点的亮度 分量和色度分量进行滤波。
81.在本实施例中，在同一个神经网络滤波处理中对目标图像帧的像素 点的亮度分量和色度分量进行滤波，可以认为是利用一个神经网络对目 标图像帧的像素点的亮度分量和色度分量进行滤波。若输入到神经网络 的还包括参考帧，则可以是利用一个神经网络对目标图像帧及其参考帧 的的像素点的亮度分量和色度分量进行滤波。因此，通过在同一个神经 网络滤波处理中对目标图像帧的像素点的亮度分量和色度分量进行滤 波，可以实现对目标图像帧整体滤波。
82.在本实施例中，在不同的神经网络滤波处理中对目标图像帧的像素 点的亮度分量和色度分量进行滤波，可以认为是利用不同的神经网络分 别对目标图像帧的像素点的亮度分量和色度分量进行滤波。若输入到神 经网络的还包括参考帧，则可以是利用不同的神经网络对目标图像帧及 其参考帧的的像素点的亮度分量和色度分量进行滤波。因此，通过在不 同的神经网络滤波处理中对目标图像帧的像素点的亮度分量和色度分 量分别进行滤波，可以实现对目标图像帧的亮度分量和色度分量针对性 的滤波，有助于提高滤波效
果。
83.在一个实施方式中，上述的“在不同的神经网络滤波流程中对目标 图像帧的像素点的亮度分量和色度进行滤波”，具体包括：在三个神经 网络滤波处理中分别对目标图像帧的像素点的亮度分量和两个色度分 量进行滤波。因此，通过在三个神经网络滤波处理中分别对目标图像帧 的像素点的亮度分量和两个色度分量进行滤波，可以实现针对目标图像 帧的像素点的亮度分量和两个色度分量的分别滤波，提高滤波的针对性， 有助于提高滤波效果。
84.参阅图6，图6是本技术视频帧的滤波方法的第三实施例的流程示 意图。在实施例中，上述的“在三个不同的神经网络滤波处理中分别对 目标图像帧的像素点的亮度分量和两个色度分量进行滤波”具体包括步 骤s31至步骤s33。
85.步骤s31：对目标图像帧的像素点的亮度分量执行第一神经网络滤 波处理以进行滤波，并且将色度分量作为第一神经网络滤波处理的输入， 以利用色度分量对亮度分量进行滤波。
86.在本实施例中，对目标图像帧的像素点的亮度分量执行第一神经网 络滤波处理以进行滤波时，会同时将亮度分量和色度分量输入到神经网 络以进行第一神经网络滤波处理，以此使得神经网络能够利用色度分量 的特征信息来对亮度分量进行滤波，以此提高滤波效果。具体可以是将 两个色度分量同时作为输入，或者是将其中一个色度分量作为输入均可。
87.步骤s32：对目标图像帧的像素点的一个色度分量执行第二神经网 络滤波处理以进行滤波，并且将亮度分量作为第二神经网络滤波处理的 输入，以利用亮度度分量对一个色度分量进行滤波。
88.在本实施例中，在对目标图像帧的像素点的一个色度分量执行第二 神经网络滤波处理以进行滤波时，会同时将亮度分量输入到神经网络以 进行第二神经网络滤波处理，以此使得神经网络能够利用亮度分量的特 征信息来对一个色度分量进行滤波，以此提高滤波效果。
89.步骤s33：对目标图像帧的像素点的另一个色度分量执行第三神经 网络滤波处理以进行滤波，并且将亮度分量作为第三神经网络滤波处理 的输入，以利用亮度分量对另一个色度分量进行滤波。
90.在本实施例中，在对目标图像帧的像素点的上述的另一个色度分量 执行第三神经网络滤波处理以进行滤波时，会同时将亮度分量输入到神 经网络以进行第三神经网络滤波处理，以此使得神经网络能够利用亮度 分量的特征信息来对上述的另一个色度分量进行滤波，以此提高滤波效 果。
91.参阅图7，图7是本技术视频帧的滤波方法实施例中对目标图像帧 的像素点的亮度分量和两个色度分量进行滤波的示意图。在图7中，y 表示目标图像帧的亮度分量、u和v分别表示目标图像帧的两个色度分 量。在图7的(a)部分中，u、v分量经过反卷积后，对应的图像与亮 度分量的图像相等。此时，通过y、u和v分量作为输入，输入到残差 网络resnet中，可以得到滤波后的y分量，实现了利用u、v分量对y 分量进行滤波。图7的(b)部分和(c)部分不再赘述。
92.参阅图8，图8是本技术视频帧的滤波方法的第四实施例的流程示 意图。在本实施
例中，对于每一帧目标图像帧，上述的“使用对应的滤 波处理方式对目标图像帧的像素点的像素值进行滤波”，包括步骤s41 和步骤s42。
93.步骤s41：获取目标图像帧对应的当前帧包含的若干量化块的量化 参数。
94.在本实施例中，在对当前帧进行量化时，会将当前帧进行切分，然 后得到若干用于量化的块，此即为量化块。为了进一步提高滤波效果， 可以获取目标图像帧对应的当前帧包含的若干量化块的量化参数，然后 根据量化块的量化参数的不同，进行针对性的滤波。
95.步骤s42：对量化参数处于不同预设范围的量化块在目标图像帧中 对应的块进行与预设范围对应的神经网络滤波。
96.量化块在目标图像帧中对应的块，可以认为是在目标图像帧中，与 量化块位置对应的块。预设范围可以根据需要进行设置。例如，量化参 数范围为[0,51]，可以将量化参数分为6个预设范围，[0,24]，[25,29]， [30,34]，[35,39]，[40,51]。然后，便可基于每一个量化块的量化参数， 对与量化块在目标图像帧中对应的块进行与预设范围对应的神经网络 滤波。例如，某一量化块的量化参数范围为45，则可以确定其属于[40,51] 预设范围。然后，便可确定该量化块在目标图像帧中对应的块，然后对 该量化块在目标图像帧中对应的块进行与[40,51]预设范围对应的神经 网络滤波。
[0097]
具体的，可以为每一个预设范围都设置一个对应的神经网络滤波处 理方法，也可以为部分预设范围设置同一个对应的神经网络滤波处理方 法，具体可以根据需要进行设置，此处不做限制。
[0098]
因此，通过获取目标图像帧对应的当前帧包含的若干量化块的量化 参数，然后根据量化块的量化参数的不同，对量化块在目标图像帧中对 应的块进行针对性的滤波，以提高滤波效果。
[0099]
在一个实施方式中，对于每一个量化块而言，上述的“对量化参数 处于不同预设范围的量化块在目标图像帧中对应的块进行与预设范围 对应的神经网络滤波”具体可以包括：对量化块在目标图像帧中对应的 块的像素点的亮度分量和色度分量分别进行神经网络滤波。也即，可以 分别对量化块在目标图像帧中对应的块的像素点的亮度分量和色度分 量进行神经网络滤波。例如，可以分别对某一量化块的亮度分量和两个 色度分量分别进行神经网络滤波。
[0100]
在一个具体实施方式中，还可以对量化参数处于不同预设范围的量 化块在目标图像帧中对应的块的亮度分量进行对应的神经网络滤波，对 所有量化块在目标图像帧中对应的块的色度分量利用同一个神经网络 滤波处理方式进行滤波。或者，对所有量化块在目标图像帧中对应的块 的两个色度分量，分别利用一个神经网络滤波处理方式进行滤波。
[0101]
以此可以在对量化块在目标图像帧中对应的块进行针对性的滤波 的基础上，进一步地针对量化块在目标图像帧中对应的块的不同分量进 行滤波，以提高滤波效果。
[0102]
参阅图9，图9是本技术视频帧的滤波方法的第五实施例的流程示 意图。在本实施例中，上述步骤提及的“使用对应的滤波处理方式对目 标图像帧的像素点的像素值进行滤波”具体包括步骤s51和步骤s52。
[0103]
步骤s51：将目标图像帧切分为若干目标块。
[0104]
对目标图像帧切分，可以是本领域通用的方法。目标块例如是编码 单元
(codingunit,cu)。
[0105]
在一个具体实施方式中，可以将目标图像帧切分为包含拼接区域的 若干目标块。拼接区域例如是编码单元。目标块的大小不小于拼接区域。 例如，目标块的大小大于拼接区域。通过设置目标块的大小大于拼接区 域，后续对目标块进行神经网络滤波时，可以利用拼接区域以外的像素 点的像素值信息来对拼接区域进行滤波，有助于提高滤波效果。在一个 具体实施方式中，若拼接区域为目标图像帧的边缘时，可以在拼接区域 的四周进行填充，以此得到目标块。
[0106]
步骤s52：使用对应的滤波处理方式对目标图像帧的若干目标块的 像素点的像素值进行滤波得到滤波后目标块。
[0107]
对应的滤波处理方式即是与目标图像帧的帧类型对应的滤波处理 方式。在本实施例中，具体是对目标图像帧的若干目标块的像素点的像 素值进行滤波得到滤波后目标块，以此实现对整个目标图像帧的滤波。
[0108]
在一个实施方式中，在步骤“使用对应的滤波处理方式对目标图像 帧的若干目标块的像素点的像素值进行滤波得到滤波后目标块”之后， 本技术的视频帧的滤波方法还包括：利用滤波后目标块得到滤波后的目 标图像帧。可以理解的，滤波后目标块是对目标图像帧切分后的目标块 滤波后得到的，因此可以相应的利用滤波后目标块进行拼接，以此得到 的滤波后的目标图像帧。
[0109]
在一个具体实施方式中，对于将目标图像帧切分为包含拼接区域的 若干目标块的情况，则可以利用滤波后目标块中的拼接区域进行拼接， 以此得到滤波后的目标图像帧。
[0110]
可以理解的，上述实施例提及的视频帧的滤波方法，仅为示例性的 说明，上述实施例提及的不同的视频帧的滤波方法，可以进行相互的组 合，以得到新的重建帧方法，本技术不做限制。
[0111]
在一个实施例中，本技术的视频帧的滤波方法还可以包括以下步骤 1至步骤3，以对用于进行神经网络滤波的神经网络进行训练。
[0112]
步骤1：获取目标图像帧并确定目标图像帧的帧类型对应的滤波处 理方式。
[0113]
获取重建帧图像的详细请参阅上述实施例的相关描述，此处不再赘 述。
[0114]
在本实施例中，滤波处理方式包括依序进行的若干滤波子步骤，若 干滤波子步骤中包括神经网络滤波，且至少两个不同的帧类型对应的滤 波处理方式不同。具体确定与帧类型对应的滤波处理方式请参阅上述实 施例的相关描述，此处不再赘述。
[0115]
步骤2：使用对应的滤波处理方式对目标图像帧的像素点的像素值 进行滤波，得到滤波后目标图像帧。
[0116]
请参阅上述实施例的相关描述，此处不再赘述。
[0117]
步骤3：基于目标图像帧对应的当前帧与滤波后目标图像帧的差异， 调整用于进行神经网络滤波的神经网络的网络参数。
[0118]
在本实施例中，目标图像帧对应的当前帧是未进行编码的原始的视 频帧。具体的，在对i帧对应的滤波处理方式中的用于进行神经网络滤 波的神经网络进行训练时，可以使用由i帧组成的训练集，对p帧或b 帧对应的滤波处理方式中的用于进行神经网络滤波的神经网络进行训 练，分别使用由p帧或b帧组成的训练集来训练。
[0119]
在一个具体实施方式中，可以按照不同类型帧之间的参考关系，先 后训练对不同帧类型的目标图像帧进行神经网络滤波的神经网络。以图 3所示的视频帧的滤波处理方式为例，由于i帧为帧内预测帧，因此， 可以第一个训练对帧类型为i帧的目标图像帧进行神经网络滤波的神经 网络，并且，将经过alf滤波后得到的目标图像帧作为参考帧。然后， 第二个训练对帧类型为b帧且时域层为1的目标图像帧进行神经网络滤 波的神经网络，并且，将经过nn滤波后得到的目标图像帧作为参考帧。 然后，第三个训练对帧类型为b帧且时域层为2的目标图像帧进行神经 网络滤波的神经网络，并且，将经过alf滤波后得到的目标图像帧作为 参考帧。最后，第四个训练对帧类型为b帧且时域层为3的目标图像帧 进行神经网络滤波的神经网络。以此，通过第一个训练对帧类型为i帧 的目标图像帧进行神经网络滤波的神经网络，可以使得后续以i帧为参 考帧的目标图像帧的画面质量更高，且减少由i帧作为参考帧时引入的 误差，提高训练效果。同理，通过第二个训练对帧类型为b帧且时域层 为1的目标图像帧进行神经网络滤波的神经网络，通过第三个训练对帧 类型为b帧且时域层为2的目标图像帧进行神经网络滤波的神经网络， 可以使得后续以b1帧和b2帧为参考帧的目标图像帧的画面质量更高， 且减少由b1帧和b2帧作为参考帧时引入的误差，提高训练效果。
[0120]
在一个具体实施方式中，在对帧类型为p帧目标图像帧进行神经网 络滤波的神经网络进行训练时，可以是在对帧类型为i帧的目标图像帧 进行神经网络滤波的神经网络训练完之后，在对帧类型为p帧的目标图 像帧进行神经网络滤波的神经网络训练。以此，可以使得后续以p帧为 参考帧的目标图像帧的画面质量更高，且减少由p帧作为参考帧时引入 的误差，提高训练效果。
[0121]
参阅图10，图10是本技术视频帧的编码方法的实施例的流程示意 图。在本实施例中，视频帧的编码方法具体包括：
[0122]
步骤s61：利用当前帧对应的残差得到当前帧的目标图像帧。
[0123]
当前帧可以是待编码的原始的视频帧，当前帧对应的残差可以是利 用本领域通用的视频帧预测方法得到的。例如，在利用帧内预测的方法 对当前帧进行预测后，可以得到预测值，将当前帧的真实值与预测值相 减即可得到当前帧对应的残差。在对残差进行变化、量化能够得到量化 后的残差，基于量化后的残差和当前帧预测值，即可得到目标图像帧。
[0124]
步骤s62：对目标图像帧执行视频帧的滤波方法，以得到滤波后目 标图像帧。
[0125]
在本实施例中，视频帧的滤波方法可以是上述视频帧的滤波方法实 施例提及的方法，具体的重建过程请参阅上述实施例的描述，此处不再 赘述。
[0126]
在一个实施方式中，可以对分别对目标图像帧的亮度分量、两个色 度分量执行视频帧的滤波方法，然后将滤波后得到的各个分量进行组合， 以得到滤波后目标图像帧。
[0127]
步骤s63：基于滤波后目标图像帧对当前帧进行编码。
[0128]
得到滤波后目标图像帧后，便可利用本领域通用的编码方法，对当 前帧进行编码。例如，可以将与视频帧的滤波方法相关句法开关进行编 码，使得解码侧能够与视频帧的滤波方法相关的句法开关确定是否需要 执行视频帧的滤波方法。
[0129]
在一个实施方式中，可以为当前帧所属的当前序列设置关于神经网 络滤波处理开关的第一开关。当前帧所属的当前序列对应的神经网络滤 波处理开关的第一开关为开
的情况下，表示该视频帧序列可以执行上述 实施例提及的视频帧的滤波方法。当前帧所属的当前序列对应的神经网 络滤波处理开关的第一开关为关的情况下，表示该视频帧序列不执行上 述实施例提及的视频帧的滤波方法。因此，在一个具体实施方式中，上 述的步骤s62，是在第一开关为开的情况下执行的。因此，通过为当前 帧所属的当前序列设置关于神经网络滤波处理开关，可以实现对当前序 列的是否执行视频帧的滤波方法的控制。
[0130]
在一个实施方式中，基于滤波后目标图像帧对当前帧进行编码，包 括步骤s631至步骤s63。
[0131]
步骤s631：比较滤波后目标图像帧与滤波前的目标图像帧的画质优 劣。
[0132]
滤波后目标图像帧与滤波前的目标图像帧的画质优劣的比较方法 可以是本领域通用的画质比较方法，例如是分别计算滤波后目标图像帧 与滤波前的目标图像帧对应的率失真，然后比较滤波后目标图像帧与滤 波前的目标图像帧的画质优劣。
[0133]
对应于是对目标图像帧的亮度分量、两个色度分量执行视频帧的滤 波方法的情况，则是可以比较滤波后目标图像帧的每个分量与滤波前的 目标图像帧的对应分量的画质优劣。
[0134]
若滤波后目标图像帧优于滤波前的目标图像帧，可以执行步骤s632， 若滤波后目标图像帧劣于滤波前的目标图像帧，可以执行步骤s633。
[0135]
步骤s632：将当前帧的神经网络滤波处理开关设置为开。
[0136]
滤波后目标图像帧优于滤波前的目标图像帧，意味着可以使用视频 帧的滤波方法来对目标图像帧进行滤波，以提高画质，因此可以将当前 帧的神经网络滤波处理开关设置为开，使得解码侧能够基于当前帧的神 经网络滤波处理开关对当前帧执行视频帧的滤波方法。
[0137]
对应于是对目标图像帧的亮度分量、两个色度分量执行视频帧的滤 波方法的情况，若存在滤波后目标图像帧的任意一个分量优于滤波前的 目标图像帧的对应分量，则可以是将当前帧的该任意一个分量对应的神 经网络滤波处理开关设置为开。例如，滤波后目标图像帧的亮度分量优 于滤波前的目标图像帧的亮度分量，则可以将当前帧的亮度分量对应的 神经网络滤波处理开关设置为开。
[0138]
步骤s633：将当前帧的神经网络滤波处理开关设置为关。
[0139]
滤波后目标图像帧劣于滤波前的目标图像帧，意味着没有必要使用 视频帧的滤波方法来对目标图像帧进行滤波。因此，可以将当前帧的神 经网络滤波处理开关设置为关，使得解码侧能够基于当前帧的神经网络 滤波处理开关不对当前帧执行视频帧的滤波方法。
[0140]
对应于是对目标图像帧的亮度分量、两个色度分量执行视频帧的滤 波方法的情况，若存在滤波后目标图像帧的任意一个分量劣于滤波前的 目标图像帧的对应分量，则可以是将当前帧的该任意一个分量对应的神 经网络滤波处理开关设置为关。例如，滤波后目标图像帧的亮度分量劣 于滤波前的目标图像帧的亮度分量，则可以将当前帧的亮度分量对应的 神经网络滤波处理开关设置为关。
[0141]
因此，通过比较滤波后目标图像帧与滤波前的目标图像帧的画质优 劣，可以确定是否需要对目标图像帧执行视频帧的滤波方法，实现了对 目标图像帧是否执行视频帧的滤波方法的控制。
[0142]
在一个实施例中，上述步骤提及的“对目标图像帧执行视频帧的滤 波方法，以得到滤波后目标图像帧”具体包括：对将目标图像帧进行切 分后得到的若干目标块执行视频帧的滤波方法，以得到滤波后目标图像 帧。在本实施例中，目标块例如是编码单元。在其他实施例中，目标块 也可以是根据需要进行设置的。在对每一个目标块执行视频帧的滤波方 法，将滤波后目标块进行拼接，即可得到滤波后目标图像帧。
[0143]
在此情况下，上述实施例提及的“基于滤波后目标图像帧对当前帧 进行编码”包括：
[0144]
步骤s634：比较每一个滤波后目标块和滤波前的目标块的画质优劣。
[0145]
具体的比较方法可以参阅上述步骤s631的描述，此处不再赘述。
[0146]
若滤波后目标块优于滤波前的目标块，可以执行步骤s635，若滤波 后目标块劣于滤波前的目标块，可以执行步骤s636。
[0147]
步骤s635：将目标块对应的神经网络滤波处理开关设置为开。
[0148]
滤波后目标块优于滤波前的目标块，意味着可以使用视频帧的滤波 方法来对目标块进行滤波，以提高画质。因此可以将目标块对应的神经 网络滤波处理开关设置为开，使得解码侧能够基于目标块的神经网络滤 波处理开关对目标块执行视频帧的滤波方法。
[0149]
步骤s636：将目标块对应的神经网络滤波处理开关设置为关。
[0150]
滤波后目标块劣于滤波前的目标块，意味着不必使用视频帧的滤波 方法来对目标块进行滤波。因此可以将目标块对应的神经网络滤波处理 开关设置为关，使得解码侧能够基于目标块的神经网络滤波处理开关不 对目标块执行视频帧的滤波方法。
[0151]
步骤s637：确定是否存在至少一个目标块的对应的神经网络滤波处 理开关设置为开。
[0152]
对于目标图像帧而言，若存在至少一个目标块的对应的神经网络滤 波处理开关设置为开，则意味着可以对该目标图像帧中目标块的对应的 神经网络滤波处理开关设置为开的目标块执行视频帧的滤波方法。因此， 可以先行确定是否存在至少一个目标块的对应的神经网络滤波处理开 关设置为开。
[0153]
若存在至少一个目标块的对应的神经网络滤波处理开关设置为开， 则可以执行步骤s638，若不存在目标块的对应的神经网络滤波处理开关 设置为开，则可以执行步骤s639。
[0154]
步骤s638：将当前帧的神经网络滤波处理开关设置为开。
[0155]
因为存在至少一个目标块的对应的神经网络滤波处理开关设置为 开，表明可以对该目标图像帧中目标块的对应的神经网络滤波处理开关 设置为开的目标块执行视频帧的滤波方法，以提高画质。因此可以相应 的将当前帧的神经网络滤波处理开关设置为开，使得解码侧能够基于当 前帧的神经网络滤波处理开关和目标块对应的神经网络滤波处理开关， 对目标块执行视频帧的滤波方法。
[0156]
步骤s639：将当前帧的神经网络滤波处理开关设置为关。
[0157]
因为不存在目标块的对应的神经网络滤波处理开关设置为开，表明 不必对该目标图像帧中的全部目标块执行视频帧的滤波方法，因此可以 将当前帧的神经网络滤波处理开关设置为关，使得解码侧能够基于当前 帧的神经网络滤波处理开关，不对当前帧执行视频帧的滤波方法。
[0158]
因此，通过确定每一个目标块对应的神经网络滤波处理开关，可以 实现对每一个目标块是否需要执行视频帧的滤波方法，实现了对目标块 是否执行视频帧的滤波方法的控制。
[0159]
参阅图11，图11是本技术视频帧的解码方法的实施例的流程示意 图。在本实施例中，视频帧的解码方法具体包括：
[0160]
步骤s71：利用当前帧对应的残差得到当前帧的目标图像帧。
[0161]
当前帧对应的残差例如是对编码侧传输过来的码流进行解码后得 到的。对当前帧对应的残差进行反量化、反变换后，结合当前帧的预测 值，便可得到当前帧对应的目标图像帧。
[0162]
步骤s72：对目标图像帧执行视频帧的滤波方法，以得到滤波后目 标图像帧。
[0163]
在本实施例中，视频帧的滤波方法可以是上述视频帧的滤波方法实 施例提及的方法，具体的重建过程请参阅上述实施例的描述，此处不再 赘述。
[0164]
在一个具体实施方式中，在对编码侧传输过来的码流进行解码后， 可以得到当前帧的神经网络滤波处理开关的具体开关情况，在当前帧的 神经网络滤波处理开关为开的情况下，可以对目标图像帧执行视频帧的 滤波方法，以得到滤波后目标图像帧。
[0165]
在一个具体实施方式中，在对编码侧传输过来的码流进行解码后， 可以得到当前帧的神经网络滤波处理开关，以及当前帧对应的目标图像 帧切分后得到的若干目标块对应的神经网络滤波处理开关。在当前帧的 的神经网络滤波处理开关为开的情况下，可以对目标块对应的神经网络 滤波处理开关为开的目标块执行视频帧的滤波方法。最后，将所有目标 块进行拼接，以此得到滤波后目标图像帧。
[0166]
因此，通过上述的解码方法，可以实现在解码侧执行视频帧的滤波 方法。
[0167]
请参阅图12，图12是本技术编码器一实施例的框架示意图。编码 器120包括相互耦接的存储器121和处理器122，处理器122用于执行 存储器121中存储的程序指令，以实现上述任一视频帧的编码方法实施 例的步骤。在一个具体的实施场景中，编码器120可以包括但不限于： 微型计算机、服务器，此外，编码器120还可以包括笔记本电脑、平板 电脑等移动设备，在此不做限定。具体而言，处理器122用于控制其自 身以及存储器121以实现任一编码方法实施例的步骤。
[0168]
请参阅图13，图13是本技术解码器一实施例的框架示意图。解码 器130包括相互耦接的存储器131和处理器132，处理器132用于执行 存储器131中存储的程序指令，以实现上述任一视频帧的解码方法实施 例的步骤。在一个具体的实施场景中，解码器130可以包括但不限于： 微型计算机、服务器，此外，解码器130还可以包括笔记本电脑、平板 电脑等移动设备，在此不做限定。具体而言，处理器132用于控制其自 身以及存储器131以实现任一解码方法实施例的步骤。
[0169]
上述的处理器还可以称为cpu(central processing unit，中央处理 单元)。处理器可能是一种集成电路芯片，具有信号的处理能力。处理 器还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、 专用集成电路(application specific integrated circuit,asic)、现场可编 程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑 器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是 微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器可 以由集成
电路芯片共同实现。
[0170]
请参阅图14，图14是本技术计算机可读存储介质一实施例的框架 示意图。计算机可读存储介质140存储有能够被处理器运行的程序指令 141，程序指令141用于实现上述任一视频帧的滤波方法实施例的步骤、 任一编码方法实施例的步骤或者是任一解码方法实施例的步骤。
[0171]
上述方案，通过确定与每一个目标图像帧的帧类型对应的滤波处理 方式，并且通过限定至少两个不同的帧类型对应的滤波处理方式不同， 以此能够使用与帧类型更加匹配的滤波处理方式来对目标图像帧的像 素点的像素值进行滤波，提高了滤波的针对性，有助于提高滤波效果， 改善目标图像帧的画质。另外，通过确定目标图像帧的帧类型对应的滤 波处理方式，可以降低对每一个目标图像帧进行神经网络滤波的神经网 络的复杂度。
[0172]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模 块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文 方法实施例的描述，为了简洁，这里不再赘述。
[0173]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处， 其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0174]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装 置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅 是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实 际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集 成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或 讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装 置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0175]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部 分或者全部单元来实现本实施方式方案的目的。
[0176]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单 元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集 成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以 采用软件功能单元的形式实现。
[0177]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销 售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理 解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该 技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件 产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)或处理器(processor) 执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包 括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机 存取存储器(ram，random access memory)、磁碟或者光盘等各种可 以存储程序代码的介质。

技术特征：
1.一种视频帧的滤波方法，其特征在于，包括：获取目标图像帧；确定所述目标图像帧的帧类型对应的滤波处理方式；使用所述对应的滤波处理方式对所述目标图像帧的像素点的像素值进行滤波，其中，所述滤波处理方式包括依序进行的若干滤波子步骤，所述若干滤波子步骤中包括神经网络滤波，且至少两个不同的帧类型对应的滤波处理方式不同。2.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像帧的帧类型对应的滤波处理方式，包括：在所述若干滤波子步骤中，将滤波得到的图像帧作为参考帧之前的滤波子步骤作为环路滤波；确定所述目标图像帧的帧类型为i帧的情况下，所述环路滤波包括神经网络滤波；确定所述目标图像帧的帧类型为b帧的情况下，所述环路滤波不包括神经网络滤波；或者，确定所述目标图像帧的帧类型为i帧的情况下，所述环路滤波不包括神经网络滤波；确定所述目标图像帧的帧类型为b帧的情况下，所述环路滤波包括神经网络滤波。3.根据权利要求2所述的方法，其特征在于，在所述环路滤波包括神经网络滤波的情况下，所述环路滤波具体包括：神经网络滤波，以及去块滤波、样点自适应补偿滤波、自适应环路滤波中的至多两种。4.根据权利要求1所述的方法，其特征在于，确定所述目标图像帧的帧类型为i帧的情况下，所述对应的滤波处理方式包括：对所述目标图像帧的像素点的像素值依序进行样点自适应补偿滤波、神经网络滤波和自适应环路滤波；确定所述目标图像帧的帧类型为b帧的情况下，所述对应的滤波处理方式包括：对所述目标图像帧的像素点的像素值依序进行去块滤波、样点自适应补偿滤波、自适应环路滤波和神经网络滤波。5.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像帧的帧类型对应的滤波处理方式，包括：在确定所述目标图像帧的帧类型为b帧的情况下，确定b帧目标图像帧的时域层；确定与所述b帧目标图像帧的时域层对应的滤波处理。6.根据权利要求5所述的方法，其特征在于，所述确定与所述b帧目标图像帧的时域层对应的滤波处理，包括：确定所述目标图像帧为第一预设时域层的b帧的情况下，所述与所述b帧目标图像帧的时域层对应的滤波处理包括：去块滤波、样点自适应补偿滤波、自适应环路滤波和神经网络滤波，并且，将神经网络滤波输出的图像帧作为参考帧；确定所述目标图像帧为第二预设时域层的b帧的情况下，所述与所述b帧目标图像帧的时域层对应的滤波处理包括：去块滤波、神经网络滤波、样点自适应补偿滤波、自适应环路滤波，并且，将自适应环路滤波输出的图像帧作为参考帧；确定所述目标图像帧为第三预设时域层的b帧的情况下，所述与所述b帧目标图像帧的时域层对应的滤波处理包括：去块滤波、样点自适应补偿滤波、自适应环路滤波和神经网络滤波，并且，将自适应环路滤波输出的图像帧作为参考帧。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述使用所述对应的滤波处理方式对所述目标图像帧的像素点的像素值进行滤波，包括：将所述目标图像帧切分为若干目标块；使用所述对应的滤波处理方式对所述目标图像帧的若干目标块的像素点的像素值进行滤波得到滤波后目标块；在所述使用所述对应的滤波处理方式对所述目标图像帧的若干目标块的像素点的像素值进行滤波得到滤波后目标块之后，所述方法还包括：利用所述滤波后目标块得到滤波后的目标图像帧。8.根据权利要求7述的方法，其特征在于，所述将所述目标图像帧切分为若干目标块，包括：将所述目标图像帧切分为包含拼接区域的若干目标块；所述利用所述滤波后目标块得到滤波后的目标图像帧，包括：利用所述滤波后目标块中的拼接区域得到滤波后的目标图像帧。9.根据权利要求1-6任一项所述的方法，其特征在于，所述使用所述对应的滤波处理方式对所述目标图像帧的像素点的像素值进行滤波，包括：将所述目标图像帧以及所述目标图像帧的参考帧作为输入进行神经网络滤波，以利用所述参考帧对所述目标图像帧的像素值进行神经网络滤波。10.根据权利要求9所述的方法，其特征在于，所述将所述目标图像帧以及所述目标图像帧的参考帧作为输入进行神经网络滤波，包括：确定帧类型为b帧的b帧目标图像帧的参考帧中i帧的数量；将包含不同数量的i帧参考帧的b帧目标图像帧及其对应的参考帧作为输入，并使用与所述b帧目标图像帧的参考帧中i帧的数量对应的神经网络滤波处理方式对所述b帧目标图像帧进行滤波。11.根据权利要求10所述的方法，其特征在于，所述使用与所述b帧目标图像帧的参考帧中i帧的数量对应的神经网络滤波处理方式对所述b帧目标图像帧进行滤波，包括：确定所述参考帧包括i帧的情况下，将其中一帧i帧的像素值作为第一预设通道的通道值进行神经网络滤波处理；确定所述参考帧均为b帧的情况下，将处于最低时域层的b帧参考帧的像素值作为第二预设通道的通道值进行神经网络滤波处理。12.根据权利要求1-6任一项所述的方法，其特征在于，所述使用所述对应的滤波处理方式对所述目标图像帧的像素点的像素值进行滤波，包括：在同一个神经网络滤波处理中对所述目标图像帧的像素点的亮度分量和色度分量进行滤波；或者，在不同的神经网络滤波处理中对所述目标图像帧的像素点的亮度分量和色度分量进行滤波。13.根据权利要求12所述的方法，其特征在于，所述在不同的神经网络滤波流程中对所述目标图像帧的像素点的亮度分量和色度进行滤波，包括：在三个不同的神经网络滤波处理中分别对所述目标图像帧的像素点的亮度分量和两个色度分量进行滤波。14.根据权利要求13所述的方法，其特征在于，所述在三个不同的神经网络滤波处理中
分别对所述目标图像帧的像素点的亮度分量和两个色度分量进行滤波，包括：对所述目标图像帧的像素点的亮度分量执行第一神经网络滤波处理以进行滤波，并且将所述色度分量作为所述第一神经网络滤波处理的输入，以利用所述色度分量对所述亮度分量进行滤波；对所述目标图像帧的像素点的一个色度分量执行第二神经网络滤波处理以进行滤波，并且将亮度分量作为所述第二神经网络滤波处理的输入，以利用所述另一个色度分量对所述一个色度分量进行滤波；对所述目标图像帧的像素点的所述另一个色度分量执行第三神经网络滤波处理以进行滤波，并且将所述亮度分量作为所述第三神经网络滤波处理的输入，以利用所述一个色度分量对所述另一个色度分量进行滤波。15.根据权利要求1-6任一项所述的方法，其特征在于，对于每一帧目标图像帧，所述使用所述对应的滤波处理方式对所述目标图像帧的像素点的像素值进行滤波，包括：获取所述目标图像帧对应的当前帧包含的若干量化块的量化参数；对量化参数处于不同预设范围的量化块在所述目标图像帧中对应的块进行与所述预设范围对应的神经网络滤波。16.根据权利要求15所述的方法，其特征在于，对于每一个所述量化块，所述对量化参数处于不同预设范围的量化块在所述目标图像帧中对应的块进行与所述预设范围对应的神经网络滤波，包括：对所述量化块在所述目标图像帧中对应的块的像素点的亮度分量和色度分量分别进行神经网络滤波。17.根据权利要求1所述的方法，其特征在于，利用包含跳跃连接的神经网络来进行神经网络滤波。18.一种视频帧的编码方法，其特征在于，包括：利用当前帧对应的残差得到当前帧的目标图像帧；对所述目标图像帧执行视频帧的滤波方法，以得到滤波后目标图像帧，其中，所述视频帧的滤波方法为权利要求1-15任一项所述的方法；基于所述滤波后目标图像帧对所述当前帧进行编码。19.根据权利要求18所述的方法，其特征在于，所述方法还包括：为所述当前帧所属的当前序列设置关于神经网络滤波处理开关的第一开关；所述对所述目标图像帧执行视频帧的滤波方法，以得到滤波后目标图像帧，是在所述第一开关为开的情况下执行的，所述基于所述滤波后目标图像帧对所述当前帧进行编码，包括：比较所述滤波后目标图像帧与滤波前的目标图像帧的画质优劣；若所述滤波后目标图像帧优于所述滤波前的目标图像帧，则将所述当前帧的神经网络滤波处理开关设置为开；若所述滤波后目标图像帧劣于所述滤波前的目标图像帧，则将所述当前帧的神经网络滤波处理开关设置为关。20.根据权利要求19所述的方法，其特征在于，所述对所述目标图像帧执行视频帧的滤波方法，以得到滤波后目标图像帧，包括：分别
对所述目标图像帧的亮度分量、两个色度分量执行所述视频帧的滤波方法，以得到所述滤波后目标图像帧；所述比较所述滤波后目标图像帧与滤波前的目标图像帧的画质优劣，包括：比较所述滤波后目标图像帧的每个分量与滤波前的目标图像帧的对应分量的画质优劣；若所述滤波后目标图像帧优于所述滤波前的目标图像帧，则将所述当前帧的神经网络滤波处理开关设置为开，包括：若所述滤波后目标图像帧的任意一个分量优于所述滤波前的目标图像帧的对应分量，则将所述当前帧的任意一个分量对应的神经网络滤波处理开关设置为开；若所述滤波后目标图像帧劣于所述滤波前的目标图像帧，则将所述当前帧的神经网络滤波处理开关设置为关，包括：若所述滤波后目标图像帧的任意一个分量劣于所述滤波前的目标图像帧的对应分量，则将所述当前帧的任意一个分量对应的神经网络滤波处理开关设置为关。21.根据权利要求18所述的方法，其特征在于，所述对所述目标图像帧执行如权利要求1-17任一项所述的视频帧的滤波方法，以得到滤波后目标图像帧，包括：对将所述目标图像帧进行切分后得到的若干目标块执行如权利要求1-17任一项所述的视频帧的滤波方法，以得到滤波后目标图像帧，所述基于所述滤波后目标图像帧对所述当前帧进行编码，包括：比较每一个滤波后目标块和滤波前的目标块的画质优劣；若所述滤波后目标块优于滤波前的目标块，则将所述目标块对应的神经网络滤波处理开关设置为开；若所述滤波后目标块劣于滤波前的目标块，则将所述目标块对应的神经网络滤波处理开关设置为关；确定是否存在至少一个目标块的对应的神经网络滤波处理开关设置为开；若是，则将所述当前帧的神经网络滤波处理开关设置为开；若否，则将所述当前帧的神经网络滤波处理开关设置为关。22.一种视频帧的解码方法，其特征在于，包括：利用当前帧对应的残差得到当前帧的目标图像帧；对所述目标图像帧执行如权利要求1-17任一项所述的视频帧的滤波方法，以得到滤波后目标图像帧。23.一种编码器，其特征在于，所述编码器包括相互耦接的处理器和存储器，其中，所述处理器用于执行所述存储器存储的计算机程序以实现权利要求18-21任一项所述的编码方法。24.一种解码器，其特征在于，所述解码器包括相互耦接的处理器和存储器，其中，所述处理器用于执行所述存储器存储的计算机程序以实现权利要求22所述的解码方法。25.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的计算机程序，所述计算机程序用于实现如执行权利要求1-17任一项所述的视频帧的滤波方法，或权利要求18-21任一项所述的编码方法，或权利要求22所述的解码方法。

技术总结
本申请公开了一种视频帧的滤波方法、及对应编解码方法、设备和存储介质，其中，滤波方法包括：获取目标图像帧；确定目标图像帧的帧类型对应的滤波处理方式；使用对应的滤波处理方式对目标图像帧的像素点的像素值进行滤波，其中，滤波处理方式包括依序进行的若干滤波子步骤，若干滤波子步骤中包括神经网络滤波，且至少两个不同的帧类型对应的滤波处理方式不同。通过该方法，可以提高滤波效果。可以提高滤波效果。可以提高滤波效果。


技术研发人员：张雪 江东 林聚财 殷俊
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：2021.09.30
技术公布日：2022/3/8