用于动态卷积核的多维注意力的制作方法

本公开总体上涉及利用卷积层的计算机建模，并且特别地涉及具有卷积层的模型，所述卷积层具有基于对卷积层的输入的动态卷积核。

背景技术：

1、计算机模型中的卷积层可用于许多类型的图像处理中，以提取特征和表征关于图像的信息。这样的模型可以用于许多类型的计算机视觉，诸如对象检测(例如，识别对象的分类和边界框)、图像分割、对象跟踪、环境感知等等。对于这些模型中的许多模型，卷积是常见和基本的操作。在典型实现中，应用于输入特征图的卷积核在训练期间确定，并且在应用期间是静态的。然而，这种不灵活性可忽略从输入数据内的信息中获益，所述信息可以用信号通知输入数据内的重要信息的相对位置，所述信息可以由不同的卷积核更好地表征。虽然已经使用了各种方法来改进特定类型的模型，但是这些方法通常会修改模型结构、输入如何被表示或编码等等。

技术实现思路

技术特征：

1.一种方法，包括：

2.如权利要求1所述的方法，其中，所述多个注意力权重集由应用于注意力计算机模型的所述输入特征图来确定。

3.如权利要求2所述的方法，其中，所述注意力计算机模型在所述输入特征图的每个通道内池化所述输入特征图的值。

4.如权利要求3所述的方法，其中，在池化值之后，所述注意力计算机模型减少所述输入特征图的通道数量。

5.如权利要求2所述的方法，其中，所述注意力计算机模型利用一个或多个并行神经网络层生成每个注意力权重集。

6.如权利要求1所述的方法，其中，所述多个注意力权重集包括用于多个卷积核的核注意力权重集，并且所述卷积权重集进一步基于应用于所述多个卷积核的所述核注意力权重集。

7.如权利要求2所述的方法，其中，所述多个注意力权重集由计算机模型确定，并且所述计算机模型的参数与所述多个卷积核一起被联合训练。

8.如权利要求1所述的方法，其中，用于所述动态卷积核的所述卷积权重集包括多个输出通道滤波器，并且每个输出通道滤波器基于所述多个注意力权重集中的相应空间注意力权重、输入通道权重和输出通道权重来确定。

9.一种系统，包括：

10.如权利要求9所述的系统，其中，所述多个注意力权重集由应用于注意力计算机模型的所述输入特征图来确定。

11.如权利要求10所述的系统，其中，所述注意力计算机模型在所述输入特征图的每个通道内池化所述输入特征图的值。

12.如权利要求11所述的系统，其中，在池化值之后，所述注意力计算机模型减少所述输入特征图的通道数量。

13.如权利要求10所述的系统，其中，所述注意力计算机模型利用一个或多个并行神经网络层生成每个注意力权重集。

14.如权利要求9所述的系统，其中，所述多个注意力权重集包括用于多个卷积核的核注意力权重集，并且所述卷积权重集进一步基于应用于所述多个卷积核的所述核注意力权重集。

15.如权利要求10所述的系统，其中，所述多个注意力权重集由计算机模型确定，并且所述计算机模型的参数与所述多个卷积核一起被联合训练。

16.如权利要求9所述的系统，其中，用于所述动态卷积核的所述卷积权重集包括多个输出通道滤波器，并且每个输出通道滤波器基于所述多个注意力权重集中的相应空间注意力权重、输入通道权重和输出通道权重来确定。

17.一种非暂时性计算机可读存储介质，包含可由处理器执行的指令，用于：

18.如权利要求17所述的非暂时性计算机可读介质，其中，所述多个注意力权重集由应用于注意力计算机模型的所述输入特征图来确定。

19.如权利要求18所述的非暂时性计算机可读介质，其中，所述注意力计算机模型在所述输入特征图的每个通道内池化所述输入特征图的值。

20.如权利要求19所述的非暂时性计算机可读介质，其中，在池化值之后，所述注意力计算机模型减少所述输入特征图的通道数量。

21.如权利要求18所述的非暂时性计算机可读介质，其中，所述注意力计算机模型利用一个或多个并行神经网络层生成每个注意力权重集。

22.如权利要求17所述的非暂时性计算机可读介质，其中，所述多个注意力权重集包括用于多个卷积核的核注意力权重集，并且所述卷积权重集进一步基于应用于所述多个卷积核的所述核注意力权重集。

23.如权利要求18所述的非暂时性计算机可读介质，其中，所述多个注意力权重集由计算机模型确定，并且所述计算机模型的参数与所述多个卷积核一起被联合训练。

24.如权利要求17所述的非暂时性计算机可读介质，其中，用于所述动态卷积核的所述卷积权重集包括多个输出通道滤波器，并且每个输出通道滤波器基于所述多个注意力权重集中的相应空间注意力权重、输入通道权重和输出通道权重来确定。

技术总结
计算机模型的卷积层基于卷积层的输入特征图生成动态卷积滤波器。卷积层包括注意力模型，所述注意力模型生成注意力权重集，以基于对卷积层的输入来动态调整由该模型应用的卷积滤波器。注意力权重是相对于多个维度生成的，所述多个维度可以包括空间位置、输入通道、输出通道以及静态卷积滤波器集合的相应组合。相对于静态卷积滤波器中的每个静态卷积滤波器生成权重，使得不同类型(即，维度)的权重可以被逐元素地应用于相应的卷积滤波器，并且在应用权重之后，滤波器可以然后被组合以生成动态卷积滤波器。

技术研发人员：蔡东琪,姚安邦,李超,程亮,陈玉荣
受保护的技术使用者：英特尔公司
技术研发日：
技术公布日：2024/12/5