一种基于刚神经元的类脑芯片的制作方法

1.本发明属于芯片技术领域，具体涉及一种基于刚神经元的类脑芯片。


背景技术：

2.类脑芯片是仿照大脑原理研制的一种芯片，具有广阔的实用价值。芯片的实现方法直接影响着芯片的运行速度。
3.类脑芯片的实现往往从仿照人工神经元做起。目前比较成熟的类脑芯片都是仿照基于70年前知识设计的人工神经元f(wx+b)。然而，此模块存在以下问题：
4.1、此实现没有考虑树突的交互信息处理；
5.2、存在非线性函数，不利于实现；
6.3、存在非线性函数，芯片在线运行速度较慢；
7.4、难以实现在线自适应的权值调整。


技术实现要素：

8.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于刚神经元的类脑芯片，解决类脑芯片中的交互信息处理问题、类脑芯片中去除非线性运算操作问题、类脑芯片计算速度问题、类脑芯片权值在线训练问题。
9.本发明采用以下技术方案：
10.一种基于刚神经元的类脑芯片，包括树突模块、胞体模块和线性模块，树突模块至少包括一个，多个树突模块之间串联连接实现交互信息运算，胞体模块为具有生物胞体功能的传统人工神经元，胞体模块与树突模块组成刚神经元的类脑芯片，线性模块用于对树突模块之间和/或胞体模块之间线性维度进行调整。
11.具体的，树突模块的结构包括：
12.ai＝w
i，i-1ai-1
oa
0|1|2|
…
|i-1
13.其中，a
i-1
为树突模块的输入，ai为树突模块的输出，w
i,i-1
表示上一个树突模块传递到当前树突模块的权值矩阵，a
0|1|2|
…
|i-1
取a中的任意一个，a为原始输入及树突模块对应前边树突模块的输出数据，o表示哈达玛积。
14.进一步的，当a
0|1|2|
…
|i-1
取a
i-1
时，多个树突模块串联后，逻辑表达阶次随树突模块的数量呈指数增长。
15.进一步的，刚神经元残差形式的树突模块如下：
16.ai＝w
i，i-1ai-1
oa
0|1|2|
…
|i-1
+w
i，i-1ai-1
。
17.进一步的，刚神经元密集形式的树突模块如下：
18.ai＝w
i，i-1ai-1
oa
0|1|2|
…
|i-1
+x
19.其中，x为原始输入。
20.进一步的，树突模块的短接含权值形式如下：
21.22.其中，w
i,i-1
和是两个不同的权值矩阵，w
ri,i-1
表示短接路线上的权值矩阵。
23.具体的，刚神经元残差形式的树突模块和胞体模块组成的一种刚神经元结构如下：
24.a
fi
＝f(w
i，i-1afi-1
oa
f0|1|2|
…
|i-1
+w
i，i-1afi-1
)
25.其中，a
fi-1
为树突模块的输入，a
fi
为刚神经元的输出，w
i,i-1
表示上一个人工神经元传递到当前人工神经元的权值矩阵，a
f0|1|2|
…
|i-1
取af中的任意一个，af为原始输入及对应神经元前边神经元的输出数据，o表示哈达玛积，f()表示激活函数，w
i,i-1afi-1
表示线性模块，w
li,i-1
为线性模块的权值矩阵，a
li-1
为线性模块的输入，a
li
为线性模块的输出。
26.具体的，胞体模块的函数为线性函数时，刚神经元类脑芯片只包含树突模块和线性模块，类脑芯片能够进行在线训练，具体训练过程如下：
27.树突模块和线性模块的前向传播如下：
[0028][0029]
树突模块和线性模块的反向传播如下：
[0030][0031][0032]
da
l-1
＝(w
l,l-1
)
t
dz
l
[0033]
其中，和y预测输出和真实值，w
l,l-1
表示上一个模块传递到当前模块的权值矩阵，x表示原始输出，a
l-1
为模块的输入，a
l
为树突模块的输出，a
l-1
为最后一个模块的输入，a
l
为最后一个模块的输出，w
l,l-1
表示上一个模块传递到最后模块的权值矩阵，da
l
、dz
l
、da
l
、dz
l
、da
l-1
反向传播过程中的中间变量，t表示转置。
[0034]
进一步的，树突模块和线性模块的权值调整如下：
[0035][0036]wl,l-1(new)
＝w
l,l-1(old)-αdw
l,l-1
[0037]
其中，α表示学习率，m表示批训练的样本个数，w
l,l-1(old)
表示旧权值矩阵，w
l,l-1(new)
表示更新后的权值矩阵。
[0038]
具体的，类脑芯片为感知器芯片、信息融合芯片、残差芯片、密集芯片、卷积芯片或线性调控芯片。
[0039]
与现有技术相比，本发明至少具有以下有益效果：
[0040]
本发明一种基于刚神经元的类脑芯片，仿生了生物神经元，相比于传统人工神经元，加入树突模块芯片，赋予人工神经元交互信息处理能力，为实现更加复杂的类脑结构奠定了基础，在树突模块串接中，选择共用权值矩阵，从而减少权值参数，降低空间复杂度。
[0041]
进一步的，树突模块只有矩阵乘法、哈达玛积及四则运算，不存在非线性函数，极易制作成芯片；虽其无非线性函数，却可以实现非线性映射，可以替换现有类脑芯片中所有特定非线性函数(如sigmoid函数)芯片；其制作的芯片可用于逻辑关系运算及提取(系统辨识)，这是其他类脑芯片难以实现的；由于其无非线性函数，这使得其计算复杂度低，可代替计算机中非线性函数，从而提高计算机中基本函数的计算速度；由于此树突模块逻辑表达
能力与树突模块串接数量有关，所以可以控制所制芯片的逻辑表达能力，更容易得到具有高泛化能力的结构，可用于分类及回归问题。
[0042]
进一步的，当a
0|1|2|
…
|i-1
取a
i-1
模块串联后，每一次计算都使用了前边的计算结果，提高了阶次提升效率，从而减少了模块串接数量，降低了空间复杂度及时间复杂度。
[0043]
进一步的，通过树突模块的残差形式缓解了梯度消失问题，加速了权值矩阵优化时的效率。
[0044]
进一步的，树突模块的密集形式设置缓解了梯度消失问题，更进一步加速了权值矩阵优化时的效率。
[0045]
进一步的，树突模块的短接含权值形式中，短接路线的权值增加了树突模块参数量，提高了树突模块的表达能力，且加速了权值矩阵优化时的效率。
[0046]
进一步的，不包含非线性函数的计算，只有矩阵乘法、哈达玛积及四则运算，所以极易实现在线训练。在线训练可以增加芯片对环境或应用场景的适应性。
[0047]
进一步的，感知器芯片相比于传统人工神经元，实现了交互信息提取；信息融合芯片实现了来自不同刚神经元的数据的信息融合，可处理多模态数据；卷积芯片可实现卷积操作中的交互信息提取；线性调控芯片可针对维度问题，实现任意维度调整。此外，感知器芯片、信息融合芯片、残差芯片、密集芯片、卷积芯片和线性调控芯片均可将函数部分直接去掉或令函数选取为线性函数，选取线性函数后：残差芯片具有无非线性函数、更易实现、计算速度更快的特点，可实现所有市面上现有专一函数芯片的功能；密集芯片残具有无非线性函数、更易实现、计算速度更快的特点，可实现所有市面上现有专一函数芯片的功能。
[0048]
综上所述，本发明实现了类脑芯片中的交互信息运算；可去除类脑芯片中的非线性运算，更有益于芯片的硬件实现；芯片逻辑计算的复杂度下降，进而提升了芯片运行速度；实现类脑芯片权值在线训练或实时调整。
[0049]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0050]
图1为刚神经元芯片示意图；
[0051]
图2为刚神经元一般形式的树突模块示意图；
[0052]
图3为刚神经元残差形式的树突模块示意图；
[0053]
图4为刚神经元的密集形式树突模块示意图；
[0054]
图5为刚神经元短接含权值形式的树突模块示意图；
[0055]
图6为刚神经元的单层树突模块示意图；
[0056]
图7为刚神经元的感知器芯片示意图；
[0057]
图8为刚神经元的信息融合芯片示意图；
[0058]
图9为刚神经元的残差芯片示意图；
[0059]
图10为刚神经元的密集芯片示意图；
[0060]
图11为刚神经元的卷积芯片示意图；
[0061]
图12是刚神经元的线性调控芯片示意图；
[0062]
图13是刚神经元的树突在线训练芯片示意图。
具体实施方式
[0063]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0064]
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0065]
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0066]
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0067]
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
[0068]
定义符号含义如下：w
i,i-1
表示上一个模块传递到当前模块的权值矩阵；a
i-1
表示上一个模块的输入向量或矩阵；ai表示当前模块的输出矩阵；x表示最初输入向量或矩阵；o表示哈达玛积；|表示“或”；a
0|1|2|
…
|i-1
取a中的任意一个，即虚线中任意一条，如图3所示。
[0069]
树突模块定义为：首先，权值矩阵与树突模块的输入做矩阵乘法得到输出，此输出实现了树突模块不同输入之间的位置变换；然后，对通过矩阵乘法得到的树突位置不同的两个矩阵做哈达玛积来实现逻辑关系的构造(及输入信息交互)，从而实现交互信息提取。
[0070]
本发明提供了一种基于刚神经元的类脑芯片，采用树突模块、胞体模块和线性模块，其中，多种树突形式均可拆分灵活替换类脑芯片中的树突部分；胞体模块即现有只具有生物胞体功能的传统人工神经元；线性模块用于维度调整，可插在需要维度调整的刚神经元中的任意位置；刚神经元也可灵活组合实现多种类脑芯片架构。
[0071]
类脑芯片是指树突模块加胞体模块后，构成含刚神经元的类脑芯片，刚神经元包含交互信息运算，具有更好的逻辑表达能力。
[0072]
请参阅图1，以ox的特殊形式为例，具体为：
[0073][0074]
其中，l表示树突模块的数量，y表示输出，f(g)表示非线性函数或线性函数。
[0075]
在实际中，可替换成其他形式，如：oa
i-1
。
[0076]
请参阅图2，树突模块的具体结构如下：
[0077]ai
＝w
i,i-1ai-1
oa
0|1|2|
…
|i-1
[0078]
其中，a
i-1
为模块的输入，ai为模块的输出，w
i,i-1
表示上一个模块传递到当前模块的权值矩阵，a
0|1|2|
…
|i-1
取a中的任意一个(即虚线中任意一条)，a为原始输入及该模块前边模块输出数据，o表示哈达玛积。
[0079]
传入树突模块的数据(即a
i-1
和a
0|1|2|
…
|i-1
)为包含2个以上元素的向量，如：a
i-1
＝[x
0 x1]
t
，经过次树突模块后，传入树突模块的数据之间的逻辑关系[如：x0+x1(或)、x0x1(与)、-x1(非)]得以提取，重新组成新的输入。
[0080]
基本逻辑关系表示所有复杂关系或非线性映射，通过串接树突模块实现任意函数的映射，且当x0设置为恒为1时，此元素相关运算构成偏置(出现常数量)。
[0081]
以上基本形式的树突模块及其修正的其他形式树突模块都可以单独制作成芯片，树突模块制作成的芯片可通过串联或集成，构成复杂函数映射或实现多种功能。
[0082]
刚神经元的类脑芯片中胞体模块的函数选取线性函数时，其内部结构为：矩阵乘法、哈达玛积及四则运算。类脑芯片的输入为传入本树突模块的输入，类脑芯片的输出为上述胞体模块的输出。基本树突芯片通过串联或集成，构成复杂函数映射或实现多种功能。
[0083]
权值矩阵是存储基本参数的权值矩阵，权值矩阵的求解通过优化求得，如误差反向传播优化。
[0084]
树突模块展开后包含交互计算，且未使用非线性函数实现了非线性映射。
[0085]
树突结构包含矩阵乘法和哈达玛积，每进行一次哈达玛积就会出现一个变量交互。传入本树突模块的数据(即a
i-1
和a
0|1|2|
…
|i-1
)为包含2个以上元素的向量，如：a
i-1
＝[x
0 x1]
t
，经过次树突模块后，传入树突模块的数据之间的逻辑关系[如：x0+x1(或)、x0x1(与)、-x1(非)]会得以提取或变量得以交互，重新组成新的输入。
[0086]
树突模块中，当a
0|1|2|
…
|i-1
取a
i-1
模块串联后，其逻辑表达阶次随着模块数量呈指数增长，这使得在实现相同阶次或精度的情况下所需模块或计算量更少，即其计算复杂度极小。将训练好的基本函数的树突模块权值存储后，计算基本函数时调取树突模块，实现高速计算，提高了计算机或芯片中基本运算的计算速度。
[0087]
请参阅图3，刚神经元残差形式的树突模块如下：
[0088]ai
＝w
i,i-1ai-1
oa
0|1|2|
…
|i-1
+w
i,i-1ai-1
[0089]
请参阅图4，刚神经元的密集形式树突模块如下：
[0090]ai
＝w
i,i-1ai-1
oa
0|1|2|
…
|i-1
+x
[0091]
其中，x为原始输入，其特殊情况为短接路线上加权值矩阵。
[0092]
请参阅图5，刚神经元短接含权值形式的树突模块。o后的传递数据换成类图4表示的任意虚线传递的数据。
[0093]
短接含权值形式的树突模块如下：
[0094][0095]
其中，w
i,i-1
和是两个不同的权值矩阵，w
ri,i-1
表示短接路线上的权值矩阵，其特殊情况为短接路线上不加权值矩阵w
ri,i-1
。
[0096]
刚神经元残差形式的树突模块和胞体模块组成的一种刚神经元结构如下：
[0097]afi
＝f(w
i，i-1afi-1
oa
f0|0|2|
…
|i-1
+w
i，i-1afi-1
)
[0098]
其中，a
fi-1
为树突模块的输入，a
fi
为刚神经元的输出，w
i,i-1
表示上一个人工神经元
传递到当前人工神经元的权值矩阵，a
f0|1|2|
…
|i-1
取af中的任意一个，af为原始输入及对应神经元前边神经元的输出数据，o表示哈达玛积，f()表示激活函数，w
i,i-1afi-1
表示线性模块，w
li,i-1
为线性模块的权值矩阵，a
li-1
为线性模块的输入，a
li
为线性模块的输出。
[0099]
请参阅图6，给出刚神经元的单层树突模块，为一个树突模块和函数f拼接而来。
[0100]
基于刚神经元的类脑芯片包括感知器芯片、信息融合芯片、残差芯片、密集芯片、卷积芯片和线性调控芯片。
[0101]
请参阅图7，刚神经元的感知器芯片如下：
[0102][0103][0104]
其中，h＝[1；hh]，表示权值矩阵。
[0105]
请参阅图8，刚神经元的信息融合芯片如下：
[0106][0107][0108]
其中，{1,x1,x2,l,xn}＝x，{1,z1,z2,l,zk}＝z，{1,h1,h2,l,he}＝h，e表示神经元数量。
[0109]
请参阅图9，刚神经元的残差芯片如下：
[0110][0111]
请参阅图10，刚神经元的密集芯片如下：
[0112]
[0113]
请参阅图11，给出了刚神经元的卷积芯片。
[0114]
卷积芯片中，在传统卷积部分中加入了树突模块，使得进行卷积时，可以直接进行变量之间交互关系提取。此外，此芯片也可插入线性模块，进行维度调整。
[0115]
请参阅图12，刚神经元的线性调控芯片，表示可在刚神经元的任意部位插入线性模块进行维度调节。
[0116]
请参阅图13，刚神经元的树突在线训练芯片，以最简的wx
○
x为例。实际中，参考本操作可实现本发明所提所有芯片的在线训练，具体公式表示如下：
[0117]
树突模块和线性模块的前向传播：
[0118][0119]
树突模块和线性模块的反向传播：
[0120][0121][0122]
da
l-1
＝(w
l,l-1
)
t
dz
l
[0123]
树突模块权值调整：
[0124][0125]wl,l-1(new)
＝w
l,l-1(old)-αdw
l,l-1
[0126]
其中，和y预测输出和真实值，m表示批训练的样本，α表示学习率，关于过程变量含义如图13所示。
[0127]
刚神经元的树突在线训练芯片实现中，只有矩阵乘法、矩阵加法及哈达玛积，利于实现在线训练及权值在线调整。
[0128]
综上所述，本发明一种基于刚神经元的类脑芯片，实现了类脑芯片中的交互信息运算；可去除类脑芯片中的非线性运算，更有益于芯片的硬件实现；芯片逻辑计算的复杂度下降，进而提升了芯片运行速度；实现类脑芯片权值在线训练或实时调整。
[0129]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0130]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0131]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0132]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0133]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

技术特征：
1.一种基于刚神经元的类脑芯片，其特征在于，包括树突模块、胞体模块和线性模块，树突模块至少包括一个，多个树突模块之间串联连接实现交互信息运算，胞体模块为具有生物胞体功能的传统人工神经元，胞体模块与树突模块组成刚神经元的类脑芯片，线性模块用于对树突模块之间和/或胞体模块之间线性维度进行调整。2.根据权利要求1所述基于刚神经元的类脑芯片，其特征在于，树突模块的结构包括：a
i
＝w
i,i-1
a
i-1
oa
0|1|2|
…
|i-1
其中，a
i-1
为树突模块的输入，a
i
为树突模块的输出，w
i,i-1
表示上一个树突模块传递到当前树突模块的权值矩阵，a
0|1|2|
…
|i-1
取a中的任意一个，a为原始输入及树突模块对应前边树突模块的输出数据，o表示哈达玛积。3.根据权利要求2所述基于刚神经元的树突模块，其特征在于，当a
0|1|2|
…
|i-1
取a
i-1
时，多个树突模块串联后，逻辑表达阶次随树突模块的数量呈指数增长。4.根据权利要求2所述基于刚神经元的树突模块，其特征在于，刚神经元残差形式的树突模块如下：a
i
＝w
i,i-1
a
i-1
oa
0|1|2|
…
|i-1
+w
i,i-1
a
i-1
。5.根据权利要求2所述基于刚神经元的树突模块，其特征在于，刚神经元密集形式的树突模块如下：a
i
＝w
i,i-1
a
i-1
oa
0|1|2|
…
|i-1
+x其中，x为原始输入。6.根据权利要求2所述基于刚神经元的树突模块，其特征在于，树突模块的短接含权值形式如下：其中，w
i,i-1
和是两个不同的权值矩阵，w
ri,i-1
表示短接路线上的权值矩阵。7.根据权利要求1所述基于刚神经元的类脑芯片，其特征在于，刚神经元残差形式的树突模块和胞体模块组成的一种刚神经元结构如下：a
fi
＝f(w
i,i-1
a
fi-1
oa
f0|1|2|
…
|i-1
+w
i,i-1
a
fi-1
)其中，a
fi-1
为树突模块的输入，a
fi
为刚神经元的输出，w
i,i-1
表示上一个人工神经元传递到当前人工神经元的权值矩阵，a
f0|1|2|
…
|i-1
取a
f
中的任意一个，a
f
为原始输入及对应神经元前边神经元的输出数据，o表示哈达玛积，f()表示激活函数，w
i,i-1
a
fi-1
表示线性模块，w
li,i-1
为线性模块的权值矩阵，a
li-1
为线性模块的输入，a
li
为线性模块的输出。8.根据权利要求1所述基于刚神经元的类脑芯片，其特征在于，胞体模块的函数为线性函数时，刚神经元类脑芯片只包含树突模块和线性模块，类脑芯片能够进行在线训练，具体训练过程如下：树突模块和线性模块的前向传播如下：树突模块和线性模块的反向传播如下：
da
l-1
＝(w
l,l-1
)
t
dz
l
其中，和y预测输出和真实值，w
l,l-1
表示上一个模块传递到当前模块的权值矩阵，x表示原始输出，a
l-1
为模块的输入，a
l
为树突模块的输出，a
l-1
为最后一个模块的输入，a
l
为最后一个模块的输出，w
l,l-1
表示上一个模块传递到最后模块的权值矩阵，da
l
、dz
l
、da
l
、dz
l
、da
l-1
反向传播过程中的中间变量，t表示转置。9.根据权利要求8所述基于刚神经元的类脑芯片，其特征在于，树突模块和线性模块的权值调整如下：w
l,l-1(new)
＝w
l,l-1(old)-αdw
l,l-1
其中，α表示学习率，m表示批训练的样本个数，w
l,l-1(old)
表示旧权值矩阵，w
l,l-1(new)
表示更新后的权值矩阵。10.根据权利要求1至9中任一项所述基于刚神经元的类脑芯片，其特征在于，类脑芯片为感知器芯片、信息融合芯片、残差芯片、密集芯片、卷积芯片或线性调控芯片。

技术总结
本发明公开了一种基于刚神经元的类脑芯片，类脑芯片只有矩阵乘法、哈达玛积及四则运算，可实现非线性映射，替换现有类脑芯片中所有特定非线性函数芯片；制作的类脑芯片可用于逻辑关系运算及提取，可代替计算机中非线性函数，提高计算机中基本函数的计算速度；由于树突模块逻辑表达能力与树突模块串接数量有关，所以可以控制所制类脑芯片的逻辑表达能力，更容易得到具有高泛化能力的结构，用于分类及回归问题。归问题。归问题。


技术研发人员：刘刚
受保护的技术使用者：刘刚
技术研发日：2021.12.01
技术公布日：2022/3/8