-
1991年,日本东北大学的柴田直(Tadashi Shibat)教授和大见忠弘(Tadahiro Ohmi)博士基于浮栅MOS结构提出了神经元MOS晶体管(缩写为neuMOS)[1].这种器件的结构和功能非常类似于人工神经网络[2],其具有多输入信号控制、阈值可变可控、制造工艺兼容、功耗低、可简化电路结构和节省芯片面积等特点,被广泛应用于神经网络[3-4]、匹配滤波[5]、逻辑运算[6]、低功耗电路[7]等电路中.另一方面,忆阻器作为第四个基本电路元件被提出[8],它具有阻值连续可调、断电非易失、低功耗等特性,忆阻器是天然的电子突触,可以实现权值的连续更新,是模仿神经系统的最佳选择.
人工神经网络作为一种新型的信息处理系统,可以通过软件和硬件两种方式来实现.软件实现的方式对计算机要求高,而且存在并行程度低、运行速度慢的缺点,无法满足实时性要求.相比较而言,利用电子元器件搭建起来的神经网络更能满足实际的需求,而且充分体现了并行、高速的特点.但是在当前的神经网络硬件电路实现中[9],基本上都是采用普通MOS管、电阻、电容、运算放大器等元器件实现的,存在电路结构复杂、功耗高、互连性低的缺点.
本文基于neuMOS和阈值忆阻器[10-11]提出了一种全新的神经网络结构,这种由neuMOS晶体管和忆阻突触电路组成的网络结构简单、神经元阈值可调、突触权值可连续更新,极大地简化了网络结构,增强了网络性能.而且,这种结构除了neuMOS、忆阻器和电阻外,不包含其他元件,具有很好的电路兼容性.同时,本文还验证了基于这种全新神经元结构的Hopfield神经网络在联想记忆和彩色数字恢复中的应用.
全文HTML
-
神经元是神经网络信息处理的基本单元,图 1(a)显示了三输入一输出的经典神经元模型.其中xi(i=1,2,3)为神经元输入,wi(i=1,2,3)是神经元的突触权值,v是输入信号的线性组合输出,阈值为θ,激活函数为f(·),y是神经元的输出信号.等式(1)是这种神经元模型的更新方式,y=sign(·)为符号函数.
根据这种经典模型,本文提出的结构如图 1(b)所示.该结构由neuMOS、忆阻器和电阻组成,忆阻器和普通电阻组成的分压电路作为突触,利用neuMOS的加权求和特性和阈值导通特性来实现神经元的线性组合以及激活函数功能,而θ端的电压充当神经元阈值的作用.相比较于现有的神经元电路结构[12],这种电路复杂度低,省去了大部分的电阻、晶体管和所有的运算放大器,避免了复杂的减法运算,也不需要电压电流之间的转换. neuMOS晶体管的制造只需要标准的双层多晶硅工艺,与标准的CMOS工艺可以很好地兼容,在电路集成方面具有突出的优势.另外,利用neuMOS的特点,这种神经元的各个输入信号根据电容耦合系数来计算加权和,这种方式只有在电容充放电的时候会有电流,再加上忆阻器本身具有低功耗特性,因此,相比较于电流型加权求和电路,可以大大降低电路能耗.同时,这种神经元具有一个阈值控制端,通过外加电压可以改变整个神经元的阈值特性.可见,这种全新的神经元不仅简化了网络结构,还增强了网络性能,具有很强的研究价值.为了对这种神经元能有更深入地认识,我们分神经元特性和突触两部分来介绍工作原理.
-
神经元必须具有线性组合器来叠加各个输入信号的加权和以及一个激活函数来限制神经元的输出.在往常的设计中,都需要通过复杂的模拟电路来实现这部分的功能,在一定程度上已经成为了大规模集成神经网络的瓶颈.这里利用了neuMOS的突出优势,简单地改变输入方式和控制方法,就能有效地达到本文的设计目的.下面以三输入neuMOS为例进行仿真来说明设计的有效性.
图 2为三输入neuMOS的结构图,与普通MOS管相比,它由多个门极输入端组成,门极输入端与浮栅之间通过电容耦合.其中ϕF是浮栅电压,Ci(i=1,2,3)是浮栅和第i个输入栅之间的电容,Vi(i=1,2,3)是第i个输入栅上所加的电压. C0是浮栅和衬底间的电容.浮栅上的电压ϕF由等式(2)决定[1].
当电压ϕF大于neuMOS阈值VTH时,MOS管导通.即neuMOS导通的条件为
为了实现神经元多输入加权求和以及阈值导通功能,我们对neuMOS做如下处理:V1和V2端作为神经元的两个输入,为了便于分析和观察,权值都为1,V3做为神经元阈值调整端,neuMOS导通与否用来模拟非线性函数f(·),即符号函数.取
将不等式(3)表示成V1、V2与V3的关系式:
VTH为neuMOS的固有阈值,VTH*为neuMOS的等效阈值.当输入端的和大于等效阈值时,neuMOS导通,等效阈值由阈值控制端V3的电压决定,达到阈值可编程的目的.
图 3是三输入neuMOS的SPICE模型,固有阈值电压设定为0.6 V,改变阈值控制端V3的电压,得到如图 4所示的输入输出关系图.横坐标为输入端的电压和(V1+V2),纵坐标为neuMOS的导通电流(Ids).当有电流产生时,说明晶体管处于导通状态.在V3的电压从4 V到0 V的变化过程中,neuMOS的等效阈值相应地发生改变,也就是说,neuMOS导通电压临界值随着V3成正相关地线性变化,这个特性能够很直观地模拟神经元的兴奋传递,且具有阈值可调节的功能.
-
根据神经元特性和电路分压公式,我们得到神经元输入加权和为
令:
则有
wi(i=1,2,3)为突触权值,公式中的忆阻器采用的是电流阈值自适应忆阻模型(TEAM)[14-15],其状态变量微分方程、窗函数表达式和忆阻值表达式分别如等式(8),(9),(10)所示:
koff和kon表示幅度参数,koff为正,kon为负;αon和αoff为匹配参数,皆为常数;ioff和ion分别表示开关时的电流阈值.
图 5(a)(b)是TEAM模型在外部电流正弦信号5sin(2πt)mA激励下的伏安特性曲线和窗函数,图 5(c)(d)是在外部电流正弦信号Iinput=Iampsin(2πt)下的忆阻器阻值变化曲线,Iamp范围在[0,200 0 μA],其他设置参数如表 1.
从图中可以看出,随着电流的不断增加,当通过忆阻器的电流达到300 μA后,忆阻器阻值开始变化,而当外加电流未达到ioff阈值电流时,忆阻值将维持初始的忆阻值不变.利用这个特性,当我们给忆阻器加正负1V的方波电压时(忆阻器最大阻值设定为2K,此时的最小电流大于忆阻器阈值电流),阻值随着方波宽度连续变化,如图 6(a)所示.可见,阈值忆阻器具有阻值可编程的能力,而且能够实现连续变化,能够实现权值的连续更新,是天然的电子突触器件.随着忆阻器阻值的改变,突触权值在(0.05,0.95)的范围内连续变化,如图 6(b).
1.1. 神经元特性
1.2. 忆阻突触特性
-
本文提出的忆阻离散Hopfield神经网络如图 7所示,其中y=(y1,y2…yn),θ=(θ1,θ2…θn)分别表示神经元状态和阈值. wij为第i和第j个神经元互联权值,为了满足稳定性要求,权值必须满足如下条件,即网络为对称连接且自身无连接.
wij由式(6)决定,也就是说,按网络需要来对忆阻器阻值进行编程,即可得到相应的突触权值,则权值矩阵可以由相应的存有相应阻值的忆阻器阵列决定.三神经元忆阻离散Hopfield神经网络突触权值设定的整个过程如图 8所示.
这种全新的神经网络结构的工作方式是异步的,其步骤可归纳为下面5步:
① 网络初始化,包括忆阻器阻值设定(权值设定)和θ设定(阈值设定);
② 从网络中随机选取一个神经元i;
③ 求出该神经元i的输入,y(t)表示在t时刻的状态;
④ 求出该神经元i的输出,此时网络中其他神经元输出保持不变;
⑤ 判断网络是否达到稳点状态,如果满足则结束,否则转到第②步.
相比较于传统的Hopfield神经网络,本文提出的忆阻离散Hopfield神经网络在电路结构、系统集成和能耗上具有无法比拟的优势.首先,整个网络只有忆阻器、电阻和neuMOS 3种器件组成,大大简化了原来复杂的晶体管电路.另外,由于忆阻器和neuMOS的低能耗特性,以及整个网络省去了大部分电阻、晶体管和全部运算放大器等耗能元件,使得整个网络在节能方面有突出优势.这种优势更有利于神经网络系统的大规模集成,也更适应于VLSI的要求.
-
为了证明忆阻离散Hopfield神经网络的有效性,我们对其联想记忆能力进行了仿真.我们用3位0/1串来表示3种基础色,第1位表示红色,第2位表示绿色,第3位表示蓝色,1代表有这种颜色,0代表没有这种颜色.则可以用这3位0/1串表示出8种常用的颜色,分别为黑色(000)、绿色(001)、蓝色(010)、青色(011)、红色(100)、黄色(101)、紫色(111)和白色(111).我们设定联系记忆的最终结果为“黄色”,则该神经网络的权值矩阵和阈值向量分别设定为
根据突触权值设定过程,我们可以得到相应的忆阻器阻值和阈值控制端输入电压,其中,R1=R2=R3=R4=2 kΩ:
实验中,每一次状态的改变都按照上一节所提到的步骤来实现.仿真结果如图 9所示,在一个更新周期内,只有一位神经元的状态被更新,每一个初始状态最终都能成功地恢复到稳态“101”.比如初始输入为蓝色(010),第一个更新周期中,第一个神经元“0”的状态按照式(1)的更新规则更新为“1”,即为“110”;第二个更新周期中,第二个神经元“1”的状态按照式(1)的更新规则更新为“0”,即为“100”;第三个更新周期中,第三个神经元“0”的状态按照式(1)的更新规则更新为“1”,即为“101”,最终输出“黄色”稳态.当然,我们也可以设置不同的忆阻器值和θ端电压来实现其他状态.
实际的8位彩色图像中,分别用2∧8(即256)个阶度表示红绿蓝,每个颜色的取值范围都是[0, 255],如图 10(a)所示,理论上共有256×256×256种颜色.同三原色的联想记忆方法一样,我们构建了八神经元忆阻离散Hopfield神经网络来实现对每一种颜色色阶的联想记忆.假设我们要联想的结果为红色的“01100110”,图 10(b)给出了部分联想记忆过程.
利用上述的实验原理,我们将这种全新的忆阻离散Hopfield神经网络应用到彩色数字恢复图像中.对于一个10*9像素构成的数字图像,每一个像素点都由R,G,B 3层组成.对于背景区域,最后的稳态为黑色,即每一层的值都为“0”.对于数字区域,最后的稳态根据要求来设定.通过设定不同的忆阻器值和θ端电压,即可恢复受噪声干扰的彩色数字图像.如图 11所示,我们给彩色数字图像随机加上噪声,使得原图像变得不易识别,然后将背景区域和数字区域分别通过学习好的神经网络,最后得到除噪后的数字图像.
-
本文基于neuMOS和忆阻器提出了一种全新的神经元结构,该结构具有神经元的加权求和特性和阈值导通特性,能够完全模拟神经元信息传导过程.在电路组成上,这种神经元只有neuMOS、忆阻器和电阻3种元器件,省去了传统神经元电路中复杂的差分运算电路以及电流信号和电压信号之间的转换电路,所以电路结构简单且具有很好的电路兼容性,适合大规模集成.由于neuMOS和忆阻器的优越性能,使得这种神经元能耗低、阈值动态可控、权值可编程,不但能极大地简化网络结构,还能增强网络性能.为了验证这种神经元的神经网络特性,本文构建了基于neuMOS和忆阻器的全新神经元的忆阻离散Hopfield神经网络,并验证了其联想记忆的能力,以及实现了其在彩色数字图像恢复中的应用.