动态反传算法的收敛性()

文献[5]中提出了一种新型的神经模型—对角回归神经网络(DRNN)。DRNN实质是一种特殊的Elman网络。由上节可知,对角回归神经网络的特点在于W I为对角阵、网络具有自反馈特性。这种网络相比Elman网络结构上更为简洁同时也保留了局部回归的特性。应该指出:该文是一篇十分重要的文献,自提出以来,获得了研究者的广泛重视,目前已获得为数不少的研究应用(如文献[7,8])。

本节和下节重点讨论文献[5]中提出的面向系统辨识与控制的对角回归神经网络动态反传算法的收敛性定理。本节主要引述其工作,下一节将对该文作者在收敛性研究方面的工作作出评析、修正和推广。

3.3.1　对角回归神经网络及其动态反传算法[5]

图3.2中,对每个离散时间k,I i(k)表示第i个输入,S j(k)表示第j个回归神经元输入和X j(k)表示第j个回归神经元的输出,O(k)为网络的输出。在这个网络中,分别用W I、W O、W D(W H)来表示输入、输出、对角(或隐层)的权向量,其向量空间分别为R ni、R nd和R no。

图3.2　对角回归网络的结构

如图所示的DRNN的数学模型表达如下:

这里,f(·)是一般的S型函数,

设y(k)与y m(k)(令y m(k)＝O(k))分别是对象的期望响应和实际响应,误差函数可定义为:

而对一般的权W(属于W I、W O、W D构成的集合):

其中,e m(k)＝y(k)－y m(k),它表示了对象的输出与输出之间的误差。

由上节可知,输出对输出、回归、输入向量的梯度分别为:

其中,P j(k)≡∂X j(k)/∂,Q ij(k)≡∂X j(k)/∂,并满足:

而权值调整的动态反传算法可以由(3.27)及(3.22)—(3.26)共同描述:

其中,η是学习率。

3.3.2　收敛性与稳定性[5]

文献[5]的作者应用Lyapunov第二法证明了几条算法收敛性的定理,证明过程引述如下:

设给定一种离散型Lyapunov函数,表达式如下:

其中,e(k)表示学习过程中的误差。

因而,经过训练后,Lyapunov函数的变化如下:

由于学习,误差会发生改变,有下式:

其中,ΔW代表任意一个权向量(R n)的变化。

由修正原则(3.21)、(3.27)式可得,

其中,W I和ηI分别代表一个任意的权向量和在DRNI(表示用于辨识的对角神经网络,用DRNC表示用于控制的对角神经网络)中相对应的学习率,O(k)是DRNI的输出。于是可以得到如下的收敛性定理:

定理3.1[5]设ηI是网络权值的学习率,g I,max:＝max k‖g I(k)‖,g I(k)＝∂O(k)/∂W I,‖·‖是普通的欧氏范数(R n),那么当满足下式时可以保证收敛:

证明:由(3.29)—(3.31)式,有:

由(3.30)式,可得:

由(3.31)式便可得出0＜η1＜2,从而(3.32)式得证。

定理3.2[5]设分别是DRNI中的学习率。那么如满足后述条件动态反传算法收敛:并且,

其中,h I是隐层回归元的个数,n I是DRNI的输入个数,＝max k‖(k)‖,I I,max＝max k‖I I(k)‖,‖·‖是无穷范数。式中I表示“辨识”(Identification)之意。

证明:

(1)由(3.22),

其中,X I＝,,…,

[]T,是隐层第j个神经元的输出值,h I是隐层回归元的个数。

又由于0＜＜1,j＝1,2,…,h I,并由欧氏范数R hI定义可得,‖g I(k)‖＜ ,＝h I,从而定理3.2之(3.36)式得证。

(2)令P I,j(k)＝∂X j(k)/∂,由(3.25)得:

其中,f′(k)≡f′(S j(k)).由上式递推得:

因为P I,j(0)＝0,所以

令r＝l－m－1,

因此,对于向量P I(l)＝[P I,1,P I,2,…,P I,hI]T,

或者

由(3.23):

因此,由定理3.1以及(3.49),(3.37)式便可得证。

(3)令Q I,ij(k)＝∂X j(k)/∂W II,j,由(3.25)得:

同理,

因为Q I,ij(0)＝0,所以:

同(2),故而

假定对象是一个BIBO稳定系统,I I,max＝max[b I,u max,y max],b I是阈值,u max和y max分别是最大的输入和输出,那么,

由(3.24),

因此,由定理3.1以及(3.56),(3.38)式便可得证。

Ku和Lee还对于用于控制的对角神经网络DRNC的算法收敛性给出了相应定理。由于形式与证明与前述定理相似,故从略。