神经网络建模的基本原理

一、神经网络建模的基本原理

人工神经网络(Artificial Neural Network，ANN)简称神经网络，神经网络建模技术与认知过程的联结主义模型一脉相承。认知过程理论经过多年的发展，形成了符号表征和联结主义两种模型。符号表征模型以计算机的符号加工为启示，把人的认知过程看做是计算机式的信息加工过程，通过计算机的物理操作来类比人的认知活动，把作为媒介的符号的运算看成是认知加工^[3]。联结主义模型则以神经的网络加工为启示，通过脑的生物过程来类比人的认知活动。即联结主义把认知解释为一个网络的整体活动，把作为基础的类似于神经元的基本单元或结点之间的联结看成是认知加工。典型的认知加工模型为一个由输入层、隐含层、输出层组成的三层结构(见图3.1)。

模型中各层结点之间，通过不同的权重联系在一起，权重代表结点间的激活水平。输入结点输入刺激，并且直接与隐含结点相联系，它向隐含结点传递激活，通过隐含结点传向输出结点。如果模型传播了错误的信息，即如果输出结点的最大激活与输入刺激不相适应，模型就逆向传递错误，调整联结权重。通过这种途径，网络的整个权重就变得适合、协调，并最后形成进一步调整的模式。这样，网络的动态过程就可以看做是认知能力，认知过程就在于从网络的初始状态到最后完成的稳定状态。联结主义模型采用平行加工的储存和处理机制，节省大量的储存和加工单元，因而具有高效性，而且储存在联结主义模型中信息只会衰退而不会完全丢失。因此，联结主义模型更接近人脑的神经系统，更贴近人的认知特征，也更接近现实中信息的储存和提取状态^[4][5]。神经网络是在对人脑神经网络的基本认识基础上，以数理方法和信息处理的角度对人脑的神经网络进行抽象，并建立一种简化的模型。它是一种把许多简化的神经细胞模型，按照大脑的组织模式，并行、分层地相互联结成网络，因而接近于大脑的信息处理方式，是近似构造大脑信息处理系统，模拟大脑信息处理过程的切实可行的技术。设计合理的神经网络，通过利用训练样本进行自我学习，能够以很好的精度逼近复杂的非线性映射，因而可以作为多维非线性函数的通用数学模型。

图3.1　联结主义认知加工模型

(一)神经网络的含义

神经网络的研究起始于20世纪中叶。1943年，McCulloch和Pitts提出了第一个神经元模型(M－P神经元模型)，自此以后，人们开始了将数理科学和认知科学结合起来探索人脑奥秘的进程。

所谓神经网络就是指，在对人脑神经网络的基本认识基础上，以数理方法和信息处理的角度，对人脑神经网络进行抽象，并建立某种简化的模型。神经网络不是人脑生物神经网络的真实写照，而只是对它的简化、抽象与模拟，是一种旨在模仿人脑结构及其功能的信息处理系统^[6]。

(二)神经网络的结构

神经网络由神经元组成，神经元是神经网络的基本计算单元，它模拟了人脑中生物神经元的基本特征。

生物神经元(见图3.2)由细胞核、树突、轴突和突触四个部分组成。突触为输入输出接口，树突和细胞体为输入端，接收突触点的输入信号;细胞体相当于一个微型处理器，对各树突和细胞体各部位接收到的来自其他神经元的输入信号进行组合，并在一定条件下触发，产生一输出信号;输出信号沿轴突传至末梢，轴突末梢作为输出端，通过突触将这一输出信号传向其他神经元的树突和细胞体。生物神经网络就是由许多个生物神经元以确定方式和拓扑结构相互连接形成。

对应于生物神经元，神经网络中的人工神经元(见图3.3，也叫结点)是对生物神经元的信息处理过程进行抽象，并用数学语言进行描述。其中x_i表示输入信号，x_i的大小表示输入信号的大小;w_ij为输入的加权系数，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度;∑表示组合输入信号的总和值，相当于生物神经元的膜电位。生物神经元激活与否，取决于某一阈值水平，即只有当其输入总和超过阈值时，神经元才被激活而发放脉冲，否则神经元不会产生输出信号。人工神经元的输出也同生物神经元一样仅有一个，如用O_j表示神经元输出。输出与输入之间的对应关系可用某种函数来表示，这种函数称为转移函数f。

图3.2　生物神经元结构图

(引自韩力群编著.人工神经网络理论、设计及应用.北京:化学工业出版社，2002.)

图3.3　人工神经元结构图

上述内容可用一个数学表达式进行抽象与概括:

式中O_j(t)表示t时刻神经元j的信息输出;x_i(t)表示t时刻神经元j接收的来自神经元i的信息输入;w_ij表示神经元i到j的突触连接系数或称权重值;T_j为神经元j的阈值;f为神经元转移函数。

神经元的转移函数反映了神经元输出与其激活状态之间的关系，转移函数不同，神经元的数学模型也不同，神经元的信息处理特征也不同。神经网络的转移函数主要有以下几种:

大量人工神经元按一定的规则连接起来，就构成神经网络。按照神经网络构成方式不同，可以有不同类型的神经网络。

1.按照神经元之间的连接方式可分为层次型结构和互连型结构

层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层(也称隐含层)和输出层，各层顺序相连。如图3.4至图3.6所示。

图3.4　单纯层次型网络结构

图3.5　输出层到输入层有连接的层次型网络结构

图3.6　层内有互连的层次型网络结构

互连型网络结构中，任意两个结点之间都可能存在连接路径。如图3.7至图3.8所示。

2.按照神经网络内部信息传递方向可分为前馈型网络和反馈型网络

前馈型网络的网络信息处理的方向，是从输入层到各隐含层，再到输出层逐层进行，如图3.4所示。

图3.7　全互连型网络结构

图3.8　局部互连型网络结构

反馈型网络中所有结点都具有信息处理功能，而且每个结点既可以从外界接受输入，同时也可以向外界输出，如图3.5所示。

(三)神经网络的学习

人类具有学习能力，学习过程就是一种经过训练，而使个体在行为上产生较为持久改变的过程。神经网络也具有学习的功能。神经网络的全体连接权值可用一个矩阵W来表示，其整体内容反映了神经网络对于所解决问题的知识存储。神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出，这一过程就称为神经网络的学习或训练，其本质是对可变权值的动态调整。

神经网络在学习过程中，网络中各神经元的连接权需按一定的规则调整变化，这种权值调整规则称为学习规则或学习算法。学习算法主要有两类。一类是有导师学习。这种学习算法在学习过程中，需要不断给网络成对提供一个输入模式，和一个期望网络正确输出的模式，当神经网络的实际输出同期望输出达到预定的精确度时，学习才结束。另一类是无导师学习，也称自组织学习。在学习过程中，需要不断地给网络提供动态输入信息，无需输出模式，网络能根据特有的内部结构和学习规则，对属于同一类的模式进行自动分类。

在学习过程中，具体的学习算法主要有Hebbian学习规则、Perceptron(感知器)学习规则、Delta学习规则、Widrow-Hoff学习规则、Correlation(相关)学习规则、Winner-take-All(胜者为王)学习规则、Outstar(外星)学习规则等。

总之，神经网络中神经元转移函数、隐含层数以及权值调整规则的不同，可以形成具有各种功能特点的神经网络。包括感知器、BP模型等前馈型网络;自组织特征映射(SOM)神经网络、对偶传播(CPN)神经网络、自适应共振(ART)网络等自组织神经网络;Hopfield神经网络、双向联想记忆(BAM)神经网络、Boltamann机等反馈神经网络。