网络学习算法

2.2　BP网络学习算法

BP网络学习过程的具体步骤如下：

（1）初始化，给各连接权W_ij、V_jt及阙值θ_j、γ_t

i＝1，2，…，n； j＝1，2，…，p； k＝1，2，…，q

赋予［－1，＋1］或［0，1］之间的随机值。

（2）随机选取一模式对A_k＝［，，…，］，Yk＝［，，…，］提供给网络。

（3）用输入模式A_k＝［，，…，］，连接权W_ij及阙值θ_j计算中间层各神经元的输入s_j（激活值），然后用s_j通过激活函数f（x）＝ 计算中间层各单元的输出b_j＝f（s_j）。

式中：s_j＝∑^W_ij·a_i－θ_j。

（4）用中间层的输出b_j、连接权V_jt和阙值r_t计算输出层各单元的输入l_t（激活值），然后用L_t通过激活函数计算输出层各单元的响应c_t，c_t＝f（l_t），式中：l_t＝∑^Vjt·b_j－γ_t。

（5）用希望输出模式Y_k＝，，…，］，网络实际输出c_t计算输出层各单元的校正误差d_tk：

d_tk＝（y_tk－c_t）c_t（1－c_t）

（6）用V_jt，d_t，b_j计算中间层的校正误差：

＝［∑d_t，V_jt］b_j（1－b_j）

（7）用d_t，b_j，V_jt和γ_t计算下一次的中间层和输出层之间的新连接权：

　V_jt（N＋1）＝V_jt（N）＋α··b_j，

　γ_t（N＋1）＝γ_t（N）＋α·，

式中，N为学习次数。

（8）由，，W _ij和θ_j计算下一次的输入层和中间层的新的连接权。

（9）随机选取下一个学习模式对提供给网络，返回到第3步，直至全部m个模式对训练完。

（10）重新从m个学习模式对中随机选取一个模式对，返回到第（3）步，直至网络全局误差函数E小于预先设定的限定值（网络收敛）或学习回数大于预先设定的数值（网络无法收敛）。

（11）学习结束。

在以上的学习步骤中（3）～（6）为学习模式的“顺传播过程”，（7）～（8）为网络误差的“逆传播过程”，（9）和（10）则完成训练和收敛过程。