基于反向传播的多层神经网络训练原理(翻译)

简介

  本篇是对Principles of training multi-layer neural network using backpropagation文章的基本翻译,
原文地址:http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

正文

  本课题通过反向传播描述多层神经网络的训练过程,为了形象说明这个过程,本篇使用了一个3层神经网络实例,包含2个输入和一个输出。
具体结构如下图所示:
                                     

  每个神经元都由2个单元组成,第一个单元是权重系数和输入信号的乘积;第二个单元是一个非线性函数,也被称之为神经元激活函数。信号e是加法器(第一单元)输出信号, y = f(e) 是非线性系统(第二单元)输出信号。信号y为神经元输出信号。
                                     

  训练神经网络需要数据集作为输入,这里训练数据由输入信号(x1和x2)组成,并指定它们对应目标标签(label)为z。网络训练是一个反复迭代的过程,在每一次迭代中,神经网络节点权重系数不停的被训练集中新的输入数据更新。
权重系数通过如下描述的算法修改更新:每次迭代的学习步骤都是强制从训练集2个输入信号开始。这一阶段完成后,我们便可以确定所有神经网络层每个节点的输出信号值。
   如下图,显示了信号如何通过神经网络进行传播,符号w(xm)n 表示网络输入xm 和输入层神经元n的权重系数,yn表示神经元n的输出信号。
                                     
                                     
                                     

  信号通过隐藏层传播, 符号wmn 表示输出神经元m和下一层的输入神经元n之前权重系数:
                                     
                                     

  信号通过输出层的传播:
                                     

  在下一个算法步骤(反向传播)中,输出层信号y与期望输出值进行比较(该训练样本标签值),它们之间的差异,表示为输出层神经元的误差信号d:
                                     

  由于内部神经元的输出值是未知的,所以直接计算内部神经元的误差信号是不可能的。多年来,一直没有找到多层神经网络有效的训练方法,直到80年代中期,反向传播算法出现。它的基本思想是反向传播误差信号d(在前面训练步骤计算的)回所有神经元。
让前面输出信号,变成这里反向训练的输入信号。
                                     
                                     

  这个用来向后传播误差的权重系数wmn,和前面使用的前向传播信号是同一个权重系数,只是改变数据流的传播方向(信号一个接一个的从输出传回输入)。这个技术用在所有的网络层中,它们通过叠加在神经元中传播,
具体如下图所示:
                                     
                                     
                                     

  在所有神经元都计算完错误信号之后,就可以修改每个神经元输入节点的权重系数了,公式df(e)/de 表示前面神经元激活函数的导数:
具体如下图所示:
                                     
                                     
                                     
                                     
                                     
                                     

  系数h影响网络学习速度,这里有一些常用的参数选择方法。第一种方法是使用较大的h进行学习训练,在权重系数迭代的同时,参数也逐渐减小;第二种方法更复杂一些,该方法以小的参数值开始训练,在学习过程中,参数逐渐增大,然后在最后阶段
参数又逐渐减小,以小的参数值开始训练,可以确定权重系数符号。
相关文章
相关标签/搜索