bp神经网络算法原理

‘壹’ 一文彻底搞懂BP算法：原理推导+数据演示+项目实战（上篇）

反向传播算法（Backpropagation Algorithm，简称BP算法）是深度学习的重要思想基础，对于初学者来说也是必须要掌握的基础知识！本文希望以一个清晰的脉络和详细的说明，来让读者彻底明白BP算法的原理和计算过程。

全文分为上下两篇，上篇主要介绍BP算法的原理（即公式的推导），介绍完原理之后，我们会将一些具体的数据带入一个简单的三层神经网络中，去完整的体验一遍BP算法的计算过程；下篇是一个项目实战，我们将带着读者一起亲手实现一个BP神经网络（不使用任何第三方的深度学习框架）来解决一个具体的问题。

图 1 所示是一个简单的三层（两个隐藏层，一个输出层）神经网络结构，假设我们使用这个神经网络来解决二分类问题，我们给这个网络一个输入样本 ，通过前向运算得到输出 。输出值 的值域为 ，例如 的值越接近0，代表该样本是"0"类的可能性越大，反之是"1"类的可能性大。

为了便于理解后续的内容，我们需要先搞清楚前向传播的计算过程，以图1所示的内容为例：

输入的样本为：

第一层网络的参数为：

第二层网络的参数为：

第三层网络的参数为：

第一层隐藏层有三个神经元： 、 和 。该层的输入为：

以 神经元为例，则其输入为：

同理有：

假设我们选择函数 作为该层的激活函数（图1中的激活函数都标了一个下标，一般情况下，同一层的激活函数都是一样的，不同层可以选择不同的激活函数），那么该层的输出为： 、 和 。

第二层隐藏层有两个神经元： 和 。该层的输入为：

即第二层的输入是第一层的输出乘以第二层的权重，再加上第二层的偏置。因此得到和的输入分别为：

该层的输出分别为： 和 。

输出层只有一个神经元 ：。该层的输入为：

即：

因为该网络要解决的是一个二分类问题，所以输出层的激活函数也可以使用一个Sigmoid型函数，神经网络最后的输出为： 。

在1.1节里，我们已经了解了数据沿着神经网络前向传播的过程，这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数，损失函数定义为 ，其中 是该样本的真实类标。使用梯度下降进行参数的学习，我们必须计算出损失函数关于神经网络中各层参数（权重 和偏置 ）的偏导数。

假设我们要对第 层隐藏层的参数 和 求偏导数，即求 和 。假设 代表第 层神经元的输入，即 ，其中 为前一层神经元的输出，则根据链式法则有：

因此，我们只需要计算偏导数 、 和 。

前面说过，第k层神经元的输入为： ，因此可以得到：

上式中， 代表第 层神经元的权重矩阵 的第 行， 代表第 层神经元的权重矩阵 的第 行中的第 列。

我们以1.1节中的简单神经网络为例，假设我们要计算第一层隐藏层的神经元关于权重矩阵的导数，则有：

因为偏置b是一个常数项，因此偏导数的计算也很简单：

依然以第一层隐藏层的神经元为例，则有：

偏导数 又称为 误差项（error term，也称为“灵敏度”） ，一般用 表示，例如 是第一层神经元的误差项，其值的大小代表了第一层神经元对于最终总误差的影响大小。

根据第一节的前向计算，我们知道第 层的输入与第 层的输出之间的关系为：

又因为 ，根据链式法则，我们可以得到 为：

由上式我们可以看到，第 层神经元的误差项 是由第 层的误差项乘以第 层的权重，再乘以第 层激活函数的导数（梯度）得到的。这就是误差的反向传播。
现在我们已经计算出了偏导数 、 和 ，则 和 可分别表示为：

下面是基于随机梯度下降更新参数的反向传播算法：

单纯的公式推导看起来有些枯燥，下面我们将实际的数据带入图1所示的神经网络中，完整的计算一遍。

我们依然使用如图5所示的简单的神经网络，其中所有参数的初始值如下：

输入的样本为（假设其真实类标为"1"）：

第一层网络的参数为：

第二层网络的参数为：

第三层网络的参数为：

假设所有的激活函数均为Logistic函数： 。使用均方误差函数作为损失函数：

为了方便求导，我们将损失函数简化为：

我们首先初始化神经网络的参数，计算第一层神经元：

上图中我们计算出了第一层隐藏层的第一个神经元的输入 和输出 ，同理可以计算第二个和第三个神经元的输入和输出：

接下来是第二层隐藏层的计算，首先我们计算第二层的第一个神经元的输入z₄和输出f₄(z₄)：

同样方法可以计算该层的第二个神经元的输入 和输出 ：

最后计算输出层的输入 和输出 ：

首先计算输出层的误差项 ，我们的误差函数为 ，由于该样本的类标为“1”，而预测值为 ，因此误差为 ，输出层的误差项为：

接着计算第二层隐藏层的误差项，根据误差项的计算公式有：

最后是计算第一层隐藏层的误差项：

‘贰’ BP神经网络(误差反传网络)

虽然每个人工神经元很简单，但是只要把多个人工

神经元按一定方式连接起来就构成了一个能处理复杂信息的神经网络。采用BP算法的多层前馈网络是目前应用最广泛的神经网络，称之为BP神经网络。它的最大功能就是能映射复杂的非线性函数关系。

对于已知的模型空间和数据空间，我们知道某个模型和他对应的数据，但是无法写出它们之间的函数关系式，但是如果有大量的一一对应的模型和数据样本集合，利用BP神经网络可以模拟(映射)它们之间的函数关系。

一个三层BP网络如图8.11所示，分为输入层、隐层、输出层。它是最常用的BP网络。理论分析证明三层网络已经能够表达任意复杂的连续函数关系了。只有在映射不连续函数时(如锯齿波)才需要两个隐层^[8]。

图8.11中，X=(x₁，…，x_i，…，x_n)^T为输入向量，如加入x₀=-1，可以为隐层神经元引入阀值;隐层输出向量为:Y=(y₁，…，y_i，…，y_m)^T，如加入y₀=-1，可以为输出层神经元引入阀值;输出层输出向量为:O=(o₁，…，o_i，…，o_l)^T;输入层到隐层之间的权值矩阵用V表示，V=(V₁，…，V_j，…，V_l)^T，其中列向量V_j表示隐层第j个神经元的权值向量;隐层到输出层之间的权值矩阵用W表示，W=(W₁，…，W_k，…，W_l)^T，

其中列向量W_k表示输出层第k个神经元的权值向量。

图8.11 三层BP网络^[8]

BP算法的基本思想是:预先给定一一对应的输入输出样本集。学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经过各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播。将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有神经元，获得各层的误差信号，用它们可以对各层的神经元的权值进行调整(关于如何修改权值参见韩立群着作^[8])，循环不断地利用输入输出样本集进行权值调整，以使所有输入样本的输出误差都减小到满意的精度。这个过程就称为网络的学习训练过程。当网络训练完毕后，它相当于映射(表达)了输入输出样本之间的函数关系。

在地球物理勘探中，正演过程可以表示为如下函数:

d=f(m) (8.31)

它的反函数为

m=f^-1(d) (8.32)

如果能够获得这个反函数，那么就解决了反演问题。一般来说，难以写出这个反函数，但是我们可以用BP神经网络来映射这个反函数m=f^-1(d)。对于地球物理反问题，如果把观测数据当作输入数据，模型参数当作输出数据，事先在模型空间随机产生大量样本进行正演计算，获得对应的观测数据样本，利用它们对BP网络进行训练，则训练好的网络就相当于是地球物理数据方程的反函数。可以用它进行反演，输入观测数据，网络就会输出它所对应的模型。

BP神经网络在能够进行反演之前需要进行学习训练。训练需要大量的样本，产生这些样本需要大量的正演计算，此外在学习训练过程也需要大量的时间。但是BP神经网络一旦训练完毕，在反演中的计算时间可以忽略。

要想使BP神经网络比较好地映射函数关系，需要有全面代表性的样本，但是由于模型空间的无限性，难以获得全面代表性的样本集合。用这样的样本训练出来的BP网络，只能反映样本所在的较小范围数据空间和较小范围模型空间的函数关系。对于超出它们的观测数据就无法正确反演。目前BP神经网络在一维反演有较多应用，在二维、三维反演应用较少，原因就是难以产生全面代表性的样本空间。

‘叁’ 深入浅出BP神经网络算法的原理

深入浅出BP神经网络算法的原理
相信每位刚接触神经网络的时候都会先碰到BP算法的问题，如何形象快速地理解BP神经网络就是我们学习的高级乐趣了（画外音：乐趣？你在跟我谈乐趣？）
本篇博文就是要简单粗暴地帮助各位童鞋快速入门采取BP算法的神经网络。
BP神经网络是怎样的一种定义？看这句话：一种按“误差逆传播算法训练”的多层前馈网络。
BP的思想就是：利用输出后的误差来估计输出层前一层的误差，再用这层误差来估计更前一层误差，如此获取所有各层误差估计。这里的误差估计可以理解为某种偏导数，我们就是根据这种偏导数来调整各层的连接权值，再用调整后的连接权值重新计算输出误差。直到输出的误差达到符合的要求或者迭代次数溢出设定值。
说来说去，“误差”这个词说的很多嘛，说明这个算法是不是跟误差有很大的关系？
没错，BP的传播对象就是“误差”，传播目的就是得到所有层的估计误差。
它的学习规则是：使用最速下降法，通过反向传播（就是一层一层往前传）不断调整网络的权值和阈值，最后使全局误差系数最小。
它的学习本质就是：对各连接权值的动态调整。

拓扑结构如上图：输入层（input），隐藏层（hide layer），输出层（output）
BP网络的优势就是能学习和储存大量的输入输出的关系，而不用事先指出这种数学关系。那么它是如何学习的？
BP利用处处可导的激活函数来描述该层输入与该层输出的关系，常用S型函数δ来当作激活函数。

我们现在开始有监督的BP神经网络学习算法：
1、正向传播得到输出层误差e
=>输入层输入样本=>各隐藏层=>输出层
2、判断是否反向传播
=>若输出层误差与期望不符=>反向传播
3、误差反向传播
=>误差在各层显示=>修正各层单元的权值，直到误差减少到可接受程度。
算法阐述起来比较简单，接下来通过数学公式来认识BP的真实面目。
假设我们的网络结构是一个含有N个神经元的输入层，含有P个神经元的隐层，含有Q个神经元的输出层。

这些变量分别如下：

认识好以上变量后，开始计算：
一、用（-1，1）内的随机数初始化误差函数，并设定精度ε，最多迭代次数M
二、随机选取第k个输入样本及对应的期望输出

重复以下步骤至误差达到要求：
三、计算隐含层各神经元的输入和输出

四、计算误差函数e对输出层各神经元的偏导数，根据输出层期望输出和实际输出以及输出层输入等参数计算。

五、计算误差函数对隐藏层各神经元的偏导数，根据后一层（这里即输出层）的灵敏度（稍后介绍灵敏度）δo(k)，后一层连接权值w，以及该层的输入值等参数计算
六、利用第四步中的偏导数来修正输出层连接权值

七、利用第五步中的偏导数来修正隐藏层连接权值

八、计算全局误差（m个样本，q个类别）

比较具体的计算方法介绍好了，接下来用比较简洁的数学公式来大致地概括这个过程，相信看完上述的详细步骤都会有些了解和领悟。
假设我们的神经网络是这样的，此时有两个隐藏层。
我们先来理解灵敏度是什么？
看下面一个公式：

这个公式是误差对b的一个偏导数，这个b是怎么？它是一个基，灵敏度δ就是误差对基的变化率，也就是导数。
因为?u/?b=1，所以?E/?b=?E/?u=δ，也就是说bias基的灵敏度?E/?b=δ等于误差E对一个节点全部输入u的导数?E/?u。
也可以认为这里的灵敏度等于误差E对该层输入的导数，注意了，这里的输入是上图U级别的输入，即已经完成层与层权值计算后的输入。
每一个隐藏层第l层的灵敏度为：

这里的“?”表示每个元素相乘，不懂的可与上面详细公式对比理解
而输出层的灵敏度计算方法不同，为：

而最后的修正权值为灵敏度乘以该层的输入值，注意了，这里的输入可是未曾乘以权值的输入，即上图的Xi级别。

对于每一个权值(W)ij都有一个特定的学习率ηIj，由算法学习完成。

‘肆’ BP神经网络原理

人工神经网络有很多模型，但是日前应用最广、基本思想最直观、最容易被理解的是多层前馈神经网络及误差逆传播学习算法（Error Back-Prooaeation），简称为BP网络。

在1986年以Rumelhart和McCelland为首的科学家出版的《Parallel Distributed Processing》一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的阶层网络（图4.1），即：输入层、隐含层（也称中间层）、输出层，具体如下：

图4.1 三层BP网络结构

（1）输入层

输入层是网络与外部交互的接口。一般输入层只是输入矢量的存储层，它并不对输入矢量作任何加工和处理。输入层的神经元数目可以根据需要求解的问题和数据表示的方式来确定。一般而言，如果输入矢量为图像，则输入层的神经元数目可以为图像的像素数，也可以是经过处理后的图像特征数。

（2）隐含层

1989年，Robert Hecht Nielsno证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层的BP网络可以完成任意的n维到m维的映射。增加隐含层数虽然可以更进一步的降低误差、提高精度，但是也使网络复杂化，从而增加了网络权值的训练时间。误差精度的提高也可以通过增加隐含层中的神经元数目来实现，其训练效果也比增加隐含层数更容易观察和调整，所以一般情况应优先考虑增加隐含层的神经元个数，再根据具体情况选择合适的隐含层数。

（3）输出层

输出层输出网络训练的结果矢量，输出矢量的维数应根据具体的应用要求来设计，在设计时，应尽可能减少系统的规模，使系统的复杂性减少。如果网络用作识别器，则识别的类别神经元接近1，而其它神经元输出接近0。

以上三层网络的相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接，连接强度构成网络的权值矩阵W。

BP网络是以一种有教师示教的方式进行学习的。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播（称为“模式顺传播”）。实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”（陈正昌，2005）。所以误差逆传播神经网络也简称BP（Back Propagation）网。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下各层间的连接权值后。典型三层BP神经网络学习及程序运行过程如下（标志渊，2006）：

（1）首先，对各符号的形式及意义进行说明：

网络输入向量P_k=（a₁，a₂，...，a_n）；

网络目标向量T_k=（y₁，y₂，...，y_n）；

中间层单元输入向量S_k=（s₁，s₂，...，s_p），输出向量B_k=（b₁，b₂，...，b_p）；

输出层单元输入向量L_k=（l₁，l₂，...，l_q），输出向量C_k=（c₁，c₂，...，c_q）；

输入层至中间层的连接权w_ij，i=1，2，...，n，j=1，2，...p；

中间层至输出层的连接权v_jt，j=1，2，...，p，t=1，2，...，p；

中间层各单元的输出阈值θ_j，j=1，2，...，p；

输出层各单元的输出阈值γ_j，j=1，2，...，p；

参数k=1，2，...，m。

（2）初始化。给每个连接权值w_ij、v_jt、阈值θ_j与γ_j赋予区间（-1，1）内的随机值。

（3）随机选取一组输入和目标样本

提供给网络。

（4）用输入样本

、连接权w_ij和阈值θ_j计算中间层各单元的输入s_j，然后用s_j通过传递函数计算中间层各单元的输出b_j。

基坑降水工程的环境效应与评价方法

b_j=f（s_j） j=1，2，...，p （4.5）

（5）利用中间层的输出b_j、连接权v_jt和阈值γ_t计算输出层各单元的输出L_t，然后通过传递函数计算输出层各单元的响应C_t。

基坑降水工程的环境效应与评价方法

C_t=f（L_t） t=1，2，...，q （4.7）

（6）利用网络目标向量

，网络的实际输出C_t，计算输出层的各单元一般化误差

。

基坑降水工程的环境效应与评价方法

（7）利用连接权v_jt、输出层的一般化误差d_t和中间层的输出b_j计算中间层各单元的一般化误差

。

基坑降水工程的环境效应与评价方法

（8）利用输出层各单元的一般化误差

与中间层各单元的输出b_j来修正连接权v_jt和阈值γ_t。

基坑降水工程的环境效应与评价方法

（9）利用中间层各单元的一般化误差

，输入层各单元的输入P_k=（a₁，a₂，...，a_n）来修正连接权w_ij和阈值θ_j。

基坑降水工程的环境效应与评价方法

（10）随机选取下一个学习样本向量提供给网络，返回到步骤（3），直到m个训练样本训练完毕。

（11）重新从m个学习样本中随机选取一组输入和目标样本，返回步骤（3），直到网路全局误差E小于预先设定的一个极小值，即网络收敛。如果学习次数大于预先设定的值，网络就无法收敛。

（12）学习结束。

可以看出，在以上学习步骤中，（8）、（9）步为网络误差的“逆传播过程”，（10）、（11）步则用于完成训练和收敛过程。

通常，经过训练的网络还应该进行性能测试。测试的方法就是选择测试样本向量，将其提供给网络，检验网络对其分类的正确性。测试样本向量中应该包含今后网络应用过程中可能遇到的主要典型模式（宋大奇，2006）。这些样本可以直接测取得到，也可以通过仿真得到，在样本数据较少或者较难得到时，也可以通过对学习样本加上适当的噪声或按照一定规则插值得到。为了更好地验证网络的泛化能力，一个良好的测试样本集中不应该包含和学习样本完全相同的模式（董军，2007）。