bp学习算法
㈠ bp算法是什么
误差反向传播算法：
BP算法的基本思想是，学习过程包括两个过程：信号前向传播和误差后向传播。
（1）前向传播:输入样本->输入层->各隐层(处理)->输出层。
（2）错误反向传播:输出错误(某种形式)->隐藏层(逐层)->输入层。
BP算法基本介绍：
多层隐含层前馈网络可以极大地提高神经网络的分类能力，但长期以来一直没有提出解决权值调整问题的博弈算法。
1986年，Rumelhart和McCelland领导的科学家团队出版了《并行分布式处理》一书，详细分析了具有非线性连续传递函数的多层前馈网络的误差反向比例（BP）算法，实现了Minsky关于多层网络的思想。由于误差的反向传播算法常用于多层前馈网络的训练，人们常直接称多层前馈网络为BP网络。
㈡ BP算法的介绍
BP算法，误差反向传播（Error Back Propagation, BP）算法。BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。
㈢ (1)BP算法的学习过程中有两个过程是什么(2)写出BP神经网络的数学模型,并以20
bp（back propagation）网络是1986年由rumelhart和mccelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。bp网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。bp神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“a”、“b”两个字母的识别为例进行说明，规定当“a”输入网络时，应该输出“1”，而当输入为“b”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“a”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“a”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“a”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“a”、“b”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，构成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。
神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：
（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。
纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。
神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。在你的问题中，首先要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。
虽然bp网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。
首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，bp算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。
其次，bp算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。
再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。
最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。
㈣ 多层前馈网络模型及BP算法
多层前馈网中,以单隐层网的应用最为普遍,如图6.1所示。习惯上将其称为三层前馈网或三层感知器,所谓三层即输入层、隐层和输出层。
图6.1 三层前馈神经网络结构
Fig.6.1 BP neural network structure
三层前馈网中,输入向量为X=(x1,x2,…,xi,…,xn)T,如加入x0=-1,可为输出层神经元引入阈值；隐层输出向量为Y=(y1,y2,…,yl,…,ym)T,如加入y0=-1,可为输出层神经元引入阈值；输出层输出向量为O=(o1,o2,…,ok,…,ol)T。输入层到隐层之间的权值阵用V表示,V=(V1,V2,…,Vj,…,Vm),其中列向量Vj为隐层第j个神经元对应的权向量；隐层到输出层之间的权值矩阵用W 表示,W=(W1,W2,…,Wk,…,Wl),其中列向量Wk为输出层第k个神经元对应的权向量。下面分析各层信号之间的数学关系。
输出层：
ok=f(netk)k=1,2,…,ι(6-1)
煤层开采顶板导水裂隙带高度预测理论与方法
隐层：
yj=f(netj)j=1,2,…,m(6-3)
煤层开采顶板导水裂隙带高度预测理论与方法
以上两式中,转移函数f(x)均为单极性Sigmoid函数
煤层开采顶板导水裂隙带高度预测理论与方法
f(x)具有连续、可导的特点,且有
煤层开采顶板导水裂隙带高度预测理论与方法
根据应用需要,也可以采用双极性Sigmoid函数(或称双曲线正切函数)
煤层开采顶板导水裂隙带高度预测理论与方法
式6-1～式6-6共同构成了三层前馈网的数学模型。
BP学习算法中按以下方法调整其权重与误差：
当网络输出与期望输出不相等时,存在输出误差E,定义如下：
煤层开采顶板导水裂隙带高度预测理论与方法
将以上误差定义式展开到隐层,
煤层开采顶板导水裂隙带高度预测理论与方法
进一步展开到输入层,
煤层开采顶板导水裂隙带高度预测理论与方法
由上式可以看出,网络输入误差是各层权值ωjk、υij的函数,因此调整权值可改变误差E。
显然,调整权值的原则是使误差不断减小,因此权值的调整量与误差的负梯度成正比,即
煤层开采顶板导水裂隙带高度预测理论与方法
煤层开采顶板导水裂隙带高度预测理论与方法
式中负号表示梯度下降,常数η∈(0,1)表示比例系数,在训练中反映了学习速率。可以看出BP法属于δ学习规则类,这类算法常被称为误差的梯度下降(GradientDescent)算法。
㈤ 如何理解BP学习算法 追加悬赏
又称为BP网络.BP学习算法是一种有效的学习方法,但由于在权值调整上采用梯度下降法作为优化算法,容易陷入局部最小,不能保证得到全局最优解。
㈥ BP算法的简介
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）
2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。
注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。
㈦ BP神经算法是什么能给点既通俗易懂又比较详细的回答吗
BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。
BP神经网络算法是在BP神经网络现有算法的基础上提出的，是通过任意选定一组权值，将给定的目标输出直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在传统方法的局部极小及收敛速度慢的问题，且更易理解。
1 传统的BP算法简述
BP算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下： （1）初始化，随机给定各连接权［w］,［v］及阀值θi，rt。 （2）由给定的输入输出模式对计算隐层、输出层各单元输出 bj＝f（■wijai-θj） ct＝f（■vjtbj－rt） 式中：bj为隐层第j个神经元实际输出；ct为输出层第t个神经元的实际输出；wij为输入层至隐层的连接权；vjt为隐层至输出层的连接权。 dtk＝（ytk－ct）ct（1－ct） ejk＝［■dtvjt］ bj（1－bj） 式中：dtk为输出层的校正误差；ejk为隐层的校正误差。 （3）计算新的连接权及阀值，计算公式如下： vjt（n＋1）＝vjt（n）＋?琢dtkbj wij（n＋1）＝wij（n）＋?茁ejkaik rt（n＋1）＝rt（n）＋?琢dtk θj（n＋1）=θj（n）＋?茁ejk 式中：?琢，?茁为学习系数（0＜?琢＜1，0＜?茁＜1）。 （4）选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。 传统的BP算法，实质上是把一组样本输入/输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解权值问题的一种学习方法，但其收敛速度慢且容易陷入局部极小，为此提出了一种新的算法，即高斯消元法。
2 改进的BP网络算法
2．1 改进算法概述 此前有人提出：任意选定一组自由权，通过对传递函数建立线性方程组，解得待求权。本文在此基础上将给定的目标输出直接作为线性方程等式代数和来建立线性方程组，不再通过对传递函数求逆来计算神经元的净输出，简化了运算步骤。没有采用误差反馈原理，因此用此法训练出来的神经网络结果与传统算法是等效的。其基本思想是：由所给的输入、输出模式对通过作用于神经网络来建立线性方程组，运用高斯消元法解线性方程组来求得未知权值，而未采用传统BP网络的非线性函数误差反馈寻优的思想。 2．2 改进算法的具体步骤 对给定的样本模式对，随机选定一组自由权，作为输出层和隐含层之间固定权值，通过传递函数计算隐层的实际输出，再将输出层与隐层间的权值作为待求量，直接将目标输出作为等式的右边建立方程组来求解。 现定义如下符号（见图1）：x （p）输入层的输入矢量；y （p）输入层输入为x （p）时输出层的实际输出矢量；t （p）目标输出矢量；n，m，r分别为输入层、隐层和输出层神经元个数；W为隐层与输入层间的权矩阵；V为输出层与隐层间的权矩阵。具体步骤如下： （1）随机给定隐层和输入层间神经元的初始权值wij。 （2）由给定的样本输入xi（p）计算出隐层的实际输出aj（p）。为方便起见将图1网络中的阀值写入连接权中去，令：隐层阀值θj＝wnj，x（n）＝－1，则： aj（p）=f（■wijxi（p）） （j＝1，2…m－1）。 （3）计算输出层与隐层间的权值vjr。以输出层的第r个神经元为对象，由给定的输出目标值tr（p）作为等式的多项式值建立方程，用线性方程组表示为： a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 简写为： Av＝T 为了使该方程组有唯一解，方程矩阵A为非奇异矩阵，其秩等于其增广矩阵的秩，即：r（A）＝r（A┊B），且方程的个数等于未知数的个数，故取m＝p，此时方程组的唯一解为： Vr＝［v0r，v2r，…vmr］（r＝0，1，2…m－1） （4）重复第三步就可以求出输出层m个神经元的权值，以求的输出层的权矩阵加上随机固定的隐层与输入层的权值就等于神经网络最后训练的权矩阵。
3 计算机运算实例
现以神经网络最简单的XOR问题用VC编程运算进行比较（取神经网络结构为2－4－1型），传统算法和改进BP算法的误差（取动量因子α＝0．001 5，步长η＝1．653）
㈧ BP算法的实现步骤
BP算法实现步骤（软件）：
1）初始化
2）输入训练样本对，计算各层输出
3）计算网络输出误差
4）计算各层误差信号
5）调整各层权值
6）检查网络总误差是否达到精度要求
满足，则训练结束；不满足，则返回步骤2）
3、多层感知器（基于BP算法）的主要能力：
1）非线性映射：足够多样本－>学习训练
能学习和存储大量输入－输出模式映射关系。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。
2）泛化：输入新样本（训练时未有）－>完成正确的输入、输出映射
3）容错：个别样本误差不能左右对权矩阵的调整
4、标准BP算法的缺陷：
1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；
2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；
3）隐节点的选取缺乏理论支持；
4）训练时学习新样本有遗忘旧样本趋势。
注3：改进算法—增加动量项、自适应调整学习速率（这个似乎不错)及引入陡度因子
㈨ 深入浅出BP神经网络算法的原理
深入浅出BP神经网络算法的原理
相信每位刚接触神经网络的时候都会先碰到BP算法的问题，如何形象快速地理解BP神经网络就是我们学习的高级乐趣了（画外音：乐趣？你在跟我谈乐趣？）
本篇博文就是要简单粗暴地帮助各位童鞋快速入门采取BP算法的神经网络。
BP神经网络是怎样的一种定义？看这句话：一种按“误差逆传播算法训练”的多层前馈网络。
BP的思想就是：利用输出后的误差来估计输出层前一层的误差，再用这层误差来估计更前一层误差，如此获取所有各层误差估计。这里的误差估计可以理解为某种偏导数，我们就是根据这种偏导数来调整各层的连接权值，再用调整后的连接权值重新计算输出误差。直到输出的误差达到符合的要求或者迭代次数溢出设定值。
说来说去，“误差”这个词说的很多嘛，说明这个算法是不是跟误差有很大的关系？
没错，BP的传播对象就是“误差”，传播目的就是得到所有层的估计误差。
它的学习规则是：使用最速下降法，通过反向传播（就是一层一层往前传）不断调整网络的权值和阈值，最后使全局误差系数最小。
它的学习本质就是：对各连接权值的动态调整。
拓扑结构如上图：输入层（input），隐藏层（hide layer），输出层（output）
BP网络的优势就是能学习和储存大量的输入输出的关系，而不用事先指出这种数学关系。那么它是如何学习的？
BP利用处处可导的激活函数来描述该层输入与该层输出的关系，常用S型函数δ来当作激活函数。
我们现在开始有监督的BP神经网络学习算法：
1、正向传播得到输出层误差e
=>输入层输入样本=>各隐藏层=>输出层
2、判断是否反向传播
=>若输出层误差与期望不符=>反向传播
3、误差反向传播
=>误差在各层显示=>修正各层单元的权值，直到误差减少到可接受程度。
算法阐述起来比较简单，接下来通过数学公式来认识BP的真实面目。
假设我们的网络结构是一个含有N个神经元的输入层，含有P个神经元的隐层，含有Q个神经元的输出层。
这些变量分别如下：
认识好以上变量后，开始计算：
一、用（-1，1）内的随机数初始化误差函数，并设定精度ε，最多迭代次数M
二、随机选取第k个输入样本及对应的期望输出
重复以下步骤至误差达到要求：
三、计算隐含层各神经元的输入和输出
四、计算误差函数e对输出层各神经元的偏导数，根据输出层期望输出和实际输出以及输出层输入等参数计算。
五、计算误差函数对隐藏层各神经元的偏导数，根据后一层（这里即输出层）的灵敏度（稍后介绍灵敏度）δo(k)，后一层连接权值w，以及该层的输入值等参数计算
六、利用第四步中的偏导数来修正输出层连接权值
七、利用第五步中的偏导数来修正隐藏层连接权值
八、计算全局误差（m个样本，q个类别）
比较具体的计算方法介绍好了，接下来用比较简洁的数学公式来大致地概括这个过程，相信看完上述的详细步骤都会有些了解和领悟。
假设我们的神经网络是这样的，此时有两个隐藏层。
我们先来理解灵敏度是什么？
看下面一个公式：
这个公式是误差对b的一个偏导数，这个b是怎么？它是一个基，灵敏度δ就是误差对基的变化率，也就是导数。
因为?u/?b=1，所以?E/?b=?E/?u=δ，也就是说bias基的灵敏度?E/?b=δ等于误差E对一个节点全部输入u的导数?E/?u。
也可以认为这里的灵敏度等于误差E对该层输入的导数，注意了，这里的输入是上图U级别的输入，即已经完成层与层权值计算后的输入。
每一个隐藏层第l层的灵敏度为：
这里的“?”表示每个元素相乘，不懂的可与上面详细公式对比理解
而输出层的灵敏度计算方法不同，为：
而最后的修正权值为灵敏度乘以该层的输入值，注意了，这里的输入可是未曾乘以权值的输入，即上图的Xi级别。
对于每一个权值(W)ij都有一个特定的学习率ηIj，由算法学习完成。
㈩ BP学习算法是什么类型的学习算法它主要有哪些不足
BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。
虽然BP算法得到广泛的应用，但它也存在不足，其主要表现在训练过程不确定上，具体如下。
1，训练时间较长。对于某些特殊的问题，运行时间可能需要几个小时甚至更长，这主要是因为学习率太小所致，可以采用自适应的学习率加以改进。
2，完全不能训练。训练时由于权值调整过大使激活函数达到饱和，从而使网络权值的调节几乎停滞。为避免这种情况，一是选取较小的初始权值，二是采用较小的学习率。
3，易陷入局部极小值。BP算法可以使网络权值收敛到一个最终解，但它并不能保证所求为误差超平面的全局最优解，也可能是一个局部极小值。
这主要是因为BP算法所采用的是梯度下降法，训练是从某一起始点开始沿误差函数的斜面逐渐达到误差的最小值，故不同的起始点可能导致不同的极小值产生，即得到不同的最优解。如果训练结果未达到预定精度，常常采用多层网络和较多的神经元，以使训练结果的精度进一步提高，但与此同时也增加了网络的复杂性与训练时间。
4，“喜新厌旧”。训练过程中，学习新样本时有遗忘旧样本的趋势。
(10)bp学习算法扩展阅读：
BP算法最早由Werbos于1974年提出，1985年Rumelhart等人发展了该理论。BP网络采用有指导的学习方式，其学习包括以下4个过程。
1，组成输入模式由输入层经过隐含层向输出层的“模式顺传播”过程。
2，网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层休整连接权的“误差逆传播”过程。
3，由“模式顺传播”与“误差逆传播”的反复进行的网络“记忆训练”过程。
4，网络趋向收敛即网络的总体误差趋向极小值的“学习收敛”过程。