反向传播算法

① 反向传播算法的激励传播

每次迭代中的传播环节包含两步： (前向传播阶段)将训练输入送入网络以获得激励响应； (反向传播阶段)将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。

② 如何理解CNN神经网络里的反向传播backpropagation，bp算法

类比来说类似于
几个人站成一排
第一个人看一幅画（输入数据），描述给第二个人（隐层）……依此类推，到最后一个人（输出）的时候，画出来的画肯定不能看了（误差较大）。
反向传播就是，把画拿给最后一个人看（求取误差），然后最后一个人就会告诉前面的人下次描述时需要注意哪里（权值修正）。

③ 什么是反向传播算法

反向传播算法适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。反向传播算法网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。

反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。

反向传播算法的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。反向传播算法被设计为减少公共子表达式的数量而不考虑存储的开销。反向传播避免了重复子表达式的指数爆炸。

(3)反向传播算法扩展阅读：

BP算法(即反向传播算法)适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。

④ 反向传播算法 为什么 误差 那么定义

自从40年代赫布(D.O.
Hebb)提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error
BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。是用于多层神经网络训练的着名算法，有理论依据坚实、推导过程严谨、物理概念清楚、通用性强等优点。但是，人们在使用中发现BP算法存在收敛速度缓慢、易陷入局部极小等缺点。
BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）。
2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层 其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。
注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。
1）初始化
2）输入训练样本对，计算各层输出
3）计算网络输出误差
4）计算各层误差信号
5）调整各层权值
6）检查网络总误差是否达到精度要求
满足，则训练结束；不满足，则返回步骤2。
1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；
2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；
3）隐节点的选取缺乏理论支持；
4）训练时学习新样本有遗忘旧样本趋势。

⑤ 如何理解bp 反向传播 批量学习

BP算法是训练神经网络的一个非常流行的算法，因为它不仅概念上简单，而且实现也简单，当然了，它也是有效的。不过，对它的使用，更像一种艺术，而不仅是科学。设计或者使用BP算法训练一个神经网络看似简单，同时做了很多看似简单的选择，例如神经元节点的类型、数量、层数、学习率、训练和测试集等等。实际上，对他们的选择非常关键！不过，也很遗憾的告诉你，现实中并不存在关于如何选择他们的有力指南。因为这是一个非常大的问题，而且和具体的任务和数据有关。不过，也很高兴的告诉你，实际上，还是存在很多启发式和潜在的理论可以指导实践者对他们做出更好的选择的。
神经网络训练中的Tricks之高效BP（反向传播算法） - zouxy09的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/zouxy09/article/details/45288129

⑥ 反向传播算法的权重更新

对于每个突触上的权重，按照以下步骤进行更新： 将输入激励和响应误差相乘，从而获得权重的梯度； 将这个梯度乘上一个比例并取反后加到权重上。 这个比例将会影响到训练过程的速度和效果，因此称为“训练因子”。梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。

⑦ 误差反向传播算法解决XNOR问题

你这个问题要分开问，先，反向传播，下这个基础上，构造三层网络，用输入输出对应xnor的数据训练，出来的数据模型就是xnor的

⑧ 为什么说反向传播算法很高效

反向传播算法（Backpropagation）是目前用来训练人工神经网络（ArtificialNeuralNetwork，ANN）的最常用且最有效的算法。其主要思想是：（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；

⑨ 什么是反向传播

反向传播算法(BP算法)主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。

⑩ 反向传播算法的介绍

反向传播算法（英：Backpropagation algorithm，简称：BP算法）是一种监督学习算法，常被用来训练多层感知机。 于1974年，Paul Werbos[1]首次给出了如何训练一般网络的学习算法，而人工神经网络只是其中的特例。不巧的，在当时整个人工神经网络社群中却无人知晓Paul所提出的学习算法。直到80年代中期，BP算法才重新被David Rumelhart、Geoffrey Hinton及Ronald Williams[2][3]、David Parker[4]和Yann LeCun[5]独立发现，并获得了广泛的注意，引起了人工神经网络领域研究的第二次热潮。BP算法是Delta规则的推广，要求每个人工神经元（节点）所使用的激励函数必须是可微的。BP算法特别适合用来训练前向神经网络。