bp演算法的應用
㈠ BP神經網路(誤差反傳網路)
雖然每個人工神經元很簡單，但是只要把多個人工
神經元按一定方式連接起來就構成了一個能處理復雜信息的神經網路。採用BP演算法的多層前饋網路是目前應用最廣泛的神經網路，稱之為BP神經網路。它的最大功能就是能映射復雜的非線性函數關系。
對於已知的模型空間和數據空間，我們知道某個模型和他對應的數據，但是無法寫出它們之間的函數關系式，但是如果有大量的一一對應的模型和數據樣本集合，利用BP神經網路可以模擬(映射)它們之間的函數關系。
一個三層BP網路如圖8.11所示，分為輸入層、隱層、輸出層。它是最常用的BP網路。理論分析證明三層網路已經能夠表達任意復雜的連續函數關系了。只有在映射不連續函數時(如鋸齒波)才需要兩個隱層[8]。
圖8.11中，X=(x1，…，xi，…，xn)T為輸入向量，如加入x0=-1，可以為隱層神經元引入閥值;隱層輸出向量為:Y=(y1，…，yi，…，ym)T，如加入y0=-1，可以為輸出層神經元引入閥值;輸出層輸出向量為:O=(o1，…，oi，…，ol)T;輸入層到隱層之間的權值矩陣用V表示，V=(V1，…，Vj，…，Vl)T，其中列向量Vj表示隱層第j個神經元的權值向量;隱層到輸出層之間的權值矩陣用W表示，W=(W1，…，Wk，…，Wl)T，
其中列向量Wk表示輸出層第k個神經元的權值向量。
圖8.11 三層BP網路[8]
BP演算法的基本思想是:預先給定一一對應的輸入輸出樣本集。學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經過各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播。將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有神經元，獲得各層的誤差信號，用它們可以對各層的神經元的權值進行調整(關於如何修改權值參見韓立群著作[8])，循環不斷地利用輸入輸出樣本集進行權值調整，以使所有輸入樣本的輸出誤差都減小到滿意的精度。這個過程就稱為網路的學習訓練過程。當網路訓練完畢後，它相當於映射(表達)了輸入輸出樣本之間的函數關系。
在地球物理勘探中，正演過程可以表示為如下函數:
d=f(m) (8.31)
它的反函數為
m=f-1(d) (8.32)
如果能夠獲得這個反函數，那麼就解決了反演問題。一般來說，難以寫出這個反函數，但是我們可以用BP神經網路來映射這個反函數m=f-1(d)。對於地球物理反問題，如果把觀測數據當作輸入數據，模型參數當作輸出數據，事先在模型空間隨機產生大量樣本進行正演計算，獲得對應的觀測數據樣本，利用它們對BP網路進行訓練，則訓練好的網路就相當於是地球物理數據方程的反函數。可以用它進行反演，輸入觀測數據，網路就會輸出它所對應的模型。
BP神經網路在能夠進行反演之前需要進行學習訓練。訓練需要大量的樣本，產生這些樣本需要大量的正演計算，此外在學習訓練過程也需要大量的時間。但是BP神經網路一旦訓練完畢，在反演中的計算時間可以忽略。
要想使BP神經網路比較好地映射函數關系，需要有全面代表性的樣本，但是由於模型空間的無限性，難以獲得全面代表性的樣本集合。用這樣的樣本訓練出來的BP網路，只能反映樣本所在的較小范圍數據空間和較小范圍模型空間的函數關系。對於超出它們的觀測數據就無法正確反演。目前BP神經網路在一維反演有較多應用，在二維、三維反演應用較少，原因就是難以產生全面代表性的樣本空間。
㈡ 多層前饋網路模型及BP演算法
多層前饋網中,以單隱層網的應用最為普遍,如圖6.1所示。習慣上將其稱為三層前饋網或三層感知器,所謂三層即輸入層、隱層和輸出層。
圖6.1 三層前饋神經網路結構
Fig.6.1 BP neural network structure
三層前饋網中,輸入向量為X=(x1,x2,…,xi,…,xn)T,如加入x0=-1,可為輸出層神經元引入閾值；隱層輸出向量為Y=(y1,y2,…,yl,…,ym)T,如加入y0=-1,可為輸出層神經元引入閾值；輸出層輸出向量為O=(o1,o2,…,ok,…,ol)T。輸入層到隱層之間的權值陣用V表示,V=(V1,V2,…,Vj,…,Vm),其中列向量Vj為隱層第j個神經元對應的權向量；隱層到輸出層之間的權值矩陣用W 表示,W=(W1,W2,…,Wk,…,Wl),其中列向量Wk為輸出層第k個神經元對應的權向量。下面分析各層信號之間的數學關系。
輸出層：
ok=f(netk)k=1,2,…,ι(6-1)
煤層開采頂板導水裂隙帶高度預測理論與方法
隱層：
yj=f(netj)j=1,2,…,m(6-3)
煤層開采頂板導水裂隙帶高度預測理論與方法
以上兩式中,轉移函數f(x)均為單極性Sigmoid函數
煤層開采頂板導水裂隙帶高度預測理論與方法
f(x)具有連續、可導的特點,且有
煤層開采頂板導水裂隙帶高度預測理論與方法
根據應用需要,也可以採用雙極性Sigmoid函數(或稱雙曲線正切函數)
煤層開采頂板導水裂隙帶高度預測理論與方法
式6-1～式6-6共同構成了三層前饋網的數學模型。
BP學習演算法中按以下方法調整其權重與誤差：
當網路輸出與期望輸出不相等時,存在輸出誤差E,定義如下：
煤層開采頂板導水裂隙帶高度預測理論與方法
將以上誤差定義式展開到隱層,
煤層開采頂板導水裂隙帶高度預測理論與方法
進一步展開到輸入層,
煤層開采頂板導水裂隙帶高度預測理論與方法
由上式可以看出,網路輸入誤差是各層權值ωjk、υij的函數,因此調整權值可改變誤差E。
顯然,調整權值的原則是使誤差不斷減小,因此權值的調整量與誤差的負梯度成正比,即
煤層開采頂板導水裂隙帶高度預測理論與方法
煤層開采頂板導水裂隙帶高度預測理論與方法
式中負號表示梯度下降,常數η∈(0,1)表示比例系數,在訓練中反映了學習速率。可以看出BP法屬於δ學習規則類,這類演算法常被稱為誤差的梯度下降(GradientDescent)演算法。
㈢ BP神經演算法是什麼能給點既通俗易懂又比較詳細的回答嗎
BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。
BP神經網路演算法是在BP神經網路現有演算法的基礎上提出的，是通過任意選定一組權值，將給定的目標輸出直接作為線性方程的代數和來建立線性方程組，解得待求權，不存在傳統方法的局部極小及收斂速度慢的問題，且更易理解。
1 傳統的BP演算法簡述
BP演算法是一種有監督式的學習演算法，其主要思想是：輸入學習樣本，使用反向傳播演算法對網路的權值和偏差進行反復的調整訓練，使輸出的向量與期望向量盡可能地接近，當網路輸出層的誤差平方和小於指定的誤差時訓練完成，保存網路的權值和偏差。具體步驟如下： （1）初始化，隨機給定各連接權［w］,［v］及閥值θi，rt。 （2）由給定的輸入輸出模式對計算隱層、輸出層各單元輸出 bj＝f（■wijai-θj） ct＝f（■vjtbj－rt） 式中：bj為隱層第j個神經元實際輸出；ct為輸出層第t個神經元的實際輸出；wij為輸入層至隱層的連接權；vjt為隱層至輸出層的連接權。 dtk＝（ytk－ct）ct（1－ct） ejk＝［■dtvjt］ bj（1－bj） 式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。 （3）計算新的連接權及閥值，計算公式如下： vjt（n＋1）＝vjt（n）＋?琢dtkbj wij（n＋1）＝wij（n）＋?茁ejkaik rt（n＋1）＝rt（n）＋?琢dtk θj（n＋1）=θj（n）＋?茁ejk 式中：?琢，?茁為學習系數（0＜?琢＜1，0＜?茁＜1）。 （4）選取下一個輸入模式對返回第2步反復訓練直到網路設輸出誤差達到要求結束訓練。 傳統的BP演算法，實質上是把一組樣本輸入/輸出問題轉化為一個非線性優化問題，並通過負梯度下降演算法，利用迭代運算求解權值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，為此提出了一種新的演算法，即高斯消元法。
2 改進的BP網路演算法
2．1 改進演算法概述 此前有人提出：任意選定一組自由權，通過對傳遞函數建立線性方程組，解得待求權。本文在此基礎上將給定的目標輸出直接作為線性方程等式代數和來建立線性方程組，不再通過對傳遞函數求逆來計算神經元的凈輸出，簡化了運算步驟。沒有採用誤差反饋原理，因此用此法訓練出來的神經網路結果與傳統演算法是等效的。其基本思想是：由所給的輸入、輸出模式對通過作用於神經網路來建立線性方程組，運用高斯消元法解線性方程組來求得未知權值，而未採用傳統BP網路的非線性函數誤差反饋尋優的思想。 2．2 改進演算法的具體步驟 對給定的樣本模式對，隨機選定一組自由權，作為輸出層和隱含層之間固定權值，通過傳遞函數計算隱層的實際輸出，再將輸出層與隱層間的權值作為待求量，直接將目標輸出作為等式的右邊建立方程組來求解。 現定義如下符號（見圖1）：x （p）輸入層的輸入矢量；y （p）輸入層輸入為x （p）時輸出層的實際輸出矢量；t （p）目標輸出矢量；n，m，r分別為輸入層、隱層和輸出層神經元個數；W為隱層與輸入層間的權矩陣；V為輸出層與隱層間的權矩陣。具體步驟如下： （1）隨機給定隱層和輸入層間神經元的初始權值wij。 （2）由給定的樣本輸入xi（p）計算出隱層的實際輸出aj（p）。為方便起見將圖1網路中的閥值寫入連接權中去，令：隱層閥值θj＝wnj，x（n）＝－1，則： aj（p）=f（■wijxi（p）） （j＝1，2…m－1）。 （3）計算輸出層與隱層間的權值vjr。以輸出層的第r個神經元為對象，由給定的輸出目標值tr（p）作為等式的多項式值建立方程，用線性方程組表示為： a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 簡寫為： Av＝T 為了使該方程組有唯一解，方程矩陣A為非奇異矩陣，其秩等於其增廣矩陣的秩，即：r（A）＝r（A┊B），且方程的個數等於未知數的個數，故取m＝p，此時方程組的唯一解為： Vr＝［v0r，v2r，…vmr］（r＝0，1，2…m－1） （4）重復第三步就可以求出輸出層m個神經元的權值，以求的輸出層的權矩陣加上隨機固定的隱層與輸入層的權值就等於神經網路最後訓練的權矩陣。
3 計算機運算實例
現以神經網路最簡單的XOR問題用VC編程運算進行比較（取神經網路結構為2－4－1型），傳統演算法和改進BP演算法的誤差（取動量因子α＝0．001 5，步長η＝1．653）
㈣ BP演算法首先要解決哪兩個問題
BP演算法就是反向傳播的神經網路演算法，這個演算法很多問題
隨便舉兩個來：
如果網路夠深，會出現梯度消失的問題
在最優化的時候，容易掉入局部極小值，而不是最小值
㈤ BP學習演算法是什麼類型的學習演算法它主要有哪些不足
BP演算法是由學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。
雖然BP演算法得到廣泛的應用，但它也存在不足，其主要表現在訓練過程不確定上，具體如下。
1，訓練時間較長。對於某些特殊的問題，運行時間可能需要幾個小時甚至更長，這主要是因為學習率太小所致，可以採用自適應的學習率加以改進。
2，完全不能訓練。訓練時由於權值調整過大使激活函數達到飽和，從而使網路權值的調節幾乎停滯。為避免這種情況，一是選取較小的初始權值，二是採用較小的學習率。
3，易陷入局部極小值。BP演算法可以使網路權值收斂到一個最終解，但它並不能保證所求為誤差超平面的全局最優解，也可能是一個局部極小值。
這主要是因為BP演算法所採用的是梯度下降法，訓練是從某一起始點開始沿誤差函數的斜面逐漸達到誤差的最小值，故不同的起始點可能導致不同的極小值產生，即得到不同的最優解。如果訓練結果未達到預定精度，常常採用多層網路和較多的神經元，以使訓練結果的精度進一步提高，但與此同時也增加了網路的復雜性與訓練時間。
4，「喜新厭舊」。訓練過程中，學習新樣本時有遺忘舊樣本的趨勢。
(5)bp演算法的應用擴展閱讀：
BP演算法最早由Werbos於1974年提出，1985年Rumelhart等人發展了該理論。BP網路採用有指導的學習方式，其學習包括以下4個過程。
1，組成輸入模式由輸入層經過隱含層向輸出層的「模式順傳播」過程。
2，網路的期望輸出與實際輸出之差的誤差信號由輸出層經過隱含層逐層休整連接權的「誤差逆傳播」過程。
3，由「模式順傳播」與「誤差逆傳播」的反復進行的網路「記憶訓練」過程。
4，網路趨向收斂即網路的總體誤差趨向極小值的「學習收斂」過程。
㈥ bp演算法是什麼
誤差反向傳播演算法：
BP演算法的基本思想是，學習過程包括兩個過程：信號前向傳播和誤差後向傳播。
（1）前向傳播:輸入樣本->輸入層->各隱層(處理)->輸出層。
（2）錯誤反向傳播:輸出錯誤(某種形式)->隱藏層(逐層)->輸入層。
BP演算法基本介紹：
多層隱含層前饋網路可以極大地提高神經網路的分類能力，但長期以來一直沒有提出解決權值調整問題的博弈演算法。
1986年，Rumelhart和McCelland領導的科學家團隊出版了《並行分布式處理》一書，詳細分析了具有非線性連續傳遞函數的多層前饋網路的誤差反向比例（BP）演算法，實現了Minsky關於多層網路的思想。由於誤差的反向傳播演算法常用於多層前饋網路的訓練，人們常直接稱多層前饋網路為BP網路。
㈦ 什麼是BP神經網路
BP演算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經元之間的連接權矩陣做出處理，使誤差減小。經反復學習，最終使誤差減小到可接受的范圍。具體步驟如下：
1、從訓練集中取出某一樣本，把信息輸入網路中。
2、通過各節點間的連接情況正向逐層處理後，得到神經網路的實際輸出。
3、計算網路實際輸出與期望輸出的誤差。
4、將誤差逐層反向回傳至之前各層，並按一定原則將誤差信號載入到連接權值上，使整個神經網路的連接權值向誤差減小的方向轉化。
5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。
㈧ 什麼是BP演算法
bp演算法,即反向傳播方法,是用來訓練前向網路的一種普遍演算法
㈨ BP演算法的介紹
BP演算法，誤差反向傳播（Error Back Propagation, BP）演算法。BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。