bp演算法的缺點
『壹』 BP演算法及其改進
傳統的BP演算法及其改進演算法的一個很大缺點是：由於其誤差目標函數對於待學習的連接權值來說非凸的，存在局部最小點，對網路進行訓練時，這些演算法的權值一旦落入權值空間的局部最小點就很難跳出，因而無法達到全局最小點(即最優點)而使得網路訓練失敗。針對這些缺陷，根據凸函數及其共軛的性質，利用Fenchel不等式，使用約束優化理論中的罰函數方法構造出了帶有懲罰項的新誤差目標函數。
用新的目標函數對前饋神經網路進行優化訓練時，隱層輸出也作為被優化變數。這個目標函數的主要特點有：
1.固定隱層輸出，該目標函數對連接權值來說是凸的；固定連接權值，對隱層輸出來說是凸的。這樣在對連接權值和隱層輸出進行交替優化時，它們所面對的目標函數都是凸函數，不存在局部最小的問題，演算法對於初始權值的敏感性降低；
2.由於懲罰因子是逐漸增大的，使得權值的搜索空間變得比較大，從而對於大規模的網路也能夠訓練，在一定程度上降低了訓練過程陷入局部最小的可能性。
這些特性能夠在很大程度上有效地克服以往前饋網路的訓練演算法易於陷入局部最小而使網路訓練失敗的重大缺陷，也為利用凸優化理論研究前饋神經網路的學習演算法開創了一個新思路。在網路訓練時，可以對連接權值和隱層輸出進行交替優化。把這種新演算法應用到前饋神經網路訓練學習中，在學習速度、泛化能力、網路訓練成功率等多方面均優於傳統訓練演算法，如經典的BP演算法。數值試驗也表明了這一新演算法的有效性。
本文通過典型的BP演算法與新演算法的比較，得到了二者之間相互關系的初步結論。從理論上證明了當懲罰因子趨於正無窮大時新演算法就是BP演算法，並且用數值試驗說明了懲罰因子在網路訓練演算法中的作用和意義。對於三層前饋神經網路來說，懲罰因子較小時，隱層神經元局部梯度的可變范圍大，有利於連接權值的更新；懲罰因子較大時，隱層神經元局部梯度的可變范圍小，不利於連接權值的更新，但能提高網路訓練精度。這說明了在網路訓練過程中懲罰因子為何從小到大變化的原因,也說明了新演算法的可行性而BP演算法則時有無法更新連接權值的重大缺陷。
礦體預測在礦床地質中佔有重要地位，由於輸入樣本量大，用以往前饋網路演算法進行礦體預測效果不佳。本文把前饋網路新演算法應用到礦體預測中，取得了良好的預期效果。
本文最後指出了新演算法的優點，並指出了有待改進的地方。
關鍵詞：前饋神經網路，凸優化理論，訓練演算法，礦體預測，應用
Feed forward Neural Networks Training Algorithm Based on Convex Optimization and Its Application in Deposit Forcasting
JIA Wen-chen (Computer Application)
Directed by YE Shi-wei
Abstract
The paper studies primarily the application of convex optimization theory and algorithm for feed forward neural networks』 training and convergence performance.
It reviews the history of feed forward neural networks, points out that the training of feed forward neural networks is essentially a non-linear problem and introces BP algorithm, its advantages as well as disadvantages and previous improvements for it. One of the big disadvantages of BP algorithm and its improvement algorithms is: because its error target function is non-convex in the weight values between neurons in different layers and exists local minimum point, thus, if the weight values enter local minimum point in weight values space when network is trained, it is difficult to skip local minimum point and reach the global minimum point (i.e. the most optimal point).If this happening, the training of networks will be unsuccessful. To overcome these essential disadvantages, the paper constructs a new error target function including restriction item according to convex function, Fenchel inequality in the conjugate of convex function and punishment function method in restriction optimization theory.
When feed forward neural networks based on the new target function is being trained, hidden layers』 outputs are seen as optimization variables. The main characteristics of the new target function are as follows:
1.With fixed hidden layers』 outputs, the new target function is convex in connecting weight variables; with fixed connecting weight values, the new target function is convex in hidden layers』 outputs. Thus, when connecting weight values and hidden layers』 outputs are optimized alternately, the new target function is convex in them, doesn』t exist local minimum point, and the algorithm』s sensitiveness is reced for original weight values .
2.Because the punishment factor is increased graally, weight values 』 searching space gets much bigger, so big networks can be trained and the possibility of entering local minimum point can be reced to a certain extent in network training process.
Using these characteristics can overcome efficiently in the former feed forward neural networks』 training algorithms the big disadvantage that networks training enters local minimum point easily. This creats a new idea for feed forward neural networks』 learning algorithms by using convex optimization theory .In networks training, connecting weight variables and hidden layer outputs can be optimized alternately. The new algorithm is much better than traditional algorithms for feed forward neural networks. The numerical experiments show that the new algorithm is successful.
By comparing the new algorithm with the traditional ones, a primary conclusion of their relationship is reached. It is proved theoretically that when the punishment factor nears infinity, the new algorithm is BP algorithm yet. The meaning and function of the punishment factor are also explained by numerical experiments. For three-layer feed forward neural networks, when the punishment factor is smaller, hidden layer outputs』 variable range is bigger and this is in favor to updating of the connecting weights values, when the punishment factor is bigger, hidden layer outputs』 variable range is smaller and this is not in favor to updating of the connecting weights values but it can improve precision of networks. This explains the reason that the punishment factor should be increased graally in networks training process. It also explains feasibility of the new algorithm and BP algorithm』s disadvantage that connecting weigh values can not be updated sometimes.
Deposit forecasting is very important in deposit geology. The previous algorithms』 effect is not good in deposit forecasting because of much more input samples. The paper applies the new algorithm to deposit forecasting and expectant result is reached.
The paper points out the new algorithm』s strongpoint as well as to-be-improved places in the end.
Keywords: feed forward neural networks, convex optimization theory, training algorithm, deposit forecasting, application
傳統的BP演算法及其改進演算法的一個很大缺點是：由於其誤差目標函數對於待學習的連接權值來說非凸的，存在局部最小點，對網路進行訓練時，這些演算法的權值一旦落入權值空間的局部最小點就很難跳出，因而無法達到全局最小點(即最優點)而使得網路訓練失敗。針對這些缺陷，根據凸函數及其共軛的性質，利用Fenchel不等式，使用約束優化理論中的罰函數方法構造出了帶有懲罰項的新誤差目標函數。
用新的目標函數對前饋神經網路進行優化訓練時，隱層輸出也作為被優化變數。這個目標函數的主要特點有：
1.固定隱層輸出，該目標函數對連接權值來說是凸的；固定連接權值，對隱層輸出來說是凸的。這樣在對連接權值和隱層輸出進行交替優化時，它們所面對的目標函數都是凸函數，不存在局部最小的問題，演算法對於初始權值的敏感性降低；
2.由於懲罰因子是逐漸增大的，使得權值的搜索空間變得比較大，從而對於大規模的網路也能夠訓練，在一定程度上降低了訓練過程陷入局部最小的可能性。
這些特性能夠在很大程度上有效地克服以往前饋網路的訓練演算法易於陷入局部最小而使網路訓練失敗的重大缺陷，也為利用凸優化理論研究前饋神經網路的學習演算法開創了一個新思路。在網路訓練時，可以對連接權值和隱層輸出進行交替優化。把這種新演算法應用到前饋神經網路訓練學習中，在學習速度、泛化能力、網路訓練成功率等多方面均優於傳統訓練演算法，如經典的BP演算法。數值試驗也表明了這一新演算法的有效性。
本文通過典型的BP演算法與新演算法的比較，得到了二者之間相互關系的初步結論。從理論上證明了當懲罰因子趨於正無窮大時新演算法就是BP演算法，並且用數值試驗說明了懲罰因子在網路訓練演算法中的作用和意義。對於三層前饋神經網路來說，懲罰因子較小時，隱層神經元局部梯度的可變范圍大，有利於連接權值的更新；懲罰因子較大時，隱層神經元局部梯度的可變范圍小，不利於連接權值的更新，但能提高網路訓練精度。這說明了在網路訓練過程中懲罰因子為何從小到大變化的原因,也說明了新演算法的可行性而BP演算法則時有無法更新連接權值的重大缺陷。
礦體預測在礦床地質中佔有重要地位，由於輸入樣本量大，用以往前饋網路演算法進行礦體預測效果不佳。本文把前饋網路新演算法應用到礦體預測中，取得了良好的預期效果。
本文最後指出了新演算法的優點，並指出了有待改進的地方。
關鍵詞：前饋神經網路，凸優化理論，訓練演算法，礦體預測，應用
Feed forward Neural Networks Training Algorithm Based on Convex Optimization and Its Application in Deposit Forcasting
JIA Wen-chen (Computer Application)
Directed by YE Shi-wei
Abstract
The paper studies primarily the application of convex optimization theory and algorithm for feed forward neural networks』 training and convergence performance.
It reviews the history of feed forward neural networks, points out that the training of feed forward neural networks is essentially a non-linear problem and introces BP algorithm, its advantages as well as disadvantages and previous improvements for it. One of the big disadvantages of BP algorithm and its improvement algorithms is: because its error target function is non-convex in the weight values between neurons in different layers and exists local minimum point, thus, if the weight values enter local minimum point in weight values space when network is trained, it is difficult to skip local minimum point and reach the global minimum point (i.e. the most optimal point).If this happening, the training of networks will be unsuccessful. To overcome these essential disadvantages, the paper constructs a new error target function including restriction item according to convex function, Fenchel inequality in the conjugate of convex function and punishment function method in restriction optimization theory.
When feed forward neural networks based on the new target function is being trained, hidden layers』 outputs are seen as optimization variables. The main characteristics of the new target function are as follows:
1.With fixed hidden layers』 outputs, the new target function is convex in connecting weight variables; with fixed connecting weight values, the new target function is convex in hidden layers』 outputs. Thus, when connecting weight values and hidden layers』 outputs are optimized alternately, the new target function is convex in them, doesn』t exist local minimum point, and the algorithm』s sensitiveness is reced for original weight values .
2.Because the punishment factor is increased graally, weight values 』 searching space gets much bigger, so big networks can be trained and the possibility of entering local minimum point can be reced to a certain extent in network training process.
Using these characteristics can overcome efficiently in the former feed forward neural networks』 training algorithms the big disadvantage that networks training enters local minimum point easily. This creats a new idea for feed forward neural networks』 learning algorithms by using convex optimization theory .In networks training, connecting weight variables and hidden layer outputs can be optimized alternately. The new algorithm is much better than traditional algorithms for feed forward neural networks. The numerical experiments show that the new algorithm is successful.
By comparing the new algorithm with the traditional ones, a primary conclusion of their relationship is reached. It is proved theoretically that when the punishment factor nears infinity, the new algorithm is BP algorithm yet. The meaning and function of the punishment factor are also explained by numerical experiments. For three-layer feed forward neural networks, when the punishment factor is smaller, hidden layer outputs』 variable range is bigger and this is in favor to updating of the connecting weights values, when the punishment factor is bigger, hidden layer outputs』 variable range is smaller and this is not in favor to updating of the connecting weights values but it can improve precision of networks. This explains the reason that the punishment factor should be increased graally in networks training process. It also explains feasibility of the new algorithm and BP algorithm』s disadvantage that connecting weigh values can not be updated sometimes.
Deposit forecasting is very important in deposit geology. The previous algorithms』 effect is not good in deposit forecasting because of much more input samples. The paper applies the new algorithm to deposit forecasting and expectant result is reached.
The paper points out the new algorithm』s strongpoint as well as to-be-improved places in the end.
Keywords: feed forward neural networks, convex optimization theory, training algorithm, deposit forecasting, application
BP演算法及其改進
2.1 BP演算法步驟
1°隨機抽取初始權值ω0；
2°輸入學習樣本對（Xp,Yp），學習速率η，誤差水平ε；
3°依次計算各層結點輸出opi,opj,opk；
4°修正權值ωk+1=ωk+ηpk,其中pk=,ωk為第k次迭代權變數；
5°若誤差E<ε停止，否則轉3°。
2.2 最優步長ηk的確定
在上面的演算法中，學習速率η實質上是一個沿負梯度方向的步長因子，在每一次迭代中如何確定一個最優步長ηk，使其誤差值下降最快，則是典型的一維搜索問題，即E(ωk+ηkpk)=(ωk+ηpk)。令Φ(η)=E(ωk+ηpk)，則Φ′(η)=dE(ωk+ηpk)/dη=E(ωk+ηpk)Tpk。若ηk為(η)的極小值點，則Φ′(ηk)=0，即E(ωk+ηpk)Tpk=-pTk+1pk=0。確定ηk的演算法步驟如下
1°給定η0=0,h=0.01,ε0=0.00001；
2°計算Φ′(η0),若Φ′(η0)=0,則令ηk=η0，停止計算；
3°令h=2h, η1=η0+h；
4°計算Φ′(η1)，若Φ′(η1)=0，則令ηk=η1，停止計算；
若Φ′(η1)>0，則令a=η0,b=η1；若Φ′(η1)<0，則令η0=η1，轉3°；
5°計算Φ′(a)，若Φ′(a)=0，則ηk=a，停止計算；
6°計算Φ′(b)，若Φ′(b)=0，則ηk=b，停止計算；
7°計算Φ′(a+b/2),若Φ′(a+b/2)=0，則ηk=a+b/2，停止計算；
若Φ′(a+b/2)<0,則令a=a+b/2;若Φ′(a+b/2)>0，則令b=a+b/2
8°若｜a-b｜<ε0，則令，ηk=a+b/2,停止計算，否則轉7°。
2.3 改進BP演算法的特點分析
在上述改進的BP演算法中，對學習速率η的選取不再由用戶自己確定，而是在每次迭代過程中讓計算機自動尋找最優步長ηk。而確定ηk的演算法中，首先給定η0=0，由定義Φ(η)=E(ωk+ηpk)知，Φ′(η)=dE(ωk+ηpk)/dη=E(ωk+ηpk)Tpk，即Φ′(η0)=-pTkpk≤0。若Φ′(η0)=0，則表明此時下降方向pk為零向量，也即已達到局部極值點，否則必有Φ′(η0)<0，而對於一維函數Φ(η)的性質可知，Φ′(η0)<0則在η0=0的局部范圍內函數為減函數。故在每一次迭代過程中給η0賦初值0是合理的。
改進後的BP演算法與原BP演算法相比有兩處變化，即步驟2°中不需給定學習速率η的值；另外在每一次修正權值之前，即步驟4°前已計算出最優步長ηk。
『貳』 BP神經網路的核心問題是什麼其優缺點有哪些
人工神經網路,是一種旨在模仿人腦結構及其功能的信息處理系統,就是使用人工神經網路方法實現模式識別.可處理一些環境信息十分復雜,背景知識不清楚,推理規則不明確的問題,神經網路方法允許樣品有較大的缺損和畸變.神經網路的類型很多,建立神經網路模型時,根據研究對象的特點,可以考慮不同的神經網路模型. 前饋型BP網路,即誤差逆傳播神經網路是最常用,最流行的神經網路.BP網路的輸入和輸出關系可以看成是一種映射關系,即每一組輸入對應一組輸出.BP演算法是最著名的多層前向網路訓練演算法,盡管存在收斂速度慢,局部極值等缺點,但可通過各種改進措施來提高它的收斂速度,克服局部極值現象,而且具有簡單,易行,計算量小,並行性強等特點,目前仍是多層前向網路的首選演算法.
多層前向BP網路的優點：
網路實質上實現了一個從輸入到輸出的映射功能，而數學理論已證明它具有實現任何復雜非線性映射的功能。這使得它特別適合於求解內部機制復雜的問題；
網路能通過學習帶正確答案的實例集自動提取「合理的」求解規則，即具有自學習能力；
網路具有一定的推廣、概括能力。
多層前向BP網路的問題：
從數學角度看，BP演算法為一種局部搜索的優化方法，但它要解決的問題為求解復雜非線性函數的全局極值，因此，演算法很有可能陷入局部極值，使訓練失敗；
網路的逼近、推廣能力同學習樣本的典型性密切相關，而從問題中選取典型樣本實例組成訓練集是一個很困難的問題。
難以解決應用問題的實例規模和網路規模間的矛盾。這涉及到網路容量的可能性與可行性的關系問題，即學習復雜性問題；
網路結構的選擇尚無一種統一而完整的理論指導，一般只能由經驗選定。為此，有人稱神經網路的結構選擇為一種藝術。而網路的結構直接影響網路的逼近能力及推廣性質。因此，應用中如何選擇合適的網路結構是一個重要的問題；
新加入的樣本要影響已學習成功的網路，而且刻畫每個輸入樣本的特徵的數目也必須相同；
網路的預測能力（也稱泛化能力、推廣能力）與訓練能力（也稱逼近能力、學習能力）的矛盾。一般情況下，訓練能力差時，預測能力也差，並且一定程度上，隨訓練能力地提高，預測能力也提高。但這種趨勢有一個極限，當達到此極限時，隨訓練能力的提高，預測能力反而下降，即出現所謂「過擬合」現象。此時，網路學習了過多的樣本細節，而不能反映樣本內含的規律
由於BP演算法本質上為梯度下降法，而它所要優化的目標函數又非常復雜，因此，必然會出現「鋸齒形現象」，這使得BP演算法低效；
存在麻痹現象，由於優化的目標函數很復雜，它必然會在神經元輸出接近0或1的情況下，出現一些平坦區，在這些區域內，權值誤差改變很小，使訓練過程幾乎停頓；
為了使網路執行BP演算法，不能用傳統的一維搜索法求每次迭代的步長，而必須把步長的更新規則預先賦予網路，這種方法將引起演算法低效。
『叄』 多層感知器訓練樣本過多，預測不準，訓練樣本小則訓練精度好！
文檔介紹：
多層感知器學習演算法研究
中文摘要
多層感知器是一種單向傳播的多層前饋網路模型，由於具有高度的非線性映射能 力，是目前神經網路研究與應用中最基本的網路模型之一，廣泛應用於模式識別、圖 像處理、函數逼近、優化計算、最優預測和自適應控制等領域。而多層感知器採用的 是BP演算法。BP演算法的收斂速度慢是個固有的缺點，因為它是建立在基於只具有局 部搜索能力的梯度法之上的，是只具有局部搜索能力的方法，若用於多個極小點的目 標函數時，是無法避免陷入局部極小和速度慢的缺點的。因此，對BP演算法的研究一 直以來都是非常重要的課題。
畢業設計課題旨在對多層感知器的學習演算法進行研究，並提出一種新的學習算 法。由於BPWE (權值外推BP)演算法和TBP (三項BP)演算法都是基於權值調整的改 進演算法，而考慮將TBP演算法中的均衡因子融入到BPWE演算法中，從而使後者對權值 的調整由原來的兩項增加為三項，從而提出一種新的學習演算法TWEBP演算法。為了 驗證本演算法的優點，採用了三個例子，分別對異或問題、三分類問題和函數逼近問題 進行了實驗，發現其收斂速度和逃離局部極小點的能力都優於傳統演算法。
『肆』 bp神經網路對輸入數據和輸出數據有什麼要求
p神經網路的輸入數據越多越好，輸出數據需要反映網路的聯想記憶和預測能力。
BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。
BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。BP網路具有高度非線性和較強的泛化能力，但也存在收斂速度慢、迭代步數多、易於陷入局部極小和全局搜索能力差等缺點。
(4)bp演算法的缺點擴展閱讀：
BP演算法主要思想是：輸入學習樣本，使用反向傳播演算法對網路的權值和偏差進行反復的調整訓練，使輸出的向量與期望向量盡可能地接近，當網路輸出層的誤差平方和小於指定的誤差時訓練完成，保存網路的權值和偏差。
1、初始化，隨機給定各連接權及閥值。
2、由給定的輸入輸出模式對計算隱層、輸出層各單元輸出
3、計算新的連接權及閥值，計算公式如下：
4、選取下一個輸入模式對返回第2步反復訓練直到網路設輸出誤差達到要求結束訓練。
『伍』 BP學習演算法是什麼類型的學習演算法它主要有哪些不足
BP演算法是由學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。
雖然BP演算法得到廣泛的應用，但它也存在不足，其主要表現在訓練過程不確定上，具體如下。
1，訓練時間較長。對於某些特殊的問題，運行時間可能需要幾個小時甚至更長，這主要是因為學習率太小所致，可以採用自適應的學習率加以改進。
2，完全不能訓練。訓練時由於權值調整過大使激活函數達到飽和，從而使網路權值的調節幾乎停滯。為避免這種情況，一是選取較小的初始權值，二是採用較小的學習率。
3，易陷入局部極小值。BP演算法可以使網路權值收斂到一個最終解，但它並不能保證所求為誤差超平面的全局最優解，也可能是一個局部極小值。
這主要是因為BP演算法所採用的是梯度下降法，訓練是從某一起始點開始沿誤差函數的斜面逐漸達到誤差的最小值，故不同的起始點可能導致不同的極小值產生，即得到不同的最優解。如果訓練結果未達到預定精度，常常採用多層網路和較多的神經元，以使訓練結果的精度進一步提高，但與此同時也增加了網路的復雜性與訓練時間。
4，「喜新厭舊」。訓練過程中，學習新樣本時有遺忘舊樣本的趨勢。
(5)bp演算法的缺點擴展閱讀：
BP演算法最早由Werbos於1974年提出，1985年Rumelhart等人發展了該理論。BP網路採用有指導的學習方式，其學習包括以下4個過程。
1，組成輸入模式由輸入層經過隱含層向輸出層的「模式順傳播」過程。
2，網路的期望輸出與實際輸出之差的誤差信號由輸出層經過隱含層逐層休整連接權的「誤差逆傳播」過程。
3，由「模式順傳播」與「誤差逆傳播」的反復進行的網路「記憶訓練」過程。
4，網路趨向收斂即網路的總體誤差趨向極小值的「學習收斂」過程。
『陸』 簡要說明前饋神經網路的BP演算法學習過程，並指出其具有什麼缺點及其原因
計算步驟
1.確定最大誤差和最大學習次數。
2.計算當前輸入下的輸出。
3.判斷輸出誤差是否滿足要求，滿足則退出，不滿足則開始學習。
4.計算廣義誤差，連接權系數更新。
6.次數加1，繼續迭代計算直到滿足要求。
缺點：
1.計算速度慢（計算量大，學習演算法不成熟，不同的演算法針對不同的問題收斂才快些）
2.輸入信號與訓練信號相差加大時，可能導致結果完全錯誤（不同的區域可能有不同的極值）
『柒』 RBF神經網路的缺點！
1.RBF 的泛化能力在多個方面都優於BP 網路, 但是在解決具有相同精度要求的問題時, BP網路的結構要比RBF 網路簡單。2. RBF 網路的逼近精度要明顯高於BP 網路,它幾乎能實現完全逼近, 而且設計起來極其方便, 網路可以自動增加神經元直到滿足精度要求為止。但是在訓練樣本增多時, RBF 網路的隱層神經元數遠遠高於前者, 使得RBF 網路的復雜度大增加, 結構過於龐大, 從而運算量也有所增加。3. RBF神經網路是一種性能優良的前饋型神經網路，RBF網路可以任意精度逼近任意的非線性函數，且具有全局逼近能力，從根本上解決了BP網路的局部最優問題，而且拓撲結構緊湊，結構參數可實現分離學習，收斂速度快。4. 他們的結構是完全不一樣的。BP是通過不斷的調整神經元的權值來逼近最小誤差的。其方法一般是梯度下降。RBF是一種前饋型的神經網路，也就是說他不是通過不停的調整權值來逼近最小誤差的，的激勵函數是一般是高斯函數和BP的S型函數不一樣，高斯函數是通過對輸入與函數中心點的距離來算權重的。5. bp神經網路學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，BP演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的。而rbf神經網路是種高效的前饋式網路，它具有其他前向網路所不具有的最佳逼近性能和全局最優特性，並且結構簡單，訓練速度快。