演算法性能優化
Ⅰ 梯度下降法和粒子群優化演算法的區別
粒子群(PSO)演算法是近幾年來最為流行的進化演算法，最早是由Kenned和Eberhart於1995年提出.PSO 演算法和其他進化演算法類似，也採用「群體」和「進化」的概念，通過個體間的協作與競爭，實現復雜空間中最優解的搜索．PSO 先生成初始種群，即在可行解空間中隨機初始化一群粒子，每個粒子都為優化問題的一個可行解，並由目標函數為之確定一個適應值(fitness value)．PSO 不像其他進化演算法那樣對於個體使用進化運算元，而是將每個個體看作是在n 維搜索空間中的一個沒有體積和重量的粒子，每個粒子將在解空間中運動，並由一個速度決定其方向和距離.通常粒子將追隨當前的最優粒子而運動，並經逐代搜索最後得到最優解．在每一代中，粒子將跟蹤兩個極值，一為粒子本身迄今找到的最優解 pbest ，另一為全種群迄今找到的最優解 gbest．由於認識到 PSO 在函數優化等領域所蘊含的廣闊的應用前景，在 Kenned 和 Eberhart 之後很多學者都進行了這方面的研究.目前已提出了多種 PSO改進演算法，並廣泛應用到許多領域。
Ⅱ Oracle性能優化 對於分組排序的演算法優化
select 料號,生效日,價格 from
material m
inner join (
select a.物料ID, max(a.價格生效日) 價格生效日 from material a, price b
where a.物料ID=b.物料ID and a.價格生效日=b.價格生效日
and a.料號='AAA'
) n on m.id=n.物料ID
下面這三個欄位上分別建索引
material：料號
material：物料ID
price ：物料ID
Ⅲ c++語言中的全局優化演算法如何掌握
所有機器學習開發者都會遇到同樣一個問題：你有一些想要使用的機器學習演算法，但其中填滿了超參數——這些數字包括權重衰減率、高斯核函數寬度等等。演算法本身並不會設置它們，你必須自己決定它們的數值。如果你調的參數不夠好，那麼演算法是不會工作的。那麼該如何是好？
在調參時，絕大多數人只會憑經驗進行猜測。這不是個好現象，我們需要更合理的方法。所有人都希望一些黑箱優化策略如貝葉斯優化變得實用化，但在我看來，如果你不把貝葉斯優化的超參數調對，它就無法展現專家級的調參能力。事實上，我認識的每個使用貝葉斯優化的人都有著相同的經驗。最終，如果我認為手調參數更加方便，我就會轉回到傳統方法上去，這也是所有使用類似工具的人都會遇到的事。所以結果就是我們一般不會使用自動超參數選擇工具——令人沮喪的結論。我們都希望出現一個無參數的全局優化器，其中的超參數選擇是我們可以信任的。
Malherbe 等人測試了這種估算 k 的方法，並展示了它的優秀性能。
Ⅳ 在復雜的優化任務中，為什麼進化演算法可以保證比傳統的確定性優化方法更好的性能
摘要 進化演算法是模擬生物界的進化過程而產生的一種現代優化方法，作為一種有效的隨機搜索方法，在優化方法中具有獨特的優越性，有著非常重要的意義和及其廣泛的應用。傳統優化方法對目標函數解析性質要求較高，進化演算法不需要目標函數的導數信息，具有隱式並行性，所以常用於解決一些復雜的、大規模的、非線性、不可微的優化問題。 首先，對無約束優化問題，分別設計了產生初始種群的一個有效方法，並設計了一個新的雜交運算元和變異運算元，該雜交運算元具有局部搜索的部分功能，變異運算元確定了個體的變異方向，當個體以某個概率沿著該變異方向進行隨機擾動時，可能會產生更好的點。這種新的變異運算元不僅保證了演算法的全局搜索性而且充分考慮了目標函數的信息，避免了盲目性。使得針對無約束進化問題能迅速有效的找到全局最優點，減小運算代價。 其次，對於約束優化問題，本文在無約束優化問題變異運算元的基礎上，又設計了一種新的適用於約束問題的變異運算元，首先求出個體所受的合作用力，然後以某個概率接收該合力方向作為搜索方向。該變異運算元能有效地處理約束條件，使得進化後期種群中的個體幾乎都為可行點。同時為了拋棄部分不可行點，設計了一個新的適應度函數，其僅僅依賴於個體的不可行度和目標函數值。 再次，對約束優化問題，採用粒子群演算法對其進行進化求解；在此基礎上構造了兩個微粒群，一個以約束滿足為目標，另一個以原目標函數為目標，同時在每一個微粒的進化過程中引入一項反映另一微粒群最好微粒的信息。 最後，模擬結果驗證了本文所述方法的正確性與有效性。
Ⅳ 畢業設計--基於壓縮感知的重構演算法性能比較（貪婪演算法和凸優化演算法）求指導
於壓縮感知的重構演算法性能比較（貪婪演算法和凸優化算
肯定
的
Ⅵ java性能優化權威指南和java程序性能優化哪本好
1、調整垃圾收集(GC)
由於垃圾收集的復雜性,很難發現你的應用的准確性能。不過,如果你真的想優化你的應用,你應該相應地處理垃圾收集。通用的准則是調整GC設置並同時執行性能分析。
一旦你對結果感到滿意,你可以停止該過程並尋求其他優化方式。確保除了在平均事務處理時間之外,你還留心了異常值。這些異常值是造成Java應用緩慢的真正的罪魁禍首並且很難找到。
此外,你要明白應用運行期間性能下降的效應。在每單個cpu時鍾內的緩慢操作是可以忽略的,但在每單個資料庫事務中的緩慢操作則是非常昂貴的消耗。但是你應該根據性能短板選擇你的優化策略,並應該根據工作負載來優化應用。
2、正確地選擇適合你的GC演算法
讓我們更深入地探討GC優化。畢竟,GC優化是要處理的整個優化問題中最基本的。目前,Java中有四種供你選擇的垃圾收集演算法。每種演算法滿足不同的需求,因此你要選擇(適合你的需求的)。很多開發人員正是因為不了解GC演算法而未能優化他們的應用。
這四個演算法分別是串列回收器,並行/吞吐量回收器,CMS回收器和G1回收器。想要了解更多關於每種垃圾收集器的信息及它們是如何工作的,請查看這篇來自Takipi博客的非常棒的文章Garbage Collectors—Serial vs。 Parallel vs。 CMS vs。 G1。這篇文章同時還討論了Java8對GC演算法的影響及其他細節上的改變。讓我們再回到GC演算法上,根據Understanding Java Garbage Collection這篇文章所述,並發標記和清除GC(即」CMS」)演算法才是適合網路服務端應用的最佳演算法。並行GC演算法適合那些內部可預測的應用。
G1和CMS是並發操作的理想選擇,但仍然會引起(應用)頻繁停頓。實際的選擇取決於你如何取捨。舉例來說,盡管選擇並行演算法會帶來更長的GC停頓時間,但相較於其他GC演算法,選擇並行演算法仍是一個好主意。
3、Java堆
Java內存堆在迎合內存需求方面擔任了至關重要角色。通常更好的做法是初始時分配最小的堆,然後通過持續的測試不斷增加它的大小。大多數時候優化問題都可以通過增加堆的大小解決,但如果存在大量的GC開銷,則該解決方案不起作用。
GC開銷還會使吞吐量急劇下降,進而使得應用難以形容的慢。此外,及早調整GC可以幫助你避免堆大小分配的問題。開始的時候,你可以選擇任何1GB到8GB的堆大小。當你選擇正確的堆大小,老生代和新生代對象的概念也就不需要了。總而言之,堆大小應該取決於老生代和新生代對象的比率,之前的GC優化和對象集合(即所有對象佔用的內存大小)。
4、關鍵應用優化
關鍵代碼優化是優化你的Java應用最好的方式。如果你的應用對GC和堆優化沒有反應,那麼最好是做架構改進並關注於你的應用是如何處理信息的。使用聰明的演算法並管理好對象就能解決大量的問題,包括內存碎片,堆大小問題和垃圾收集的問題。
5、使用最優的函數
Java提供了多個函數來提升演算法效率。如果你使用StringBuilder代替簡單的String,你可以得到微乎其微的性能提升。不過,我們還有其他方式在代碼層面進行優化。讓我們看看下面這些優化方法。
使用StringBuilder代替+操作符。
避免使用iterator。
多使用棧帶來的好處。
避免使用正則表達式,使用Apache Commons Lang作為代替。
遠離遞歸。遞歸會佔用大量資源!
Ⅶ 機器學習怎麼不斷的優化演算法的預測性能
您好
基於以下三個原因，我們選擇Python作為實現機器學習演算法的編程語言：(1) Python的語法清晰；(2) 易於操作純文本文件；(3) 使用廣泛，存在大量的開發文檔。
可執行偽代碼
Python具有清晰的語法結構，大家也把它稱作可執行偽代碼（executable pseudo-code）。默認安裝的Python開發環境已經附帶了很多高級數據類型，如列表、元組、字典、集合、隊列等，無需進一步編程就可以使用這些數據類型的操作。使用這些數據類型使得實現抽象的數學概念非常簡單。此外，讀者還可以使用自己熟悉的編程風格，如面向對象編程、面向過程編程、或者函數式編程。不熟悉Python的讀者可以參閱附錄A，該附錄詳細介紹了Python語言、Python使用的數據類型以及安裝指南。
Python語言處理和操作文本文件非常簡單，非常易於處理非數值型數據。Python語言提供了豐富的正則表達式函數以及很多訪問Web頁面的函數庫，使得從HTML中提取數據變得非常簡單直觀。
Python比較流行
Python語言使用廣泛，代碼範例也很多，便於讀者快速學習和掌握。此外，在開發實際應用程序時，也可以利用豐富的模塊庫縮短開發周期。
在科學和金融領域，Python語言得到了廣泛應用。SciPy和NumPy等許多科學函數庫都實現了向量和矩陣操作，這些函數庫增加了代碼的可讀性，學過線性代數的人都可以看懂代碼的實際功能。另外，科學函數庫SciPy和NumPy使用底層語言（C和Fortran）編寫，提高了相關應用程序的計算性能。本書將大量使用Python的NumPy。
Python的科學工具可以與繪圖工具Matplotlib協同工作。Matplotlib可以繪制2D、3D圖形，也可以處理科學研究中經常使用到的圖形，所以本書也將大量使用Matplotlib。
Python開發環境還提供了互動式shell環境，允許用戶開發程序時查看和檢測程序內容。
Python開發環境將來還會集成Pylab模塊，它將NumPy、SciPy和Matplotlib合並為一個開發環境。在本書寫作時，Pylab還沒有並入Python環境，但是不遠的將來我們肯定可以在Python開發環境找到它。
Ⅷ 混沌優化演算法可以求解全局最優解嗎
非線性最優化問題的一種混合解法
摘 要：把BFGS方法與混沌優化方法相結合，基於混沌變數提出一種求解具有變數邊界約束非線性最優化問題的混合優化方法。混合演算法兼顧了混沌優化全局搜索能力強和BFGS方法收斂速度快的優點，成為一種求解非凸優化問題全局最優的有效方法。算例表明，當混沌搜索的次數達到一定數量時，混合優化方法可以保證演算法收斂到全局最優解，且計算效率比混沌優化方法有很大提高。
關鍵詞：混合法；BFGS方法；混沌優化方法；全局最優
1 引言
在系統工程、控制工程、統計學、反問題優化求解等領域中，很多問題是具有非凸性的。對此普通的優化技術只能求出局部最優解，因為這些確定性演算法總是解得最近的一個極值點[1]，只有能夠給出很好的初始點才有可能得出所需要的全局最優解。為此，實際應用中通過在多個初始點上使用傳統數值優化方法來求取全局解的方法仍然被人們所採用，但是這種處理方法求得全局解的概率不高，可靠性低，建立盡可能大概率的求解全局解演算法仍然是一個重要問題。近年來基於梯度法的全局最優化方法已經有所研究[2]，基於隨機搜索技術的遺傳演算法和模擬退火演算法等在全局優化問題中的應用也得到越來越大的重視[3-4]。本文則基於混沌優化和BFGS方法，提出一種求解具有簡單界約束最優化問題(1)的混合演算法。
混沌是存在於非線性系統中的一種較為普遍的現象。混沌運動宏觀上無序無律，具有內隨機性、非周期性和局部不穩定性，微觀上有序有律，並不是完全的隨機運動，具有無窮嵌套的自相似幾何結構、存在普適性規律，並不是雜亂無章的。利用混沌變數的隨機性、遍歷性和規律性特點可以進行優化搜索[5]，且混沌優化方法容易跳出局部最優點。但是某些狀態需要很長時間才能達到，如果最優值在這些狀態時，計算時間勢必很長[5]。可以說混沌優化具有全局搜索能力，其局部搜索能力稍顯不足，文[5]採用二次載波技術，文[6]考慮逐漸縮小尋優變數的搜索空間都是為了彌補這一弱點。而本文則採用混沌搜索與BFGS方法進行優化求解，一方面採用混沌搜索幫助BFGS方法跳出局部最優，另一方面利用BFGS增強解附近的超線性收斂速度和搜索能力，以提高搜索最優的效率。
2 混沌－BFGS混合優化方法
2.1 BFGS方法
作為求解無約束最優化問題的擬牛頓方法類最有代表性的演算法之一，BFGS方法處理凸非線性規劃問題，以其完善的數學理論基礎、採用不精確線性搜索時的超線性收斂性和處理實際問題有效性，受到人們的重視[7-9]。擬牛頓方法使用了二階導數信息，但是並不直接計算函數的Hesse矩陣，而是採用一階梯度信息來構造一系列的正定矩陣來逼近Hesse矩陣。BFGS方法求解無約束優化問題min()的主要步驟如下：
(1) 給變數賦初值x0，變數維數n和BFGS方法收斂精度ε，令B0=I（單位陣），k=0，計算在點x0的梯度g0。
(2) 取sk=-Bk-1gk，沿sk作一維搜索，確定最優步長αk，，得新點xk+1=xk+αksk，計算xk+1點的梯度gk+1。
(3) 若||gk+1||≤ε，則令，，BFGS搜索結束，轉步驟3；否則執行(4)。
(4) 計算Bk+1：
(2)
(3)
(5) k=k+1，轉(2)。
2.2 混沌優化方法
利用混沌搜索求解問題(1)時，先建立待求變數與混沌變數的一一對應關系，本文採用。然後,由Logistic映射式(4)產生個軌跡不同的混沌變數（）進行優化搜索，式(4)中=4。已經證明，=4是「單片」混沌，在[0,1]之間歷遍。
(4)
(1)給定最大混沌變數運動次數M；給賦初值，計算和；置，。
(2) 。
(3) 。
(4) 若k<M，
若，令，；
若，和保持不變；
然後令k=k+1，，轉(2)。
若k>M，則，，混沌搜索結束。
2.3 混合優化方法
混沌方法和BFGS方法混合求解連續對象的全局極小值優化問題(1)的步驟如下：
step1 設置混沌搜索的最大次數M，迭代步數iter=0，變數賦初值x0，。
step2 以為始點BFGS搜索，得當前BFGS方法最優解及=。
step3 若，取=；若，取；若，取，是相對於,較小的數。
step 4 以為始點進行混沌搜索M次，得混沌搜索後的最優解及=。
step5 若<，iter=iter+1，，轉step2；否則執行step6。
step6 改變混沌搜索軌跡，再次進行混沌搜索，即給加微小擾動，執行step 4，得搜索結果和。若<，iter=iter+1，，轉step2；否則計算結束，輸出、。
對全局極大值問題，max ，可以轉化為求解全局極小問題min 。
混合演算法中混沌搜索的作用是大范圍宏觀搜索，使得演算法具有全局尋優性能。而BFGS搜索的作用是局部地、細致地進行優化搜索，處理的是小范圍搜索問題和搜索加速問題。
3 算例
圖 1 函數-特性示意圖 圖 2 函數特性示意圖
採用如下兩個非常復雜的、常用於測試遺傳演算法性能的函數測試本文演算法：
函數稱為Camel 函數，該函數有6個局部極小點(1.607105, 0.568651)、(-1.607105, -0.568651)、(1.703607, -0.796084)、(-1.703607, 0.796084)、(-0.0898,0.7126)和(0.0898,-0.7126)，其中(-0.0898,0.7126)和(0.0898,-0.7126)為兩個全局最小點，最小值為-1.031628。函數稱為 Schaffer's函數，該函數有無數個極大值，其中只有（0，0）為全局最大點，最大值為1。此函數的最大峰值周圍有一圈脊，它們的取值均為0.990283，因此很容易停留在此局部極大點。文獻[10]採用該函數對該文提出的基於移動和人工選擇的改進遺傳演算法（GAMAS）其性能進行了考察，運行50次，40％的情況下該函數的唯一全局最優點能夠找到。而採用本文混合演算法，由計算機內部隨機函數自動隨機生產100個不同的初始點，由這些初始點出發，一般混合演算法迭代2－4次即能夠收斂。M取不同數值時對函數、的計算結果分別如表1和表2所示，表中計算時間是指在奔騰133微機上計算時間。
由表2可見，當M=1500時，本文方法搜索到最優解的概率即達到40％，而此時計算量比文獻[10]小。同樣由混合演算法的100個起始點，採用文獻[5]的演算法對函數優化計算100次，以作為收斂標准，混沌搜索50000次，計算結果為67次搜索到最優解，概率為67%，平均計算時間為1.2369s。而即使保證混合演算法100次全收斂到最優解所花費的平均計算時間也只為0.2142s（表1），可見混合演算法優於文獻[5]的方法。
表1 M取不同數值時函數的計算結果
_____________________________________________________________________
M 搜索到全局最優點的次數 搜索到最優的概率 平均計算時間
(-0.0898,0.7126) (0.0898,-0.7126)
_____________________________________________________________________________________________
1000 44 39 83% 0.1214s
3000 53 45 98% 0.1955s
5000 53 47 100% 0.2142s
________________________________________________________________________________________________
表2 M取不同數值時函數的計算結果
___________________________________________________________
M 搜索到全局最優點的次數 搜索到最優的概率 平均計算時間
____________________________________________________________________________________
1500 40 40% 0.1406s
5000 73 73% 0.2505s
10000 88 88% 0.4197s
50000 100 100% 1.6856s
____________________________________________________________________________________
4 計算結果分析
由表1和表2可見，混合演算法全局尋優能力隨M的增加而增大，當M達到某一足夠大的數值Mu後，搜索到全局最優的概率可以達到100％。
從理論上說，Mu趨向無窮大時，才能使混沌變數遍歷所有狀態，才能真正以概率1搜索到最優點。但是，本文混沌運動M次的作用是幫助BFGS方法跳出局部最優點，達到比當前局部最優函數值更小的另一局部最優附近的某一點處，並不是要混沌變數遍歷所有狀態。由混沌運動遍歷特性可知，對於某一具體問題，Mu達到某一具體有限數值時，混沌變數的遍歷性可以得到較好模擬，這一點是可以滿足的，實際算例也證實了這一點。
由於函數性態、復雜性不同，對於不同函數，如這里的測試函數、，數值Mu的大小是有差別的。對於同一函數，搜索區間增大，在相同混沌運動次數下，即使始點相同，總體而言會降低其搜索到全局最優的概率,要保證演算法仍然以概率1收斂到全局最優，必然引起Mu 增大。跟蹤計算中間結果證實，當M足夠大時，混合演算法的確具有跳出局部最優點，繼續向全局最優進行搜索的能力；並且混合演算法的計算時間主要花費在為使混合演算法具有全局搜索能力而進行混沌搜索上。
5 結語
利用混沌變數的運動特點進行優化，具有非常強的跳出局部最優解的能力，該方法與BFGS方法結合使用，在可以接受的計算量下能夠計算得到問題的最優解。實際上，混沌優化可以和一般的下降類演算法結合使用，並非局限於本文採用的BFGS方法。採用的Logistic映射產生混沌變數序列，只是產生混沌變數的有效方式之一。
混沌運動與隨機運動是不同的。混沌是確定性系統中由於內稟隨機性而產生的一種復雜的、貌似無規的運動。混沌並不是無序和紊亂，更像是沒有周期的秩序。與隨機運動相比較，混沌運動可以在各態歷經的假設下，應用統計的數字特徵來描述。並且，混沌運動不重復地經過同一狀態，採用混沌變數進行優化比採用隨機變數進行優化具有優勢。
混沌優化與下降類方法結合使用是有潛力的一種全局優化途徑，是求解具有變數界約束優化問題的可靠方法。如何進一步提高搜索效率，以及如何把混沌優化有效應用於復雜約束優化問題是值得進一步研究的課題。
本文演算法全局收斂性的嚴格數學證明正在進行之中。
參考文獻
[1]胡山鷹，陳丙珍，何小榮，沈靜珠．非線性規劃問題全局優化的模擬退火法[J]．清華大學學報，37(6)，1997，5-9．
[2]C A Floudas, A Aggarwal, A R Ciric． Global optimum search for nonconvex NLP and MINLP problems[J]. Comput Chem Engng． 1989， 13(10)， 1117~1132．
[3]康立山，謝雲，尤矢勇等．非數值並行演算法（第一冊）――模擬退火演算法[M]．北京：科學出版社，1998．
[4]劉勇，康立山，陳琉屏．非數值並行演算法（第二冊）――遺傳演算法[M]．北京：科學出版社，1998．
[5]李兵，蔣慰孫．混沌優化方法及其應用[J]．控制理論與應用，14(4)，1997，613-615．
[6]張彤，王宏偉，王子才．變尺度混沌優化方法及其應用[J]．控制與決策，14(3)，1999，285-287．
[7]席少霖．非線性最優化方法[M]．北京：高等教育出版社，1992．
[8]席少霖，趙鳳志．最優化計算方法[M]．上海：上海科學技術出版社，1983．
[9]Press W H, Tenkolsky S A, Vetterling W T, Flannery B P．Numerical Recipes in C, The Art of Scientific Computing[M]． Second edition， Cambridge University Press， 1992．
[10]J C Ports．The development and evaluation of an improved genetic algorithm based on migration and artificial selection[J]．IEEE Trans. Syst. Man and Cybern.．1994, 24(1)，73-85．
A Hybrid Approach for Nonlinear Optimization
Abstract：Combined BFGS method with chaos optimization method, a hybrid approach was proposed to solve nonlinear optimization problems with boundary restraints of variables. The hybrid method is an effective approach to solve nonconvex optimization problems, as it given both attentions to the inherent virtue to locate global optimum of chaos optimization method and the advantage of high convergence speed of BFGS method. Numerical examples illustrate that the present method possesses both good capability to search global optima and far higher convergence speed than that of chaos optimization method.
Ⅸ 將不同的優化演算法做一個比較，可以發會議論文嗎
研究生一年級的時候上了一門《演化演算法》方面的課程，大作業做了創新性演算法研究，具體內容是把PSO和DBSCAN聚類結合來做多峰優化，演算法最大優點是參數少，不需要預估峰半徑和峰個數。任課老師覺得內容比較有創新性，建議我投稿發表。
我5月份投了《系統工程與電子技術》，大概25天出了結果直接退稿，外審大概用了10天時間，外審意見如下：
文章原創性不足,類擬這類結合實現方法組合太多，這種組合方法針對單一性能分析和方法的理論分析意義不大；
（根據我看過的文獻，直接把聚類演算法和演化演算法結合來做多峰優化的確實不多，而且能夠不需要峰半徑和峰個數信息的同類演算法復雜度都很高……）
2. 關於演算法的2個參數的設置在是否具有通用性，即在維度更高的時候能否適用？
Ⅹ 多目標優化演算法的多目標是什麼意思
多目標優化的本質在於，大多數情況下，某目標的改善可能引起其他目標性能的降低，同時使多個目標均達到最優是不可能的，只能在各目標之間進行協調權衡和折中處理，使所有目標函數盡可能達到最優，而且問題的最優解由數量眾多，甚至無窮大的Pareto最優解組成。