無約束優化演算法

① 非線性最優化的不同演算法各適用於什麼情況

1 無約束非線性最優化問題常用演算法：
梯度法（最速下降法）、共軛梯度法、變尺度法和步長加速法.其中,前三個要用到函數的一階導數或二階導數,適用於函數表達式導數存在且求導簡單的情況,而步長加速法則相反,適用於函數表達示復雜,甚至無解析表達式,或導數不存在情況.
2 約束非線性最優化問題常用演算法：
按照是否化成無約束問題可分為 可行方向法、制約函數法（外點法和內點法）,其中內點法適用於目標函數在可行域外性質復雜情況,外點法則相反.後者根據罰函數或障礙函數的構造不同,又有不同的變形.

② 淺談非線性無約束最優化問題的幾種演算法 詳細�0�3

當前我國高校學生幹部社會 角色扮演問題研究韓 強（ 陝西理工學院， 陝西 漢中 723001） 【摘要】當前高校學生幹部角色發生了異化， 導致這一結果的原因除了社會不良風氣， 特別是「官場文化」的影響外， 還有高校自身管理的漏洞。而恢復「五員」的社會角色， 無疑已成為當前高校不容忽視的一項重要內容。 【關鍵詞】學生幹部； 社會角色； 異化； 五員 【中圖分類號】C913 【文獻標識碼】A 【文章編號】1672-996X（ 2009） 02-0174-02 高校學生幹部一般包括各級共青團幹部、學生會幹部、 往往從社會生活中可以找到原型。不論是一些機關的拉關班委會成員以及各類學生社團負責人等。這支隊伍是學生中 系、買官， 還是社會強勢群眾的以勢壓人、以權代法； 不論最活躍的群體， 不僅是學生輔導員、班主任的得力助手， 更 是一些領導幹部的脫離群眾， 還是某些行政機關中的人浮於是教師和廣大學生之間溝通的橋梁和紐帶， 在校園文化建 事、效率低下， 社會不良風氣的影響是學生幹部社會角色異設， 校風學風建設， 大學生自我教育、自我管理、自我服務 化的最主要因素。等方面起著非常重要的作用。在新的形勢下， 重視學生幹部 其次， 理論教育的折扣化。在許多高校中都有「兩隊伍建設， 提高學生幹部的綜合素質， 是進一步加強和改進 課」、學生幹部培訓班、團校以及黨校等理論教育陣營， 而大學生思想政治教育、實現人才培養目標的重要環節和突破 且針對學生幹部的各種理論學習班也不少， 每次培訓學習的口。 學生幹部有很多， 結業後還要寫思想匯報、學習感悟等。形式上看很完備， 但事實上學生幹部很多都抱著「沒意思」、一、學生幹部的異化現象當前， 學生幹部的社會角色出現了異化現象。這里的異 「混張結業證」等思想參加培訓班， 在理論認識上的提高幾化， 是指違背學生幹部性質本身的角色變異。具體來說， 主 乎為零。例如： 據調查， 某校召開學生幹部理論培訓班後不要有以下五種角色。 久， 在一年級參加培訓的十名團支書、班長中， 有七人不能校園官僚派。學生幹部中有相當一部分人「官本位」十 准確表述「三個代表」重要思想的內容； 某系十一名主要學足， 將學生幹部的級別看成是「官」的台階， 為了獲取更大 生幹部中， 有七人不能完整表述黨的性質。的官階， 而廢盡心思。據二十一世紀人才報報道： 南方某高 再次， 學生幹部自我優越感的膨脹化。學生幹部作為客校「為了爭奪學生會主席的位置， 有學生不惜花費1萬元以 觀上的校園強勢群眾， 不論是在機會的取得上， 利益的分配上的血本」。而類似的拉選票、請客送禮、暗箱操作、排除 上， 還是組織資源的獲取上， 支配權力的空間上， 等諸多方異己等司空見慣的現象也活生生的證實了官僚派的存在， 其 面都與普通同學存在著明顯的優勢。在這一群體中， 職責不影響極其惡劣， 不但嚴重擾亂了學生幹部的正常工作秩序， 同的學生幹部的權力支配空間， 地緣、人緣優勢也不大相而且影響了校風、學風。 同。這樣， 學生幹部容易產生一種優越感， 這種優勢感， 超利益優先派。在高校中， 學生的管理很大程度上屬於自 出了自己的職責區域， 變成了對權力資源的崇拜， 並最終導我管理， 學生幹部在客觀上起到了老師與學生的橋梁作用。 致官僚化社會角色。同時， 由於學生幹部這一身份， 學生幹部得以獲取信息靈敏 最後， 學生幹部管理中的考核機制、激勵機制、懲處機化， 交際廣泛化， 渠道多元化等客觀上的優勢， 從而在利益 制的不健全。高校中的學生幹部群體是一個規模龐大的體分配上與獲取上呈現出優先化。例如： 學生幹部身份本身就 系， 其組織結構一般是金字塔型， 其管理上一般都有明確的是就業的一張優勢牌， 是報考公務員的主要因素之一； 有的 規章制度。但是在諸多的規章制度中， 卻很少有完善的考核學生會主席一年能凈賺幾萬元； 學生幹部有很多拋頭露面的 機制、激勵機制、懲處機制。在日常的工作中， 無法衡量學機會， ……我們並不反對學生幹部正當利益的取得， 但構成 生幹部工作的效果。導致干好乾壞一個樣， 干與不幹一個利益優先群體的功利化現象卻有悖於學生幹部服務同學、顧樣， 無法調動學生幹部， 特別是基層學生幹部的工作積極全大局的初衷。 性， 使一些學生幹部的「靠山」思想、「無所謂」思想的滋強勢集團派。與普通學生相比， 學生幹部群體應該算是 長， 無法在普通同學中樹立與提高學生幹部「先進分子」的強勢群體， 特別是在高層。這不僅僅是因為他們的幹部身份 形象和影響力。在客觀上造成了概念性影響力， 更重要的是他們客觀上擁有 三、學生幹部的正確角色一定可支配性權力資源， 上層交際的地緣優勢和接觸面的人 異化的社會角色是嚴重影響學生幹部發展和學生公共活緣優勢。與普通學生相比， 他們常常依靠權力優勢、地緣優 動正常開展的潛在威脅。作為一名幹部， 就要顧全大局， 樹勢和人緣優勢等， 對他人施加影響， 獲取個人利益優先化。 立正確的社會角色觀， 扮演正確合理的社會角色， 那麼， 在脫離群眾派。我們黨在長期的革命斗爭中總結出一條寶 高校校園中， 學生幹部究竟應扮演何種社會角色呢？ 我認為貴的革命經驗——群眾路線， 即「從群眾中來， 到群眾去， 應該是「五員」角色。一切依靠群眾， 一切為了群眾。」作為高校的學生幹部， 要 政策的宣傳員。學校的各項政策、規章制度往往需要通成功起到承上啟下的作用， 基點就是將群眾路線貫徹到學生 過學生幹部傳達給其他學生， 從而保證政策、規章制度的落工作中。可在現實中， 有一部分學生幹部往往忘記了這一 實。點， 高高在上， 只知道布置、安排， 而不知道身體力行， 不 信息的聯絡員。把上級的指示和老師的安排傳遞給學知道與普通學生打成一片。無形中就助長了官僚習氣， 影響 生， 把學生的意見、建議和想法匯報給上級和老師， 真正在學生幹部的威信。 師生間架起一道橋梁。「無過即功」派。「無過即功」派又叫消極應付派。指 活動的運動員。學生作為中間橋梁， 擔負著活動的組織的是一些學生幹部對自己的職責不負責任， 消極被動的干工 工作， 經常扮演的是「教練員」。實際上， 學生幹部身體力作， 搞活動， 這樣的學生幹部在基層學生幹部群體中為數不 行， 不僅能夠提高效率， 拉近「干群」關系， 同時也將進一少， 特別是班級中除團支部書記、班長以外的學生幹部， 表 步提高學生幹部的綜合素質。現的比較突出。這樣的社會角色， 短期內看不到實質性危 學生的服務員。作為學生中的積極分子、優秀分子， 學害， 但長此以往， 必然導致不負責任、消極等「官僚主義」 生幹部有責任也有義務服務於廣大同學， 不應該去片面的計病的流行。所以， 不論是哪一層級的學生工作負責人都要警 較個人得失， 也不能帶著強烈功利化色彩去擔任學生幹部，惕這種「無過即功」的消極思想的蔓延。 正如唐太宗所言「水能載舟， 亦能覆舟」。只要你切實為同學服務了， 學生就會支持你的工作。 二、學生幹部異化的原因上文中我們列舉了學生幹部社會角色異化， 那麼導致這 學風、校風的駕駛員。古語有雲： 「其身正， 不令即些角色出現的原因究竟是什麼呢？ 顯然， 不僅僅是學生幹部 行； 其身不正， 雖令不從。」高校的學生幹部， 要率先遵守的個人素質問題， 而且是社會環境， 管理機制等多因素的共 校紀校規， 加強自身學風、工作作風、生活作風的建設。學同作用。具體來說， 有以下四個方面： 生幹部是學校眾多學生中的精英分子， 代表了學生的風貌，首先， 社會不正之風的影響。置身空前開放的社會， 我 代表了學校的形象。們不能將大學與社會割裂開來， 大學不是空中樓閣， 校園小 學生幹部是高校學生管理工作中的一支重要的力量， 重社會， 社會大校園。事物是普遍聯系的， 校園中的不正之風 視和加強高校學生幹部隊伍建設關繫到高校的穩定和發展。（） 下轉176頁下點， 並在一定程度上具有二者的優點， 是無約束最優化演算法 一、數學模型中最為有效的方法之一。在一定條件下， 演算法具有二次終止性、整體收斂性和超線性的收斂等性質。三、數學試驗它的含義是求目標函數 在 維空間 上的最小值， 即 分別用本文所介紹的最速下降法、Newdon法、共軛梯求 使對於任意 的都有 。 度法、擬Newdon法求解去約束最優化問題：二、演算法的介紹 1、最速下降法基本思想： 從某一點 出發， 選擇目標函數 的負梯度方向作為每一步的搜索方向， 以利於盡快達到極小點。 下面我們對這四種演算法的計算過程和結果給予簡單的介特點： 的負梯度方向， 僅僅 在點的鄰近才具有使 紹。函數下降最快的性質， 而對於整個求最優解的過程來說就不 最速下降法：是這樣的。在一定條件下， 最速下降法是線性收斂的， 收斂 具體迭代過程見表1 速度較慢。當初始點 離最優點 較遠時， 一般來說下降 表1 較快， 效果較好， 在求最優解的前期， 使用最速下降法是有利的。 2、Newdon法基本思想： 從某一點 出發， 利用目標函數 在迭代點 處的二次Taylor展開去近似目標函數， 然後精確求出這個二次函數的極小點， 以它作為目標函數極小點的近似值。特點： 在一定的條件下， 當初始點 充分接近極小點時， 有很快的收斂速度， 但是局部收斂的。如果 正定且初始點適合時它是總體收斂的， 但當初始點遠離局部極小點時， 可能不正定， 也可能奇異， 這樣產生的 可能 由表1可以看出當第5次迭代後的精度為 ，不是下降方向。 前後兩次最速下降法的搜索方向是相互垂直的。 3、共軛梯度法 Newdon法：基本思想： 它是一個典型的共軛方向法， 它的每一個搜 索方向都是互相共軛的， 而這些搜索方向 僅僅是負梯度 ， 與上一次迭代的搜索方向 的組合， 然後沿 方向進 行最優搜索。特點： 從理論上來說， 對於目標函數是正定二次函數， 利用共軛梯度法求最優解， 在 步以內必可達到極小點 ， 它具有二次終止性。但在實際的計算當中， 由於計算 取初始點誤差等因素的影響， 導致經過 步迭代沒有得到滿足精度要 ， 求的解， 或者說目標函數沒有進入一個正定二次函數的區域， 此時搜索方向應重新開始， 即將 作為新的初始點， 重 可見Newdon法有一步達到最優點的特點。新設置負梯度方向的措施來加速收斂。 共軛梯度法： 4、擬Newdon法 具體迭代過程見表2：基本思想： 它是一種改進的Newdon法， 也稱變尺度方 表2 法。為了保持Newdon法收斂速度快的優點， 而避免 Newdon矩陣求逆的計算， 引入新的迭代矩陣序列 用以代替 （ 其中 ）， 不僅要求 ，且 易於計算。 形式的擬Newdon法迭代公式是：具體迭代過程見表3： 表3 其中 為擬Newdon方向， 亦即在 尺度矩陣意義下的最速下降方向； 為修正矩陣， 為修正項， 要求 具有如下性質： i． 滿足擬Newdon方程， 即 ， 其中： ii． 必須是對稱陣， 來保證 成為下降方向。特點： 它是結合最速下降法和阻尼Newdon法而構造的 由此表可看出擬Newdon法第一步沿負梯度方向， 兩步一類新的演算法， 既克服了最速下降法收斂速度慢， 又克服了 達到最優點。 Newdon法搜索方向構造較困難， Hessian矩陣計算量大的缺淺談非線性無約束最優化問題的幾種演算法范慧玲（ 黑龍江八一農墾大學文理學院數學系， 黑龍江 大慶 163319） 【摘要】近二十年來， 無約束最優化問題的理論與應用受到人們的重視， 發展迅速， 成果很多。本文歸納幾種非線性無約束最優化問題的幾種演算法， 並舉例說明它們的應用， 同時對各種演算法的思想和特點進行總結。 -1 1 2 3 0 0 - - -

③ 怎樣運用matlab實現無約束非線性優化問題中的多種方法

- MATLAB中用遺傳演算法求解約束非線性規劃問題 Solution of optimization with nonliear constraints programming by genetic alogorithm in MATLAB 作者:王勇, 期刊-核心期刊 哈爾濱商業大學學報（自然科學版）JOURNAL OF HARBIN UNIVERSITY OF COMMERCE(NATURAL SCIENCES EDITION) 2006年 第04期
- 約束優化問題的遺傳演算法求解 Genetic algorithm solution for constrained optimization 作者:宋松柏,蔡煥傑,康艷, 期刊-核心期刊 西北農林科技大學學報（自然科學版）JOURNAL OF NORTHWEST SCI-TECH UNIVERSITY OF AGRICULTURE AND FORESTRY(NATURAL SCIENCE EDITION) 2005年 第01期
- 約束優化問題的遺傳演算法求解 Genetic algorithm solution for constrained optimization 作者:宋松柏,蔡煥傑,康艷, 期刊-核心期刊 西北農林科技大學學報（自然科學版）JOURNAL OF NORTHWEST SCI-TECH UNIVERSITY OF AGRICULTURE AND FORESTRY(NATURAL SCIENCE EDITION) 2005年 第01期
- 非線性規劃問題求解的遺傳演算法設計與實現 Design and Realization of Genetic Algorithm for Solving Nonlinear Programming Problem 作者:劉雪梅,李國民,李景文,畢義明, 期刊-核心期刊 系統工程與電子技術SYSTEMS ENGINEERING AND ELECTRONICS 2000年 第02期
- 解非線性約束規劃問題的新型多目標遺傳演算法 New multi-objective genetic algorithm for nonlinear constraint programming problem 作者:劉淳安,LIU Chun-an, 期刊-核心期刊 計算機工程與設計COMPUTER ENGINEERING AND DESIGN 2006年 第05期
- 解非線性約束規劃問題的新型多目標遺傳演算法 New multi-objective genetic algorithm for nonlinear constraint programming problem 作者:劉淳安, 期刊-核心期刊 計算機工程與設計COMPUTER ENGINEERING AND DESIGN 2006年 第05期
- 基於Matlab遺傳工具箱的高強混凝土配合比優化 Mixtures Optimal Design of High-strength Concrete Based on GA Toolbox of MATLAB 作者:陸海標,鄭建壯,徐旭嶺, 期刊 浙江水利水電專科學校學報JOURNAL OF ZHEJIANG WATER CONSERVANCY AND HYDROPOWER COLLEGE 2007年 第03期
- 遺傳演算法求解約束非線性規劃及Matlab實現 The Solution of Optimization with Nonliear Constraints Programming with Genetic Algorithm and Demonstration by Matlab 作者:倪金林, 期刊-核心期刊 大學數學COLLEGE MATHEMATICS 2005年 第01期
-
- 基於遺傳演算法的非線性多目標規劃及其在油田開發規劃中的應用 作者:張曉東, 李樹榮, 熊福力, 會議 第二十二屆中國控制會議第二十二屆中國控制會議論文集(上) 2003年
- 區間非線性規劃問題的確定化描述及其遞階求解 Deterministic Interpretation of Interval Nonlinear Programming and Its Hierarchical Optimization Solutions 作者:蔣崢,戴連奎,吳鐵軍, 期刊-核心期刊 系統工程理論與實踐SYSTEMS ENGINEERING-THEORY & PRACTICE 2005年 第01期
- 區間非線性規劃問題的確定化描述及其遞階求解 Deterministic Interpretation of Interval Nonlinear Programming and Its Hierarchical Optimization Solutions 作者:蔣崢,戴連奎,吳鐵軍, 期刊-核心期刊 系統工程理論與實踐SYSTEMS ENGINEERING-THEORY & PRACTICE 2005年 第01期
- 一種新的求解非線性規劃的混合遺傳演算法 作者:李豐兵, 會議 第八屆中國青年運籌信息管理學者大會第八屆中國青年運籌信息管理學者大會論文集 2006年
- 一種啟發式演算法求解有交易成本組合投資問題 作者:安智宇, 會議 第三屆不確定系統年會第三屆不確定系統年會論文集 2005年
- 基於遺傳演算法的設計地震反應譜標定方法 Calibrating Method of Seismic Response Spectrum Based on Genetic Algorithm 作者:夏江,陳清軍, 期刊-核心期刊 力學季刊CHINESE QUARTERLY OF MECHANICS 2006年 第02期
- 具有線性不等式約束非線性規劃問題的降維演算法 Descending Dimension Algorithm of Nolinear Programming Problem with Linear Inequality Constraints 作者:楊懿,張守貴, 期刊-核心期刊 重慶大學學報（自然科學版）JOURNAL OF CHONGQING UNIVERSITY(NATURAL SCIENCE EDITION) 2007年 第10期
- 改進DNA遺傳演算法求解非線性多約束規劃研究 Refined DNA-GA for solving nonlinear multi-constrained programming 作者:王淑超,王乘, 期刊-核心期刊 華中科技大學學報(自然科學版)JOURNAL OF HUAZHONG UNIVERSITY OF SCIENCE AND TECHNOLOGY(NATURE SCIENCE EDITION) 2004年 第06期
- 改進DNA遺傳演算法求解非線性多約束規劃研究 Refined DNA-GA for solving nonlinear multi-constrained programming 作者:王淑超,王乘, 期刊-核心期刊 華中科技大學學報（自然科學版）JOURNAL OF HUAZHONG UNIVERSITY OF SCIENCE AND TECHNOLOGY(NATURE SCIENCE EDITION) 2004年 第06期
- 序列無約束極小化技術和遺傳演算法在非線性規劃中的應用 On the Application of SUMT and GA to Solving Constrained Nonlinear Programming Problem 作者:劉道建,黃天民, 期刊 邵陽高等專科學校學報JOURNAL OF SHAOYANG COLLEGE 2001年 第04期
- 序列無約束極小化技術和遺傳演算法在非線性規劃中的應用 On the Application of SUMT and GA to Solving Constrained Nonlinear Programming Problem 作者:劉道建,黃天民, 期刊 邵陽高等專科學校學報JOURNAL OF SHAOYANG COLLEGE 2001年 第04期

MATLAB中用遺傳演算法求解約束非線性規劃問題
Solution of optimization with nonliear constraints programming by genetic alogorithm in MATLAB

<<哈爾濱商業大學學報（自然科學版）>>2006年 第22卷 第04期
作者: 王勇
約束非線性規劃問題的求解往往是運籌學中的NP問題,利用MATLAB中的遺傳演算法工具箱中的函數方便、快捷的求得了兩個實例的最優解,進一步指出了遺傳演算法與傳統的最優化演算法的區別.
關鍵詞: 遺傳演算法, 約束非線性規劃, MATLAB, | 全部關鍵詞

最優化技術方法及MATLAB的實現
編 號： 86755
著 作 者： 16.00
出 版 社： 化學工業出版社
書 號： 9787502563837
出版日期： 2005-1-1

內容包括線性規劃與MATLAB的實現，即非線性規劃、整數規劃、動態規劃、多目標規劃與MATLAB的實現及圖與網路分析技術等。為方便讀者學習，本書安排了大量最優化方法在工程中的應用實例，根據需要逐個編寫了解決這些問題的相應數學模型，應用MATLAB程序，通過簡潔的運算給出了較為復雜問題的解。
本書可作為最優化技術方法或MATLAB優化工具箱應用的入門教材，供高職高專或本科院校管理、經濟類專業的師生使用，也可供廣大愛好者學習參考。
隨著計算機科學的發展和應用，應用最優化方法解決問題的領域在不斷擴大，最優化的理論和方法也得到普及和發展。線性規劃、非線性規劃、整數規劃、動態規劃和多目標規劃以及圖與網路技術作為最優化方法的主要內容已經成為工程技術人員和經濟管理人員所必備的基礎知識，目前，最優化方法課程已經開始作為高等院校的普及課程。
在「高等數學」中學習的極值理論、線性代數、向量、矩陣、泰勒公式等概念為學習「最優化方法」奠定了基礎。在「最優化方法」中，這些知識的重要價值將在工程應用中得到充分體現。
在最優化方法的應用過程中，要將所學知識直接應用於解決實際問題，中間往往還有一段距離。有時，面對需要建立的復雜數學模型，尤其是繁復的數學計算問題，往往難以入手，因此，人們總是希望能夠找到具有通用性和廣泛性的方法，用類似於日常使用計算器的手段，解決較為復雜的計算問題。在本書中，將「最優化方法」與「MATLAB工具箱」連接起來學習，就能夠在一定程度上彌補這一缺陷。
MATLAB是一個很不錯的計算軟體，它給數學計算帶來了許多的便利和可能性，它提供了幾十個工具箱，利用這些工具箱，可以解決不同領域的許多問題。
本書簡明扼要、敘述清楚、文字流暢，既可作為工程學科、管理及經濟學科的專、本科學生的「最優化方法」教材，也可作為應用「MATLAB工具箱」入門參考教材使用。
本書是編者根據多年的教學經驗，為適應新的教學需要而編寫的，所有工程應用實例均經過了MATLAB6�5的運行。
本書由曹衛華、郭正編寫，其中第1章、第2章、第5章、第6章由曹衛華編寫，第3章、第4章、第7章由郭正編寫。本書在定稿前曾聽取蘇金明教授、李旭宇博士等專家的許多寶貴意見，謹在此表示感謝，並感謝其他支持和關心本書出版的領導和同行。
由於本人水平有限，書中錯誤和不足之處在所難免。有不妥之處，望批評指正。
1概述�
1�1引言�
1�2最優化問題及其工程背景�
1�2�1線性規劃問題�
1�2�2非線性規劃問題�
1�2�3整數規劃問題�
1�2�4多目標規劃問題�
1�2�5動態規劃問題�
1�2�6圖論與網路流�
1�3MATLAB6�5優化工具箱及工程應用簡介�
2線性規劃與MATLAB實現�
2�1線性規劃基本理論�
2�1�1線性規劃問題及其數學模型�
2�1�2線性規劃問題解的幾何意義及圖解法�
2�1�3線性規劃的基本原理�
2�2求解線性規劃問題的基本方法�
2�2�1單純形法�
2�2�2大�M�法�
2�3線性規劃問題的靈敏度分析�
2�4線性規劃問題的MATLAB6�5輔助計算及工程應用實例�
2�4�1MATLAB優化工具箱函數選用�
2�4�2工程應用實例�
習題�
3非線性規劃與MATLAB實現�
3�1非線性規劃基本概念及分類�
3�2無約束非線性規劃�
3�2�1最優性條件�
3�2�2一維搜索�
3�2�2�1平分法�
3�2�2�2黃金分割法（0�618法）�
3�2�2�3牛頓法�
3�2�3無約束非線性規劃的MATLAB6�5輔助計算及工程應用
實例�
3�2�3�1MATLAB優化工具箱函數選用�
3�2�3�2工程應用實例�
3�3有約束非線性規劃�
3�3�1最優性條件�
3�3�2懲罰函數法�
3�3�3約束非線性規劃的MATLAB6�5輔助計算及工程應用
實例�
3�3�3�1MATLAB優化工具箱函數選用�
3�3�3�2工程應用實例�
3�3�4二次規劃及其MATLAB實現�
3�3�4�1二次規劃�
3�3�4�2MATLAB優化工具箱函數選用�
3�3�4�3應用實例�
習題�
4整數規劃�
4�1概述�
4�2整數規劃的圖解法�
4�3分支定界法�
4�3�1分支定......

④ 約束優化方法與無約束優化方法在步長的選取上有何不同

Data Mining

無約束最優化方法

梯度的方向與等值面垂直，並且指向函數值提升的方向。

二次收斂是指一個演算法用於具有正定二次型函數時，在有限步可達到它的極小點。二次收斂與二階收斂沒有盡然聯系，更不是一回事，二次收斂往往具有超線性以上的收斂性。一階收斂不一定是線性收斂。

解釋一下什麼叫正定二次型函數：

n階實對稱矩陣Q，對於任意的非0向量X，如果有XTQX>0，則稱Q是正定矩陣。

對稱矩陣Q為正定的充要條件是：Q的特徵值全為正。

二次函數，若Q是正定的，則稱f(X)為正定二次函數。

黃金分割法

黃金分割法適用於任何單峰函數求極小值問題。

求函數在[a,b]上的極小點，我們在[a,b]內取兩點c,d，使得a<c<d<b。並且有

1）如果f(c)<f(d)，則最小點出現在[a,d]上，因此[a,d]成為下一次的搜索區間。

2）如果f(c)>f(d)，則[c,b]成為下一次的搜索區間。

假如確定了[a,d]是新的搜索區間，我們並不希望在[a,d]上重新找兩個新的點使之滿足(1)式，而是利用已經抗找到有c點，再找一個e點，使滿足：

可以解得r=0.382，而黃金分割點是0.618。

練習：求函數f(x)=x*x-10*x+36在[1,10]上的極小值。

+ View Code
最速下降法

泰勒級數告訴我們：

其中Δx可正可負，但必須充分接近於0。

X沿D方向移動步長a後，變為X+aD。由泰勒展開式：

目標函數：

a確定的情況下即最小化：

向量的內積何時最小？當然是兩向量方向相反時。所以X移動的方向應該和梯度的方向相反。

接下來的問題是步長a應該怎麼定才能使迭代的次數最少？

若f(X)具有二階連續偏導，由泰勒展開式可得：

H是f(X)的Hesse矩陣。

可得最優步長：

g是f(X)的梯度矩陣。

此時：

可見最速下降法中最優步長不僅與梯度有關，而且與Hesse矩陣有關。

練習：求函數f(x1,x2)=x1*x1+4*x2*x2在極小點，以初始點X0=(1,1)T。

+ View Code
梯度下降法開始的幾步搜索，目標函數下降較快，但接近極值點時，收斂速度就比較慢了，特別是當橢圓比較扁平時，收斂速度就更慢了。

另外最速下降法是以函數的一次近似提出的，如果要考慮二次近似，就有牛頓迭代法。

牛頓迭代法

在點Xk處對目標函數按Taylar展開：

令

得

即

可見X的搜索方向是，函數值要在此方向上下降，就需要它與梯度的方向相反，即。所以要求在每一個迭代點上Hesse矩陣必須是正定的。

練習：求的極小點，初始點取X=(0,3)。

+ View Code
牛頓法是二次收斂的，並且收斂階數是2。一般目標函數在最優點附近呈現為二次函數，於是可以想像最優點附近用牛頓迭代法收斂是比較快的。而在開始搜索的幾步，我們用梯度下降法收斂是比較快的。將兩個方法融合起來可以達到滿意的效果。

收斂快是牛頓迭代法最大的優點，但也有致命的缺點：Hesse矩陣及其逆的求解計算量大，更何況在某個迭代點Xk處Hesse矩陣的逆可能根本就不存在（即Hesse矩陣奇異），這樣無法求得Xk+1。

擬牛頓法

Hesse矩陣在擬牛頓法中是不計算的，擬牛頓法是構造與Hesse矩陣相似的正定矩陣，這個構造方法，使用了目標函數的梯度（一階導數）信息和兩個點的「位移」（Xk-Xk-1）來實現。有人會說，是不是用Hesse矩陣的近似矩陣來代替Hesse矩陣，會導致求解效果變差呢？事實上，效果反而通常會變好。

擬牛頓法與牛頓法的迭代過程一樣，僅僅是各個Hesse矩陣的求解方法不一樣。

在遠離極小值點處，Hesse矩陣一般不能保證正定，使得目標函數值不降反升。而擬牛頓法可以使目標函數值沿下降方向走下去，並且到了最後，在極小值點附近，可使構造出來的矩陣與Hesse矩陣「很像」了，這樣，擬牛頓法也會具有牛頓法的二階收斂性。

對目標函數f(X)做二階泰勒展開：

兩邊對X求導

當X=Xi時，有

這里我們用Hi來代表在點Xi處的Hesse矩陣的逆，則

(5)式就是擬牛頓方程。

下面給出擬牛頓法中的一種--DFP法。

令

我們希望Hi+1在Hi的基礎上加一個修正來得到：

給定Ei的一種形式：

m和n均為實數，v和w均為N維向量。

(6)(7)聯合起來代入(5)可得：

下面再給一種擬牛頓法--BFGS演算法。

(8)式中黑色的部分就是DFP演算法，紅色部分是BFGS比DFP多出來的部分。

BFGS演算法不僅具有二次收斂性，而且只有初始矩陣對稱正定，則BFGS修正公式所產生的矩陣Hk也是對稱正定的，且Hk不易變為奇異，因此BFGS比DFP具有更好的數值穩定性。

⑤ 優化求解中，約束條件是tr(A)=1, 如何變成無約束優化

目標函數形式不是很重要，fmincon不需要知道目標函數的結果是怎麼求出來的
只要是利用一個x未知向量輸入，得到一個結果的函數就可以
你的約束條件好像也並不復雜，奇怪的是如果要權重x加起來是1
那麼每個x分量的值應該是0~1之間的正數才是
而你給輸入初始化x0的值是-1~1之間的隨機數，所以這里比較奇怪
問題的關鍵就是多目標的問題
fmincon是只能尋找一個目標的，也就是目標函數只有一個返回值
如果要多目標優化，那麼需要使用遺傳演算法或其它辦法
但是多目標優化本來就是一個可能不能完全實現所有目標的優化結果
也就是說多個目標很多時候是無法同時達到的，和多時候只能得到離多個目標都比較近的結果
所以，多目標的優化一般會給帕累托解集
不過，也有簡單一點的辦法，因為很多時候，我們是知道魚與熊掌是不能兼得的
我們要優化結果只是盡量靠近目標就可以了
對於有多目標的，很多時候我們需要的只是一個離所有目標都比較接近的解
例如最小二乘法意義的最優解
這個時候可以根據得到的theta，計算 theta（1） - 0.24，theta（2） - 0.38，........
等多個目標的平方和的開方，利用這個總的"距離"作為優化目標
如果得到的theta是向量，而多個目標o，o(1)=0.24,o(2)=0.38,.......
也可以表示為向量，那麼最終的最小二乘目標函數就是 sqrt( sum((theta-o).^2))
也可以有其它非最小二成的目標例如絕對值和 sum(abs(theta-o))
也就是把多目標按照一定的策略變為1個目標，然後還是可簡單的用fmincon解決問題
當然，如果目標很多，圖像數據也很大，可能運行比較耗時間

⑥ lingo求無約束規劃問題是基於什麼樣的演算法

無約束規劃問題就是一個函數優化問題，通常這類問題的的計算機求解使用的是數值迭代的方法。沒有找到LINGO對其演算法的說明，因為這本身就是一種商業機密吧。一般來看，商業軟體追求穩定性，所以只有成熟可靠的演算法才敢用在商業上。而在最優化問題上成熟的都是經典演算法，比如牛頓高斯迭代、萊文貝格－馬誇特法等。我估計LINGO使用的是基於萊文貝格－馬誇特方法的改良方法。

⑦ 請問大家這道題目涉及的是機器學習中的哪個演算法呀

是一種優化演算法，也被稱為梯度下降法梯度下降法。梯度下降法是解決無約束優化問題最簡單也是最古老的方法之一。雖然它已不再實用，但許多有效的演算法都是基於它進行改進和修改的。梯度下降法是負梯度方向，梯度下降法越接近目標，步距越小，前進速度越慢。是一種優化演算法，也被稱為梯度下降法梯度下降法。在機器學習和人工智慧中經常使用遞歸逼近最小偏差模型。顧名思義，梯度下降法法是沿著梯度下降法的方向計算得到最小值(也可以沿著梯度上升的方向找到最大值)。它的迭代公式是，其中，表示梯度負方向，表示搜索步驟的梯度方向。梯度方向可以通過函數的推導得到，步長難以確定，太大可能發散，太小的收斂速度太慢。確定步長的一般方法是採用線性搜索演算法，即將下一個點 ak 1的坐標作為函數，然後求出 f (ak 1)的最小值。因為在一般情況下，如果梯度向量是0那麼它在一個極值點，其中梯度振幅是0。當用梯度下降法演算法求解最佳化問題時，演算法迭代的結束條件是梯度向量接近0，並且可以設置一個很小的常數閾值。

⑧ 求解無約束非線性最優化問題的最速下降法會產生"鋸齒現象",其原因是

最速下降演算法的不足最速下降演算法也有其不足之處其中一個比較嚴重的問題就是存在所謂的鋸齒現象.鋸齒現象是指演算法中迭代點的移動呈「之」字形成鋸齒形狀.當xk很接近極小點X時移動步長很小這就影響了演算法的收斂速率.

出現這種現象的原因在於最速下降演算法中相鄰兩個迭代點的搜索方向是正交的.

⑨ 在MATLAB中用神經網路演算法求解無約束最優化問題

程序一：GA訓練BP權值的主函數 function net=GABPNET(XX,YY) % 使用遺傳演算法對BP網路權值閾值進行優化，再用BP演算法訓練網路 %數據歸一化預處理 nntwarn off XX=[1:19;2:20;3:21;4:22]'; YY=[1:4]; XX=premnmx(XX); YY=premnmx(YY); YY %創建網路 net=newff(minmax(XX),[19,25,1],{'tansig','tansig','purelin'},'trainlm'); %下面使用遺傳演算法對網路進行優化 P=XX; T=YY; R=size(P,1); S2=size(T,1); S1=25;%隱含層節點數 S=R*S1+S1*S2+S1+S2;%遺傳演算法編碼長度 aa=ones(S,1)*[-1,1]; popu=50;%種群規模 save data2 XX YY % 是將 xx,yy 二個變數的數值存入 data2 這個MAT-file， initPpp=initializega(popu,aa,'gabpEval');%初始化種群 gen=100;%遺傳代數 %下面調用gaot工具箱，其中目標函數定義為gabpEval [x,endPop,bPop,trace]=ga(aa,'gabpEval',[],initPpp,[1e-6 1 1],'maxGenTerm',gen,... 'normGeomSelect',[0.09],['arithXover'],[2],'nonUnifMutation',[2 gen 3]); %繪收斂曲線圖 figure(1) plot(trace(:,1),1./trace(:,3),'r-'); hold on plot(trace(:,1),1./trace(:,2),'b-'); xlabel('Generation'); ylabel('Sum-Squared Error'); figure(2) plot(trace(:,1),trace(:,3),'r-'); hold on plot(trace(:,1),trace(:,2),'b-'); xlabel('Generation'); ylabel('Fittness');

⑩ 什麼叫鮑威爾法

鮑威爾法——多維無約束優化演算法是在無約束優化演算法之一，首先選取一組共軛方向，從某個初始點出發，求目標函數在這些方向上的極小值點，然後以該點為新的出發點，重復這一過程直到獲得滿意解，其優點是不必計算目標函數的梯度就可以在有限步內找到極值點。 鮑威爾法是以共軛方向為基礎的收斂較快的直接法之一，是一種十分有效的演算法。在無約束方法中許多演算法都是以共軛方向作為搜索方向，它們具有許多特點。根據構造共軛方向的原理不同，可以形成不同的共軛方向法。 http://meccol.dhu.e.cn/JiXieYouHuaSheJi/third3.htm