无约束优化算法
① 非线性最优化的不同算法各适用于什么情况
1 无约束非线性最优化问题常用算法：
梯度法（最速下降法）、共轭梯度法、变尺度法和步长加速法.其中,前三个要用到函数的一阶导数或二阶导数,适用于函数表达式导数存在且求导简单的情况,而步长加速法则相反,适用于函数表达示复杂,甚至无解析表达式,或导数不存在情况.
2 约束非线性最优化问题常用算法：
按照是否化成无约束问题可分为 可行方向法、制约函数法（外点法和内点法）,其中内点法适用于目标函数在可行域外性质复杂情况,外点法则相反.后者根据罚函数或障碍函数的构造不同,又有不同的变形.
② 浅谈非线性无约束最优化问题的几种算法 详细�0�3
当前我国高校学生干部社会 角色扮演问题研究韩 强（ 陕西理工学院， 陕西 汉中 723001） 【摘要】当前高校学生干部角色发生了异化， 导致这一结果的原因除了社会不良风气， 特别是“官场文化”的影响外， 还有高校自身管理的漏洞。而恢复“五员”的社会角色， 无疑已成为当前高校不容忽视的一项重要内容。 【关键词】学生干部； 社会角色； 异化； 五员 【中图分类号】C913 【文献标识码】A 【文章编号】1672-996X（ 2009） 02-0174-02 高校学生干部一般包括各级共青团干部、学生会干部、 往往从社会生活中可以找到原型。不论是一些机关的拉关班委会成员以及各类学生社团负责人等。这支队伍是学生中 系、买官， 还是社会强势群众的以势压人、以权代法； 不论最活跃的群体， 不仅是学生辅导员、班主任的得力助手， 更 是一些领导干部的脱离群众， 还是某些行政机关中的人浮于是教师和广大学生之间沟通的桥梁和纽带， 在校园文化建 事、效率低下， 社会不良风气的影响是学生干部社会角色异设， 校风学风建设， 大学生自我教育、自我管理、自我服务 化的最主要因素。等方面起着非常重要的作用。在新的形势下， 重视学生干部 其次， 理论教育的折扣化。在许多高校中都有“两队伍建设， 提高学生干部的综合素质， 是进一步加强和改进 课”、学生干部培训班、团校以及党校等理论教育阵营， 而大学生思想政治教育、实现人才培养目标的重要环节和突破 且针对学生干部的各种理论学习班也不少， 每次培训学习的口。 学生干部有很多， 结业后还要写思想汇报、学习感悟等。形式上看很完备， 但事实上学生干部很多都抱着“没意思”、一、学生干部的异化现象当前， 学生干部的社会角色出现了异化现象。这里的异 “混张结业证”等思想参加培训班， 在理论认识上的提高几化， 是指违背学生干部性质本身的角色变异。具体来说， 主 乎为零。例如： 据调查， 某校召开学生干部理论培训班后不要有以下五种角色。 久， 在一年级参加培训的十名团支书、班长中， 有七人不能校园官僚派。学生干部中有相当一部分人“官本位”十 准确表述“三个代表”重要思想的内容； 某系十一名主要学足， 将学生干部的级别看成是“官”的台阶， 为了获取更大 生干部中， 有七人不能完整表述党的性质。的官阶， 而废尽心思。据二十一世纪人才报报道： 南方某高 再次， 学生干部自我优越感的膨胀化。学生干部作为客校“为了争夺学生会主席的位置， 有学生不惜花费1万元以 观上的校园强势群众， 不论是在机会的取得上， 利益的分配上的血本”。而类似的拉选票、请客送礼、暗箱操作、排除 上， 还是组织资源的获取上， 支配权力的空间上， 等诸多方异己等司空见惯的现象也活生生的证实了官僚派的存在， 其 面都与普通同学存在着明显的优势。在这一群体中， 职责不影响极其恶劣， 不但严重扰乱了学生干部的正常工作秩序， 同的学生干部的权力支配空间， 地缘、人缘优势也不大相而且影响了校风、学风。 同。这样， 学生干部容易产生一种优越感， 这种优势感， 超利益优先派。在高校中， 学生的管理很大程度上属于自 出了自己的职责区域， 变成了对权力资源的崇拜， 并最终导我管理， 学生干部在客观上起到了老师与学生的桥梁作用。 致官僚化社会角色。同时， 由于学生干部这一身份， 学生干部得以获取信息灵敏 最后， 学生干部管理中的考核机制、激励机制、惩处机化， 交际广泛化， 渠道多元化等客观上的优势， 从而在利益 制的不健全。高校中的学生干部群体是一个规模庞大的体分配上与获取上呈现出优先化。例如： 学生干部身份本身就 系， 其组织结构一般是金字塔型， 其管理上一般都有明确的是就业的一张优势牌， 是报考公务员的主要因素之一； 有的 规章制度。但是在诸多的规章制度中， 却很少有完善的考核学生会主席一年能净赚几万元； 学生干部有很多抛头露面的 机制、激励机制、惩处机制。在日常的工作中， 无法衡量学机会， ……我们并不反对学生干部正当利益的取得， 但构成 生干部工作的效果。导致干好干坏一个样， 干与不干一个利益优先群体的功利化现象却有悖于学生干部服务同学、顾样， 无法调动学生干部， 特别是基层学生干部的工作积极全大局的初衷。 性， 使一些学生干部的“靠山”思想、“无所谓”思想的滋强势集团派。与普通学生相比， 学生干部群体应该算是 长， 无法在普通同学中树立与提高学生干部“先进分子”的强势群体， 特别是在高层。这不仅仅是因为他们的干部身份 形象和影响力。在客观上造成了概念性影响力， 更重要的是他们客观上拥有 三、学生干部的正确角色一定可支配性权力资源， 上层交际的地缘优势和接触面的人 异化的社会角色是严重影响学生干部发展和学生公共活缘优势。与普通学生相比， 他们常常依靠权力优势、地缘优 动正常开展的潜在威胁。作为一名干部， 就要顾全大局， 树势和人缘优势等， 对他人施加影响， 获取个人利益优先化。 立正确的社会角色观， 扮演正确合理的社会角色， 那么， 在脱离群众派。我们党在长期的革命斗争中总结出一条宝 高校校园中， 学生干部究竟应扮演何种社会角色呢？ 我认为贵的革命经验——群众路线， 即“从群众中来， 到群众去， 应该是“五员”角色。一切依靠群众， 一切为了群众。”作为高校的学生干部， 要 政策的宣传员。学校的各项政策、规章制度往往需要通成功起到承上启下的作用， 基点就是将群众路线贯彻到学生 过学生干部传达给其他学生， 从而保证政策、规章制度的落工作中。可在现实中， 有一部分学生干部往往忘记了这一 实。点， 高高在上， 只知道布置、安排， 而不知道身体力行， 不 信息的联络员。把上级的指示和老师的安排传递给学知道与普通学生打成一片。无形中就助长了官僚习气， 影响 生， 把学生的意见、建议和想法汇报给上级和老师， 真正在学生干部的威信。 师生间架起一道桥梁。“无过即功”派。“无过即功”派又叫消极应付派。指 活动的运动员。学生作为中间桥梁， 担负着活动的组织的是一些学生干部对自己的职责不负责任， 消极被动的干工 工作， 经常扮演的是“教练员”。实际上， 学生干部身体力作， 搞活动， 这样的学生干部在基层学生干部群体中为数不 行， 不仅能够提高效率， 拉近“干群”关系， 同时也将进一少， 特别是班级中除团支部书记、班长以外的学生干部， 表 步提高学生干部的综合素质。现的比较突出。这样的社会角色， 短期内看不到实质性危 学生的服务员。作为学生中的积极分子、优秀分子， 学害， 但长此以往， 必然导致不负责任、消极等“官僚主义” 生干部有责任也有义务服务于广大同学， 不应该去片面的计病的流行。所以， 不论是哪一层级的学生工作负责人都要警 较个人得失， 也不能带着强烈功利化色彩去担任学生干部，惕这种“无过即功”的消极思想的蔓延。 正如唐太宗所言“水能载舟， 亦能覆舟”。只要你切实为同学服务了， 学生就会支持你的工作。 二、学生干部异化的原因上文中我们列举了学生干部社会角色异化， 那么导致这 学风、校风的驾驶员。古语有云： “其身正， 不令即些角色出现的原因究竟是什么呢？ 显然， 不仅仅是学生干部 行； 其身不正， 虽令不从。”高校的学生干部， 要率先遵守的个人素质问题， 而且是社会环境， 管理机制等多因素的共 校纪校规， 加强自身学风、工作作风、生活作风的建设。学同作用。具体来说， 有以下四个方面： 生干部是学校众多学生中的精英分子， 代表了学生的风貌，首先， 社会不正之风的影响。置身空前开放的社会， 我 代表了学校的形象。们不能将大学与社会割裂开来， 大学不是空中楼阁， 校园小 学生干部是高校学生管理工作中的一支重要的力量， 重社会， 社会大校园。事物是普遍联系的， 校园中的不正之风 视和加强高校学生干部队伍建设关系到高校的稳定和发展。（） 下转176页下点， 并在一定程度上具有二者的优点， 是无约束最优化算法 一、数学模型中最为有效的方法之一。在一定条件下， 算法具有二次终止性、整体收敛性和超线性的收敛等性质。三、数学试验它的含义是求目标函数 在 维空间 上的最小值， 即 分别用本文所介绍的最速下降法、Newdon法、共轭梯求 使对于任意 的都有 。 度法、拟Newdon法求解去约束最优化问题：二、算法的介绍 1、最速下降法基本思想： 从某一点 出发， 选择目标函数 的负梯度方向作为每一步的搜索方向， 以利于尽快达到极小点。 下面我们对这四种算法的计算过程和结果给予简单的介特点： 的负梯度方向， 仅仅 在点的邻近才具有使 绍。函数下降最快的性质， 而对于整个求最优解的过程来说就不 最速下降法：是这样的。在一定条件下， 最速下降法是线性收敛的， 收敛 具体迭代过程见表1 速度较慢。当初始点 离最优点 较远时， 一般来说下降 表1 较快， 效果较好， 在求最优解的前期， 使用最速下降法是有利的。 2、Newdon法基本思想： 从某一点 出发， 利用目标函数 在迭代点 处的二次Taylor展开去近似目标函数， 然后精确求出这个二次函数的极小点， 以它作为目标函数极小点的近似值。特点： 在一定的条件下， 当初始点 充分接近极小点时， 有很快的收敛速度， 但是局部收敛的。如果 正定且初始点适合时它是总体收敛的， 但当初始点远离局部极小点时， 可能不正定， 也可能奇异， 这样产生的 可能 由表1可以看出当第5次迭代后的精度为 ，不是下降方向。 前后两次最速下降法的搜索方向是相互垂直的。 3、共轭梯度法 Newdon法：基本思想： 它是一个典型的共轭方向法， 它的每一个搜 索方向都是互相共轭的， 而这些搜索方向 仅仅是负梯度 ， 与上一次迭代的搜索方向 的组合， 然后沿 方向进 行最优搜索。特点： 从理论上来说， 对于目标函数是正定二次函数， 利用共轭梯度法求最优解， 在 步以内必可达到极小点 ， 它具有二次终止性。但在实际的计算当中， 由于计算 取初始点误差等因素的影响， 导致经过 步迭代没有得到满足精度要 ， 求的解， 或者说目标函数没有进入一个正定二次函数的区域， 此时搜索方向应重新开始， 即将 作为新的初始点， 重 可见Newdon法有一步达到最优点的特点。新设置负梯度方向的措施来加速收敛。 共轭梯度法： 4、拟Newdon法 具体迭代过程见表2：基本思想： 它是一种改进的Newdon法， 也称变尺度方 表2 法。为了保持Newdon法收敛速度快的优点， 而避免 Newdon矩阵求逆的计算， 引入新的迭代矩阵序列 用以代替 （ 其中 ）， 不仅要求 ，且 易于计算。 形式的拟Newdon法迭代公式是：具体迭代过程见表3： 表3 其中 为拟Newdon方向， 亦即在 尺度矩阵意义下的最速下降方向； 为修正矩阵， 为修正项， 要求 具有如下性质： i． 满足拟Newdon方程， 即 ， 其中： ii． 必须是对称阵， 来保证 成为下降方向。特点： 它是结合最速下降法和阻尼Newdon法而构造的 由此表可看出拟Newdon法第一步沿负梯度方向， 两步一类新的算法， 既克服了最速下降法收敛速度慢， 又克服了 达到最优点。 Newdon法搜索方向构造较困难， Hessian矩阵计算量大的缺浅谈非线性无约束最优化问题的几种算法范慧玲（ 黑龙江八一农垦大学文理学院数学系， 黑龙江 大庆 163319） 【摘要】近二十年来， 无约束最优化问题的理论与应用受到人们的重视， 发展迅速， 成果很多。本文归纳几种非线性无约束最优化问题的几种算法， 并举例说明它们的应用， 同时对各种算法的思想和特点进行总结。 -1 1 2 3 0 0 - - -
③ 怎样运用matlab实现无约束非线性优化问题中的多种方法
- MATLAB中用遗传算法求解约束非线性规划问题 Solution of optimization with nonliear constraints programming by genetic alogorithm in MATLAB 作者:王勇, 期刊-核心期刊 哈尔滨商业大学学报（自然科学版）JOURNAL OF HARBIN UNIVERSITY OF COMMERCE(NATURAL SCIENCES EDITION) 2006年 第04期
- 约束优化问题的遗传算法求解 Genetic algorithm solution for constrained optimization 作者:宋松柏,蔡焕杰,康艳, 期刊-核心期刊 西北农林科技大学学报（自然科学版）JOURNAL OF NORTHWEST SCI-TECH UNIVERSITY OF AGRICULTURE AND FORESTRY(NATURAL SCIENCE EDITION) 2005年 第01期
- 约束优化问题的遗传算法求解 Genetic algorithm solution for constrained optimization 作者:宋松柏,蔡焕杰,康艳, 期刊-核心期刊 西北农林科技大学学报（自然科学版）JOURNAL OF NORTHWEST SCI-TECH UNIVERSITY OF AGRICULTURE AND FORESTRY(NATURAL SCIENCE EDITION) 2005年 第01期
- 非线性规划问题求解的遗传算法设计与实现 Design and Realization of Genetic Algorithm for Solving Nonlinear Programming Problem 作者:刘雪梅,李国民,李景文,毕义明, 期刊-核心期刊 系统工程与电子技术SYSTEMS ENGINEERING AND ELECTRONICS 2000年 第02期
- 解非线性约束规划问题的新型多目标遗传算法 New multi-objective genetic algorithm for nonlinear constraint programming problem 作者:刘淳安,LIU Chun-an, 期刊-核心期刊 计算机工程与设计COMPUTER ENGINEERING AND DESIGN 2006年 第05期
- 解非线性约束规划问题的新型多目标遗传算法 New multi-objective genetic algorithm for nonlinear constraint programming problem 作者:刘淳安, 期刊-核心期刊 计算机工程与设计COMPUTER ENGINEERING AND DESIGN 2006年 第05期
- 基于Matlab遗传工具箱的高强混凝土配合比优化 Mixtures Optimal Design of High-strength Concrete Based on GA Toolbox of MATLAB 作者:陆海标,郑建壮,徐旭岭, 期刊 浙江水利水电专科学校学报JOURNAL OF ZHEJIANG WATER CONSERVANCY AND HYDROPOWER COLLEGE 2007年 第03期
- 遗传算法求解约束非线性规划及Matlab实现 The Solution of Optimization with Nonliear Constraints Programming with Genetic Algorithm and Demonstration by Matlab 作者:倪金林, 期刊-核心期刊 大学数学COLLEGE MATHEMATICS 2005年 第01期
-
- 基于遗传算法的非线性多目标规划及其在油田开发规划中的应用 作者:张晓东, 李树荣, 熊福力, 会议 第二十二届中国控制会议第二十二届中国控制会议论文集(上) 2003年
- 区间非线性规划问题的确定化描述及其递阶求解 Deterministic Interpretation of Interval Nonlinear Programming and Its Hierarchical Optimization Solutions 作者:蒋峥,戴连奎,吴铁军, 期刊-核心期刊 系统工程理论与实践SYSTEMS ENGINEERING-THEORY & PRACTICE 2005年 第01期
- 区间非线性规划问题的确定化描述及其递阶求解 Deterministic Interpretation of Interval Nonlinear Programming and Its Hierarchical Optimization Solutions 作者:蒋峥,戴连奎,吴铁军, 期刊-核心期刊 系统工程理论与实践SYSTEMS ENGINEERING-THEORY & PRACTICE 2005年 第01期
- 一种新的求解非线性规划的混合遗传算法 作者:李丰兵, 会议 第八届中国青年运筹信息管理学者大会第八届中国青年运筹信息管理学者大会论文集 2006年
- 一种启发式算法求解有交易成本组合投资问题 作者:安智宇, 会议 第三届不确定系统年会第三届不确定系统年会论文集 2005年
- 基于遗传算法的设计地震反应谱标定方法 Calibrating Method of Seismic Response Spectrum Based on Genetic Algorithm 作者:夏江,陈清军, 期刊-核心期刊 力学季刊CHINESE QUARTERLY OF MECHANICS 2006年 第02期
- 具有线性不等式约束非线性规划问题的降维算法 Descending Dimension Algorithm of Nolinear Programming Problem with Linear Inequality Constraints 作者:杨懿,张守贵, 期刊-核心期刊 重庆大学学报（自然科学版）JOURNAL OF CHONGQING UNIVERSITY(NATURAL SCIENCE EDITION) 2007年 第10期
- 改进DNA遗传算法求解非线性多约束规划研究 Refined DNA-GA for solving nonlinear multi-constrained programming 作者:王淑超,王乘, 期刊-核心期刊 华中科技大学学报(自然科学版)JOURNAL OF HUAZHONG UNIVERSITY OF SCIENCE AND TECHNOLOGY(NATURE SCIENCE EDITION) 2004年 第06期
- 改进DNA遗传算法求解非线性多约束规划研究 Refined DNA-GA for solving nonlinear multi-constrained programming 作者:王淑超,王乘, 期刊-核心期刊 华中科技大学学报（自然科学版）JOURNAL OF HUAZHONG UNIVERSITY OF SCIENCE AND TECHNOLOGY(NATURE SCIENCE EDITION) 2004年 第06期
- 序列无约束极小化技术和遗传算法在非线性规划中的应用 On the Application of SUMT and GA to Solving Constrained Nonlinear Programming Problem 作者:刘道建,黄天民, 期刊 邵阳高等专科学校学报JOURNAL OF SHAOYANG COLLEGE 2001年 第04期
- 序列无约束极小化技术和遗传算法在非线性规划中的应用 On the Application of SUMT and GA to Solving Constrained Nonlinear Programming Problem 作者:刘道建,黄天民, 期刊 邵阳高等专科学校学报JOURNAL OF SHAOYANG COLLEGE 2001年 第04期
MATLAB中用遗传算法求解约束非线性规划问题
Solution of optimization with nonliear constraints programming by genetic alogorithm in MATLAB
<<哈尔滨商业大学学报（自然科学版）>>2006年 第22卷 第04期
作者: 王勇
约束非线性规划问题的求解往往是运筹学中的NP问题,利用MATLAB中的遗传算法工具箱中的函数方便、快捷的求得了两个实例的最优解,进一步指出了遗传算法与传统的最优化算法的区别.
关键词: 遗传算法, 约束非线性规划, MATLAB, | 全部关键词
最优化技术方法及MATLAB的实现
编 号： 86755
着 作 者： 16.00
出 版 社： 化学工业出版社
书 号： 9787502563837
出版日期： 2005-1-1
内容包括线性规划与MATLAB的实现，即非线性规划、整数规划、动态规划、多目标规划与MATLAB的实现及图与网络分析技术等。为方便读者学习，本书安排了大量最优化方法在工程中的应用实例，根据需要逐个编写了解决这些问题的相应数学模型，应用MATLAB程序，通过简洁的运算给出了较为复杂问题的解。
本书可作为最优化技术方法或MATLAB优化工具箱应用的入门教材，供高职高专或本科院校管理、经济类专业的师生使用，也可供广大爱好者学习参考。
随着计算机科学的发展和应用，应用最优化方法解决问题的领域在不断扩大，最优化的理论和方法也得到普及和发展。线性规划、非线性规划、整数规划、动态规划和多目标规划以及图与网络技术作为最优化方法的主要内容已经成为工程技术人员和经济管理人员所必备的基础知识，目前，最优化方法课程已经开始作为高等院校的普及课程。
在“高等数学”中学习的极值理论、线性代数、向量、矩阵、泰勒公式等概念为学习“最优化方法”奠定了基础。在“最优化方法”中，这些知识的重要价值将在工程应用中得到充分体现。
在最优化方法的应用过程中，要将所学知识直接应用于解决实际问题，中间往往还有一段距离。有时，面对需要建立的复杂数学模型，尤其是繁复的数学计算问题，往往难以入手，因此，人们总是希望能够找到具有通用性和广泛性的方法，用类似于日常使用计算器的手段，解决较为复杂的计算问题。在本书中，将“最优化方法”与“MATLAB工具箱”连接起来学习，就能够在一定程度上弥补这一缺陷。
MATLAB是一个很不错的计算软件，它给数学计算带来了许多的便利和可能性，它提供了几十个工具箱，利用这些工具箱，可以解决不同领域的许多问题。
本书简明扼要、叙述清楚、文字流畅，既可作为工程学科、管理及经济学科的专、本科学生的“最优化方法”教材，也可作为应用“MATLAB工具箱”入门参考教材使用。
本书是编者根据多年的教学经验，为适应新的教学需要而编写的，所有工程应用实例均经过了MATLAB6�5的运行。
本书由曹卫华、郭正编写，其中第1章、第2章、第5章、第6章由曹卫华编写，第3章、第4章、第7章由郭正编写。本书在定稿前曾听取苏金明教授、李旭宇博士等专家的许多宝贵意见，谨在此表示感谢，并感谢其他支持和关心本书出版的领导和同行。
由于本人水平有限，书中错误和不足之处在所难免。有不妥之处，望批评指正。
1概述�
1�1引言�
1�2最优化问题及其工程背景�
1�2�1线性规划问题�
1�2�2非线性规划问题�
1�2�3整数规划问题�
1�2�4多目标规划问题�
1�2�5动态规划问题�
1�2�6图论与网络流�
1�3MATLAB6�5优化工具箱及工程应用简介�
2线性规划与MATLAB实现�
2�1线性规划基本理论�
2�1�1线性规划问题及其数学模型�
2�1�2线性规划问题解的几何意义及图解法�
2�1�3线性规划的基本原理�
2�2求解线性规划问题的基本方法�
2�2�1单纯形法�
2�2�2大�M�法�
2�3线性规划问题的灵敏度分析�
2�4线性规划问题的MATLAB6�5辅助计算及工程应用实例�
2�4�1MATLAB优化工具箱函数选用�
2�4�2工程应用实例�
习题�
3非线性规划与MATLAB实现�
3�1非线性规划基本概念及分类�
3�2无约束非线性规划�
3�2�1最优性条件�
3�2�2一维搜索�
3�2�2�1平分法�
3�2�2�2黄金分割法（0�618法）�
3�2�2�3牛顿法�
3�2�3无约束非线性规划的MATLAB6�5辅助计算及工程应用
实例�
3�2�3�1MATLAB优化工具箱函数选用�
3�2�3�2工程应用实例�
3�3有约束非线性规划�
3�3�1最优性条件�
3�3�2惩罚函数法�
3�3�3约束非线性规划的MATLAB6�5辅助计算及工程应用
实例�
3�3�3�1MATLAB优化工具箱函数选用�
3�3�3�2工程应用实例�
3�3�4二次规划及其MATLAB实现�
3�3�4�1二次规划�
3�3�4�2MATLAB优化工具箱函数选用�
3�3�4�3应用实例�
习题�
4整数规划�
4�1概述�
4�2整数规划的图解法�
4�3分支定界法�
4�3�1分支定......
④ 约束优化方法与无约束优化方法在步长的选取上有何不同
Data Mining
无约束最优化方法
梯度的方向与等值面垂直，并且指向函数值提升的方向。
二次收敛是指一个算法用于具有正定二次型函数时，在有限步可达到它的极小点。二次收敛与二阶收敛没有尽然联系，更不是一回事，二次收敛往往具有超线性以上的收敛性。一阶收敛不一定是线性收敛。
解释一下什么叫正定二次型函数：
n阶实对称矩阵Q，对于任意的非0向量X，如果有XTQX>0，则称Q是正定矩阵。
对称矩阵Q为正定的充要条件是：Q的特征值全为正。
二次函数，若Q是正定的，则称f(X)为正定二次函数。
黄金分割法
黄金分割法适用于任何单峰函数求极小值问题。
求函数在[a,b]上的极小点，我们在[a,b]内取两点c,d，使得a<c<d<b。并且有
1）如果f(c)<f(d)，则最小点出现在[a,d]上，因此[a,d]成为下一次的搜索区间。
2）如果f(c)>f(d)，则[c,b]成为下一次的搜索区间。
假如确定了[a,d]是新的搜索区间，我们并不希望在[a,d]上重新找两个新的点使之满足(1)式，而是利用已经抗找到有c点，再找一个e点，使满足：
可以解得r=0.382，而黄金分割点是0.618。
练习：求函数f(x)=x*x-10*x+36在[1,10]上的极小值。
+ View Code
最速下降法
泰勒级数告诉我们：
其中Δx可正可负，但必须充分接近于0。
X沿D方向移动步长a后，变为X+aD。由泰勒展开式：
目标函数：
a确定的情况下即最小化：
向量的内积何时最小？当然是两向量方向相反时。所以X移动的方向应该和梯度的方向相反。
接下来的问题是步长a应该怎么定才能使迭代的次数最少？
若f(X)具有二阶连续偏导，由泰勒展开式可得：
H是f(X)的Hesse矩阵。
可得最优步长：
g是f(X)的梯度矩阵。
此时：
可见最速下降法中最优步长不仅与梯度有关，而且与Hesse矩阵有关。
练习：求函数f(x1,x2)=x1*x1+4*x2*x2在极小点，以初始点X0=(1,1)T。
+ View Code
梯度下降法开始的几步搜索，目标函数下降较快，但接近极值点时，收敛速度就比较慢了，特别是当椭圆比较扁平时，收敛速度就更慢了。
另外最速下降法是以函数的一次近似提出的，如果要考虑二次近似，就有牛顿迭代法。
牛顿迭代法
在点Xk处对目标函数按Taylar展开：
令
得
即
可见X的搜索方向是，函数值要在此方向上下降，就需要它与梯度的方向相反，即。所以要求在每一个迭代点上Hesse矩阵必须是正定的。
练习：求的极小点，初始点取X=(0,3)。
+ View Code
牛顿法是二次收敛的，并且收敛阶数是2。一般目标函数在最优点附近呈现为二次函数，于是可以想象最优点附近用牛顿迭代法收敛是比较快的。而在开始搜索的几步，我们用梯度下降法收敛是比较快的。将两个方法融合起来可以达到满意的效果。
收敛快是牛顿迭代法最大的优点，但也有致命的缺点：Hesse矩阵及其逆的求解计算量大，更何况在某个迭代点Xk处Hesse矩阵的逆可能根本就不存在（即Hesse矩阵奇异），这样无法求得Xk+1。
拟牛顿法
Hesse矩阵在拟牛顿法中是不计算的，拟牛顿法是构造与Hesse矩阵相似的正定矩阵，这个构造方法，使用了目标函数的梯度（一阶导数）信息和两个点的“位移”（Xk-Xk-1）来实现。有人会说，是不是用Hesse矩阵的近似矩阵来代替Hesse矩阵，会导致求解效果变差呢？事实上，效果反而通常会变好。
拟牛顿法与牛顿法的迭代过程一样，仅仅是各个Hesse矩阵的求解方法不一样。
在远离极小值点处，Hesse矩阵一般不能保证正定，使得目标函数值不降反升。而拟牛顿法可以使目标函数值沿下降方向走下去，并且到了最后，在极小值点附近，可使构造出来的矩阵与Hesse矩阵“很像”了，这样，拟牛顿法也会具有牛顿法的二阶收敛性。
对目标函数f(X)做二阶泰勒展开：
两边对X求导
当X=Xi时，有
这里我们用Hi来代表在点Xi处的Hesse矩阵的逆，则
(5)式就是拟牛顿方程。
下面给出拟牛顿法中的一种--DFP法。
令
我们希望Hi+1在Hi的基础上加一个修正来得到：
给定Ei的一种形式：
m和n均为实数，v和w均为N维向量。
(6)(7)联合起来代入(5)可得：
下面再给一种拟牛顿法--BFGS算法。
(8)式中黑色的部分就是DFP算法，红色部分是BFGS比DFP多出来的部分。
BFGS算法不仅具有二次收敛性，而且只有初始矩阵对称正定，则BFGS修正公式所产生的矩阵Hk也是对称正定的，且Hk不易变为奇异，因此BFGS比DFP具有更好的数值稳定性。
⑤ 优化求解中，约束条件是tr(A)=1, 如何变成无约束优化
目标函数形式不是很重要，fmincon不需要知道目标函数的结果是怎么求出来的
只要是利用一个x未知向量输入，得到一个结果的函数就可以
你的约束条件好像也并不复杂，奇怪的是如果要权重x加起来是1
那么每个x分量的值应该是0~1之间的正数才是
而你给输入初始化x0的值是-1~1之间的随机数，所以这里比较奇怪
问题的关键就是多目标的问题
fmincon是只能寻找一个目标的，也就是目标函数只有一个返回值
如果要多目标优化，那么需要使用遗传算法或其它办法
但是多目标优化本来就是一个可能不能完全实现所有目标的优化结果
也就是说多个目标很多时候是无法同时达到的，和多时候只能得到离多个目标都比较近的结果
所以，多目标的优化一般会给帕累托解集
不过，也有简单一点的办法，因为很多时候，我们是知道鱼与熊掌是不能兼得的
我们要优化结果只是尽量靠近目标就可以了
对于有多目标的，很多时候我们需要的只是一个离所有目标都比较接近的解
例如最小二乘法意义的最优解
这个时候可以根据得到的theta，计算 theta（1） - 0.24，theta（2） - 0.38，........
等多个目标的平方和的开方，利用这个总的"距离"作为优化目标
如果得到的theta是向量，而多个目标o，o(1)=0.24,o(2)=0.38,.......
也可以表示为向量，那么最终的最小二乘目标函数就是 sqrt( sum((theta-o).^2))
也可以有其它非最小二成的目标例如绝对值和 sum(abs(theta-o))
也就是把多目标按照一定的策略变为1个目标，然后还是可简单的用fmincon解决问题
当然，如果目标很多，图像数据也很大，可能运行比较耗时间
⑥ lingo求无约束规划问题是基于什么样的算法
无约束规划问题就是一个函数优化问题，通常这类问题的的计算机求解使用的是数值迭代的方法。没有找到LINGO对其算法的说明，因为这本身就是一种商业机密吧。一般来看，商业软件追求稳定性，所以只有成熟可靠的算法才敢用在商业上。而在最优化问题上成熟的都是经典算法，比如牛顿高斯迭代、莱文贝格－马夸特法等。我估计LINGO使用的是基于莱文贝格－马夸特方法的改良方法。
⑦ 请问大家这道题目涉及的是机器学习中的哪个算法呀
是一种优化算法，也被称为梯度下降法梯度下降法。梯度下降法是解决无约束优化问题最简单也是最古老的方法之一。虽然它已不再实用，但许多有效的算法都是基于它进行改进和修改的。梯度下降法是负梯度方向，梯度下降法越接近目标，步距越小，前进速度越慢。是一种优化算法，也被称为梯度下降法梯度下降法。在机器学习和人工智能中经常使用递归逼近最小偏差模型。顾名思义，梯度下降法法是沿着梯度下降法的方向计算得到最小值(也可以沿着梯度上升的方向找到最大值)。它的迭代公式是，其中，表示梯度负方向，表示搜索步骤的梯度方向。梯度方向可以通过函数的推导得到，步长难以确定，太大可能发散，太小的收敛速度太慢。确定步长的一般方法是采用线性搜索算法，即将下一个点 ak 1的坐标作为函数，然后求出 f (ak 1)的最小值。因为在一般情况下，如果梯度向量是0那么它在一个极值点，其中梯度振幅是0。当用梯度下降法算法求解最佳化问题时，算法迭代的结束条件是梯度向量接近0，并且可以设置一个很小的常数阈值。
⑧ 求解无约束非线性最优化问题的最速下降法会产生"锯齿现象",其原因是
最速下降算法的不足最速下降算法也有其不足之处其中一个比较严重的问题就是存在所谓的锯齿现象.锯齿现象是指算法中迭代点的移动呈“之”字形成锯齿形状.当xk很接近极小点X时移动步长很小这就影响了算法的收敛速率.
出现这种现象的原因在于最速下降算法中相邻两个迭代点的搜索方向是正交的.
⑨ 在MATLAB中用神经网络算法求解无约束最优化问题
程序一：GA训练BP权值的主函数 function net=GABPNET(XX,YY) % 使用遗传算法对BP网络权值阈值进行优化，再用BP算法训练网络 %数据归一化预处理 nntwarn off XX=[1:19;2:20;3:21;4:22]'; YY=[1:4]; XX=premnmx(XX); YY=premnmx(YY); YY %创建网络 net=newff(minmax(XX),[19,25,1],{'tansig','tansig','purelin'},'trainlm'); %下面使用遗传算法对网络进行优化 P=XX; T=YY; R=size(P,1); S2=size(T,1); S1=25;%隐含层节点数 S=R*S1+S1*S2+S1+S2;%遗传算法编码长度 aa=ones(S,1)*[-1,1]; popu=50;%种群规模 save data2 XX YY % 是将 xx,yy 二个变数的数值存入 data2 这个MAT-file， initPpp=initializega(popu,aa,'gabpEval');%初始化种群 gen=100;%遗传代数 %下面调用gaot工具箱，其中目标函数定义为gabpEval [x,endPop,bPop,trace]=ga(aa,'gabpEval',[],initPpp,[1e-6 1 1],'maxGenTerm',gen,... 'normGeomSelect',[0.09],['arithXover'],[2],'nonUnifMutation',[2 gen 3]); %绘收敛曲线图 figure(1) plot(trace(:,1),1./trace(:,3),'r-'); hold on plot(trace(:,1),1./trace(:,2),'b-'); xlabel('Generation'); ylabel('Sum-Squared Error'); figure(2) plot(trace(:,1),trace(:,3),'r-'); hold on plot(trace(:,1),trace(:,2),'b-'); xlabel('Generation'); ylabel('Fittness');
⑩ 什么叫鲍威尔法
鲍威尔法——多维无约束优化算法是在无约束优化算法之一，首先选取一组共轭方向，从某个初始点出发，求目标函数在这些方向上的极小值点，然后以该点为新的出发点，重复这一过程直到获得满意解，其优点是不必计算目标函数的梯度就可以在有限步内找到极值点。 鲍威尔法是以共轭方向为基础的收敛较快的直接法之一，是一种十分有效的算法。在无约束方法中许多算法都是以共轭方向作为搜索方向，它们具有许多特点。根据构造共轭方向的原理不同，可以形成不同的共轭方向法。 http://meccol.dhu.e.cn/JiXieYouHuaSheJi/third3.htm