算法性能优化
Ⅰ 梯度下降法和粒子群优化算法的区别
粒子群(PSO)算法是近几年来最为流行的进化算法，最早是由Kenned和Eberhart于1995年提出.PSO 算法和其他进化算法类似，也采用“群体”和“进化”的概念，通过个体间的协作与竞争，实现复杂空间中最优解的搜索．PSO 先生成初始种群，即在可行解空间中随机初始化一群粒子，每个粒子都为优化问题的一个可行解，并由目标函数为之确定一个适应值(fitness value)．PSO 不像其他进化算法那样对于个体使用进化算子，而是将每个个体看作是在n 维搜索空间中的一个没有体积和重量的粒子，每个粒子将在解空间中运动，并由一个速度决定其方向和距离.通常粒子将追随当前的最优粒子而运动，并经逐代搜索最后得到最优解．在每一代中，粒子将跟踪两个极值，一为粒子本身迄今找到的最优解 pbest ，另一为全种群迄今找到的最优解 gbest．由于认识到 PSO 在函数优化等领域所蕴含的广阔的应用前景，在 Kenned 和 Eberhart 之后很多学者都进行了这方面的研究.目前已提出了多种 PSO改进算法，并广泛应用到许多领域。
Ⅱ Oracle性能优化 对于分组排序的算法优化
select 料号,生效日,价格 from
material m
inner join (
select a.物料ID, max(a.价格生效日) 价格生效日 from material a, price b
where a.物料ID=b.物料ID and a.价格生效日=b.价格生效日
and a.料号='AAA'
) n on m.id=n.物料ID
下面这三个字段上分别建索引
material：料号
material：物料ID
price ：物料ID
Ⅲ c++语言中的全局优化算法如何掌握
所有机器学习开发者都会遇到同样一个问题：你有一些想要使用的机器学习算法，但其中填满了超参数——这些数字包括权重衰减率、高斯核函数宽度等等。算法本身并不会设置它们，你必须自己决定它们的数值。如果你调的参数不够好，那么算法是不会工作的。那么该如何是好？
在调参时，绝大多数人只会凭经验进行猜测。这不是个好现象，我们需要更合理的方法。所有人都希望一些黑箱优化策略如贝叶斯优化变得实用化，但在我看来，如果你不把贝叶斯优化的超参数调对，它就无法展现专家级的调参能力。事实上，我认识的每个使用贝叶斯优化的人都有着相同的经验。最终，如果我认为手调参数更加方便，我就会转回到传统方法上去，这也是所有使用类似工具的人都会遇到的事。所以结果就是我们一般不会使用自动超参数选择工具——令人沮丧的结论。我们都希望出现一个无参数的全局优化器，其中的超参数选择是我们可以信任的。
Malherbe 等人测试了这种估算 k 的方法，并展示了它的优秀性能。
Ⅳ 在复杂的优化任务中，为什么进化算法可以保证比传统的确定性优化方法更好的性能
摘要 进化算法是模拟生物界的进化过程而产生的一种现代优化方法，作为一种有效的随机搜索方法，在优化方法中具有独特的优越性，有着非常重要的意义和及其广泛的应用。传统优化方法对目标函数解析性质要求较高，进化算法不需要目标函数的导数信息，具有隐式并行性，所以常用于解决一些复杂的、大规模的、非线性、不可微的优化问题。 首先，对无约束优化问题，分别设计了产生初始种群的一个有效方法，并设计了一个新的杂交算子和变异算子，该杂交算子具有局部搜索的部分功能，变异算子确定了个体的变异方向，当个体以某个概率沿着该变异方向进行随机扰动时，可能会产生更好的点。这种新的变异算子不仅保证了算法的全局搜索性而且充分考虑了目标函数的信息，避免了盲目性。使得针对无约束进化问题能迅速有效的找到全局最优点，减小运算代价。 其次，对于约束优化问题，本文在无约束优化问题变异算子的基础上，又设计了一种新的适用于约束问题的变异算子，首先求出个体所受的合作用力，然后以某个概率接收该合力方向作为搜索方向。该变异算子能有效地处理约束条件，使得进化后期种群中的个体几乎都为可行点。同时为了抛弃部分不可行点，设计了一个新的适应度函数，其仅仅依赖于个体的不可行度和目标函数值。 再次，对约束优化问题，采用粒子群算法对其进行进化求解；在此基础上构造了两个微粒群，一个以约束满足为目标，另一个以原目标函数为目标，同时在每一个微粒的进化过程中引入一项反映另一微粒群最好微粒的信息。 最后，仿真结果验证了本文所述方法的正确性与有效性。
Ⅳ 毕业设计--基于压缩感知的重构算法性能比较（贪婪算法和凸优化算法）求指导
于压缩感知的重构算法性能比较（贪婪算法和凸优化算
肯定
的
Ⅵ java性能优化权威指南和java程序性能优化哪本好
1、调整垃圾收集(GC)
由于垃圾收集的复杂性,很难发现你的应用的准确性能。不过,如果你真的想优化你的应用,你应该相应地处理垃圾收集。通用的准则是调整GC设置并同时执行性能分析。
一旦你对结果感到满意,你可以停止该过程并寻求其他优化方式。确保除了在平均事务处理时间之外,你还留心了异常值。这些异常值是造成Java应用缓慢的真正的罪魁祸首并且很难找到。
此外,你要明白应用运行期间性能下降的效应。在每单个cpu时钟内的缓慢操作是可以忽略的,但在每单个数据库事务中的缓慢操作则是非常昂贵的消耗。但是你应该根据性能短板选择你的优化策略,并应该根据工作负载来优化应用。
2、正确地选择适合你的GC算法
让我们更深入地探讨GC优化。毕竟,GC优化是要处理的整个优化问题中最基本的。目前,Java中有四种供你选择的垃圾收集算法。每种算法满足不同的需求,因此你要选择(适合你的需求的)。很多开发人员正是因为不了解GC算法而未能优化他们的应用。
这四个算法分别是串行回收器,并行/吞吐量回收器,CMS回收器和G1回收器。想要了解更多关于每种垃圾收集器的信息及它们是如何工作的,请查看这篇来自Takipi博客的非常棒的文章Garbage Collectors—Serial vs。 Parallel vs。 CMS vs。 G1。这篇文章同时还讨论了Java8对GC算法的影响及其他细节上的改变。让我们再回到GC算法上,根据Understanding Java Garbage Collection这篇文章所述,并发标记和清除GC(即”CMS”)算法才是适合网络服务端应用的最佳算法。并行GC算法适合那些内部可预测的应用。
G1和CMS是并发操作的理想选择,但仍然会引起(应用)频繁停顿。实际的选择取决于你如何取舍。举例来说,尽管选择并行算法会带来更长的GC停顿时间,但相较于其他GC算法,选择并行算法仍是一个好主意。
3、Java堆
Java内存堆在迎合内存需求方面担任了至关重要角色。通常更好的做法是初始时分配最小的堆,然后通过持续的测试不断增加它的大小。大多数时候优化问题都可以通过增加堆的大小解决,但如果存在大量的GC开销,则该解决方案不起作用。
GC开销还会使吞吐量急剧下降,进而使得应用难以形容的慢。此外,及早调整GC可以帮助你避免堆大小分配的问题。开始的时候,你可以选择任何1GB到8GB的堆大小。当你选择正确的堆大小,老生代和新生代对象的概念也就不需要了。总而言之,堆大小应该取决于老生代和新生代对象的比率,之前的GC优化和对象集合(即所有对象占用的内存大小)。
4、关键应用优化
关键代码优化是优化你的Java应用最好的方式。如果你的应用对GC和堆优化没有反应,那么最好是做架构改进并关注于你的应用是如何处理信息的。使用聪明的算法并管理好对象就能解决大量的问题,包括内存碎片,堆大小问题和垃圾收集的问题。
5、使用最优的函数
Java提供了多个函数来提升算法效率。如果你使用StringBuilder代替简单的String,你可以得到微乎其微的性能提升。不过,我们还有其他方式在代码层面进行优化。让我们看看下面这些优化方法。
使用StringBuilder代替+操作符。
避免使用iterator。
多使用栈带来的好处。
避免使用正则表达式,使用Apache Commons Lang作为代替。
远离递归。递归会占用大量资源!
Ⅶ 机器学习怎么不断的优化算法的预测性能
您好
基于以下三个原因，我们选择Python作为实现机器学习算法的编程语言：(1) Python的语法清晰；(2) 易于操作纯文本文件；(3) 使用广泛，存在大量的开发文档。
可执行伪代码
Python具有清晰的语法结构，大家也把它称作可执行伪代码（executable pseudo-code）。默认安装的Python开发环境已经附带了很多高级数据类型，如列表、元组、字典、集合、队列等，无需进一步编程就可以使用这些数据类型的操作。使用这些数据类型使得实现抽象的数学概念非常简单。此外，读者还可以使用自己熟悉的编程风格，如面向对象编程、面向过程编程、或者函数式编程。不熟悉Python的读者可以参阅附录A，该附录详细介绍了Python语言、Python使用的数据类型以及安装指南。
Python语言处理和操作文本文件非常简单，非常易于处理非数值型数据。Python语言提供了丰富的正则表达式函数以及很多访问Web页面的函数库，使得从HTML中提取数据变得非常简单直观。
Python比较流行
Python语言使用广泛，代码范例也很多，便于读者快速学习和掌握。此外，在开发实际应用程序时，也可以利用丰富的模块库缩短开发周期。
在科学和金融领域，Python语言得到了广泛应用。SciPy和NumPy等许多科学函数库都实现了向量和矩阵操作，这些函数库增加了代码的可读性，学过线性代数的人都可以看懂代码的实际功能。另外，科学函数库SciPy和NumPy使用底层语言（C和Fortran）编写，提高了相关应用程序的计算性能。本书将大量使用Python的NumPy。
Python的科学工具可以与绘图工具Matplotlib协同工作。Matplotlib可以绘制2D、3D图形，也可以处理科学研究中经常使用到的图形，所以本书也将大量使用Matplotlib。
Python开发环境还提供了交互式shell环境，允许用户开发程序时查看和检测程序内容。
Python开发环境将来还会集成Pylab模块，它将NumPy、SciPy和Matplotlib合并为一个开发环境。在本书写作时，Pylab还没有并入Python环境，但是不远的将来我们肯定可以在Python开发环境找到它。
Ⅷ 混沌优化算法可以求解全局最优解吗
非线性最优化问题的一种混合解法
摘 要：把BFGS方法与混沌优化方法相结合，基于混沌变量提出一种求解具有变量边界约束非线性最优化问题的混合优化方法。混合算法兼顾了混沌优化全局搜索能力强和BFGS方法收敛速度快的优点，成为一种求解非凸优化问题全局最优的有效方法。算例表明，当混沌搜索的次数达到一定数量时，混合优化方法可以保证算法收敛到全局最优解，且计算效率比混沌优化方法有很大提高。
关键词：混合法；BFGS方法；混沌优化方法；全局最优
1 引言
在系统工程、控制工程、统计学、反问题优化求解等领域中，很多问题是具有非凸性的。对此普通的优化技术只能求出局部最优解，因为这些确定性算法总是解得最近的一个极值点[1]，只有能够给出很好的初始点才有可能得出所需要的全局最优解。为此，实际应用中通过在多个初始点上使用传统数值优化方法来求取全局解的方法仍然被人们所采用，但是这种处理方法求得全局解的概率不高，可靠性低，建立尽可能大概率的求解全局解算法仍然是一个重要问题。近年来基于梯度法的全局最优化方法已经有所研究[2]，基于随机搜索技术的遗传算法和模拟退火算法等在全局优化问题中的应用也得到越来越大的重视[3-4]。本文则基于混沌优化和BFGS方法，提出一种求解具有简单界约束最优化问题(1)的混合算法。
混沌是存在于非线性系统中的一种较为普遍的现象。混沌运动宏观上无序无律，具有内随机性、非周期性和局部不稳定性，微观上有序有律，并不是完全的随机运动，具有无穷嵌套的自相似几何结构、存在普适性规律，并不是杂乱无章的。利用混沌变量的随机性、遍历性和规律性特点可以进行优化搜索[5]，且混沌优化方法容易跳出局部最优点。但是某些状态需要很长时间才能达到，如果最优值在这些状态时，计算时间势必很长[5]。可以说混沌优化具有全局搜索能力，其局部搜索能力稍显不足，文[5]采用二次载波技术，文[6]考虑逐渐缩小寻优变量的搜索空间都是为了弥补这一弱点。而本文则采用混沌搜索与BFGS方法进行优化求解，一方面采用混沌搜索帮助BFGS方法跳出局部最优，另一方面利用BFGS增强解附近的超线性收敛速度和搜索能力，以提高搜索最优的效率。
2 混沌－BFGS混合优化方法
2.1 BFGS方法
作为求解无约束最优化问题的拟牛顿方法类最有代表性的算法之一，BFGS方法处理凸非线性规划问题，以其完善的数学理论基础、采用不精确线性搜索时的超线性收敛性和处理实际问题有效性，受到人们的重视[7-9]。拟牛顿方法使用了二阶导数信息，但是并不直接计算函数的Hesse矩阵，而是采用一阶梯度信息来构造一系列的正定矩阵来逼近Hesse矩阵。BFGS方法求解无约束优化问题min()的主要步骤如下：
(1) 给变量赋初值x0，变量维数n和BFGS方法收敛精度ε，令B0=I（单位阵），k=0，计算在点x0的梯度g0。
(2) 取sk=-Bk-1gk，沿sk作一维搜索，确定最优步长αk，，得新点xk+1=xk+αksk，计算xk+1点的梯度gk+1。
(3) 若||gk+1||≤ε，则令，，BFGS搜索结束，转步骤3；否则执行(4)。
(4) 计算Bk+1：
(2)
(3)
(5) k=k+1，转(2)。
2.2 混沌优化方法
利用混沌搜索求解问题(1)时，先建立待求变量与混沌变量的一一对应关系，本文采用。然后,由Logistic映射式(4)产生个轨迹不同的混沌变量（）进行优化搜索，式(4)中=4。已经证明，=4是“单片”混沌，在[0,1]之间历遍。
(4)
(1)给定最大混沌变量运动次数M；给赋初值，计算和；置，。
(2) 。
(3) 。
(4) 若k<M，
若，令，；
若，和保持不变；
然后令k=k+1，，转(2)。
若k>M，则，，混沌搜索结束。
2.3 混合优化方法
混沌方法和BFGS方法混合求解连续对象的全局极小值优化问题(1)的步骤如下：
step1 设置混沌搜索的最大次数M，迭代步数iter=0，变量赋初值x0，。
step2 以为始点BFGS搜索，得当前BFGS方法最优解及=。
step3 若，取=；若，取；若，取，是相对于,较小的数。
step 4 以为始点进行混沌搜索M次，得混沌搜索后的最优解及=。
step5 若<，iter=iter+1，，转step2；否则执行step6。
step6 改变混沌搜索轨迹，再次进行混沌搜索，即给加微小扰动，执行step 4，得搜索结果和。若<，iter=iter+1，，转step2；否则计算结束，输出、。
对全局极大值问题，max ，可以转化为求解全局极小问题min 。
混合算法中混沌搜索的作用是大范围宏观搜索，使得算法具有全局寻优性能。而BFGS搜索的作用是局部地、细致地进行优化搜索，处理的是小范围搜索问题和搜索加速问题。
3 算例
图 1 函数-特性示意图 图 2 函数特性示意图
采用如下两个非常复杂的、常用于测试遗传算法性能的函数测试本文算法：
函数称为Camel 函数，该函数有6个局部极小点(1.607105, 0.568651)、(-1.607105, -0.568651)、(1.703607, -0.796084)、(-1.703607, 0.796084)、(-0.0898,0.7126)和(0.0898,-0.7126)，其中(-0.0898,0.7126)和(0.0898,-0.7126)为两个全局最小点，最小值为-1.031628。函数称为 Schaffer's函数，该函数有无数个极大值，其中只有（0，0）为全局最大点，最大值为1。此函数的最大峰值周围有一圈脊，它们的取值均为0.990283，因此很容易停留在此局部极大点。文献[10]采用该函数对该文提出的基于移动和人工选择的改进遗传算法（GAMAS）其性能进行了考察，运行50次，40％的情况下该函数的唯一全局最优点能够找到。而采用本文混合算法，由计算机内部随机函数自动随机生产100个不同的初始点，由这些初始点出发，一般混合算法迭代2－4次即能够收敛。M取不同数值时对函数、的计算结果分别如表1和表2所示，表中计算时间是指在奔腾133微机上计算时间。
由表2可见，当M=1500时，本文方法搜索到最优解的概率即达到40％，而此时计算量比文献[10]小。同样由混合算法的100个起始点，采用文献[5]的算法对函数优化计算100次，以作为收敛标准，混沌搜索50000次，计算结果为67次搜索到最优解，概率为67%，平均计算时间为1.2369s。而即使保证混合算法100次全收敛到最优解所花费的平均计算时间也只为0.2142s（表1），可见混合算法优于文献[5]的方法。
表1 M取不同数值时函数的计算结果
_____________________________________________________________________
M 搜索到全局最优点的次数 搜索到最优的概率 平均计算时间
(-0.0898,0.7126) (0.0898,-0.7126)
_____________________________________________________________________________________________
1000 44 39 83% 0.1214s
3000 53 45 98% 0.1955s
5000 53 47 100% 0.2142s
________________________________________________________________________________________________
表2 M取不同数值时函数的计算结果
___________________________________________________________
M 搜索到全局最优点的次数 搜索到最优的概率 平均计算时间
____________________________________________________________________________________
1500 40 40% 0.1406s
5000 73 73% 0.2505s
10000 88 88% 0.4197s
50000 100 100% 1.6856s
____________________________________________________________________________________
4 计算结果分析
由表1和表2可见，混合算法全局寻优能力随M的增加而增大，当M达到某一足够大的数值Mu后，搜索到全局最优的概率可以达到100％。
从理论上说，Mu趋向无穷大时，才能使混沌变量遍历所有状态，才能真正以概率1搜索到最优点。但是，本文混沌运动M次的作用是帮助BFGS方法跳出局部最优点，达到比当前局部最优函数值更小的另一局部最优附近的某一点处，并不是要混沌变量遍历所有状态。由混沌运动遍历特性可知，对于某一具体问题，Mu达到某一具体有限数值时，混沌变量的遍历性可以得到较好模拟，这一点是可以满足的，实际算例也证实了这一点。
由于函数性态、复杂性不同，对于不同函数，如这里的测试函数、，数值Mu的大小是有差别的。对于同一函数，搜索区间增大，在相同混沌运动次数下，即使始点相同，总体而言会降低其搜索到全局最优的概率,要保证算法仍然以概率1收敛到全局最优，必然引起Mu 增大。跟踪计算中间结果证实，当M足够大时，混合算法的确具有跳出局部最优点，继续向全局最优进行搜索的能力；并且混合算法的计算时间主要花费在为使混合算法具有全局搜索能力而进行混沌搜索上。
5 结语
利用混沌变量的运动特点进行优化，具有非常强的跳出局部最优解的能力，该方法与BFGS方法结合使用，在可以接受的计算量下能够计算得到问题的最优解。实际上，混沌优化可以和一般的下降类算法结合使用，并非局限于本文采用的BFGS方法。采用的Logistic映射产生混沌变量序列，只是产生混沌变量的有效方式之一。
混沌运动与随机运动是不同的。混沌是确定性系统中由于内禀随机性而产生的一种复杂的、貌似无规的运动。混沌并不是无序和紊乱，更像是没有周期的秩序。与随机运动相比较，混沌运动可以在各态历经的假设下，应用统计的数字特征来描述。并且，混沌运动不重复地经过同一状态，采用混沌变量进行优化比采用随机变量进行优化具有优势。
混沌优化与下降类方法结合使用是有潜力的一种全局优化途径，是求解具有变量界约束优化问题的可靠方法。如何进一步提高搜索效率，以及如何把混沌优化有效应用于复杂约束优化问题是值得进一步研究的课题。
本文算法全局收敛性的严格数学证明正在进行之中。
参考文献
[1]胡山鹰，陈丙珍，何小荣，沈静珠．非线性规划问题全局优化的模拟退火法[J]．清华大学学报，37(6)，1997，5-9．
[2]C A Floudas, A Aggarwal, A R Ciric． Global optimum search for nonconvex NLP and MINLP problems[J]. Comput Chem Engng． 1989， 13(10)， 1117~1132．
[3]康立山，谢云，尤矢勇等．非数值并行算法（第一册）――模拟退火算法[M]．北京：科学出版社，1998．
[4]刘勇，康立山，陈琉屏．非数值并行算法（第二册）――遗传算法[M]．北京：科学出版社，1998．
[5]李兵，蒋慰孙．混沌优化方法及其应用[J]．控制理论与应用，14(4)，1997，613-615．
[6]张彤，王宏伟，王子才．变尺度混沌优化方法及其应用[J]．控制与决策，14(3)，1999，285-287．
[7]席少霖．非线性最优化方法[M]．北京：高等教育出版社，1992．
[8]席少霖，赵凤志．最优化计算方法[M]．上海：上海科学技术出版社，1983．
[9]Press W H, Tenkolsky S A, Vetterling W T, Flannery B P．Numerical Recipes in C, The Art of Scientific Computing[M]． Second edition， Cambridge University Press， 1992．
[10]J C Ports．The development and evaluation of an improved genetic algorithm based on migration and artificial selection[J]．IEEE Trans. Syst. Man and Cybern.．1994, 24(1)，73-85．
A Hybrid Approach for Nonlinear Optimization
Abstract：Combined BFGS method with chaos optimization method, a hybrid approach was proposed to solve nonlinear optimization problems with boundary restraints of variables. The hybrid method is an effective approach to solve nonconvex optimization problems, as it given both attentions to the inherent virtue to locate global optimum of chaos optimization method and the advantage of high convergence speed of BFGS method. Numerical examples illustrate that the present method possesses both good capability to search global optima and far higher convergence speed than that of chaos optimization method.
Ⅸ 将不同的优化算法做一个比较，可以发会议论文吗
研究生一年级的时候上了一门《演化算法》方面的课程，大作业做了创新性算法研究，具体内容是把PSO和DBSCAN聚类结合来做多峰优化，算法最大优点是参数少，不需要预估峰半径和峰个数。任课老师觉得内容比较有创新性，建议我投稿发表。
我5月份投了《系统工程与电子技术》，大概25天出了结果直接退稿，外审大概用了10天时间，外审意见如下：
文章原创性不足,类拟这类结合实现方法组合太多，这种组合方法针对单一性能分析和方法的理论分析意义不大；
（根据我看过的文献，直接把聚类算法和演化算法结合来做多峰优化的确实不多，而且能够不需要峰半径和峰个数信息的同类算法复杂度都很高……）
2. 关于算法的2个参数的设置在是否具有通用性，即在维度更高的时候能否适用？
Ⅹ 多目标优化算法的多目标是什么意思
多目标优化的本质在于，大多数情况下，某目标的改善可能引起其他目标性能的降低，同时使多个目标均达到最优是不可能的，只能在各目标之间进行协调权衡和折中处理，使所有目标函数尽可能达到最优，而且问题的最优解由数量众多，甚至无穷大的Pareto最优解组成。