优化算法实现

⑴ 最优化原理的算法实现

动态规划的主要难点在于理论上的设计，也就是上面4个步骤的确定，一旦设计完成，实现部分就会非常简单。使用动态规划求解问题，最重要的就是确定动态规划三要素：问题的阶段,每个阶段的状态以及从前一个阶段转化到后一个阶段之间的递推关系。递推关系必须是从次小的问题开始到较大的问题之间的转化，从这个角度来说，动态规划往往可以用递归程序来实现，不过因为递推可以充分利用前面保存的子问题的解来减少重复计算，所以对于大规模问题来说，有递归不可比拟的优势，这也是动态规划算法的核心之处。确定了动态规划的这三要素，整个求解过程就可以用一个最优决策表来描述，最优决策表示一个二维表，其中行表示决策的阶段，列表示问题状态，表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值（如最短路径，最长公共子序列，最大价值等），填表的过程就是根据递推关系，从1行1列开始，以行或者列优先的顺序，依次填写表格，最后根据整个表格的数据通过简单的取舍或者运算求得问题的最优解。下面分别以求解最大化投资回报问题和最长公共子序列问题为例阐述用动态规划算法求解问题的一般思路。
实例：
最大化投资回报问题
某人有一定的资金用来购买不同面额的债卷，不同面额债卷的年收益是不同的，求给定资金，年限以及债卷面额、收益的情况下怎样购买才能使此人获得最大投资回报。
程序输入约定：第一行第一列表示资金（1000的倍数）总量，第二列表示投资年限；第二行表示债卷面额总数；从第三行开始每行表示一种债卷，占用两列，前一列表示债卷面额，后一列表示其年收益，如下输入实例，
10000 1
2
4000 400
3000 250
程序实现如下，注释几乎说明了一切，所以不再另外分析。
/// 此数组是算法的关键存储结构，用来存储不同阶段各种债卷
/// 组合下对应可获取的最大利息。
int saifa[80005];
/// 此函数用于计算当前债卷在不同购买额下的最优利息情况，
/// 注意此时的利息情况是基于上一次债卷的情况下计算得到的，
/// 也就是说当前利息最优是基于上一次利息最优的基础上计算出来的，
/// 这也正好体现了动态规划中“最优化原则”：不管前面的策略如何，
/// 此后的决策必须是基于当前状态（由上一次决策产生）的最优决策。
/*
动态规划的求解过程一般都可以用一个最优决策表来描述，
对于本程序，以示例输入为例，对于第一年，其最优决策表如下：
0 1 2 3 4 5 6 7 8 9 10(*1000) -- (1)
0 0 0 0 400 400 400 400 800 800 800 -- (2)
0 0 0 250 400 400 500 650 800 900900 -- (3)
(1) -- 表示首先选利息为400的债卷在对应资金下的最优利息。
(2) -- 表示可用来购买债卷的资金。
(3) -- 表示在已有状态下再选择利息为300的债卷在对应资金下的最优利息。
注意上面表格，在求购买利息为300的债卷获得的最优收益的时候，
参考了以前的最优状态，以3行8列的650为例，7(*1000)可以
在以前购买了0张4000的债卷的基础上再2张3000的，也可以在以前购
买了1张4000的基础上再买1张3000，经比较取其收益大的，这就是典
型的动态规划中的当前最优状态计算。
本程序中把上面的最优决策二维表用一个一维数组表示，值得借鉴。
*/
void add(int a,int b)
{
cout << a << << b << endl; // for debug
for(int i=0;i<=80000;i++)
{
if(i+a > 80000)
{
break;
}
if(saifa[i]+b > saifa[i+a]) // 累计同时购买多种债卷时的利息
{
saifa[i+a] = saifa[i] + b;
}
if(i<200) // for debug
cout << i << -<< saifa[i] << ;
}
cout << endl; // for debug
}
int main(void)
{
int n,d,money,year,pay,bond;
int ii,i;
scanf(%d,&n);
for(ii=0;ii<n;ii++)
{
memset(saifa,0,sizeof(saifa));
scanf(%d%d,&money,&year);
scanf(%d,&d);
for(i=0;i<d;i++)
{
scanf(%d%d,&pay,&bond);
add(pay/1000,bond);
}
// 计算指定年限内最优组合的本金利息总额
for(i=0;i<year;i++)
{
cout << saifa[money/1000]<< ; // for debug
money += saifa[money/1000];
}
cout << endl; // for debug
printf(%d ,money);
}
return 0;
}
上述程序实现方法同样适合于背包问题，最优库存问题等，只是针对具体情况，最优决策表的表示和生成会有所不同。

⑵ 经济最优单目标遗传优化算法怎么实现

我给你一个标准遗传算法程序供你参考：
该程序是遗传算法优化BP神经网络函数极值寻优：
%% 该代码为基于神经网络遗传算法的系统极值寻优
%% 清空环境变量
clc
clear

%% 初始化遗传算法参数
%初始化参数
maxgen=100; %进化代数，即迭代次数
sizepop=20; %种群规模
pcross=[0.4]; %交叉概率选择，0和1之间
pmutation=[0.2]; %变异概率选择，0和1之间

lenchrom=[1 1]; %每个变量的字串长度，如果是浮点变量，则长度都为1
bound=[-5 5;-5 5]; %数据范围

indivials=struct('fitness',zeros(1,sizepop), 'chrom',[]); %将种群信息定义为一个结构体
avgfitness=[]; %每一代种群的平均适应度
bestfitness=[]; %每一代种群的最佳适应度
bestchrom=[]; %适应度最好的染色体

%% 初始化种群计算适应度值
% 初始化种群
for i=1:sizepop
%随机产生一个种群
indivials.chrom(i,:)=Code(lenchrom,bound);
x=indivials.chrom(i,:);
%计算适应度
indivials.fitness(i)=fun(x); %染色体的适应度
end
%找最好的染色体
[bestfitness bestindex]=min(indivials.fitness);
bestchrom=indivials.chrom(bestindex,:); %最好的染色体
avgfitness=sum(indivials.fitness)/sizepop; %染色体的平均适应度
% 记录每一代进化中最好的适应度和平均适应度
trace=[avgfitness bestfitness];

%% 迭代寻优
% 进化开始
for i=1:maxgen
i
% 选择
indivials=Select(indivials,sizepop);
avgfitness=sum(indivials.fitness)/sizepop;
%交叉
indivials.chrom=Cross(pcross,lenchrom,indivials.chrom,sizepop,bound);
% 变异
indivials.chrom=Mutation(pmutation,lenchrom,indivials.chrom,sizepop,[i maxgen],bound);

% 计算适应度
for j=1:sizepop
x=indivials.chrom(j,:); %解码
indivials.fitness(j)=fun(x);
end

%找到最小和最大适应度的染色体及它们在种群中的位置
[newbestfitness,newbestindex]=min(indivials.fitness);
[worestfitness,worestindex]=max(indivials.fitness);
% 代替上一次进化中最好的染色体
if bestfitness>newbestfitness
bestfitness=newbestfitness;
bestchrom=indivials.chrom(newbestindex,:);
end
indivials.chrom(worestindex,:)=bestchrom;
indivials.fitness(worestindex)=bestfitness;

avgfitness=sum(indivials.fitness)/sizepop;

trace=[trace;avgfitness bestfitness]; %记录每一代进化中最好的适应度和平均适应度
end
%进化结束

%% 结果分析
[r c]=size(trace);
plot([1:r]',trace(:,2),'r-');
title('适应度曲线','fontsize',12);
xlabel('进化代数','fontsize',12);ylabel('适应度','fontsize',12);
axis([0,100,0,1])
disp('适应度 变量');
x=bestchrom;
% 窗口显示
disp([bestfitness x]);

⑶ 算法优化有哪些主要方法和作用

优化算法有很多，关键是针对不同的优化问题，例如可行解变量的取值（连续还是离散）、目标函数和约束条件的复杂程度（线性还是非线性）等，应用不同的算法。
对于连续和线性等较简单的问题，可以选择一些经典算法，如梯度、Hessian
矩阵、拉格朗日乘数、单纯形法、梯度下降法等。
而对于更复杂的问题，则可考虑用一些智能优化算法，如遗传算法和蚁群算法，此外还包括模拟退火、禁忌搜索、粒子群算法等。

⑷ 什么是智能优化算法

群体智能优化算法是一类基于概率的随机搜索进化算法，各个算法之间存在结构、研究内容、计算方法等具有较大的相似性。因此，群体智能优化算法可以建立一个基本的理论框架模式：

Step1：设置参数，初始化种群；

Step2：生成一组解，计算其适应值；

Step3：由个体最有适应着，通过比较得到群体最优适应值；

Step4：判断终止条件示否满足？如果满足，结束迭代；否则，转向Step2；

各个群体智能算法之间最大不同在于算法更新规则上，有基于模拟群居生物运动步长更新的（如PSO，AFSA与SFLA），也有根据某种算法机理设置更新规则（如ACO）。

(4)优化算法实现扩展阅读

优化算法有很多，经典算法包括：有线性规划，动态规划等；改进型局部搜索算法包括爬山法，最速下降法等，模拟退火、遗传算法以及禁忌搜索称作指导性搜索法。而神经网络，混沌搜索则属于系统动态演化方法。

优化思想里面经常提到邻域函数，它的作用是指出如何由当前解得到一个（组）新解。其具体实现方式要根据具体问题分析来定。

⑸ 结构优化的目标，优化方法，优化算法哪些，及实现流程

产业结构优化升级目标：提高利润，增强产品竞争力
区域协调发展的目标：减小贫富差距
产业结构优化措施：政策扶持科技企业
区域协调发展的措施：加大欠发达地区投入，沿海地区产业重心向内地礌功辟嘉转黄辨萎玻联迁移
简单的说

⑹ 粒子群优化算法C语言实现

随着计算机技术的不断发展,软件的规模越来越大,随之而来软件的错误也越来越隐蔽,造成的后果也越来越严重。因此,提高软件质量及可靠性己成为软件工程领域的重要任务。而软件测试则是保证软件质量、提高软件可靠性的关键。但软件测试需要耗费巨大的人力、物力和时间,故提高软件测试的自动化程度对于确保软件开发质量、降低软件开发成本都是非常重要的。其中,提高生成测试用例的自动化程度又是提高软件测试自动化程度的关键。 本文分析了软件测试中测试用例自动生成技术的发展现状和粒子群优化算法的基本原理及实现步骤,并详细研究了几种重要的改进的粒子群优化算法。在此基础上,改进了基本粒子群优化算法,提出了基于改进的粒子群优化算法的测试用例自动生成系统框架,并给出了基于改进的粒子群优化算法的测试用例自动生成算法。最后,采用C语言编程实现了基于改进的粒子群优化算法的测试用例自动生成算法,用具体实例对其进行了实验,并对结果数据进行了分析。 本文提出的基于改进的粒子群优化算法的测试用例自动生成算法具有简单、易实现、设置参数少和收敛速度快等特点。实验结果表明,使用本文提出的算法测试用例自动生成的效果明显优于遗传算法等测试用例自动生成算法。 本文提出的基于改进的粒子群优化算法的测试用例自动生成算法提高了测试用例自动生成的效率,但该算法只实现了数值类型的数据,而且还存在手动操作问题,这将是作者下一步的主要研究方向。

⑺ tensorflow的各种优化算法怎么实现的

如何高效的学习TensorFlow代码?目前TensorFlow代码已超过40w行，从代码量上来看，绝不是一个能够迅速上手的小项目。所以，想要精通TensorFlow的同学需要做好心理准备。对于想要学习TensorFlow（以下简称TF）的人，根据目的不同，可以简单分为以下2类：1.研究学者，仅仅需要TF这个平台实现深度学习算法，无需了解太多底层原理2.好学的行业内人员（比如我⊙﹏⊙），不仅需要了解算法模型，同时还要熟悉TF平台的原理。在算子、通信、模型优化等方面进行平台的二次开发的人。研究学者：你们可以考虑使用Keras，python写的深度神经网络库，已经实现了绝大部分神经网络，如：RNN、GRU、LSTM，CNN，Pooling，Full-Connected，以及sigmoid、tanh、Relu、PRelu、SRelu等各种激活函数。并且采用TF/Theano作为后端计算引擎，自己本身拥有一套更高层的API，可以同时跑在TF/Theano平台上。相对于TF来说，这个学习压力小了很多，我们公司负责算法的同事也是用Keras来写模型，然后我再用TF的API来实现分布式部署。附：开发人员：对于我们这类人来说，首先需要弄清平台的很多名称、概念、定义，@贾扬清曾说过TF有太多的Abstraction需要学习。诚然，这加大了我们的学习难度。但是，这也说明Google是想要把这个平台做大做强的，所以才会花时间去设计这一套框架和统一的结构。特别是读了部分源码后，更有这种感触。那么，具体要怎么开始呢？极客学院有翻译部分TF的官方文档，对于初步了解Tensor、DAG、Operator、Variable、Device、Optimizer等是帮助的。在看完这些概念后，有一个MNIST的例子程序作为TF的入门。这个样例用一个简单的Softmax实现了手写体数字识别的神经网络，只有一层参数。同时还介绍了Session、tf.placeholder、图的计算等重要概念。在看完这个样例后，如果理解了DAG和Session，可以继续看用卷积神经网络实现的MNIST，准确率上升到了99%，相对于单层Softmax的92%左右，已经接近目前最高的准确率了。TFv0.8发布了分布式模型，我也研究了将近1个月，才把Seq2seq机器翻译改造成了分布式，但是现在公司不让发布出来ORZ。好消息是，我改写了社区的MNIST分布式程序，并且已经合并到master分支了。所以，如果想要继续学习分布式的话，我建议可以看一下那份代码。比较遗憾的是，极客学院目前没有翻译分布式的教程，所以大家得移步TF官网（貌似被墙了）。由于分布式的资料较少，我这里简单梳理下概念，大家在官网会看到他们的定义：TF采用了PS/Worker的结构来定义集群，其中PS(parameterserver)：存储variable（模型参数），主要负责参数更新和发放；Worker：存储operator，主要负责图计算和梯度计算（TF使用Optimizer实现了自动化的梯度计算）；job：由于工作类型不同，用job_name来区分ps和workertask：对于每个worker来说，具体做什么任务（算什么图）也有可能不同，用task_index区分device：指具体的CPU/GPU，通常PS绑定到CPU上，Worker绑定到GPU上，各取所长。syncReplicaOptimizer：同步优化器，其本质仍然是用普通优化器进行梯度计算，但是通过Queue机制和Coordinator多线程协同实现了所有worker的梯度汇总和平均，最终将梯度传回PS进行参数更新。以上几个概念对于分布式的理解非常重要。当然，想要完全弄懂，还得不断的看文档和源码。源码我推荐几个python目录下非常值得看的基础类定义：framework/Ops.py：定义了Tensor、Graph、Opreator类等Ops/Variables.py：定义了Variable类

⑻ 想知道优化算法是什么

优化算法是通过改善计算方式来最小化或最大化损失函数E(x)。模型内部有些参数是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参数就形成了损失函数E(x)，比如说，权重(W)和偏差(b)就是这样的内部参数，一般用于计算输出值，在训练神经网络模型时起到主要作用。

优化算法分的分类

一阶优化算法是使用各参数的梯度值来最小化或最大化损失函数E(x），最常用的一阶优化算法是梯度下降。函数梯度导数dy/dx的多变量表达式，用来表示y相对于x的瞬时变化率。

二阶优化算法是使用了二阶导数也叫做Hessian方法来最小化或最大化损失函数，由于二阶导数的计算成本很高，所以这种方法并没有广泛使用。

⑼ Miller Rabin算法的优化实现

Miller-Rabin算法最为耗时的步骤在2.2模幂操作和2.3.2 循环。对算法的优化实现主要集中在对这两部分运算的优 化。对模幂操作的优化有两种途径：减少模幂算法中的模乘 操作和优化模乘操作。在求模幂的过程中不能先求幂最后一次求模，这样会产生一个十分巨大的中间结果，造成实际的 不可操作，所以在求模幂的算法中用模乘代替乘法，使得中 间结果的长度不超过模的长度。对模幂算法的优化，我们使 用改进的滑动窗口算法结合Montgomery模乘和模平方算法。表1给出模幂算法的比较。 模幂算法 预先计算 模平方 模乘法 模平方 模乘法 最坏情况 平均情况 平方乘算法滑动窗口类算法 改进的滑动窗口算法 011 02k -32k-1-1 tt-(k-1)≤次数≤t t-(k-1)≤次数≤t t (t/k)-1 (t/k)-1 t/2 t/k(2k-1)/ 2kk≤t/k(2 -1)/ * 模幂算法比较，其中k是窗口大小，根据情况 选择以达到最优，t是指数的二进制位数。 优化的模幂算法描述：输入： x，e=(e tet-1?e1e0)2，其中et=1，k≥1( 窗口大小)输出： xe mod n1、预计算1.1、x1← MontMul(x， R2，n)，x2←MontSqu(x 1， n)1.2、对i 从1 到2k-1-1计算x2i+1←MontMul(x2i-1， x2，n)2、A←R，i ←t3、 当i≥ 0时作下面的操作： 3.1、如果ei=0，A←MontSqu(A ，n)，i← i-13.2、否则找到最长的位串eiei-1?es使得i-s+1≤k并且es=1,计算3.2.1、A <－A2i-s+1 ， (利 用MontSqu函数计算)3.2.2、A <－A*X(ee ...e )2 ，(利 用MontMul函数计算)3.2.3、i ←s-14、A←MontMul(A ，1 ，n)5、返回A其中MontMul(x,y,n) 是Montgomery模乘函数，函数输出 结果为x*y*R-1 mod n，MontSqu(x,n) 是Montgomery模平方函 数，输出结果为x2R-1 mod n。模乘算法如果采用大整数乘法 和除法求模乘，因为涉及耗时的除法操作，所以要相对较 慢，结合大整数乘法和Barrett求模算法可以用2(n2+3n+1) 步 单精度乘法完成。使用Montgomery求模算法结合大整数乘法 算法，可以 在 2n(n+1) 步单精度乘法内完成算法。 Montgomery模平方的操作可以在3n(n+1) /2步单精度乘法内 完成，而Barrett模平方需要(3n(n+3)/2+1) 步单精度乘法。结 合改进的滑动窗口算法和Montgomery类算法，可以得到目前 非特殊情况下的最优的模幂算法。在Miller-Rabin算法的2.3.2循环中的模平方操作我们没有 使用Montgomery模平方算法，因为该算法给出的结果带有R-1这个参数，在2.3.2循环中处理掉这个参数将占整个循环运 行时间中的很大部分，尤其是在循环的控制参数s 相对较小的时候。我们在这里使用大整数平方算法结合Barrett求模算 法，2.3.2的循环最坏情况需要(s-1)(3n(n+3)/2+1)步单精度乘法。

⑽ 如何用粒子群优化（PSO）算法实现多目标优化

粒子群算法，也称粒子群优化算法（ParticleSwarmOptimization），缩写为PSO，是近年来发展起来的一种新的进化算法(EvolutionaryAlgorithm-EA)。PSO算法属于进化算法的一种，和模拟退火算法相似，它也是从随机解出发，通过迭代寻找最优解，它也是通过适应度来评价解的品质，但它比遗传算法规则更为简单，它没有遗传算法的“交叉”(Crossover)和“变异”(Mutation)操作，它通过追随当前搜索到的最优值来寻找全局最优。这种算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，并且在解决实际问题中展示了其优越性。粒子群算法是一种并行算法。