模擬退火演算法python

❶ 模擬退火演算法解決路徑優化 的源代碼

我有 simulated annealing with metropolies(Monte Carlo)做的一個項目的代碼，你要看看么？
void anneal(int nparam, int nstep, int nstep_per_block, double t0,

const double * param_in,

double cost_in, double * params_out, double * cost_out) {

int nblock;

int step;

int block;

int nactive;

int rank;

int n_accepted = 0;

int i, j, n;

double cost_current, cost_trial;

int * param_index;

double * param_current;

double * param_trial;

double * Q;

double * S;

double * u;

double * dp;

double * A;

FILE * fp_log_file;

char fname[FILENAME_MAX];

double temp = t0;

double tempmax = temp;

double ebar, evar, emin, eta, specific_heat;

double delta;

double chi = 0.8; // Annealing schele

double chi_s = 3.0; // Vanderbilt/Louie 'growth factor'

double rm;

double root3 = sqrt(3.0);

double p = 0.02/sqrt(3.0); //max size of annealing step

param_current = new double[nparam];

param_trial = new double[nparam];

cost_current = cost_in;

MPI_Comm_rank(MPI_COMM_WORLD, &rank);

sprintf(fname, "a_%4.4d.log", rank);

fp_log_file = fopen(fname, "a");

if (fp_log_file == (FILE *) NULL) errorMessage("fopen(log) failed\n");

// Work out the number of active parameters, and set up the

// index table of the active parameters.

// Note that the complete array of parameters (param_trial) must

// be used to evaluate the cost function.

nactive = 0;

for (n = 0; n < nparam; n++) {

param_current[n] = param_in[n];

param_trial[n] = param_in[n];

if (P.is_active[n]) nactive++;

}

param_index = new int[nactive];

i = 0;

for (n = 0; n < nparam; n++) {

if (P.is_active[n]) param_index[i++] = n;

}

// Initialise the step distribution matrix Q_ij

Q = new double[nactive*nactive];

S = new double[nactive*nactive];

u = new double[nactive];

dp = new double[nactive];

A = new double[nactive];

double * Qtmp;

Qtmp = new double[nactive*nactive];

for (i = 0; i < nactive; i++) {

for (j = 0; j < nactive; j++) {

delta = (i == j);

Q[i*nactive + j] = p*delta*param_current[param_index[j]];

}

}

// carry out annealing points

nblock = nstep/nstep_per_block;

rm = 1.0/(double) nstep_per_block;

for (block = 0; block < nblock; block++) {

// Set the schele for this block, and initialise blockwise quantities.

// We also ensure the step distribution matrix is diagonal.

temp = chi*temp;

for (i = 0; i < nactive; i++) {

A[i] = 0.0;

for (j = 0; j < nactive; j++) {

S[i*nactive + j] = 0.0;

delta = (i == j);

Q[i*nactive + j] *= delta;

}

}

ebar = 0.0;

evar = 0.0;

emin = cost_current;

for (i = 0; i < nactive; i++) {

printf("Step: %d %g\n", i, Q[i*nactive + i]);

}

for (step = 0; step < nstep_per_block; step++) {

// Set the random vector u, and compute the step size dp

for (i = 0; i < nactive; i++) {

u[i] = root3*(r_uniform()*2.0 - 1.0);

}

for (i = 0; i < nactive; i++) {

dp[i] = 0.0;

for (j = 0; j < nactive; j++) {

dp[i] += Q[i*nactive + j]*u[j];

}

}

for (i = 0; i < nactive; i++) {

n = param_index[i];

param_trial[n] = param_current[n] + dp[i];

if (param_trial[n] < P.min[n]) param_trial[n] = P.min[n];

if (param_trial[n] > P.max[n]) param_trial[n] = P.max[n];

}

// calculate new cost function score

p_model->setParameters(param_trial);

cost_trial = p_costWild->getCost();

cost_trial += p_costLHY->getCost();

cost_trial += p_costTOC1->getCost();

cost_trial += p_costAPRR->getCost();

// Metropolis

delta = cost_trial - cost_current;

if (delta < 0.0 || r_uniform() < exp(-delta/temp)) {

for (n = 0; n < nparam; n++) {

param_current[n] = param_trial[n];

}

cost_current = cost_trial;

++n_accepted;

}

// 'Energy' statistics

ebar += cost_current;

evar += cost_current*cost_current;

if (cost_current < emin) emin = cost_current;

// Per time step log

fprintf(fp_log_file, "%6d %6d %10.4f %10.4f %10.4f %10.4f\n",

block, step, temp,

cost_current, cost_trial,

(float) n_accepted / (float) (block*nstep_per_block + step));

// Accumulate average, measured covariance

for (i = 0; i < nactive; i++) {

A[i] += param_current[param_index[i]];

for (j = 0; j < nactive; j++) {

S[i*nactive + j]

+= param_current[param_index[i]]*param_current[param_index[j]];

}

}

/* Next step*/

}

// Set the previous block average and measured covariance

for (i = 0; i < nactive; i++) {

A[i] = rm*A[i];

}

for (i = 0; i < nactive; i++) {

for (j = 0; j < nactive; j++) {

S[i*nactive + j] = rm*S[i*nactive + j] - A[i]*A[j];

if (i == j) printf("Average: %d %g %g\n", i, A[i], S[i*nactive+j]);

// Set the convarience for the next iteration s = 6 chi_s S / M

S[i*nactive + j] = 6.0*chi_s*rm*S[i*nactive + j];

}

}

// Reset the step distribution matrix for the next block

i = do_cholesky(nactive, S, Q);

j = test_cholesky(nactive, S, Q);

printf("Cholesky %d %d\n", i, j);

// Block statistics

ebar = rm*ebar;

evar = rm*evar;

specific_heat = (evar - ebar*ebar) / temp*temp;

eta = (ebar - emin)/ebar;

fprintf(fp_log_file, "%d %d %f %f %f %f %f %f\n",

block, nstep_per_block, temp, ebar, evar, emin,

specific_heat, eta);

/* Next block */

}

*cost_out = cost_current;

for (n = 0; n < nparam; n++) {

params_out[n] = param_current[n];

}

fclose(fp_log_file);

delete param_index;

delete param_current;

delete param_trial;

delete Q;

delete u;

delete dp;

delete S;

delete A;

return;

}

❷ 模擬退火演算法的意義

退火演算法具有計算過程簡單、通用、魯棒性強、適合並行處理等優點，可用於求解復雜的非線性優化問題。缺點: 收斂速度慢，執行時間長，演算法性能與初值有關，參數敏感。Pso: 進化支持計算的優點在於它能處理一些傳統方法無法處理的例子，如不可微節點傳遞函數或其固有的梯度信息缺失。缺點是: 它在某些問題上表現不是特別好。圖2。網路權重容量的編碼和遺傳運算元的選擇有時比較麻煩

❸ 模擬退火法^[1，]

模擬退火演算法最早在1953年由 Metropolis等人提出。在地球物理中的最早應用是Rothman在1983年利用模擬退火演算法處理地震資料的剩餘靜校正。模擬退火法也是類似於蒙特卡洛法的隨機搜索方法。但是在產生模型的過程中引入一些規則，能有效地加快搜索速度，有時又稱這類方法為啟發式蒙特卡洛法。

模擬退火法概念源於統計物理學，是模擬固體熔化狀態逐漸緩慢冷卻最終達到能量最小的結晶狀態的物理過程。對於一個熔化的金屬，當處於某個溫度的熱平衡狀態時，它的每一個分子都有它可能所處的狀態，有些分子可能能量高一些，有些分子可能能量低一些，分子處於何種狀態的概率由分子所具有的能量決定。設分子所有可能的能級總數為n(微觀粒子的能量都是量子化的，不連續的)，則分子處於某種狀態的概率滿足玻爾茲曼概率分布:

地球物理反演教程

其中:Ei為第i個分子的能量;K為玻爾茲曼常數;T為絕對溫度;n為分子所有可能的能級總數，分母稱為配分因子;p_i為第i個分子處於能量E_i的概率。

如果把地球物理反演的模型向量看作分子，把目標函數看作分子的能量，把目標函數的極小值看成分子冷卻結晶的最小能量，反演問題(最優化問題)可以模擬式(8.11)金屬退火的過程，通過緩慢地減小溫度進行反演，使目標函數(能量)逐漸達到極小值，這時所對應的模型(分子狀態)就是反演結果。

為了改善於蒙特卡洛法的隨機搜索方法，1953年 Metropolis等人在產生模型的過程中引入Metropolis接受准則，模型產生並不是完全隨機，而是以前一個模型為基礎隨機產生。對能量減小的模型完全接受，對能量增加的模型按一定的概率接受，這樣能有效地加快搜索速度，同時又有可能跳出局部極小值。具體如下:

設原來模型向量為m_i，新的模型為m_i+1(在m_i基礎上隨機修改產生)，各自的能量(目標函數)為E(m_i)和E(m_i+1)。如果E(m_i+1)＜E(m_i)，則目標函數在減小，新模型可以接受。如果E(m_i+1)＞E(m_i)，則目標函數在增加，按照一定概率來確定是否接受新的模型。具體規則見式(8.12):

E(m_i+1)＜E(m_i) 完全接受m_i+1為新模型

地球物理反演教程

式(8.12)就是Metropolis接受准則。它使得反演過程可以接受使目標函數增加的模型，因此也就使得模擬退火法有可能跳出局部極小，收斂於全局極小值點。由於玻爾茲曼常數K只是起到尺度因子的作用，在實際計算中K可取為1來簡化公式。從式(8.12)可以看出，當溫度較低時，p_i+1/p_i較小，因此接受使能量增加的新模型的可能性較小。而一般溫度較低時，目標函數較小，模型比較靠近真實模型，這時基本上只接受使目標函數減小的模型，使模型盡快收斂於極小值點。

在模擬退火反演中，要求溫度T隨著迭代次數的增加而緩慢降溫。常用的溫度函數有兩種。

(1)指數下降型:

T_k=T₀·exp(-ck^1/N) (8.13)

式中:k為迭代次數;c為衰減因子;N為模型參數的個數;T₀為初始溫度。上式也可以改寫為

地球物理反演教程

通常選擇0.7≤α≤1。在實際應用中可採用0.5或1代替式(8.14)的1/N。圖8.4(a)為指數降溫曲線。採用參數為:T₀=200℃，α=0.99，1/N=0.9。

(2)雙曲線下降型:

T=T₀α^k (8.15)

式中:T₀為初始溫度;k為迭代次數;α為衰減因子，通常取0.99。初始溫度T₀不能取得太高，否則增加計算時間浪費機時;T₀也不能太低，否則模型選取不能遍及整個模型空間，只是在初始模型附近選取，不能進行全局尋優。所以T₀的確定只有通過實驗計算得到。圖8.4(b)為雙曲線降溫曲線。採用參數為:T₀=200℃，α=0.99。從圖8.4可以看出通過對不同溫度曲線和相關參數進行選擇，可以控制溫度下降的方式和速度。

圖8.4 模擬退火法降溫曲線

模擬退火法主要有三種:

(1)MSA演算法(Metropolis Simulated Annealing);

(2)HBSA演算法(Heat Bath Simulated Annealing);

(3)VFSA演算法(Very Fast Simulated Annealing)。

圖8.5 模擬退火MSA演算法程序流程圖

前面介紹的利用 Metropolis接受准則的演算法就是經典的模擬退火法。圖8.5為模擬退火 MSA演算法的程序流程圖。從中可以看出 MSA演算法有一套模型修改准則，依次改變模型參數，每次改變都是在原來模型基礎上改變一個參數，因此容易保持已有搜索成果，持續不斷地向目標函數最小值點接近，因此搜索效率比蒙特卡洛法高。此外，MSA演算法允許接受使目標函數增加的模型，這樣又易於跳出局部極小，達到全局極小。但 MSA演算法在任何溫度下和蒙特卡洛法一樣都是在模型全空間進行搜索，不能根據當前溫度和模型減小搜索空間，此外由於模型的修改全憑運氣，所以不可能像前面介紹的最小二乘法那樣目標函數基本上持續減小，而是呈不規則振盪在宏觀上逐漸減小，因此效率較低。

HBSA演算法與 MSA演算法的不同之處是在模型的修改上。也是首先隨機選擇一個初始M維模型向量m₀(它具有M個參數);然後限制各個模型參數可能的取值范圍，對取值離散化。假設每個模型參數都有N個可能的值，首先固定模型第2個參數m₀(2)直到第M個參數m₀(M)保持不變，只修改第1個參數m₀(1);計算m₀(1)的所有取值時的目標函數，然後按式(8.16)計算「概率」，它就是式(8.11)配分因子取1的公式。即

地球物理反演教程

選擇「概率」最大的為模型第1個參數的修改值。照此依次對所有模型參數進行修改完成依次迭代計算。在每次迭代計算中保持溫度不變。隨著迭代次數增加，溫度降低，最終達到穩定狀態，獲得最小能量解。這種方法的計算由於要計算某個參數的所有可能值，所以計算量也是很大的。

1989年Ingber提出了VFSA演算法，由於速度較快，最為常用。它使得模擬退火法從理論走向了實際應用。VFSA演算法在流程上與傳統的模擬退火法相同，但是在模型修改、接受概率以及降溫曲線上有所改進。

(1)模型修改:常規模擬退火法採用高斯隨機分布修改模型，在任何溫度下都是在模型全空間進行搜索。而Ingber提出採用依賴於溫度的似cauchy分布產生新的模型。即

地球物理反演教程

y_i=Tsgn(u-0.5)[(1+1/T^|2u-1|-1](8.18)

其中:m_i為當前模型第i個參數，m'_i為修改後的模型參數;u為[0，1]的隨機數;[A_i，B_i]為m_i和m'_i的取值范圍;sgn( )為符號函數。

採用以上方式能在高溫下進行大范圍的搜索，低溫時在當前模型附近搜索，而且由於似cauchy分布具有平坦的「尾巴」，使其易於迅速跳出局部極值。這一改進大大加快了模擬退火法的收斂速度。

(2)接收概率:當E(m_i+1)＞E(m_i)時，VFSA演算法採用如下概率接受公式:

地球物理反演教程

上式當h→1時變為式(8.12)。h通過實驗獲得。

(3)降溫曲線(退火計劃):Ingber在1989年採用式(8.13)得出指數降溫曲線。從圖8.4可知，溫度下降較快。

總之，VFSA演算法在模型修改、接受概率以及降溫曲線上的改進使得模擬退火演算法收斂速度大大加快。後人在此基礎上還有很多的改進，讀者可以參考相關文獻。

模擬退火法的優點:由於不需要計算偏導數矩陣，不需要解線性方程組(當然正演計算的除外)，結構簡單，易於編程;此外，由於它搜索范圍大，能接受較差模型，因此易於達到全局極小。缺點:隨機搜索，計算量巨大，往往要計算成百上千次正演，這與前面的最小二乘法十幾次的正演計算相比反演時間太長，因此一般應用在一維反演之中，在二維、三維等高維反演中應用較少。

❹ 模擬退火演算法解決VRP問題

像這種隨機演算法，一般都要調試好長時間，不斷地修改參數等，才能最終得到滿意解。

❺ 模擬退火演算法的模擬退火演算法的原理

模擬退火演算法來源於固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體內部粒子隨溫升變為無序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態，最後在常溫時達到基態，內能減為最小。根據Metropolis准則，粒子在溫度T時趨於平衡的概率為e(-ΔE/(kT))，其中E為溫度T時的內能，ΔE為其改變數，k為Boltzmann常數。用固體退火模擬組合優化問題，將內能E模擬為目標函數值f，溫度T演化成控制參數t，即得到解組合優化問題的模擬退火演算法：由初始解i和控制參數初值t開始，對當前解重復「產生新解→計算目標函數差→接受或舍棄」的迭代，並逐步衰減t值，演算法終止時的當前解即為所得近似最優解，這是基於蒙特卡羅迭代求解法的一種啟發式隨機搜索過程。退火過程由冷卻進度表(Cooling Schele)控制，包括控制參數的初值t及其衰減因子Δt、每個t值時的迭代次數L和停止條件S。 1模擬退火演算法可以分解為解空間、目標函數和初始解三部分。
2模擬退火的基本思想:
(1) 初始化：初始溫度T(充分大)，初始解狀態S(是演算法迭代的起點)，每個T值的迭代次數L
(2) 對k=1，……，L做第(3)至第6步：
(3) 產生新解S′
(4) 計算增量Δt′=C(S′)-C(S)，其中C(S)為評價函數
(5) 若Δt′<0則接受S′作為新的當前解，否則以概率exp(-Δt′/T)接受S′作為新的當前解.
(6) 如果滿足終止條件則輸出當前解作為最優解，結束程序。
終止條件通常取為連續若干個新解都沒有被接受時終止演算法。
(7) T逐漸減少，且T->0，然後轉第2步。 模擬退火演算法新解的產生和接受可分為如下四個步驟：
第一步是由一個產生函數從當前解產生一個位於解空間的新解；為便於後續的計算和接受，減少演算法耗時，通常選擇由當前新解經過簡單地變換即可產生新解的方法，如對構成新解的全部或部分元素進行置換、互換等，注意到產生新解的變換方法決定了當前新解的鄰域結構，因而對冷卻進度表的選取有一定的影響。
第二步是計算與新解所對應的目標函數差。因為目標函數差僅由變換部分產生，所以目標函數差的計算最好按增量計算。事實表明，對大多數應用而言，這是計算目標函數差的最快方法。
第三步是判斷新解是否被接受,判斷的依據是一個接受准則，最常用的接受准則是Metropolis准則: 若Δt′<0則接受S′作為新的當前解S，否則以概率exp(-Δt′/T)接受S′作為新的當前解S。
第四步是當新解被確定接受時，用新解代替當前解，這只需將當前解中對應於產生新解時的變換部分予以實現，同時修正目標函數值即可。此時，當前解實現了一次迭代。可在此基礎上開始下一輪試驗。而當新解被判定為舍棄時，則在原當前解的基礎上繼續下一輪試驗。
模擬退火演算法與初始值無關，演算法求得的解與初始解狀態S(是演算法迭代的起點)無關；模擬退火演算法具有漸近收斂性，已在理論上被證明是一種以概率l 收斂於全局最優解的全局優化演算法；模擬退火演算法具有並行性。 s:=s0;e:=E(s)//設定目前狀態為s0，其能量E(s0)k:=0//評估次數kwhilek<kmaxande>emax//若還有時間（評估次數k還不到kmax）且結果還不夠好（能量e不夠低）則：sn:=neighbour(s)//隨機選取一臨近狀態snen:=Esn)//sn的能量為E(sn)ifrandom()<P(e,en,temp(k/kmax))then//決定是否移至臨近狀態sns:=sn;e:=en//移至臨近狀態snk:=k+1//評估完成，次數k加一returns//回轉狀態s

❻ 誰能給我舉一個模擬退火演算法MATLAB源代碼的簡單例子

clear
clc
a = 0.95
k = [5;10;13;4;3;11;13;10;8;16;7;4];
k = -k; % 模擬退火演算法是求解最小值，故取負數
d = [2;5;18;3;2;5;10;4;11;7;14;6];
restriction = 46;
num = 12;
sol_new = ones(1,num); % 生成初始解
E_current = inf;E_best = inf;
% E_current是當前解對應的目標函數值（即背包中物品總價值）；
% E_new是新解的目標函數值；
% E_best是最優解的
sol_current = sol_new; sol_best = sol_new;
t0=97; tf=3; t=t0;
p=1;

while t>=tf
for r=1:100
%產生隨機擾動
tmp=ceil(rand.*num);
sol_new(1,tmp)=~sol_new(1,tmp);

%檢查是否滿足約束
while 1
q=(sol_new*d <= restriction);
if ~q
p=~p; %實現交錯著逆轉頭尾的第一個1
tmp=find(sol_new==1);
if p
sol_new(1,tmp)=0;
else
sol_new(1,tmp(end))=0;
end
else
break
end
end

% 計算背包中的物品價值
E_new=sol_new*k;
if E_new<E_current
E_current=E_new;
sol_current=sol_new;
if E_new<E_best
% 把冷卻過程中最好的解保存下來
E_best=E_new;
sol_best=sol_new;
end
else
if rand<exp(-(E_new-E_current)./t)
E_current=E_new;
sol_current=sol_new;
else
sol_new=sol_current;
end
end
end
t=t.*a;
end

disp('最優解為：')
sol_best
disp('物品總價值等於：')
val=-E_best;
disp(val)
disp('背包中物品重量是：')
disp(sol_best * d)

❼ 請問一下遺傳演算法，模擬退火演算法和遺傳模擬退火演算法的區別，最好能有根據同一個數學問題的matalb程序源代

遺傳演算法是種群擇優，模擬退火是擇優降火，里頭的差別不大，就是生成新鏈，然後計算適應度什麼的。這兩種優化演算法都能解決TSP問題，源代碼沒有，不過matlab有工具箱可以實現吧，你再找找。

❽ 模擬退火演算法是什麼

從代碼角度來說，就是2個循環，一個總溫度外循環（足夠大，並逐漸減小），另一個內部循環（使其達到該特定溫度下的平衡，怎麼算平衡自己定義的）。很多書都說外部的總溫度外循環，卻忽略了內部循環，內部循環值應該多大，我也很模糊。

❾ Python怎麼做最優化

一、概觀
scipy中的optimize子包中提供了常用的最優化演算法函數實現。我們可以直接調用這些函數完成我們的優化問題。optimize中函數最典型的特點就是能夠從函數名稱上看出是使用了什麼演算法。下面optimize包中函數的概覽：
1.非線性最優化
fmin -- 簡單Nelder-Mead演算法
fmin_powell -- 改進型Powell法
fmin_bfgs -- 擬Newton法
fmin_cg -- 非線性共軛梯度法
fmin_ncg -- 線性搜索Newton共軛梯度法
leastsq -- 最小二乘
2.有約束的多元函數問題
fmin_l_bfgs_b ---使用L-BFGS-B演算法
fmin_tnc ---梯度信息
fmin_cobyla ---線性逼近
fmin_slsqp ---序列最小二乘法
nnls ---解|| Ax - b ||_2 for x>=0
3.全局優化
anneal ---模擬退火演算法
brute --強力法
4.標量函數
fminbound
brent
golden
bracket
5.擬合
curve_fit-- 使用非線性最小二乘法擬合
6.標量函數求根
brentq ---classic Brent (1973)
brenth ---A variation on the classic Brent（1980）ridder ---Ridder是提出這個演算法的人名
bisect ---二分法
newton ---牛頓法
fixed_point
7.多維函數求根
fsolve ---通用
broyden1 ---Broyden』s first Jacobian approximation.
broyden2 ---Broyden』s second Jacobian approximationnewton_krylov ---Krylov approximation for inverse Jacobiananderson ---extended Anderson mixing
excitingmixing ---tuned diagonal Jacobian approximationlinearmixing ---scalar Jacobian approximationdiagbroyden ---diagonal Broyden Jacobian approximation8.實用函數
line_search ---找到滿足強Wolfe的alpha值
check_grad ---通過和前向有限差分逼近比較檢查梯度函數的正確性二、實戰非線性最優化
fmin完整的調用形式是：
fmin(func, x0, args=(), xtol=0.0001, ftol=0.0001, maxiter=None, maxfun=None, full_output=0, disp=1, retall=0, callback=None)不過我們最常使用的就是前兩個參數。一個描述優化問題的函數以及初值。後面的那些參數我們也很容易理解。如果您能用到，請自己研究。下面研究一個最簡單的問題，來感受這個函數的使用方法：f(x)=x**2-4*x+8，我們知道，這個函數的最小值是4，在x=2的時候取到。
from scipy.optimize import fmin #引入優化包def myfunc(x):
return x**2-4*x+8 #定義函數
x0 = [1.3] #猜一個初值
xopt = fmin(myfunc, x0) #求解
print xopt #列印結果
運行之後，給出的結果是：
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
程序准確的計算得出了最小值，不過最小值點並不是嚴格的2，這應該是由二進制機器編碼誤差造成的。
除了fmin_ncg必須提供梯度信息外，其他幾個函數的調用大同小異，完全類似。我們不妨做一個對比：
from scipy.optimize import fmin,fmin_powell,fmin_bfgs,fmin_cgdef myfunc(x):
return x**2-4*x+8
x0 = [1.3]
xopt1 = fmin(myfunc, x0)
print xopt1
print
xopt2 = fmin_powell(myfunc, x0)
print xopt2
print
xopt3 = fmin_bfgs(myfunc, x0)
print xopt3
print
xopt4 = fmin_cg(myfunc,x0)
print xopt4
給出的結果是：
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 53
1.99999999997
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 12
Gradient evaluations: 4
[ 2.00000001]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 15
Gradient evaluations: 5
[ 2.]
我們可以根據給出的消息直觀的判斷演算法的執行情況。每一種演算法數學上的問題，請自己看書學習。個人感覺，如果不是純研究數學的工作，沒必要搞清楚那些推導以及定理雲雲。不過，必須了解每一種演算法的優劣以及能力所及。在使用的時候，不妨多種演算法都使用一下，看看效果分別如何，同時，還可以互相印證演算法失效的問題。
在from scipy.optimize import fmin之後，就可以使用help(fmin)來查看fmin的幫助信息了。幫助信息中沒有例子，但是給出了每一個參數的含義說明，這是調用函數時候的最有價值參考。
有源碼研究癖好的，或者當你需要改進這些已經實現的演算法的時候，可能需要查看optimize中的每種演算法的源代碼。在這里：https:/ / github. com/scipy/scipy/blob/master/scipy/optimize/optimize.py聰明的你肯定發現了，順著這個鏈接往上一級、再往上一級，你會找到scipy的幾乎所有源碼！

❿ 模擬退火演算法的簡介

模擬退火演算法(Simulated Annealing，SA)最早的思想是由N. Metropolis 等人於1953年提出。1983 年,S. Kirkpatrick 等成功地將退火思想引入到組合優化領域。它是基於Monte-Carlo迭代求解策略的一種隨機尋優演算法，其出發點是基於物理中固體物質的退火過程與一般組合優化問題之間的相似性。模擬退火演算法從某一較高初溫出發，伴隨溫度參數的不斷下降,結合概率突跳特性在解空間中隨機尋找目標函數的全局最優解，即在局部最優解能概率性地跳出並最終趨於全局最優。模擬退火演算法是一種通用的優化演算法，理論上演算法具有概率的全局優化性能,目前已在工程中得到了廣泛應用，諸如VLSI、生產調度、控制工程、機器學習、神經網路、信號處理等領域。
模擬退火演算法是通過賦予搜索過程一種時變且最終趨於零的概率突跳性，從而可有效避免陷入局部極小並最終趨於全局最優的串列結構的優化演算法。