python最小二乘

『壹』 python中如何使用最小二乘法

##最小二乘法
importnumpyasnp##科學計算庫
importscipyassp##在numpy基礎上實現的部分演算法庫
importmatplotlib.pyplotasplt##繪圖庫
fromscipy.optimizeimportleastsq##引入最小二乘法演算法

'''
設置樣本數據，真實數據需要在這里處理
'''
##樣本數據(Xi,Yi)，需要轉換成數組(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2])
Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3])

'''
設定擬合函數和偏差函數
函數的形狀確定過程：
1.先畫樣本圖像
2.根據樣本圖像大致形狀確定函數形式(直線、拋物線、正弦餘弦等)
'''

##需要擬合的函數func:指定函數的形狀
deffunc(p,x):
k,b=p
returnk*x+b

##偏差函數：x,y都是列表:這里的x,y更上面的Xi,Yi中是一一對應的
deferror(p,x,y):
returnfunc(p,x)-y

'''
主要部分：附帶部分說明
1.leastsq函數的返回值tuple，第一個元素是求解結果，第二個是求解的代價值(個人理解)
2.官網的原話（第二個值）：
3.實例：Para=>(array([0.61349535,1.79409255]),3)
4.返回值元組中第一個值的數量跟需要求解的參數的數量一致
'''

#k,b的初始值，可以任意設定,經過幾次試驗，發現p0的值會影響cost的值：Para[1]
p0=[1,20]

#把error函數中除了p0以外的參數打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi))

#讀取結果
k,b=Para[0]
print("k=",k,"b=",b)
print("cost："+str(Para[1]))
print("求解的擬合直線為:")
print("y="+str(round(k,2))+"x+"+str(round(b,2)))

'''
繪圖，看擬合效果.
matplotlib默認不支持中文，label設置中文的話需要另行設置
如果報錯，改成英文就可以
'''

#畫樣本點
plt.figure(figsize=(8,6))##指定圖像比例：8：6
plt.scatter(Xi,Yi,color="green",label="樣本數據",linewidth=2)

#畫擬合直線
x=np.linspace(0,12,100)##在0-15直接畫100個連續點
y=k*x+b##函數式
plt.plot(x,y,color="red",label="擬合直線",linewidth=2)
plt.legend(loc='lowerright')#繪制圖例
plt.show()

『貳』 如何應用最小二乘法進行實驗曲線擬合

打開Excel，先將數據繪成線性圖，然後在圖表中添加趨勢線，然後勾選：顯示公式，就可以擬合出數據的公式了。

『叄』 如何用python實現含有虛擬自變數的回歸

參考資料：
DataRobot | Ordinary Least Squares in Python

DataRoboe | Multiple Regression using Statsmodels

AnalyticsVidhya | 7 Types of Regression Techniques you should know!

『肆』 Python怎麼做最優化

一、概觀scipy中的optimize子包中提供了常用的最優化演算法函數實現。我們可以直接調用這些函數完成我們的優化問題。optimize中函數最典型的特點就是能夠從函數名稱上看出是使用了什麼演算法。下面optimize包中函數的概覽：1.非線性最優化fmin -- 簡單Nelder-Mead演算法fmin_powell -- 改進型Powell法fmin_bfgs -- 擬Newton法fmin_cg -- 非線性共軛梯度法fmin_ncg -- 線性搜索Newton共軛梯度法leastsq -- 最小二乘2.有約束的多元函數問題fmin_l_bfgs_b ---使用L-BFGS-B演算法fmin_tnc ---梯度信息fmin_cobyla ---線性逼近fmin_slsqp ---序列最小二乘法nnls ---解|| Ax - b ||_2 for x=03.全局優化anneal ---模擬退火演算法brute --強力法4.標量函數fminboundbrentgoldenbracket5.擬合curve_fit-- 使用非線性最小二乘法擬合6.標量函數求根brentq ---classic Brent (1973)brenth ---A variation on the classic Brent（1980）ridder ---Ridder是提出這個演算法的人名bisect ---二分法newton ---牛頓法fixed_point7.多維函數求根fsolve ---通用broyden1 ---Broyden』s first Jacobian approximation.broyden2 ---Broyden』s second Jacobian approximationnewton_krylov ---Krylov approximation for inverse Jacobiananderson ---extended Anderson mixingexcitingmixing ---tuned diagonal Jacobian approximationlinearmixing ---scalar Jacobian approximationdiagbroyden ---diagonal Broyden Jacobian approximation8.實用函數line_search ---找到滿足強Wolfe的alpha值check_grad ---通過和前向有限差分逼近比較檢查梯度函數的正確性二、實戰非線性最優化fmin完整的調用形式是：fmin(func, x0, args=(), xtol=0.0001, ftol=0.0001, maxiter=None, maxfun=None, full_output=0, disp=1, retall=0, callback=None)不過我們最常使用的就是前兩個參數。一個描述優化問題的函數以及初值。後面的那些參數我們也很容易理解。如果您能用到，請自己研究。下面研究一個最簡單的問題，來感受這個函數的使用方法：f(x)=x**2-4*x+8，我們知道，這個函數的最小值是4，在x=2的時候取到。from scipy.optimize import fmin #引入優化包def myfunc(x):return x**2-4*x+8 #定義函數x0 = [1.3] #猜一個初值xopt = fmin(myfunc, x0) #求解print xopt #列印結果運行之後，給出的結果是：Optimization terminated successfully.Current function value: 4.000000Iterations: 16Function evaluations: 32[ 2.00001953]程序准確的計算得出了最小值，不過最小值點並不是嚴格的2，這應該是由二進制機器編碼誤差造成的。除了fmin_ncg必須提供梯度信息外，其他幾個函數的調用大同小異，完全類似。我們不妨做一個對比：from scipy.optimize import fmin,fmin_powell,fmin_bfgs,fmin_cgdef myfunc(x):return x**2-4*x+8x0 = [1.3]xopt1 = fmin(myfunc, x0)print xopt1printxopt2 = fmin_powell(myfunc, x0)print xopt2printxopt3 = fmin_bfgs(myfunc, x0)print xopt3printxopt4 = fmin_cg(myfunc,x0)print xopt4給出的結果是：Optimization terminated successfully.Current function value: 4.000000Iterations: 16Function evaluations: 32[ 2.00001953]Optimization terminated successfully.Current function value: 4.000000Iterations: 2Function evaluations: 531.99999999997Optimization terminated successfully.Current function value: 4.000000Iterations: 2Function evaluations: 12Gradient evaluations: 4[ 2.00000001]Optimization terminated successfully.Current function value: 4.000000Iterations: 2Function evaluations: 15Gradient evaluations: 5[ 2.]我們可以根據給出的消息直觀的判斷演算法的執行情況。每一種演算法數學上的問題，請自己看書學習。個人感覺，如果不是純研究數學的工作，沒必要搞清楚那些推導以及定理雲雲。不過，必須了解每一種演算法的優劣以及能力所及。在使用的時候，不妨多種演算法都使用一下，看看效果分別如何，同時，還可以互相印證演算法失效的問題。在from scipy.optimize import fmin之後，就可以使用help(fmin)來查看fmin的幫助信息了。幫助信息中沒有例子，但是給出了每一個參數的含義說明，這是調用函數時候的最有價值參考。有源碼研究癖好的，或者當你需要改進這些已經實現的演算法的時候，可能需要查看optimize中的每種演算法的源代碼。在這里：https:/ / github. com/scipy/scipy/blob/master/scipy/optimize/optimize.py聰明的你肯定發現了，順著這個鏈接往上一級、再往上一級，你會找到scipy的幾乎所有源碼！

『伍』 python裡面多元非線性回歸有哪些方法

SciPy 裡面的子函數庫optimize， 一般情況下可用curve_fit函數直接擬合或者leastsq做最小二乘

『陸』 Python怎麼做最優化

一、概觀
scipy中的optimize子包中提供了常用的最優化演算法函數實現。我們可以直接調用這些函數完成我們的優化問題。optimize中函數最典型的特點就是能夠從函數名稱上看出是使用了什麼演算法。下面optimize包中函數的概覽：
1.非線性最優化
fmin -- 簡單Nelder-Mead演算法
fmin_powell -- 改進型Powell法
fmin_bfgs -- 擬Newton法
fmin_cg -- 非線性共軛梯度法
fmin_ncg -- 線性搜索Newton共軛梯度法
leastsq -- 最小二乘
2.有約束的多元函數問題
fmin_l_bfgs_b ---使用L-BFGS-B演算法
fmin_tnc ---梯度信息
fmin_cobyla ---線性逼近
fmin_slsqp ---序列最小二乘法
nnls ---解|| Ax - b ||_2 for x>=0
3.全局優化
anneal ---模擬退火演算法
brute --強力法
4.標量函數
fminbound
brent
golden
bracket
5.擬合
curve_fit-- 使用非線性最小二乘法擬合
6.標量函數求根
brentq ---classic Brent (1973)
brenth ---A variation on the classic Brent（1980）ridder ---Ridder是提出這個演算法的人名
bisect ---二分法
newton ---牛頓法
fixed_point
7.多維函數求根
fsolve ---通用
broyden1 ---Broyden』s first Jacobian approximation.
broyden2 ---Broyden』s second Jacobian approximationnewton_krylov ---Krylov approximation for inverse Jacobiananderson ---extended Anderson mixing
excitingmixing ---tuned diagonal Jacobian approximationlinearmixing ---scalar Jacobian approximationdiagbroyden ---diagonal Broyden Jacobian approximation8.實用函數
line_search ---找到滿足強Wolfe的alpha值
check_grad ---通過和前向有限差分逼近比較檢查梯度函數的正確性二、實戰非線性最優化
fmin完整的調用形式是：
fmin(func, x0, args=(), xtol=0.0001, ftol=0.0001, maxiter=None, maxfun=None, full_output=0, disp=1, retall=0, callback=None)不過我們最常使用的就是前兩個參數。一個描述優化問題的函數以及初值。後面的那些參數我們也很容易理解。如果您能用到，請自己研究。下面研究一個最簡單的問題，來感受這個函數的使用方法：f(x)=x**2-4*x+8，我們知道，這個函數的最小值是4，在x=2的時候取到。
from scipy.optimize import fmin #引入優化包def myfunc(x):
return x**2-4*x+8 #定義函數
x0 = [1.3] #猜一個初值
xopt = fmin(myfunc, x0) #求解
print xopt #列印結果
運行之後，給出的結果是：
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
程序准確的計算得出了最小值，不過最小值點並不是嚴格的2，這應該是由二進制機器編碼誤差造成的。
除了fmin_ncg必須提供梯度信息外，其他幾個函數的調用大同小異，完全類似。我們不妨做一個對比：
from scipy.optimize import fmin,fmin_powell,fmin_bfgs,fmin_cgdef myfunc(x):
return x**2-4*x+8
x0 = [1.3]
xopt1 = fmin(myfunc, x0)
print xopt1
print
xopt2 = fmin_powell(myfunc, x0)
print xopt2
print
xopt3 = fmin_bfgs(myfunc, x0)
print xopt3
print
xopt4 = fmin_cg(myfunc,x0)
print xopt4
給出的結果是：
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 53
1.99999999997
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 12
Gradient evaluations: 4
[ 2.00000001]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 15
Gradient evaluations: 5
[ 2.]
我們可以根據給出的消息直觀的判斷演算法的執行情況。每一種演算法數學上的問題，請自己看書學習。個人感覺，如果不是純研究數學的工作，沒必要搞清楚那些推導以及定理雲雲。不過，必須了解每一種演算法的優劣以及能力所及。在使用的時候，不妨多種演算法都使用一下，看看效果分別如何，同時，還可以互相印證演算法失效的問題。
在from scipy.optimize import fmin之後，就可以使用help(fmin)來查看fmin的幫助信息了。幫助信息中沒有例子，但是給出了每一個參數的含義說明，這是調用函數時候的最有價值參考。
有源碼研究癖好的，或者當你需要改進這些已經實現的演算法的時候，可能需要查看optimize中的每種演算法的源代碼。在這里：https:/ / github. com/scipy/scipy/blob/master/scipy/optimize/optimize.py聰明的你肯定發現了，順著這個鏈接往上一級、再往上一級，你會找到scipy的幾乎所有源碼！

『柒』 怎麼用Python將圖像邊界用最小二乘法擬合成曲線

本文實例講述了Python基於最小二乘法實現曲線擬合。分享給大家供大家參考，具體如下：

這里不手動實現最小二乘，調用scipy庫中實現好的相關優化函數。

考慮如下的含有4個參數的函數式：

希望本文所述對大家Python程序設計有所幫助。

『捌』 Python 怎麼用曲線擬合數據

Python中利用guiqwt進行曲線數據擬合。

示常式序：

『玖』 強烈推薦一款Python可視化神器！強烈必備！

Plotly Express 是一個新的高級 Python 可視化庫：它是 Plotly.py 的高級封裝，它為復雜的圖表提供了一個簡單的語法。

受 Seaborn 和 ggplot2 的啟發，它專門設計為具有簡潔，一致且易於學習的 API ：只需一次導入，您就可以在一個函數調用中創建豐富的互動式繪圖，包括分面繪圖（faceting）、地圖、動畫和趨勢線。 它帶有數據集、顏色面板和主題，就像 Plotly.py 一樣。

Plotly Express 完全免費：憑借其寬松的開源 MIT 許可證，您可以隨意使用它（是的，甚至在商業產品中！）。

最重要的是，Plotly Express 與 Plotly 生態系統的其他部分完全兼容：在您的 Dash 應用程序中使用它，使用 Orca 將您的數據導出為幾乎任何文件格式，或使用JupyterLab 圖表編輯器在 GUI 中編輯它們！

用 pip install plotly_express 命令可以安裝 Plotly Express。

一旦導入Plotly Express（通常是 px ），大多數繪圖只需要一個函數調用，接受一個整潔的Pandas dataframe，並簡單描述你想要製作的圖。 如果你想要一個基本的散點圖，它只是 px.scatter（data，x =「column_name」，y =「column_name」）。

以下是內置的 Gapminder 數據集的示例，顯示2007年按國家/地區的人均預期壽命和人均GDP 之間的趨勢：

如果你想通過大陸區分它們，你可以使用 color 參數為你的點著色，由 px 負責設置默認顏色，設置圖例等：

這里的每一點都是一個國家，所以也許我們想要按國家人口來衡量這些點...... 沒問題：這里也有一個參數來設置，它被稱為 size：

如果你好奇哪個國家對應哪個點？ 可以添加一個 hover_name ，您可以輕松識別任何一點：只需將滑鼠放在您感興趣的點上即可！ 事實上，即使沒有 hover_name ，整個圖表也是互動的：

也可以通過 facet_col =」continent「 來輕松劃分各大洲，就像著色點一樣容易，並且讓我們使用 x軸 對數（log_x）以便在我們在圖表中看的更清晰：

也許你不僅僅對 2007年 感興趣，而且你想看看這張圖表是如何隨著時間的推移而演變的。 可以通過設置 animation_frame=「year」 （以及 animation_group =「country」 來標識哪些圓與控制條中的年份匹配）來設置動畫。

在這個最終版本中，讓我們在這里調整一些顯示，因為像「gdpPercap」 這樣的文本有點難看，即使它是我們的數據框列的名稱。 我們可以提供更漂亮的「標簽」 （labels），可以在整個圖表、圖例、標題軸和懸停（hovers）中應用。 我們還可以手動設置邊界，以便動畫在整個過程中看起來更棒：

因為這是地理數據，我們也可以將其表示為動畫地圖，因此這清楚地表明 Plotly Express 不僅僅可以繪制散點圖（不過這個數據集缺少前蘇聯的數據）。

事實上，Plotly Express 支持三維散點圖、三維線形圖、極坐標和地圖上三元坐標以及二維坐標。 條形圖（Bar）有二維笛卡爾和極坐標風格。

進行可視化時，您可以使用單變數設置中的直方圖（histograms）和箱形圖（box）或小提琴圖（violin plots），或雙變數分布的密度等高線圖（density contours）。 大多數二維笛卡爾圖接受連續或分類數據，並自動處理日期/時間數據。 可以查看我們的圖庫 (ref-3) 來了解每個圖表的例子。

數據 探索 的主要部分是理解數據集中值的分布，以及這些分布如何相互關聯。 Plotly Express 有許多功能來處理這些任務。

使用直方圖（histograms），箱形圖（box）或小提琴圖（violin plots）可視化單變數分布：

直方圖：

箱形圖：

小提琴圖：

還可以創建聯合分布圖（marginal rugs），使用直方圖，箱形圖（box）或小提琴來顯示雙變數分布，也可以添加趨勢線。 Plotly Express 甚至可以幫助你在懸停框中添加線條公式和R²值！ 它使用 statsmodels 進行普通最小二乘（OLS）回歸或局部加權散點圖平滑（LOWESS）。

在上面的一些圖中你會注意到一些不錯的色標。 在 Plotly Express 中， px.colors 模塊包含許多有用的色標和序列：定性的、序列型的、離散的、循環的以及所有您喜歡的開源包：ColorBrewer、cmocean 和 Carto 。 我們還提供了一些功能來製作可瀏覽的樣本供您欣賞（ref-3）：

定性的顏色序列：

眾多內置順序色標中的一部分：

我們特別為我們的互動式多維圖表感到自豪，例如散點圖矩陣（SPLOMS）、平行坐標和我們稱之為並行類別的並行集。 通過這些，您可以在單個圖中可視化整個數據集以進行數據 探索 。 在你的Jupyter 筆記本中查看這些單行及其啟用的交互：

散點圖矩陣（SPLOM）允許您可視化多個鏈接的散點圖：數據集中的每個變數與其他變數的關系。 數據集中的每一行都顯示為每個圖中的一個點。 你可以進行縮放、平移或選擇操作，你會發現所有圖都鏈接在一起！

平行坐標允許您同時顯示3個以上的連續變數。 dataframe 中的每一行都是一行。 您可以拖動尺寸以重新排序它們並選擇值范圍之間的交叉點。

並行類別是並行坐標的分類模擬：使用它們可視化數據集中多組類別之間的關系。

Plotly Express 之於 Plotly.py 類似 Seaborn 之於 matplotlib：Plotly Express 是一個高級封裝庫，允許您快速創建圖表，然後使用底層 API 和生態系統的強大功能進行修改。 對於Plotly 生態系統，這意味著一旦您使用 Plotly Express 創建了一個圖形，您就可以使用Themes，使用 FigureWidgets 進行命令性編輯，使用 Orca 將其導出為幾乎任何文件格式，或者在我們的 GUI JupyterLab 圖表編輯器中編輯它 。

主題（Themes）允許您控制圖形范圍的設置，如邊距、字體、背景顏色、刻度定位等。 您可以使用模板參數應用任何命名的主題或主題對象：

有三個內置的 Plotly 主題可以使用， 分別是 plotly， plotlywhite 和 plotlydark。

px 輸出繼承自 Plotly.py 的 Figure 類 ExpressFigure 的對象，這意味著你可以使用任何 Figure 的訪問器和方法來改變 px生成的繪圖。 例如，您可以將 .update（） 調用鏈接到 px 調用以更改圖例設置並添加註釋。 .update（） 現在返回修改後的數字，所以你仍然可以在一個很長的 Python 語句中執行此操作：

在這里，在使用 Plotly Express 生成原始圖形之後，我們使用 Plotly.py 的 API 來更改一些圖例設置並添加註釋。

Dash 是 Plotly 的開源框架，用於構建具有 Plotly.py 圖表的分析應用程序和儀錶板。Plotly Express 產生的對象與 Dash 100％兼容，只需將它們直接傳遞到 dash_core_components.Graph，如下所示： dcc.Graph（figure = px.scatter（...））。 這是一個非常簡單的 50行 Dash 應用程序的示例，它使用 px 生成其中的圖表：

這個 50 行的 Dash 應用程序使用 Plotly Express 生成用於瀏覽數據集的 UI 。

可視化數據有很多原因：有時您想要提供一些想法或結果，並且您希望對圖表的每個方面施加很多控制，有時您希望快速查看兩個變數之間的關系。 這是交互與 探索 的范疇。

Plotly.py 已經發展成為一個非常強大的可視化交互工具：它可以讓你控制圖形的幾乎每個方面，從圖例的位置到刻度的長度。 不幸的是，這種控制的代價是冗長的：有時可能需要多行 Python 代碼才能用 Plotly.py 生成圖表。

我們使用 Plotly Express 的主要目標是使 Plotly.py 更容易用於 探索 和快速迭代。

我們想要構建一個庫，它做出了不同的權衡：在可視化過程的早期犧牲一些控制措施來換取一個不那麼詳細的 API，允許你在一行 Python 代碼中製作各種各樣的圖表。 然而，正如我們上面所示，該控制項並沒有消失：你仍然可以使用底層的 Plotly.py 的 API 來調整和優化用 Plotly Express 製作的圖表。

支持這種簡潔 API 的主要設計決策之一是所有 Plotly Express 的函數都接受「整潔」的 dataframe 作為輸入。 每個 Plotly Express 函數都體現了dataframe 中行與單個或分組標記的清晰映射，並具有圖形啟發的語法簽名，可讓您直接映射這些標記的變數，如 x 或 y 位置、顏色、大小、 facet-column 甚至是 動畫幀到數據框（dataframe）中的列。 當您鍵入 px.scatter（data，x ='col1'，y='col2'） 時，Plotly Express 會為數據框中的每一行創建一個小符號標記 - 這就是 px.scatter 的作用 - 並將 「col1」 映射到 x 位置（類似於 y 位置）。 這種方法的強大之處在於它以相同的方式處理所有可視化變數：您可以將數據框列映射到顏色，然後通過更改參數來改變您的想法並將其映射到大小或進行行分面（facet-row）。

接受整個整潔的 dataframe 的列名作為輸入（而不是原始的 numpy 向量）也允許 px 為你節省大量的時間，因為它知道列的名稱，它可以生成所有的 Plotly.py 配置用於標記圖例、軸、懸停框、構面甚至動畫幀。 但是，如上所述，如果你的 dataframe 的列被笨拙地命名，你可以告訴 px 用每個函數的 labels 參數替換更好的。

僅接受整潔輸入所帶來的最終優勢是它更直接地支持快速迭代：您整理一次數據集，從那裡可以使用 px 創建數十種不同類型的圖表，包括在 SPLOM 中可視化多個維度 、使用平行坐標、在地圖上繪制，在二維、三維極坐標或三維坐標中使用等，所有這些都不需要重塑您的數據！

在 API 級別，我們在 px 中投入了大量的工作，以確保所有參數都被命名，以便在鍵入時最大限度地發現：所有 scatter -類似的函數都以 scatter 開頭（例如 scatter_polar， scatter_ternary）所以你可以通過自動補全來發現它們。 我們選擇拆分這些不同的散點圖函數，因此每個散點圖函數都會接受一組定製的關鍵字參數，特別是它們的坐標系。 也就是說，共享坐標系的函數集（例如 scatter， line ＆ bar，或 scatter_polar， line_polar 和 bar_polar ）也有相同的參數，以最大限度地方便學習。 我們還花了很多精力來提出簡短而富有表現力的名稱，這些名稱很好地映射到底層的 Plotly.py 屬性，以便於在工作流程中稍後調整到交互的圖表中。

最後，Plotly Express 作為一個新的 Python 可視化庫，在 Plotly 生態系統下，將會迅速發展。所以不要猶豫，立即開始使用 Plotly Express 吧！

『拾』 Python怎麼做最優化

最優化
為什麼要做最優化呢？因為在生活中，人們總是希望幸福值或其它達到一個極值，比如做生意時希望成本最小，收入最大，所以在很多商業情境中，都會遇到求極值的情況。
函數求根
這里「函數的根」也稱「方程的根」，或「函數的零點」。
先把我們需要的包載入進來。import numpy as npimport scipy as spimport scipy.optimize as optimport matplotlib.pyplot as plt%matplotlib inline
函數求根和最優化的關系？什麼時候函數是最小值或最大值？
兩個問題一起回答：最優化就是求函數的最小值或最大值，同時也是極值，在求一個函數最小值或最大值時，它所在的位置肯定是導數為 0 的位置，所以要求一個函數的極值，必然要先求導，使其為 0，所以函數求根就是為了得到最大值最小值。
scipy.optimize 有什麼方法可以求根？
可以用 scipy.optimize 中的 bisect 或 brentq 求根。f = lambda x: np.cos(x) - x # 定義一個匿名函數x = np.linspace(-5, 5, 1000) # 先生成 1000 個 xy = f(x) # 對應生成 1000 個 f(x)plt.plot(x, y); # 看一下這個函數長什麼樣子plt.axhline(0, color='k'); # 畫一根橫線，位置在 y=0

opt.bisect(f, -5, 5) # 求取函數的根0.7390851332155535plt.plot(x, y)plt.axhline(0, color='k')plt.scatter([_], [0], c='r', s=100); # 這里的 [_] 表示上一個 Cell 中的結果，這里是 x 軸上的位置，0 是 y 上的位置

求根有兩種方法，除了上面介紹的 bisect，還有 brentq，後者比前者快很多。%timeit opt.bisect(f, -5, 5)%timeit opt.brentq(f, -5, 5)10000 loops, best of 3: 157 s per loopThe slowest run took 11.65 times longer than the fastest. This could mean that an intermediate result is being cached.10000 loops, best of 3: 35.9 s per loop
函數求最小化
求最小值就是一個最優化問題。求最大值時只需對函數做一個轉換，比如加一個負號，或者取倒數，就可轉成求最小值問題。所以兩者是同一問題。
初始值對最優化的影響是什麼？
舉例來說，先定義個函數。f = lambda x: 1-np.sin(x)/xx = np.linspace(-20., 20., 1000)y = f(x)
當初始值為 3 值，使用 minimize 函數找到最小值。minimize 函數是在新版的 scipy 里，取代了以前的很多最優化函數，是個通用的介面，背後是很多方法在支撐。x0 = 3xmin = opt.minimize(f, x0).x # x0 是起始點，起始點最好離真正的最小值點不要太遠plt.plot(x, y)plt.scatter(x0, f(x0), marker='o', s=300); # 起始點畫出來，用圓圈表示plt.scatter(xmin, f(xmin), marker='v', s=300); # 最小值點畫出來，用三角表示plt.xlim(-20, 20);

初始值為 3 時，成功找到最小值。
現在來看看初始值為 10 時，找到的最小值點。x0 = 10xmin = opt.minimize(f, x0).xplt.plot(x, y)plt.scatter(x0, f(x0), marker='o', s=300)plt.scatter(xmin, f(xmin), marker='v', s=300)plt.xlim(-20, 20);

由上圖可見，當初始值為 10 時，函數找到的是局部最小值點，可見 minimize 的默認演算法對起始點的依賴性。
那麼怎麼才能不管初始值在哪個位置，都能找到全局最小值點呢？
如何找到全局最優點？
可以使用 basinhopping 函數找到全局最優點，相關背後演算法，可以看幫助文件，有提供論文的索引和出處。
我們設初始值為 10 看是否能找到全局最小值點。x0 = 10from scipy.optimize import basinhoppingxmin = basinhopping(f,x0,stepsize = 5).xplt.plot(x, y);plt.scatter(x0, f(x0), marker='o', s=300);plt.scatter(xmin, f(xmin), marker='v', s=300);plt.xlim(-20, 20);

當起始點在比較遠的位置，依然成功找到了全局最小值點。
如何求多元函數最小值？
以二元函數為例，使用 minimize 求對應的最小值。def g(X): x,y = X return (x-1)**4 + 5 * (y-1)**2 - 2*x*yX_opt = opt.minimize(g, (8, 3)).x # (8,3) 是起始點print X_opt[ 1.88292611 1.37658521]fig, ax = plt.subplots(figsize=(6, 4)) # 定義畫布和圖形x_ = y_ = np.linspace(-1, 4, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, g((X, Y)), 50) # 等高線圖ax.plot(X_opt[0], X_opt[1], 'r*', markersize=15) # 最小點的位置是個元組ax.set_xlabel(r"$x_1$", fontsize=18)ax.set_ylabel(r"$x_2$", fontsize=18)plt.colorbar(c, ax=ax) # colorbar 表示顏色越深，高度越高fig.tight_layout()

畫3D 圖。from mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmfig = plt.figure()ax = fig.gca(projection='3d')x_ = y_ = np.linspace(-1, 4, 100)X, Y = np.meshgrid(x_, y_)surf = ax.plot_surface(X, Y, g((X,Y)), rstride=1, cstride=1, cmap=cm.coolwarm, linewidth=0, antialiased=False)cset = ax.contour(X, Y, g((X,Y)), zdir='z',offset=-5, cmap=cm.coolwarm)fig.colorbar(surf, shrink=0.5, aspect=5);

曲線擬合
曲線擬合和最優化有什麼關系？
曲線擬合的問題是，給定一組數據，它可能是沿著一條線散布的，這時要找到一條最優的曲線來擬合這些數據，也就是要找到最好的線來代表這些點，這里的最優是指這些點和線之間的距離是最小的，這就是為什麼要用最優化問題來解決曲線擬合問題。
舉例說明，給一些點，找到一條線，來擬合這些點。
先給定一些點：N = 50 # 點的個數m_true = 2 # 斜率b_true = -1 # 截距dy = 2.0 # 誤差np.random.seed(0)xdata = 10 * np.random.random(N) # 50 個 x，服從均勻分布ydata = np.random.normal(b_true + m_true * xdata, dy) # dy 是標准差plt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');

上面的點整體上呈現一個線性關系，要找到一條斜線來代表這些點，這就是經典的一元線性回歸。目標就是找到最好的線，使點和線的距離最短。要優化的函數是點和線之間的距離，使其最小。點是確定的，而線是可變的，線是由參數值，斜率和截距決定的，這里就是要通過優化距離找到最優的斜率和截距。
點和線的距離定義如下：def chi2(theta, x, y): return np.sum(((y - theta[0] - theta[1] * x)) ** 2)
上式就是誤差平方和。
誤差平方和是什麼？有什麼作用？
誤差平方和公式為：
誤差平方和大，表示真實的點和預測的線之間距離太遠，說明擬合得不好，最好的線，應該是使誤差平方和最小，即最優的擬合線，這里是條直線。
誤差平方和就是要最小化的目標函數。
找到最優的函數，即斜率和截距。theta_guess = [0, 1] # 初始值theta_best = opt.minimize(chi2, theta_guess, args=(xdata, ydata)).xprint(theta_best)[-1.01442005 1.93854656]
上面兩個輸出即是預測的直線斜率和截距，我們是根據點來反推直線的斜率和截距，那麼真實的斜率和截距是多少呢？-1 和 2，很接近了，差的一點是因為有噪音的引入。xfit = np.linspace(0, 10)yfit = theta_best[0] + theta_best[1] * xfitplt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');plt.plot(xfit, yfit, '-k');

最小二乘（Least Square）是什麼？
上面用的是 minimize 方法，這個問題的目標函數是誤差平方和，這就又有一個特定的解法，即最小二乘。
最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小，這里的「二乘」指的是用平方來度量觀測點與估計點的遠近（在古漢語中「平方」稱為「二乘」），「最小」指的是參數的估計值要保證各個觀測點與估計點的距離的平方和達到最小。
關於最小二乘估計的計算，涉及更多的數學知識，這里不想詳述，其一般的過程是用目標函數對各參數求偏導數，並令其等於 0，得到一個線性方程組。具體推導過程可參考斯坦福機器學習講義 第 7 頁。def deviations(theta, x, y): return (y - theta[0] - theta[1] * x)theta_best, ier = opt.leastsq(deviations, theta_guess, args=(xdata, ydata))print(theta_best)[-1.01442016 1.93854659]
最小二乘 leastsq 的結果跟 minimize 結果一樣。注意 leastsq 的第一個參數不再是誤差平方和 chi2，而是誤差本身 deviations，即沒有平方，也沒有和。yfit = theta_best[0] + theta_best[1] * xfitplt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');plt.plot(xfit, yfit, '-k');

非線性最小二乘
上面是給一些點，擬合一條直線，擬合一條曲線也是一樣的。def f(x, beta0, beta1, beta2): # 首先定義一個非線性函數，有 3 個參數 return beta0 + beta1 * np.exp(-beta2 * x**2)beta = (0.25, 0.75, 0.5) # 先猜 3 個 betaxdata = np.linspace(0, 5, 50)y = f(xdata, *beta)ydata = y + 0.05 * np.random.randn(len(xdata)) # 給 y 加噪音def g(beta): return ydata - f(xdata, *beta) # 真實 y 和 預測值的差，求最優曲線時要用到beta_start = (1, 1, 1)beta_opt, beta_cov = opt.leastsq(g, beta_start)print beta_opt # 求到的 3 個最優的 beta 值[ 0.25525709 0.74270226 0.54966466]
拿估計的 beta_opt 值跟真實的 beta = (0.25, 0.75, 0.5) 值比較，差不多。fig, ax = plt.subplots()ax.scatter(xdata, ydata) # 畫點ax.plot(xdata, y, 'r', lw=2) # 真實值的線ax.plot(xdata, f(xdata, *beta_opt), 'b', lw=2) # 擬合的線ax.set_xlim(0, 5)ax.set_xlabel(r"$x$", fontsize=18)ax.set_ylabel(r"$f(x, \beta)$", fontsize=18)fig.tight_layout()

除了使用最小二乘，還可以使用曲線擬合的方法，得到的結果是一樣的。beta_opt, beta_cov = opt.curve_fit(f, xdata, ydata)print beta_opt[ 0.25525709 0.74270226 0.54966466]
有約束的最小化
有約束的最小化是指，要求函數最小化之外，還要滿足約束條件，舉例說明。
邊界約束def f(X): x, y = X return (x-1)**2 + (y-1)**2 # 這是一個碗狀的函數x_opt = opt.minimize(f, (0, 0), method='BFGS').x # 無約束最優化
假設有約束條件，x 和 y 要在一定的范圍內，如 x 在 2 到 3 之間，y 在 0 和 2 之間。bnd_x1, bnd_x2 = (2, 3), (0, 2) # 對自變數的約束x_cons_opt = opt.minimize(f, np.array([0, 0]), method='L-BFGS-B', bounds=[bnd_x1, bnd_x2]).x # bounds 矩形約束fig, ax = plt.subplots(figsize=(6, 4))x_ = y_ = np.linspace(-1, 3, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, f((X,Y)), 50)ax.plot(x_opt[0], x_opt[1], 'b*', markersize=15) # 沒有約束下的最小值，藍色五角星ax.plot(x_cons_opt[0], x_cons_opt[1], 'r*', markersize=15) # 有約束下的最小值，紅色星星bound_rect = plt.Rectangle((bnd_x1[0], bnd_x2[0]), bnd_x1[1] - bnd_x1[0], bnd_x2[1] - bnd_x2[0], facecolor="grey")ax.add_patch(bound_rect)ax.set_xlabel(r"$x_1$", fontsize=18)ax.set_ylabel(r"$x_2$", fontsize=18)plt.colorbar(c, ax=ax)fig.tight_layout()

不等式約束
介紹下相關理論，先來看下存在等式約束的極值問題求法，比如下面的優化問題。
目標函數是 f(w)，下面是等式約束，通常解法是引入拉格朗日運算元，這里使用 ββ 來表示運算元，得到拉格朗日公式為
l 是等式約束的個數。
然後分別對 w 和ββ 求偏導，使得偏導數等於 0，然後解出 w 和βiβi，至於為什麼引入拉格朗日運算元可以求出極值，原因是 f(w) 的 dw 變化方向受其他不等式的約束，dw的變化方向與f(w)的梯度垂直時才能獲得極值，而且在極值處，f(w) 的梯度與其他等式梯度的線性組合平行，因此他們之間存在線性關系。（參考《最優化與KKT條件》）
對於不等式約束的極值問題
常常利用拉格朗日對偶性將原始問題轉換為對偶問題，通過解對偶問題而得到原始問題的解。該方法應用在許多統計學習方法中。有興趣的可以參閱相關資料，這里不再贅述。def f(X): return (X[0] - 1)**2 + (X[1] - 1)**2def g(X): return X[1] - 1.75 - (X[0] - 0.75)**4x_opt = opt.minimize(f, (0, 0), method='BFGS').xconstraints = [dict(type='ineq', fun=g)] # 約束採用字典定義，約束方式為不等式約束，邊界用 g 表示x_cons_opt = opt.minimize(f, (0, 0), method='SLSQP', constraints=constraints).xfig, ax = plt.subplots(figsize=(6, 4))x_ = y_ = np.linspace(-1, 3, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, f((X, Y)), 50)ax.plot(x_opt[0], x_opt[1], 'b*', markersize=15) # 藍色星星，沒有約束下的最小值ax.plot(x_, 1.75 + (x_-0.75)**4, '', markersize=15)ax.fill_between(x_, 1.75 + (x_-0.75)**4, 3, color="grey")ax.plot(x_cons_opt[0], x_cons_opt[1], 'r*', markersize=15) # 在區域約束下的最小值ax.set_ylim(-1, 3)ax.set_xlabel(r"$x_0$", fontsize=18)ax.set_ylabel(r"$x_1$", fontsize=18)plt.colorbar(c, ax=ax)fig.tight_layout()

scipy.optimize.minimize 中包括了多種最優化演算法，每種演算法使用范圍不同，詳細參考官方文檔。