支持向量機python代碼

⑴ 什麼是python的scikit-learn

Scikit-learn是針對Python編程語言的免費軟體機器學習庫，具有各種分類、回歸和聚類演算法，包含支持向量機、隨機森林、梯度提升，K均值和DBSCAN，並且旨在與Python數值科學圖書館Numpy和Scipy。
Scikit-learn項目始於Scikit.learn，這是David Cournapeau的Google Summer of Code項目。它的名稱源於它是Scikit的概念，它是Scikit的獨立開發和分布式第三方擴展，原始代碼庫後來被其他開發人員重寫。2010年費邊Pedregosa，蓋爾Varoquaux，亞歷山大Gramfort和Vincent米歇爾，全部由法國國家信息與自動化研究所的羅屈昂庫爾，法國，把該項目的領導和做出的首次公開發行在二月一日2010在各種scikits中，scikit-learn以及scikit-image在2012年11月被描述為維護良好且受歡迎 。 Scikit-learn是GitHub上最受歡迎的機器學習庫之一。
Scikit-learn主要是用Python編寫的，並且廣泛使用Numpy進行高性能的線性代數和數組運算。此外，用cython編寫了一些核心演算法來提高性能，支持向量機由圍繞LIBSVM的cython包裝器實現;邏輯回歸和線性支持向量機的相似包裝圍繞LIBLINEAR。這種情況下，可能無法使用Python擴展這些方法。
Scikit-learn還與許多其他Python庫很好地集成在一起，比如matplotlib和plotly用於繪圖、numpy用於數組矢量化、pandas數據幀、scipy等。

⑵ 求python多元支持向量機多元回歸模型最後預測結果導出代碼、測試集與真實值R2以及對比圖代碼

這是一個多元支持向量機回歸的模型，以下是一個參考的實現代碼：
import numpy as npimport matplotlib.pyplot as pltfrom sklearn import svmfrom sklearn.metrics import r2_score
# 模擬數據
np.random.seed(0)
X = np.sort(5 * np.random.rand(80, 1), axis=0)
y = np.sin(X).ravel()
y[::5] += 3 * (0.5 - np.random.rand(16))
# 分割數據
train_X = X[:60]
train_y = y[:60]
test_X = X[60:]
test_y = y[60:]
# 模型訓練
model = svm.SVR(kernel='rbf', C=1e3, gamma=0.1)
model.fit(train_X, train_y)
# 預測結果
pred_y = model.predict(test_X)# 計算R2r2 = r2_score(test_y, pred_y)
# 對比圖
plt.scatter(test_X, test_y, color='darkorange', label='data'指敏)
plt.plot(test_X, pred_y, color='navy', lw=2, label='SVR model')
plt.title('R2={:.2f}'.format(r2))
plt.legend()
plt.show()
上面的代碼將數據分為訓練數據和測試數據，使用SVR模型對訓練唯配枝數據進行訓練，然後對測試數據進行預測。計算預測結果與真實值的R2，最後賣逗將結果畫出對比圖，以評估模型的效果。

⑶ 求python支持向量機多元回歸預測代碼

這是一段用 Python 來實現 SVM 多元回歸預測的代碼示例：
# 導入相關核胡庫
from sklearn import datasets
from sklearn.svm import SVR
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
# 載入數據集
X, y = datasets.load_boston(return_X_y=True)
# 將數據集拆分為訓練集和測試改塌攔集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
# 創建SVM多元回歸模型
reg = SVR(C=1.0, epsilon=0.2)
# 訓練模型
reg.fit(X_train, y_train)
# 預測結果
y_pred = reg.predict(X_test)
# 計算均方誤差
mse = mean_squared_error(y_test, y_pred)
print("Mean Squared Error:", mse)
在這段代碼中，首先導入了相關的庫，包括 SVR 函數衫仔、train_test_split 函數和 mean_squared_error 函數。然後，使用 load_boston 函數載入數據集，並將數據集分為訓練集和測試集。接著，使用 SVR 函數創建了一個 SVM 多元回歸模型，並使用 fit 函數對模型進行訓練。最後，使用 predict 函數進行預測，並使用 mean_squared_error 函數計算均方誤差。
需要注意的是，這僅僅是一個示例代碼，在實際應用中，可能需要根據項目的需求進行更改，例如使用不同的超參數

⑷ 支持向量機—從推導到python手寫

筆者比較懶能截圖的地方都截圖了。

支持向量機分為三類：
（1）線性可分支持向量機，樣本線性可分，可通過硬間隔最大化訓練一個分類器。
（2）線性支持向量機，樣本基本線性可分，可通過軟間隔最大化訓練一個分類器。
（3）非線性支持向量機，樣本線性不可分，可通過核函數和軟間隔最森鬧大化訓練一個分類器。
上面最不好理解的恐怕就是硬間隔和軟間隔了，
說白了硬間隔就是說存在這么一個平面，可以把樣本完全正確無誤的分開，當然這是一種極理想的情況，現實中不存在，所以就有了軟間隔。
軟間隔說的是，不存在一個平面可以把樣本完全正確無誤的分開，因此呢允許一些樣本被分錯，怎麼做呢就是加入鬆弛變數，因為希望分錯的樣本越小越好，因此鬆弛變數也有約束條件。加入鬆弛變數後，問題就變為線性可分了，因為是每一個樣本都線性可分，因此鬆弛變數是針對樣本的，每一個樣本都對應一個不同的鬆弛變數。

其實感知機說白了就是找到一條直線把樣本點分開，就是上方都是一類，下方是另一類。當然完全分開是好事，往往是不能完全分開的，因此就存在一個損失函數，就是誤分類點到這個平面的距離最短：

這里啰嗦一句，誤分類點y*(wx+b)<0，所以加個負號在前邊。
一般情況下||w||都是可以縮放，那麼我們把它縮放到1，最後的目標函數就變成了

間隔就是距離，我們假設分離超平面為 ，那麼樣本點到此毀罩這個平面的距離可以記為 。我們都知道通過感知機劃分的點，超平面上方的點 ，下方的點 ，然後通過判斷 的值與y的符號是否一致來判斷分類是否正確。根據這個思路函數間隔定義為：

支持向量的定義來源於幾何間隔，幾何間隔最直接的解釋是離分隔超平面最近點的距離，其他任何點到平面的距離都大於這個值，所以幾何間隔就是支持向量。然後呢同樣道理，w和b是可以縮放的，所以定義支持向量滿足如下條件：

再通俗一點說余森，支持向量是一些點，這些點到分隔平面的距離最近，為了便於表示，把他們進行一下縮放計算，讓他們滿足了wx+b=+-1.

核函數是支持向量機的核心概念之一，它存在的目的就是將維度轉換之後的計算簡化，達到減少計算量的目的。我們都知道支持向量機求的是間距最大化，通常情況下我們求得的alpha都等於0，因此支持向量決定了間距最大化程度。
核函數的形式是這樣的

其中x(i)和x(j)都是向量，他們兩個相乘就是向量內積，相乘得到一個數。剛才說了目標函數一般只和支持向量有關，因此在做核函數計算之前，實際就是選擇的支持向量進行計算。

這個寫完下面得再補充

我們知道了支持向量的概念，那麼支持向量機的目標函數是要使這兩個支持向量之間的距離盡可能的遠，因為這樣才能更好地把樣本點分開，當然支持向量也要滿足最基本的約束條件，那就是分類正確，還有就是其他點到分隔平面的距離要大於等於支持向量到分隔平面的距離。

這種凸優化問題都可以通過拉格朗日運算元進行優化，就是把約束條件通過拉格朗日系數放到目標函數上。這部分基礎知識，就是拉格朗日演算法可以將等式約束和不等式約束都加到目標函數上，完成求解問題的轉換，但是要滿足一些約束條件，也就是我們後邊要說的kkt條件。
這里有個細節就是轉換時候的加減號問題，這個和目標函數還有約束的正負號有關。一般這么理解，就是求最小化問題時候，如果約束是大於0的，那麼拉個朗日運算元可以減到這一部分，這樣一來目標函數只能越來越小，最優解就是約束為0的時候，這個時候和沒有約束的等價，再求最小就是原問題了。

這里是最小化問題，直接減掉這部分約束，然後後半部分永遠大於等於0所以這個式子的值是要小於原來目標函數值的。我們知道當x滿足原問題的約束條件的時候，最大化L就等於那個原目標函數。所以我們可以把這個問題轉化為：

把它帶回去原來的目標函數中，整理一下。

這個時候只要求最優的α，就可以求出w和b了。我們上邊做了那麼一堆轉換，這個過程要滿足一個叫做kkt條件的東西，其實這個東西就是把一堆約束條件整理到一起。
（1）原有問題的可行性，即h(x )=0,g(x )<0
放到這里就是：

SMO演算法的核心思想是求出最優化的α，然後根據之前推導得到的w,b,α之間的關系計算得到w和b，最後的計算公式是：

現在的問題就是怎麼求α了。
SMO演算法總共分兩部分，一部分是求解兩個α的二次規劃演算法，另一部分是選擇兩個α的啟發式演算法。
先說這個選擇α的啟發式演算法部分：大神可以證明優先優化違反kkt條件的α可以最快獲得最優解，至於咋證明的，就先不看了。

在講支持向量機的求解演算法時候，直接給出了核函數K，那麼怎麼去理解核函數呢。核函數的作用是解決樣本點在高維空間的內積運算問題，怎麼理解呢，通常的分類問題都是有很多個特徵的，然後為了達到現線性可分，又會從低維映射到高維，樣本量再一多計算量非常大，因此先通過函數進行一個轉換，減少乘法的計算量。
要理解核函數，先理解內積運算，內積運算實際是兩個向量，對應位置相乘加和，比如我有x1 = [v1,v2], x2=[w1,w2]，那麼x1和x2的內積計算方法就是：v1w1+v2w2。
如果上面那種情況線性不可分，需要到高維進行映射，讓數據變得線性可分，然後數據變為五維的，即v1 ^2+v2 2+v1+v2+v1v2，然後再進行一次內積計算，數據變為 。
稍作變換，可以變為 ，形式展開和上邊那個長式子差不多，然後其實可以映射內積相乘的情況，所以可以進行核函數的變化。
問題在於，當你需要顯式的寫出來映射形式的時候，在維度很高的時候，需要計算的量太大，比如x1有三個維度，再進行映射就有19維度了，計算很復雜。如果用核函數，還是在原來低維度進行運算，既有相似的效果（映射到高維），又低運算量，這就是核函數的作用了。
核函數的種類：

這部分的核心在於SMO演算法的編寫。有待補充。

⑸ 常用Python機器學習庫有哪些

Python作為一門理想的集成語言，將各種技術綁定在一起，除了為用戶提供更方便的功能之外，還是一個理想的粘合平台，在開發人員與外部庫的低層次集成人員之間搭建連接，以便用C、C++實現更高效的演算法。
使用Python編程可以快速遷移代碼並進行改動，無須花費過多的精力在修改代碼與代碼規范上。開發者在Python中封裝了很多優秀的依賴庫，可以直接拿來使用，常見的機器學習庫如下：
1、Scikit-Learn
Scikit-Learn基於Numpy和Scipy，是專門為機器學習建造的一個Python模塊，提供了大量用於數據挖掘和分析的工具，包括數據預處理、交叉驗證、演算法與可視化演算法等一系列介面。
Scikit-Learn基本功能可分為六個部分：分類、回歸、聚類、數據降維、模型選擇、數據預處理。其中集成了大量分類、回歸、聚類功能，包括支持向量機、邏輯回歸、隨機森林、樸素貝葉斯等。
2、Orange3
Orange3是一個基於組件的數據挖掘和機器學習軟體套裝，支持Python進行腳本開發。它包含一系列的數據可視化、檢索、預處理和建模技術，具有一個良好的用戶界面，同時也可以作為Python的一個模塊使用。
用戶可通過數據可視化進行數據分析，包含統計分布圖、柱狀圖、散點圖，以及更深層次的決策樹、分層聚簇、熱點圖、MDS等，並可使用它自帶的各類附加功能組件進行NLP、文本挖掘、構建網路分析等。
3、XGBoost
XGBoost是專注於梯度提升演算法的機器學習函數庫，因其優良的學習效果及高效的訓練速度而獲得廣泛的關注。XGBoost支持並行處理，比起同樣實現了梯度提升演算法的Scikit-Learn庫，其性能提升10倍以上。XGBoost可以處理回歸、分類和排序等多種任務。
4、NuPIC
NuPIC是專注於時間序列的一個機器學習平台，其核心演算法為HTM演算法，相比於深度學習，其更為接近人類大腦的運行結構。HTM演算法的理論依據主要是人腦中處理高級認知功能的新皮質部分的運行原理。NuPIC可用於預測以及異常檢測，使用面非常廣，僅要求輸入時間序列即可。
5、Milk
Milk是Python中的一個機器學習工具包。Milk注重提升運行速度與降低內存佔用，因此大部分對性能敏感的代碼都是使用C++編寫的，為了便利性在此基礎上提供Python介面。重點提供監督分類方法，如SVMs、KNN、隨機森林和決策樹等。