python機器學習經典實例

⑴ python3機器學習實踐：集成學習之LightGBM

LightGBM是微軟的開源分布式高性能Gradient Boosting框架，使用基於決策樹的學習演算法。本文將詳細介紹此框架的優化，包括速度、內存優化、針對稀疏特徵的優化、優化樹的生長策略以提高准確率、網路通信優化、並行學習優化以及GPU支持。
速度、內存方面的優化：LightGBM使用基於直方圖的演算法，將連續特徵值存儲到離散區間，加快訓練速度並減少內存使用量。相比基於預排序的演算法，直方圖演算法在構建直方圖後具有更低的時間復雜度。
針對稀疏特徵優化：對於稀疏特徵，LightGBM只需要O(2 * 非零值的樣本個數)的時間復雜度來構造直方圖，顯著提高了處理效率。
優化樹的生長策略：LightGBM以Leaf_wise方式生成樹，選擇具有最大增益損失的葉子節點進行分裂，使得生成的樹在樣本較少的情況下具有更高的擬合度。通過參數max_depth限制樹的深度，可以防止過度擬合。找到特徵的最優分割點，通過將類別劃分為2個子集，實現更准確的預測。
網路通信優化：LightGBM使用聚合通信演算法如「All rece」、「All gather」和「Rece scatter」，提供優於點對點通信的性能。
並行學習優化：LightGBM提供特徵並行、數據並行、投票並行的優化。特徵並行通過每個線程擁有完整數據集，避免了分割結果的通信成本。數據並行通過減少通信開銷降低計算成本。投票並行通過兩階段投票進一步降低通信成本，使其達到常數級別。
GPU支持：LightGBM支持GPU加速，具體實現請參考英文文檔。
LightGBM實例應用包括北京市PM2.5回歸預測和成年人收入分類。通過參數選擇圖和預測數據集結果對比，展示了LightGBM在實際應用中的效果。
下載代碼：歡迎Fork，感謝Star！關注微信訂閱號pythonfan，獲取更多機器學習實例和代碼。

⑵ Python 機器學習 K-近鄰演算法 鳶尾花種類預測

Python中可以使用K近鄰演算法來預測鳶尾花的種類。以下是關鍵步驟和要點：

1. KNN演算法簡介：

   • KNN是一種基於實例的學習，或者說是懶惰學習，其中模型基本上是其訓練數據集。
   • 通過測量不同特徵值之間的距離進行分類。

2. 鳶尾花數據集：

   • 包含150個樣本，每個樣本有四個特徵：萼片長度、萼片寬度、花瓣長度和花瓣寬度。
   • 目標是根據這四個特徵區分三種鳶尾花類型：Setosa、Versicolour和Virginica。

3. KNN演算法應用步驟：

   • 數據准備：載入鳶尾花數據集，並劃分特徵和目標變數。
   • 模型訓練：使用scikitlearn中的KNeighborsClassifier類，並指定K值。
   • 距離度量：選擇距離度量方法。
   • 預測：對新樣本進行預測，通過計算其與訓練集中樣本的距離，選擇K個最近鄰，通過多數投票決定其類別。

4. 性能評估：

   • 使用交叉驗證等方法評估模型性能。
   • 通過混淆矩陣、准確率、召回率等指標評估預測結果。

5. 示例代碼：

   • scikitlearn提供了方便的介面來載入鳶尾花數據集，並應用KNN演算法。
   • 示例代碼通常包括數據載入、模型訓練、預測和性能評估等步驟。

總結：Python中的K近鄰演算法是一種有效的機器學習模型，特別適用於鳶尾花種類預測等分類問題。通過scikitlearn庫，我們可以方便地載入數據集、訓練模型、進行預測和評估性能。