機器學習經典演算法

㈠ 經典演算法(百面機器學習)

經典演算法中，邏輯回歸和線性回歸在處理任務上有顯著差異。邏輯回歸，原名"邏輯線性回歸"，主要用於分類問題，通過計算輸入x條件下y為正樣本的概率，以線性方式估計對數幾率。與線性回歸的回歸目標不同，邏輯回歸處理的是離散的因變數。盡管如此，兩者都採用極大似然估計，但邏輯回歸對似然函數進行學習，而線性回歸則假設因變數服從正態分布。對於多標簽分類，邏輯回歸通過softmax回歸處理，每個樣本對應單一標簽，每個標簽的概率通過幾何分布假設求解。

決策樹演算法如ID3、C4.5和CART，各有其啟發函數。ID3使用信息增益，C4.5則引入信息增益比以避免過擬合；ID3處理離散變數，而C4.5和CART適應連續變數。CART還可用於回歸任務。決策樹剪枝包括預剪枝和後剪枝，預剪枝在樹生長過程中進行，後剪枝在生長後通過評估剪枝前後的性能。通過計算節點的錯誤率，決定是否進行剪枝，以平衡准確性和泛化能力。

㈡ 有哪些常用的機器學習演算法

機器學習中常用的方法有：

(1) 歸納學習

符號歸納學習：典型的符號歸納學習有示例學習、決策樹學習。

函數歸納學習(發現學習)：典型的函數歸納學習有神經網路學習、示例學習、發現學習、統計學習。

(2) 演繹學習

(3) 類比學習：典型的類比學習有案例(範例)學習。

(4) 分析學習：典型的分析學習有解釋學習、宏操作學習。

擴宏仔展資料：

機器學習常見演算法：

1、決策樹演算法

決策樹及其變種是一類將輸入空間分成不同的區域，每個蔽野區域有獨立參數的演算法。決策樹演算法充分利用了樹形模型，根節點到一個葉子節點是一條分類的路徑規則，每個葉子節點象徵一個判斷類別。先將樣本分成不同的子集，再進行分割遞推，直至每個子集得到同類型的樣本，從根節點開始測試，到子樹再到葉子節點，即可得出預測類別。此方法的特點是結構簡單、處理數據效率較高。

2、樸素貝葉斯演算法

樸素貝葉斯演算法是一種分類演算法。它不是單一演算法，而是一系列演算法，它們都有一個共同的原則，即被分類的每個特徵都與任何其他特徵的值無關。樸素貝葉斯分類器認為這些「特徵」中的每一個都獨立地貢獻概率，而不管特徵之間的任何相關性。然而，特徵並不總是獨立的，這通常被視為樸素貝葉斯演算法的缺點。簡而言之，樸素貝葉斯演算法允許我們使用概率給出一組特徵來預測一個類。與其他常見的分類方法相比，樸素貝葉斯演算法需要的訓練很少。在進行預測之前必須完成的唯一工作是找到特徵的個體概率分布的參數，這通常可以快速且確定地完成。這意味著即使對於高維數據點或大量數據點，樸素貝葉斯分類器也可以表現良好。

3、支持向量機演算法

基本思想可概括如下：首先，要利用一種變換將空間高維化，當然這種變換是非線性的，然後，在新的復雜空間取最優線性分類表面。由此種方式獲得的分類函數在形式上類似於神經網路演算法。支持向量機是統計學習領域中一個代表性演算法，但它與傳統方式的思維方法很不同，輸入空間、提高維度從而將問題簡短化，使問題歸結為線性可分的經典解問題。支持向量機應用於垃圾郵件識別，人臉識別等多種分類宏絕喊問題。