boosting演算法

❶ 機器學習有幾種演算法

1. 線性回歸

工作原理：該演算法可以按其權重可視化。但問題是，當你無法真正衡量它時，必須通過觀察其高度和寬度來做一些猜測。通過這種可視化的分析，可以獲取一個結果。

2. 邏輯回歸

根據一組獨立變數，估計離散值。它通過將數據匹配到logit函數來幫助預測事件。

3. 決策樹

利用監督學習演算法對問題進行分類。決策樹是一種支持工具，它使用樹狀圖來決定決策或可能的後果、機會事件結果、資源成本和實用程序。根據獨立變數，將其劃分為兩個或多個同構集。

4. 支持向量機(SVM)

基本原理(以二維數據為例)：如果訓練數據是分布在二維平面上的點，它們按照其分類聚集在不同的區域。基於分類邊界的分類演算法的目標是，通過訓練，找到這些分類之間的邊界(直線的――稱為線性劃分，曲線的――稱為非線性劃分)。對於多維數據(如N維)，可以將它們視為N維空間中的點，而分類邊界就是N維空間中的面，稱為超面(超面比N維空間少一維)。線性分類器使用超平面類型的邊界，非線性分類器使用超曲面。

5. 樸素貝葉斯

樸素貝葉斯認為每個特徵都是獨立於另一個特徵的。即使在計算結果的概率時，它也會考慮每一個單獨的關系。

它不僅易於使用，而且能有效地使用大量的數據集，甚至超過了高度復雜的分類系統。

6. KNN(K -最近鄰)

該演算法適用於分類和回歸問題。在數據科學行業中，它更常用來解決分類問題。

這個簡單的演算法能夠存儲所有可用的案例，並通過對其k近鄰的多數投票來對任何新事件進行分類。然後將事件分配給與之匹配最多的類。一個距離函數執行這個測量過程。

7. k – 均值

這種無監督演算法用於解決聚類問題。數據集以這樣一種方式列在一個特定數量的集群中：所有數據點都是同質的，並且與其他集群中的數據是異構的。

8. 隨機森林

利用多棵決策樹對樣本進行訓練並預測的一種分類器被稱為隨機森林。為了根據其特性來分類一個新對象，每棵決策樹都被排序和分類，然後決策樹投票給一個特定的類，那些擁有最多選票的被森林所選擇。

9. 降維演算法

在存儲和分析大量數據時，識別多個模式和變數是具有挑戰性的。維數簡化演算法，如決策樹、因子分析、缺失值比、隨機森林等，有助於尋找相關數據。

10. 梯度提高和演演算法

這些演算法是在處理大量數據，以作出准確和快速的預測時使用的boosting演算法。boosting是一種組合學習演算法，它結合了幾種基本估計量的預測能力，以提高效力和功率。

綜上所述，它將所有弱或平均預測因子組合成一個強預測器。

❷ 分類演算法 - adaboost

Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器（強分類器）。

Adaboost演算法已被證明是一種有效而實用的Boosting演算法。該演算法是Freund和Schapire於1995年對Boosting演算法的改進得到的，其演算法原理是通過調整樣本權重和弱分類器權值，從訓練出的弱分類器中篩選出權值系數最小的弱分類器組合成一個最終強分類器。基於訓練集訓練弱分類器，每次下一個弱分類器都是在樣本的不同權值集上訓練獲得的。每個樣本被分類的難易度決定權重，而分類的難易度是經過前面步驟中的分類器的輸出估計得到的。

Adaboost演算法在樣本訓練集使用過程中，對其中的關鍵分類特徵集進行多次挑選，逐步訓練分量弱分類器，用適當的閾值選擇最佳弱分類器，最後將每次迭代訓練選出的最佳弱分類器構建為強分類器。其中，級聯分類器的設計模式為在盡量保證感興趣圖像輸出率的同時，減少非感興趣圖像的輸出率，隨著迭代次數不斷增加，所有的非感興趣圖像樣本都不能通過，而感興趣樣本始終保持盡可能通過為止。

1. 先通過對N個訓練樣本的學習得到第一個弱分類器

2. 將分錯的樣本和其他的新數據一起構成一個新的N個的訓練樣本，通過對這個樣本的學習得到第二個弱分類器

3. 將1和2都分錯了的樣本加上其他的新樣本構成另一個新的N個的訓練樣本，通過對這個樣本的學習得到第三個弱分類器

4. 最終經過提升的強分類器。即某個數據被分為哪一類要由各分類器權值決定

由Adaboost演算法的描述過程可知，該演算法在實現過程中根據訓練集的大小初始化樣本權值，使其滿足均勻分布，在後續操作中通過公式來改變和規范化演算法迭代後樣本的權值。樣本被錯誤分類導致權值增大，反之權值相應減小，這表示被錯分的訓練樣本集包括一個更高的權重。這就會使在下輪時訓練樣本集更注重於難以識別的樣本，針對被錯分樣本的進一步學習來得到下一個弱分類器，直到樣本被正確分類。在達到規定的迭代次數或者預期的誤差率時，則強分類器構建完成。

（1）很好的利用了弱分類器進行級聯
（2）可以將不同的分類演算法作為弱分類器
（3）AdaBoost具有很高的精度
（4）相對於bagging演算法和Random Forest演算法，AdaBoost充分考慮的每個分類器的權重

（1）AdaBoost迭代次數也就是弱分類器數目不太好設定，可以使用交叉驗證來進行確定
（2）數據不平衡導致分類精度下降
（3）訓練比較耗時，每次重新選擇當前分類器最好切分點

看到這個演算法你是不是似曾相識？對，他們都是由多個弱演算法組合成一個強演算法的原理。印證了「三個臭皮匠賽過諸葛亮」。但是其實他們棣屬於不同的演算法框架：

1）Bagging + 決策樹 = 隨機森林
2）AdaBoost + 決策樹 = 提升樹

那麼bagging和boosting分別是什麼呢？

Bagging和Boosting都是將已有的分類或回歸演算法通過一定方式組合起來，形成一個性能更加強大的分類器，更准確的說這是一種分類演算法的組裝方法。即將弱分類器組裝成強分類器的方法。

A）從原始樣本集中抽取訓練集。每輪從原始樣本集中使用Bootstraping的方法抽取n個訓練樣本（在訓練集中，有些樣本可能被多次抽取到，而有些樣本可能一次都沒有被抽中）。共進行k輪抽取，得到k個訓練集。（k個訓練集之間是相互獨立的）

B）每次使用一個訓練集得到一個模型，k個訓練集共得到k個模型。（註：這里並沒有具體的分類演算法或回歸方法，我們可以根據具體問題採用不同的分類或回歸方法，如決策樹、感知器等）

C）對分類問題：將上步得到的k個模型採用投票的方式得到分類結果；對回歸問題，計算上述模型的均值作為最後的結果。（所有模型的重要性相同）

其主要思想是將弱分類器組裝成一個強分類器。在PAC（概率近似正確）學習框架下，則一定可以將弱分類器組裝成一個強分類器。關於Boosting的兩個核心問題：

通過提高那些在前一輪被弱分類器分錯樣例的權值，減小前一輪分對樣例的權值，來使得分類器對誤分的數據有較好的效果。

通過加法模型將弱分類器進行線性組合，比如AdaBoost通過加權多數表決的方式，即增大錯誤率小的分類器的權值，同時減小錯誤率較大的分類器的權值。而提升樹通過擬合殘差的方式逐步減小殘差，將每一步生成的模型疊加得到最終模型。

Bagging：訓練集是在原始集中有放回選取的，從原始集中選出的各輪訓練集之間是獨立的。
Boosting：每一輪的訓練集不變，只是訓練集中每個樣例在分類器中的權重發生變化。而權值是根據上一輪的分類結果進行調整。

Bagging：使用均勻取樣，每個樣例的權重相等
Boosting：根據錯誤率不斷調整樣例的權值，錯誤率越大則權重越大。

Bagging：所有預測函數的權重相等。
Boosting：每個弱分類器都有相應的權重，對於分類誤差小的分類器會有更大的權重。

Bagging：各個預測函數可以並行生成
Boosting：各個預測函數只能順序生成，因為後一個模型參數需要前一輪模型的結果。

這兩種方法都是把若干個分類器整合為一個分類器的方法，只是整合的方式不一樣，最終得到不一樣的效果，將不同的分類演算法套入到此類演算法框架中一定程度上會提高了原單一分類器的分類效果，但是也增大了計算量。

❸ 基於R語言的梯度推進演算法介紹

基於R語言的梯度推進演算法介紹

通常來說，我們可以從兩個方面來提高一個預測模型的准確性：完善特徵工程（feature engineering）或是直接使用Boosting演算法。通過大量數據科學競賽的試煉，我們可以發現人們更鍾愛於Boosting演算法，這是因為和其他方法相比，它在產生類似的結果時往往更加節約時間。

Boosting演算法有很多種，比如梯度推進（Gradient Boosting）、XGBoost、AdaBoost、Gentle Boost等等。每一種演算法都有自己不同的理論基礎，通過對它們進行運用，演算法之間細微的差別也能夠被我們所察覺。如果你是一個新手，那麼太好了，從現在開始，你可以用大約一周的時間來了解和學習這些知識。

在本文中，筆者將會向你介紹梯度推進演算法的基本概念及其復雜性，此外，文中還分享了一個關於如何在R語言中對該演算法進行實現的例子。

快問快答

每當談及Boosting演算法，下列兩個概念便會頻繁的出現：Bagging和Boosting。那麼，這兩個概念是什麼，它們之間究竟有什麼區別呢？讓我們快速簡要地在這里解釋一下：

Bagging：對數據進行隨機抽樣、建立學習演算法並且通過簡單平均來得到最終概率結論的一種方法。

Boosting：與Bagging類似，但在樣本選擇方面顯得更為聰明一些——在演算法進行過程中，對難以進行分類的觀測值賦予了越來越大的權重。

我們知道你可能會在這方面產生疑問：什麼叫做越來越大？我怎麼知道我應該給一個被錯分的觀測值額外增加多少的權重呢？請保持冷靜，我們將在接下來的章節里為你解答。

從一個簡單的例子出發

假設你有一個初始的預測模型M需要進行准確度的提高，你知道這個模型目前的准確度為80%（通過任何形式度量），那麼接下來你應該怎麼做呢？

有一個方法是，我們可以通過一組新的輸入變數來構建一個全新的模型，然後對它們進行集成學習。但是，筆者在此要提出一個更簡單的建議，如下所示：

Y= M(x) + error

如果我們能夠觀測到誤差項並非白雜訊，而是與我們的模型輸出（Y）有著相同的相關性，那麼我們為什麼不通過這個誤差項來對模型的准確度進行提升呢？比方說：

error = G(x) + error2

或許，你會發現模型的准確率提高到了一個更高的數字，比如84%。那麼下一步讓我們對error2進行回歸。

error2 = H(x) + error3

然後我們將上述式子組合起來：

Y = M(x) + G(x) + H(x) + error3

這樣的結果可能會讓模型的准確度更進一步，超過84%。如果我們能像這樣為三個學習演算法找到一個最佳權重分配，

Y = alpha * M(x) + beta * G(x) + gamma * H(x) + error4

那麼，我們可能就構建了一個更好的模型。

上面所述的便是Boosting演算法的一個基本原則，當我初次接觸到這一理論時，我的腦海中很快地冒出了這兩個小問題：

1.我們如何判斷回歸／分類方程中的誤差項是不是白雜訊？如果無法判斷，我們怎麼能用這種演算法呢？

2.如果這種演算法真的這么強大，我們是不是可以做到接近100％的模型准確度？

接下來，我們將會對這些問題進行解答，但是需要明確的是，Boosting演算法的目標對象通常都是一些弱演算法，而這些弱演算法都不具備只保留白雜訊的能力；其次，Boosting有可能導致過度擬合，所以我們必須在合適的點上停止這個演算法。

試著想像一個分類問題

請看下圖：

從最左側的圖開始看，那條垂直的線表示我們運用演算法所構建的分類器，可以發現在這幅圖中有3/10的觀測值的分類情況是錯誤的。接著，我們給予那三個被誤分的「＋」型的觀測值更高的權重，使得它們在構建分類器時的地位非常重要。這樣一來，垂直線就直接移動到了接近圖形右邊界的位置。反復這樣的過程之後，我們在通過合適的權重組合將所有的模型進行合並。

演算法的理論基礎

我們該如何分配觀測值的權重呢？

通常來說，我們從一個均勻分布假設出發，我們把它稱為D1，在這里，n個觀測值分別被分配了1/n的權重。

步驟1：假設一個α（t）；

步驟2：得到弱分類器h（t）；

步驟3：更新總體分布，

其中，

步驟4：再次運用新的總體分布去得到下一個分類器；

覺得步驟3中的數學很可怕嗎？讓我們來一起擊破這種恐懼。首先，我們簡單看一下指數里的參數，α表示一種學習率，y是實際的回應值（＋1或－1），而h（x）則是分類器所預測的類別。簡單來說，如果分類器預測錯了，這個指數的冪就變成了1 *α， 反之則是－1*α。也就是說，如果某觀測值在上一次預測中被預測錯誤，那麼它對應的權重可能會增加。那麼，接下來該做什麼呢？

步驟5：不斷重復步驟1-步驟4，直到無法發現任何可以改進的地方；

步驟6：對所有在上面步驟中出現過的分類器或是學習演算法進行加權平均，權重如下所示：

案例練習

最近我參加了由Analytics Vidhya組織的在線hackathon活動。為了使變數變換變得容易，在complete_data中我們合並了測試集與訓練集中的所有數據。我們將數據導入，並且進行抽樣和分類。

library(caret)rm(list=ls())setwd("C:Usersts93856DesktopAV")library(Metrics)complete <- read.csv("complete_data.csv", stringsAsFactors = TRUE)train <- complete[complete$Train == 1,]score <- complete[complete$Train != 1,]set.seed(999)ind <- sample(2, nrow(train), replace=T, prob=c(0.60,0.40))trainData<-train[ind==1,]testData <- train[ind==2,]set.seed(999)ind1 <- sample(2, nrow(testData), replace=T, prob=c(0.50,0.50))trainData_ens1<-testData[ind1==1,]testData_ens1 <- testData[ind1==2,]table(testData_ens1$Disbursed)[2]/nrow(testData_ens1)#Response Rate of 9.052%

接下來，就是構建一個梯度推進模型（Gradient Boosting Model）所要做的：

fitControl <- trainControl(method = "repeatedcv", number = 4, repeats = 4)trainData$outcome1 <- ifelse(trainData$Disbursed == 1, "Yes","No")set.seed(33)gbmFit1 <- train(as.factor(outcome1) ~ ., data = trainData[,-26], method = "gbm", trControl = fitControl,verbose = FALSE)gbm_dev <- predict(gbmFit1, trainData,type= "prob")[,2]gbm_ITV1 <- predict(gbmFit1, trainData_ens1,type= "prob")[,2]gbm_ITV2 <- predict(gbmFit1, testData_ens1,type= "prob")[,2]auc(trainData$Disbursed,gbm_dev)auc(trainData_ens1$Disbursed,gbm_ITV1)auc(testData_ens1$Disbursed,gbm_ITV2)

在上述案例中，運行代碼後所看到的所有AUC值將會非常接近0.84。我們隨時歡迎你對這段代碼進行進一步的完善。在這個領域，梯度推進模型（GBM）是最為廣泛運用的方法，在未來的文章里，我們可能會對GXBoost等一些更加快捷的Boosting演算法進行介紹。

結束語

筆者曾不止一次見識過Boosting演算法的迅捷與高效，在Kaggle或是其他平台的競賽中，它的得分能力從未令人失望，當然了，也許這要取決於你能夠把特徵工程（feature engineering）做得多好了。

以上是小編為大家分享的關於基於R語言的梯度推進演算法介紹的相關內容，更多信息可以關注環球青藤分享更多干貨

❹ python gradientboostingregressor可以做預測嗎

可以

最近項目中涉及基於Gradient Boosting Regression 演算法擬合時間序列曲線的內容，利用python機器學習包scikit-learn 中的GradientBoostingRegressor完成

因此就學習了下Gradient Boosting演算法，在這里分享下我的理解

Boosting 演算法簡介

Boosting演算法，我理解的就是兩個思想：

1）「三個臭皮匠頂個諸葛亮」，一堆弱分類器的組合就可以成為一個強分類器；

2）「知錯能改，善莫大焉」，不斷地在錯誤中學習，迭代來降低犯錯概率

當然，要理解好Boosting的思想，首先還是從弱學習演算法和強學習演算法來引入：

1）強學習演算法：存在一個多項式時間的學習演算法以識別一組概念，且識別的正確率很高；

2）弱學習演算法：識別一組概念的正確率僅比隨機猜測略好；

Kearns & Valiant證明了弱學習演算法與強學習演算法的等價問題，如果兩者等價，只需找到一個比隨機猜測略好的學習演算法，就可以將其提升為強學習演算法。

那麼是怎麼實現「知錯就改」的呢？

Boosting演算法，通過一系列的迭代來優化分類結果，每迭代一次引入一個弱分類器，來克服現在已經存在的弱分類器組合的shortcomings

在Adaboost演算法中，這個shortcomings的表徵就是權值高的樣本點

而在Gradient Boosting演算法中,這個shortcomings的表徵就是梯度

無論是Adaboost還是Gradient Boosting，都是通過這個shortcomings來告訴學習器怎麼去提升模型，也就是「Boosting」這個名字的由來吧

Adaboost演算法

Adaboost是由Freund 和 Schapire在1997年提出的，在整個訓練集上維護一個分布權值向量W,用賦予權重的訓練集通過弱分類演算法產生分類假設（基學習器）y(x),然後計算錯誤率,用得到的錯誤率去更新分布權值向量w,對錯誤分類的樣本分配更大的權值,正確分類的樣本賦予更小的權值。每次更新後用相同的弱分類演算法產生新的分類假設,這些分類假設的序列構成多分類器。對這些多分類器用加權的方法進行聯合,最後得到決策結果。

其結構如下圖所示：

可以發現，如果要用Gradient Boosting 演算法的話，在sklearn包里調用還是非常方便的，幾行代碼即可完成，大部分的工作應該是在特徵提取上。

感覺目前做數據挖掘的工作，特徵設計是最重要的，據說現在kaggle競賽基本是GBDT的天下，優劣其實還是特徵上，感覺做項目也是，不斷的在研究數據中培養對數據的敏感度。

❺ 機器學習一般常用的演算法有哪些

機器學習是人工智慧的核心技術，是學習人工智慧必不可少的環節。機器學習中有很多演算法，能夠解決很多以前難以企的問題，機器學習中涉及到的演算法有不少，下面小編就給大家普及一下這些演算法。

一、線性回歸

一般來說，線性回歸是統計學和機器學習中最知名和最易理解的演算法之一。這一演算法中我們可以用來預測建模，而預測建模主要關注最小化模型誤差或者盡可能作出最准確的預測，以可解釋性為代價。我們將借用、重用包括統計學在內的很多不同領域的演算法，並將其用於這些目的。當然我們可以使用不同的技術從數據中學習線性回歸模型，例如用於普通最小二乘法和梯度下降優化的線性代數解。就目前而言，線性回歸已經存在了200多年，並得到了廣泛研究。使用這種技術的一些經驗是盡可能去除非常相似（相關）的變數，並去除噪音。這是一種快速、簡單的技術。

二、Logistic 回歸

它是解決二分類問題的首選方法。Logistic 回歸與線性回歸相似，目標都是找到每個輸入變數的權重，即系數值。與線性回歸不同的是，Logistic 回歸對輸出的預測使用被稱為 logistic 函數的非線性函數進行變換。logistic 函數看起來像一個大的S，並且可以將任何值轉換到0到1的區間內。這非常實用，因為我們可以規定logistic函數的輸出值是0和1並預測類別值。像線性回歸一樣，Logistic 回歸在刪除與輸出變數無關的屬性以及非常相似的屬性時效果更好。它是一個快速的學習模型，並且對於二分類問題非常有效。

三、線性判別分析（LDA）

在前面我們介紹的Logistic 回歸是一種分類演算法，傳統上，它僅限於只有兩類的分類問題。而LDA的表示非常簡單直接。它由數據的統計屬性構成，對每個類別進行計算。單個輸入變數的 LDA包括兩個，第一就是每個類別的平均值，第二就是所有類別的方差。而在線性判別分析，進行預測的方法是計算每個類別的判別值並對具備最大值的類別進行預測。該技術假設數據呈高斯分布，因此最好預先從數據中刪除異常值。這是處理分類預測建模問題的一種簡單而強大的方法。

四、決策樹

決策樹是預測建模機器學習的一種重要演算法。決策樹模型的表示是一個二叉樹。這是演算法和數據結構中的二叉樹，沒什麼特別的。每個節點代表一個單獨的輸入變數x和該變數上的一個分割點。而決策樹的葉節點包含一個用於預測的輸出變數y。通過遍歷該樹的分割點，直到到達一個葉節點並輸出該節點的類別值就可以作出預測。當然決策樹的有點就是決策樹學習速度和預測速度都很快。它們還可以解決大量問題，並且不需要對數據做特別准備。

五、樸素貝葉斯

其實樸素貝葉斯是一個簡單但是很強大的預測建模演算法。而這個模型由兩種概率組成，這兩種概率都可以直接從訓練數據中計算出來。第一種就是每個類別的概率，第二種就是給定每個 x 的值，每個類別的條件概率。一旦計算出來，概率模型可用於使用貝葉斯定理對新數據進行預測。當我們的數據是實值時，通常假設一個高斯分布，這樣我們可以簡單的估計這些概率。而樸素貝葉斯之所以是樸素的，是因為它假設每個輸入變數是獨立的。這是一個強大的假設，真實的數據並非如此，但是，該技術在大量復雜問題上非常有用。所以說，樸素貝葉斯是一個十分實用的功能。

六、K近鄰演算法

K近鄰演算法簡稱KNN演算法，KNN 演算法非常簡單且有效。KNN的模型表示是整個訓練數據集。KNN演算法在整個訓練集中搜索K個最相似實例（近鄰）並匯總這K個實例的輸出變數，以預測新數據點。對於回歸問題，這可能是平均輸出變數，對於分類問題，這可能是眾數類別值。而其中的訣竅在於如何確定數據實例間的相似性。如果屬性的度量單位相同，那麼最簡單的技術是使用歐幾里得距離，我們可以根據每個輸入變數之間的差值直接計算出來其數值。當然，KNN需要大量內存或空間來存儲所有數據，但是只有在需要預測時才執行計算。我們還可以隨時更新和管理訓練實例，以保持預測的准確性。

七、Boosting 和 AdaBoost

首先，Boosting 是一種集成技術，它試圖集成一些弱分類器來創建一個強分類器。這通過從訓練數據中構建一個模型，然後創建第二個模型來嘗試糾正第一個模型的錯誤來完成。一直添加模型直到能夠完美預測訓練集，或添加的模型數量已經達到最大數量。而AdaBoost 是第一個為二分類開發的真正成功的 boosting 演算法。這是理解 boosting 的最佳起點。現代 boosting 方法建立在 AdaBoost 之上，最顯著的是隨機梯度提升。當然，AdaBoost 與短決策樹一起使用。在第一個決策樹創建之後，利用每個訓練實例上樹的性能來衡量下一個決策樹應該對每個訓練實例付出多少注意力。難以預測的訓練數據被分配更多權重，而容易預測的數據分配的權重較少。依次創建模型，每一個模型在訓練實例上更新權重，影響序列中下一個決策樹的學習。在所有決策樹建立之後，對新數據進行預測，並且通過每個決策樹在訓練數據上的精確度評估其性能。所以說，由於在糾正演算法錯誤上投入了太多注意力，所以具備已刪除異常值的干凈數據十分重要。

八、學習向量量化演算法（簡稱 LVQ）

學習向量量化也是機器學習其中的一個演算法。可能大家不知道的是，K近鄰演算法的一個缺點是我們需要遍歷整個訓練數據集。學習向量量化演算法（簡稱 LVQ）是一種人工神經網路演算法，它允許你選擇訓練實例的數量，並精確地學習這些實例應該是什麼樣的。而學習向量量化的表示是碼本向量的集合。這些是在開始時隨機選擇的，並逐漸調整以在學習演算法的多次迭代中最好地總結訓練數據集。在學習之後，碼本向量可用於預測。最相似的近鄰通過計算每個碼本向量和新數據實例之間的距離找到。然後返回最佳匹配單元的類別值或作為預測。如果大家重新調整數據，使其具有相同的范圍，就可以獲得最佳結果。當然，如果大家發現KNN在大家數據集上達到很好的結果，請嘗試用LVQ減少存儲整個訓練數據集的內存要求