決策演算法

① 決策樹演算法是按什麼來進行分類的

決策樹演算法是一種逼近離散函數值的方法。它是一種典型的分類方法，首先對數據進行處理，利用歸納演算法生成可讀的規則和決策樹，然後使用決策對新數據進行分析。本質上決策樹是通過一系列規則對數據進行分類的過程。
決策樹方法最早產生於上世紀60年代，到70年代末。由J Ross Quinlan提出了ID3演算法，此演算法的目的在於減少樹的深度。但是忽略了葉子數目的研究。C4.5演算法在ID3演算法的基礎上進行了改進，對於預測變數的缺值處理、剪枝技術、派生規則等方面作了較大改進，既適合於分類問題，又適合於回歸問題。
決策樹演算法構造決策樹來發現數據中蘊涵的分類規則．如何構造精度高、規模小的決策樹是決策樹演算法的核心內容。決策樹構造可以分兩步進行。第一步，決策樹的生成：由訓練樣本集生成決策樹的過程。一般情況下，訓練樣本數據集是根據實際需要有歷史的、有一定綜合程度的，用於數據分析處理的數據集。第二步，決策樹的剪枝：決策樹的剪枝是對上一階段生成的決策樹進行檢驗、校正和修下的過程，主要是用新的樣本數據集（稱為測試數據集）中的數據校驗決策樹生成過程中產生的初步規則，將那些影響預衡准確性的分枝剪除。

② 什麼是演算法決策理論

決策樹分類法己被應用於許多分類問題，但應用於遙感分類的研究成果並不多見。決策樹分類法具有靈活、直觀、清晰、強健、運算效率高等特點，在遙感分類問題上表現出巨大優勢。本文以廣東省廣州市從化地區的SPOT5衛星遙感影像為研究對象，基於決策樹分類演算法在遙感影像分類方面的深厚潛力，探討了6種不同的決策樹演算法—包括單一決策樹模(CART，CHAIR，exhaustive，QUEST和組合決策樹模型(提升樹，決策樹森林)。首先對決策樹演算法結構、演算法理論進行了闡述，然後利用這些決策樹演算法進行遙感土地覆蓋分類實驗，並把獲得的結果與傳統的最大似然分類和人工神經元網路分類進行比較。

基於決策樹分類演算法在遙感影像分類方面的深厚潛力,探討了3種不同的決策樹演算法(UDT、MDT和HDT).首先對決策樹演算法結構、演算法理論進行了闡述:具體利用決策樹演算法進行遙感土地覆蓋分類實驗,並把獲得的結果與傳統統計分類法進行比較.研究表明,決策樹分類法相對簡單、明確,分類結構直觀,有諸多優勢.

③ 目前比較流行的決策樹演算法有哪些

ID3演算法，最簡單的決策樹
c4.5 是最經典的決策樹演算法，選擇信息差異率最大的作為分割屬性。
CART演算法，適合用於回歸

④ 數據挖掘中決策樹演算法

決策樹演算法有很多種，比喻有ID3（利用信息增益來選擇決策變數），C4.5（利用信息增益率來選擇決策變數），CART，chain以及quest等，不同的決策樹適用情況也不一樣，有機會可以多多交流。。

⑤ 常見決策樹分類演算法都有哪些

在機器學習中，有一個體系叫做決策樹，決策樹能夠解決很多問題。在決策樹中，也有很多需要我們去學習的演算法，要知道，在決策樹中，每一個演算法都是實用的演算法，所以了解決策樹中的演算法對我們是有很大的幫助的。在這篇文章中我們就給大家介紹一下關於決策樹分類的演算法，希望能夠幫助大家更好地去理解決策樹。
1.C4.5演算法
C4.5演算法就是基於ID3演算法的改進，這種演算法主要包括的內容就是使用信息增益率替換了信息增益下降度作為屬性選擇的標准；在決策樹構造的同時進行剪枝操作；避免了樹的過度擬合情況；可以對不完整屬性和連續型數據進行處理；使用k交叉驗證降低了計算復雜度；針對數據構成形式，提升了演算法的普適性等內容，這種演算法是一個十分使用的演算法。
2.CLS演算法
CLS演算法就是最原始的決策樹分類演算法，基本流程是，從一棵空數出發，不斷的從決策表選取屬性加入數的生長過程中，直到決策樹可以滿足分類要求為止。CLS演算法存在的主要問題是在新增屬性選取時有很大的隨機性。
3.ID3演算法
ID3演算法就是對CLS演算法的最大改進是摒棄了屬性選擇的隨機性，利用信息熵的下降速度作為屬性選擇的度量。ID3是一種基於信息熵的決策樹分類學習演算法，以信息增益和信息熵，作為對象分類的衡量標准。ID3演算法結構簡單、學習能力強、分類速度快適合大規模數據分類。但同時由於信息增益的不穩定性，容易傾向於眾數屬性導致過度擬合，演算法抗干擾能力差。
3.1.ID3演算法的優缺點
ID3演算法的優點就是方法簡單、計算量小、理論清晰、學習能力較強、比較適用於處理規模較大的學習問題。缺點就是傾向於選擇那些屬性取值比較多的屬性，在實際的應用中往往取值比較多的屬性對分類沒有太大價值、不能對連續屬性進行處理、對雜訊數據比較敏感、需計算每一個屬性的信息增益值、計算代價較高。
3.2.ID3演算法的核心思想
根據樣本子集屬性取值的信息增益值的大小來選擇決策屬性，並根據該屬性的不同取值生成決策樹的分支，再對子集進行遞歸調用該方法，當所有子集的數據都只包含於同一個類別時結束。最後，根據生成的決策樹模型，對新的、未知類別的數據對象進行分類。
在這篇文章中我們給大家介紹了決策樹分類演算法的具體內容，包括有很多種演算法。從中我們不難發現決策樹的演算法都是經過不不斷的改造趨於成熟的。所以說，機器學習的發展在某種程度上就是由於這些演算法的進步而來的。

⑥ 決策樹chaid演算法 怎麼解釋結果

數據挖掘的核心是為數據建立模型的過程。所有的數據挖掘產品都有這個建模過程，不同的是它們構造模型的方式互不相同。進行數據挖掘時可採用許多不同的演算法。決策樹是一種經常要用到的技術，可以用於分析數據，同樣也可以用來作預測。

⑦ 決策樹法的步驟

決策樹法的幾個關鍵步驟是：

1、畫出決策樹，畫決策樹的過程也就是對未來可能發生的各種事件進行周密思考、預測的過程，把這些情況用樹狀圖表示出來．先畫決策點，再找方案分枝和方案點．最後再畫出概率分枝。

(7)決策演算法擴展閱讀

決策樹的優點

1、決策樹易於理解和實現. 人們在通過解釋後都有能力去理解決策樹所表達的意義。

2、對於決策樹，數據的准備往往是簡單或者是不必要的 . 其他的技術往往要求先把數據一般化，比如去掉多餘的或者空白的屬性。

3、能夠同時處理數據型和常規型屬性。其他的技術往往要求數據屬性的單一。

4、 在相對短的時間內能夠對大型數據源做出可行且效果良好的結果。

5、對缺失值不敏感

6、可以處理不相關特徵數據

7、效率高，決策樹只需要一次構建，反復使用，每一次預測的最大計算次數不超過決策樹的深度。

決策樹的缺點

1、對連續性的欄位比較難預測。

2、對有時間順序的數據，需要很多預處理的工作。

3、當類別太多時，錯誤可能就會增加的比較快。

4、一般的演算法分類的時候，只是根據一個欄位來分類。

5、在處理特徵關聯性比較強的數據時表現得不是太好

⑧ 決策樹法分為那幾個步驟

1、特徵選擇

特徵選擇決定了使用哪些特徵來做判斷。在訓練數據集中，每個樣本的屬性可能有很多個，不同屬性的作用有大有小。因而特徵選擇的作用就是篩選出跟分類結果相關性較高的特徵，也就是分類能力較強的特徵。在特徵選擇中通常使用的准則是：信息增益。

2、決策樹生成

選擇好特徵後，就從根節點觸發，對節點計算所有特徵的信息增益，選擇信息增益最大的特徵作為節點特徵，根據該特徵的不同取值建立子節點；對每個子節點使用相同的方式生成新的子節點，直到信息增益很小或者沒有特徵可以選擇為止。

3、決策樹剪枝

剪枝的主要目的是對抗「過擬合」，通過主動去掉部分分支來降低過擬合的風險。

【簡介】

決策樹是一種解決分類問題的演算法，決策樹演算法採用樹形結構，使用層層推理來實現最終的分類。

⑨ 決策樹演算法原理是什麼

決策樹構造的輸入是一組帶有類別標記的例子，構造的結果是一棵二叉樹或多叉樹。二叉樹的 內部節點(非 葉子節點)一般表示為一個邏輯判斷，如形式為a=aj的邏輯判斷，其中a是屬性，aj是該屬性的所有取值：樹的邊是邏輯判斷的分支結果。

多叉樹(ID3)的內部結點是屬性，邊是該屬性的所有取值，有幾個 屬性值就有幾條邊。樹的葉子節點都是類別標記。

由於數據表示不當、有雜訊或者由於決策樹生成時產生重復的子樹等原因，都會造成產生的決策樹過大。

因此，簡化決策樹是一個不可缺少的環節。尋找一棵最優決策樹，主要應解決以下3個最優化問題：①生成最少數目的葉子節點；②生成的每個葉子節點的深度最小；③生成的決策樹葉子節點最少且每個葉子節點的深度最小。

(9)決策演算法擴展閱讀：

決策樹演算法的優點如下：

（1）分類精度高；

（2）生成的模式簡單；

（3）對雜訊數據有很好的健壯性。

因而是目前應用最為廣泛的歸納推理演算法之一，在 數據挖掘中受到研究者的廣泛關注。

⑩ 決策樹演算法和樸素貝葉斯演算法的區別

不屬於！決策樹演算法主要包括id3，c45，cart等演算法，生成樹形決策樹，而樸素貝葉斯是利用貝葉斯定律，根據先驗概率求算後驗概率。