數據挖掘關聯規則演算法

⑴ 數據挖掘演算法有哪些

統計和可視化要想建立一個好的預言模型，你必須了解自己的數據。最基本的方法是計算各種統計變數（平均值、方差等）和察看數據的分布情況。你也可以用數據透視表察看多維數據。數據的種類可分為連續的，有一個用數字表示的值（比如銷售量）或離散的，分成一個個的類別（如紅、綠、藍）。離散數據可以進一步分為可排序的，數據間可以比較大小（如，高、中、低）和標稱的，不可排序（如郵政編碼）。圖形和可視化工具在數據准備階段尤其重要，它能讓你快速直觀的分析數據，而不是給你枯燥乏味的文本和數字。它不僅讓你看到整個森林，還允許你拉近每一棵樹來察看細節。在圖形模式下人們很容易找到數據中可能存在的模式、關系、異常等，直接看數字則很難。可視化工具的問題是模型可能有很多維或變數，但是我們只能在2維的屏幕或紙上展示它。比如，我們可能要看的是信用風險與年齡、性別、婚姻狀況、參加工作時間的關系。因此，可視化工具必須用比較巧妙的方法在兩維空間內展示n維空間的數據。雖然目前有了一些這樣的工具，但它們都要用戶「訓練」過他們的眼睛後才能理解圖中畫的到底是什麼東西。對於眼睛有色盲或空間感不強的人，在使用這些工具時可能會遇到困難。聚集（分群）聚集是把整個資料庫分成不同的群組。它的目的是要群與群之間差別很明顯，而同一個群之間的數據盡量相似。與分類不同（見後面的預測型數據挖掘），在開始聚集之前你不知道要把數據分成幾組，也不知道怎麼分（依照哪幾個變數）。因此在聚集之後要有一個對業務很熟悉的人來解釋這樣分群的意義。很多情況下一次聚集你得到的分群對你的業務來說可能並不好，這時你需要刪除或增加變數以影響分群的方式，經過幾次反復之後才能最終得到一個理想的結果。神經元網路和K-均值是比較常用的聚集演算法。不要把聚集與分類混淆起來。在分類之前，你已經知道要把數據分成哪幾類，每個類的性質是什麼，聚集則恰恰相反。關聯分析關聯分析是尋找資料庫中值的相關性。兩種常用的技術是關聯規則和序列模式。關聯規則是尋找在同一個事件中出現的不同項的相關性，比如在一次購買活動中所買不同商品的相關性。序列模式與此類似，他尋找的是事件之間時間上的相關性，如對股票漲跌的分析。關聯規則可記為A==>B，A稱為前提和左部（LHS），B稱為後續或右部（RHS）。如關聯規則「買錘子的人也會買釘子」，左部是「買錘子」，右部是「買釘子」。要計算包含某個特定項或幾個項的事務在資料庫中出現的概率只要在資料庫中直接統計即可。某一特定關聯（「錘子和釘子」）在資料庫中出現的頻率稱為支持度。比如在總共1000個事務中有15個事務同時包含了「錘子和釘子」，則此關聯的支持度為1.5%。非常低的支持度（比如1百萬個事務中只有一個）可能意味著此關聯不是很重要，或出現了錯誤數據（如，「男性和懷孕」）。要找到有意義的規則，我們還要考察規則中項及其組合出現的相對頻率。當已有A時，B發生的概率是多少？也即概率論中的條件概率。回到我們的例子，也就是問「當一個人已經買了錘子，那他有多大的可能也會買釘子？」這個條件概率在數據挖掘中也稱為可信度，計算方法是求百分比：（A與B同時出現的頻率）/（A出現的頻率）。讓我們用一個例子更詳細的解釋這些概念： 總交易筆數（事務數）：1,000包含「錘子」：50包含「釘子」：80包含「鉗子」：20包含「錘子」和「釘子」：15包含「鉗子」和「釘子」：10包含「錘子」和「鉗子」：10包含「錘子」、「鉗子」和「釘子」：5 則可以計算出： 「錘子和釘子」的支持度=1.5%（15/1,000）「錘子、釘子和鉗子」的支持度=0.5%（5/1,000）「錘子==>釘子」的可信度=30%（15/50）「釘子==>錘子」的可信度=19%（15/80）「錘子和釘子==>鉗子」的可信度=33%（5/15）「鉗子==>錘子和釘子」的可信度=25%（5/20）

⑵ 帶你了解數據挖掘中的經典演算法

數據挖掘的演算法有很多，而不同的演算法有著不同的優點，同時也發揮著不同的作用。可以這么說，演算法在數據挖掘中做出了極大的貢獻，如果我們要了解數據挖掘的話就不得不了解這些演算法，下面我們就繼續給大家介紹一下有關數據挖掘的演算法知識。
1.The Apriori algorithm，
Apriori演算法是一種最有影響的挖掘布爾關聯規則頻繁項集的演算法。其核心是基於兩階段頻集思想的遞推演算法。該關聯規則在分類上屬於單維、單層、布爾關聯規則。在這里，所有支持度大於最小支持度的項集稱為頻繁項集，簡稱頻集。這個演算法是比較復雜的，但也是十分實用的。
2.最大期望演算法
在統計計算中，最大期望演算法是在概率模型中尋找參數最大似然估計的演算法，其中概率模型依賴於無法觀測的隱藏變數。最大期望經常用在機器學習和計算機視覺的數據集聚領域。而最大期望演算法在數據挖掘以及統計中都是十分常見的。
3.PageRank演算法
PageRank是Google演算法的重要內容。PageRank里的page不是指網頁，而是創始人的名字，即這個等級方法是以佩奇來命名的。PageRank根據網站的外部鏈接和內部鏈接的數量和質量倆衡量網站的價值。PageRank背後的概念是，每個到頁面的鏈接都是對該頁面的一次投票，被鏈接的越多，就意味著被其他網站投票越多。這個就是所謂的「鏈接流行度」，這個標准就是衡量多少人願意將他們的網站和你的網站掛鉤。PageRank這個概念引自學術中一篇論文的被引述的頻度——即被別人引述的次數越多，一般判斷這篇論文的權威性就越高。
3.AdaBoost演算法
Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器，然後把這些弱分類器集合起來，構成一個更強的最終分類器。其演算法本身是通過改變數據分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的准確率，來確定每個樣本的權值。將修改過權值的新數據集送給下層分類器進行訓練，最後將每次訓練得到的分類器最後融合起來，作為最後的決策分類器。這種演算法給數據挖掘工作解決了不少的問題。
數據挖掘演算法有很多，這篇文章中我們給大家介紹的演算法都是十分經典的演算法，相信大家一定可以從中得到有價值的信息。需要告訴大家的是，我們在進行數據挖掘工作之前一定要事先掌握好數據挖掘需呀掌握的各類演算法，這樣我們才能在工總中得心應手，如果基礎不牢固，那麼我們遲早是會被淘汰的。職場如戰場，我們一定要全力以赴。

⑶ 數據挖掘演算法有哪些

以下主要是常見的10種數據挖掘的演算法，數據挖掘分為：分類（Logistic回歸模型、神經網路、支持向量機等）、關聯分析、聚類分析、孤立點分析。每一大類下都有好幾種演算法，這個具體可以參考數據挖掘概論這本書（英文最新版）

⑷ 數據挖掘十大演算法-

整理里一晚上的數據挖掘演算法，其中主要引自wiki和一些論壇。發布到上作為知識共享，但是發現Latex的公式轉碼到網頁的時候出現了丟失，暫時沒找到解決方法，有空再回來填坑了。

——編者按

一、 C4.5

C4.5演算法是由Ross Quinlan開發的用於產生決策樹的演算法[1]，該演算法是對Ross Quinlan之前開發的ID3演算法的一個擴展。C4.5演算法主要應用於統計分類中，主要是通過分析數據的信息熵建立和修剪決策樹。

1.1 決策樹的建立規則

在樹的每個節點處，C4.5選擇最有效地方式對樣本集進行分裂，分裂規則是分析所有屬性的歸一化的信息增益率，選擇其中增益率最高的屬性作為分裂依據，然後在各個分裂出的子集上進行遞歸操作。

依據屬性A對數據集D進行分類的信息熵可以定義如下：

劃分前後的信息增益可以表示為：

那麼，歸一化的信息增益率可以表示為：

1.2 決策樹的修剪方法

C4.5採用的剪枝方法是悲觀剪枝法(Pessimistic Error Pruning，PEP)，根據樣本集計運算元樹與葉子的經驗錯誤率，在滿足替換標准時，使用葉子節點替換子樹。

不妨用K表示訓練數據集D中分類到某一個葉子節點的樣本數，其中其中錯誤分類的個數為J，由於用估計該節點的樣本錯誤率存在一定的樣本誤差，因此用表示修正後的樣本錯誤率。那麼，對於決策樹的一個子樹S而言，設其葉子數目為L(S)，則子樹S的錯誤分類數為：

設數據集的樣本總數為Num，則標准錯誤可以表示為：

那麼，用表示新葉子的錯誤分類數，則選擇使用新葉子節點替換子樹S的判據可以表示為：

二、KNN

最近鄰域演算法(k-nearest neighbor classification, KNN)[2]是一種用於分類和回歸的非參數統計方法。KNN演算法採用向量空間模型來分類，主要思路是相同類別的案例彼此之間的相似度高，從而可以藉由計算未知樣本與已知類別案例之間的相似度，來實現分類目標。KNN是一種基於局部近似和的實例的學習方法，是目前最簡單的機器學習演算法之一。

在分類問題中，KNN的輸出是一個分類族群，它的對象的分類是由其鄰居的「多數表決」確定的，k個最近鄰居（k為正整數，通常較小）中最常見的分類決定了賦予該對象的類別。若k = 1，則該對象的類別直接由最近的一個節點賦予。在回歸問題中，KNN的輸出是其周圍k個鄰居的平均值。無論是分類還是回歸，衡量鄰居的權重都非常重要，目標是要使較近鄰居的權重比較遠鄰居的權重大，例如，一種常見的加權方案是給每個鄰居權重賦值為1/d，其中d是到鄰居的距離。這也就自然地導致了KNN演算法對於數據的局部結構過於敏感。

三、Naive Bayes

在機器學習的眾多分類模型中，應用最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型(Naive Bayesian Model，NBC)[3]。樸素貝葉斯模型發源於古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。同時，NBC模型所需估計的參數很少，對缺失數據不太敏感，演算法也比較簡單。

在假設各個屬性相互獨立的條件下，NBC模型的分類公式可以簡單地表示為：

但是實際上問題模型的屬性之間往往是非獨立的，這給NBC模型的分類准確度帶來了一定影響。在屬性個數比較多或者屬性之間相關性較大時，NBC模型的分類效率比不上決策樹模型；而在屬性相關性較小時，NBC模型的性能最為良好。

四、CART

CART演算法(Classification And Regression Tree)[4]是一種二分遞歸的決策樹，把當前樣本劃分為兩個子樣本，使得生成的每個非葉子結點都有兩個分支，因此CART演算法生成的決策樹是結構簡潔的二叉樹。由於CART演算法構成的是一個二叉樹，它在每一步的決策時只能是「是」或者「否」，即使一個feature有多個取值，也是把數據分為兩部分。在CART演算法中主要分為兩個步驟：將樣本遞歸劃分進行建樹過程；用驗證數據進行剪枝。

五、K-means

k-平均演算法(k-means clustering)[5]是源於信號處理中的一種向量量化方法，現在則更多地作為一種聚類分析方法流行於數據挖掘領域。k-means的聚類目標是：把n個點（可以是樣本的一次觀察或一個實例）劃分到k個聚類中，使得每個點都屬於離他最近的均值（此即聚類中心）對應的聚類。

5.1 k-means的初始化方法

通常使用的初始化方法有Forgy和隨機劃分(Random Partition)方法。Forgy方法隨機地從數據集中選擇k個觀測作為初始的均值點；而隨機劃分方法則隨機地為每一觀測指定聚類，然後執行「更新」步驟,即計算隨機分配的各聚類的圖心，作為初始的均值點。Forgy方法易於使得初始均值點散開，隨機劃分方法則把均值點都放到靠近數據集中心的地方；隨機劃分方法一般更適用於k-調和均值和模糊k-均值演算法。對於期望-最大化(EM)演算法和標准k-means演算法，Forgy方法作為初始化方法的表現會更好一些。

5.2 k-means的標准演算法

k-means的標准演算法主要包括分配(Assignment)和更新(Update)，在初始化得出k個均值點後，演算法將會在這兩個步驟中交替執行。

分配(Assignment)：將每個觀測分配到聚類中，使得組內平方和達到最小。

更新(Update)：對於上一步得到的每一個聚類，以聚類中觀測值的圖心，作為新的均值點。

六、Apriori

Apriori演算法[6]是一種最有影響的挖掘布爾關聯規則頻繁項集的演算法，其核心是基於兩階段頻集思想的遞推演算法。該關聯規則在分類上屬於單維、單層、布爾關聯規則。Apriori採用自底向上的處理方法，每次只擴展一個對象加入候選集，並且使用數據集對候選集進行檢驗，當不再產生匹配條件的擴展對象時，演算法終止。

Apriori的缺點在於生成候選集的過程中，演算法總是嘗試掃描整個數據集並盡可能多地添加擴展對象，導致計算效率較低；其本質上採用的是寬度優先的遍歷方式，理論上需要遍歷次才可以確定任意的最大子集S。

七、SVM

支持向量機(Support Vector Machine, SVM)[7]是在分類與回歸分析中分析數據的監督式學習模型與相關的學習演算法。給定一組訓練實例，每個訓練實例被標記為屬於兩個類別中的一個或另一個，SVM訓練演算法創建一個將新的實例分配給兩個類別之一的模型，使其成為非概率二元線性分類器。SVM模型是將實例表示為空間中的點，這樣映射就使得單獨類別的實例被盡可能寬的明顯的間隔分開。然後，將新的實例映射到同一空間，並基於它們落在間隔的哪一側來預測所屬類別。

除了進行線性分類之外，SVM還可以使用所謂的核技巧有效地進行非線性分類，將其輸入隱式映射到高維特徵空間中，即支持向量機在高維或無限維空間中構造超平面或超平面集合，用於分類、回歸或其他任務。直觀來說，分類邊界距離最近的訓練數據點越遠越好，因為這樣可以縮小分類器的泛化誤差。

八、EM

最大期望演算法(Expectation–Maximization Algorithm, EM)[7]是從概率模型中尋找參數最大似然估計的一種演算法。其中概率模型依賴於無法觀測的隱性變數。最大期望演算法經常用在機器學習和計算機視覺的數據聚類（Data Clustering）領域。最大期望演算法經過兩個步驟交替進行計算，第一步是計算期望(E)，利用對隱藏變數的現有估計值，計算其最大似然估計值；第二步是最大化(M)，最大化在E步上求得的最大似然值來計算參數的值。M步上找到的參數估計值被用於下一個E步計算中，這個過程不斷交替進行。

九、PageRank

PageRank演算法設計初衷是根據網站的外部鏈接和內部鏈接的數量和質量對網站的價值進行衡量。PageRank將每個到網頁的鏈接作為對該頁面的一次投票，被鏈接的越多，就意味著被其他網站投票越多。

演算法假設上網者將會不斷點網頁上的鏈接，當遇到了一個沒有任何鏈接出頁面的網頁，這時候上網者會隨機轉到另外的網頁開始瀏覽。設置在任意時刻，用戶到達某頁面後並繼續向後瀏覽的概率，該數值是根據上網者使用瀏覽器書簽的平均頻率估算而得。PageRank值可以表示為：

其中，是被研究的頁面集合，N表示頁面總數，是鏈接入頁面的集合，是從頁面鏈接處的集合。

PageRank演算法的主要缺點是的主要缺點是舊的頁面等級會比新頁面高。因為即使是非常好的新頁面也不會有很多外鏈，除非它是某個站點的子站點。

十、AdaBoost

AdaBoost方法[10]是一種迭代演算法，在每一輪中加入一個新的弱分類器，直到達到某個預定的足夠小的錯誤率。每一個訓練樣本都被賦予一個權重，表明它被某個分類器選入訓練集的概率。如果某個樣本點已經被准確地分類，那麼在構造下一個訓練集中，它被選中的概率就被降低；相反，如果某個樣本點沒有被准確地分類，那麼它的權重就得到提高。通過這樣的方式，AdaBoost方法能「聚焦於」那些較難分的樣本上。在具體實現上，最初令每個樣本的權重都相等，對於第k次迭代操作，我們就根據這些權重來選取樣本點，進而訓練分類器Ck。然後就根據這個分類器，來提高被它分錯的的樣本的權重，並降低被正確分類的樣本權重。然後，權重更新過的樣本集被用於訓練下一個分類器Ck[，並且如此迭代地進行下去。

AdaBoost方法的自適應在於：前一個分類器分錯的樣本會被用來訓練下一個分類器。AdaBoost方法對於雜訊數據和異常數據很敏感。但在一些問題中，AdaBoost方法相對於大多數其它學習演算法而言，不會很容易出現過擬合現象。AdaBoost方法中使用的分類器可能很弱（比如出現很大錯誤率），但只要它的分類效果比隨機好一點（比如兩類問題分類錯誤率略小於0.5），就能夠改善最終得到的模型。而錯誤率高於隨機分類器的弱分類器也是有用的，因為在最終得到的多個分類器的線性組合中，可以給它們賦予負系數，同樣也能提升分類效果。

引用

[1] Quinlan, J. R. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers, 1993.

[2] Altman, N. S. An introction to kernel and nearest-neighbor nonparametric regression. The American Statistician. 1992, 46 (3): 175–185. doi:10.1080/00031305.1992.10475879

[3] Webb, G. I.; Boughton, J.; Wang, Z. Not So Naive Bayes: Aggregating One-Dependence Estimators. Machine Learning (Springer). 2005, 58 (1): 5–24. doi:10.1007/s10994-005-4258-6

[4] decisiontrees.net Interactive Tutorial

[5] Hamerly, G. and Elkan, C. Alternatives to the k-means algorithm that find better clusterings (PDF). Proceedings of the eleventh international conference on Information and knowledge management (CIKM). 2002

[6] Rakesh Agrawal and Ramakrishnan Srikant. Fast algorithms for mining association rules in large databases. Proceedings of the 20th International Conference on Very Large Data Bases, VLDB, pages 487-499, Santiago, Chile, September 1994.

[7] Cortes, C.; Vapnik, V. Support-vector networks. Machine Learning. 1995, 20 (3): 273–297. doi:10.1007/BF00994018

[8] Arthur Dempster, Nan Laird, and Donald Rubin. "Maximum likelihood from incomplete data via the EM algorithm". Journal of the Royal Statistical Society, Series B, 39 (1):1–38, 1977

[9] Susan Moskwa. PageRank Distribution Removed From WMT. [October 16, 2009]

[10] Freund, Yoav; Schapire, Robert E. A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting. 1995. CiteSeerX: 10.1.1.56.9855

⑸ 數據挖掘- 關聯分析演算法

關聯分析，顧名思義就是找出哪幾項之間是有關聯關系的，舉個例子：

以上是五個購物記錄，從中我們可以發現，購買了尿布的人其中有3個購買了啤酒，那麼久我們可以推測，尿布和啤酒之間有較強的關聯關系，盡管他們之間看起來並沒有什麼聯余橘宏系，也就是能得到規則：

因為購物分析能較好地描述關聯分析，所以又被叫做 購物籃分析 。
為了較好的描述這個分析的各種名詞，我們把上面的表格重新設計一下：

把每一個購物訂單中，涉及到的商品都變成1，沒涉及到的變成0，也就是將各個商品的購買記錄 二元化 。
當然肯定也有多個分類的情況。

那麼麵包，牛奶這些就叫數據集的 項 ，而他們組合起來的子集就叫做 項集 。可以為空，空集是不包含任何項的項集，如果一個項集包含k個子項，就叫做k-項集。
訂單12345叫做 事務 ，某個項集在所有事務中出現多少次，叫做項集的 支持度計數 。

在上面的表格中，項集{啤酒、尿布、牛奶}的支持度計數為2，因為有兩個事務（3、4）包含這一項集。

用 支持度 和 置信度 來衡量，假定存在規則 ，其中X和Y是 不相交 的項集，則支持度為：
其中N是數據集中的事務個數，相當於表示該規則在數據集中出現了多少次。
置信度為：

置信度的意思就是，在出現X的情況下，有多少次同時出現了Y，代表這個關聯規則的頻繁程度。

注意置信度的分母是 ，因此這個評價可能會存在一定的問題。

關聯分析的核心目標就是找出支持度大於等於某個閾值， 同時 置信度大於等於某個閾值的所有規則，這兩個閾值記為 和 。

為了更有效率的完成這個過程，通常把關聯規則演算法分為兩步：

可以看出來，首先要求得頻繁項集，這步驟的開銷很大，但是只需要考慮支持度就可以了，第二步只考慮置信度就可以了。

下面就可以分兩步來解析演算法：

首先我們可以把項集聯想成一個樹形結構，每層代表著不同的k-項集，依層遞增，非葉子節點來自於他的幾個父節點的並集，如圖：

我們肯定不能通過傳統的方式，遍豎冊歷這些節點，算出支持度，然後篩選掉不滿足最小支持度的那些，這樣開銷太大，因此我們引入先驗原理，來輔助剪枝。

這個原伍指理不難想像，假如一個項集{a,b}是非頻繁項集，那麼{a,b,c}肯定也是，因為ab是，在{a,b,c}中與之關聯的c必須在ab出現之後才存在，因此他的支持度肯定不會大於{a,b}。

頻繁的就是支持度大於等於最小支持度的項集，非頻繁就是小於的。

我們可以利用這一定理，把非頻繁項集的超集一並從樹中減去，這樣就能大大的降低計算次數，如圖：

虛線圈上的，就是在{a,b}確定是非頻繁項集之後，剪掉的超集，這些是不用計算的。

根據這個原理，可以說一下Apriori演算法。

根據上面說的先驗原理，Apriori演算法先從項集寬度最低的1開始，遍歷所有的項集支持度，找出頻繁項集（因為第一層在找出支持度之前），之後根據先驗原理，挑選任意兩個頻繁項集組成2-頻繁項集（很簡單，如果挑非頻繁的，那組成的項集就不是頻繁項集了），再用2-項集挑選3-項集，直到挑選不出更高層次的項集為止，把這些項集作為 候選項集 ，如圖：

圖中1-項集中，啤酒，麵包，尿布，牛奶的支持度大於等於3（設 為3），則由他們組成2-項集，繼續篩選滿足支持度不小於3的項集，再由2-項集生成3-項集，這就是 Apriori 演算法篩選頻繁項集的基本步驟。總結如下：

上面提到了用k-1項集生成k-項集，那麼如何才能最有效率的產生k-項集呢，這里用了 的方法，也就是找到一對（k-1）-項集，當他們的前（k-2）項都相同時，進行合並，合並之後的結果就是{ }，因為前k-2項是相同的。
舉個例子：

上面說了如何產生候選項集，接下來就是如何更有效率的確定支持度計數了，同樣，如果遍歷一個一個查的話效率是很低的，我們可以用枚舉的方法遍歷每個事務包含的項集，以查找3-項集為例，如圖：

因為我們要查3-項集，因此樹狀結構就分到3-項集為止。
因為3-項集的開頭第一個項肯定在1，2，3之間，我們就設定這三個數為三個分支，無論到哪個節點，都嚴格按照這個來分（1在左，2在中，3在右），在下面的層次中如何碰到比123更大的，則再向右分，就可以得到圖中的關於事務t的所有3-項集。

有了所有項集的列表，我們可以用候選項集去匹配這些項集，從而看t中是否包含候選項集，如果包含，則支持度+1。

可以使用Hash樹來進行匹配，從而實現支持度計數。
如下圖，就是一個Hash樹的例子，每個內部節點都使用Hash函數 來確定應當沿著當前節點的哪個分支向下，所以1，4，7就到了同一分支。

我們對於單個事務，可以遍歷Hash樹，設事務為t，則保證所有包含屬於事務t的候選3-項集的葉節點至少訪問一次。

由於我們之前已經通過樹的方式枚舉出了t中所有的3-項集，那麼我們跟這個Hash一走分支，找到對應3-項集的就+1支持度，即可算出每個候選項集的支持度。

提取規則相應的比較簡單，設有 頻繁項集Y ，我們忽略前件為空和後件為空的規則，每個頻繁項集能產生 個關聯規則，提取方法就是將Y劃分為兩個 非空 的子集X和Y-X，使得 滿足 置信度閾值 也就是最小置信度。

同樣的，提取規則也有一個原理：

參考頻繁項集的尋找過程，我們可以利用樹形結構對規則進行剪枝。
樹的每層對應規則後件中的項數，如圖：

假設規則{ } { }不滿足置信度閾值的要求，那麼可以丟棄後件包含{a}的所有規則，如上圖所示。

至此我們經歷了尋找頻繁項集和提取規則的過程，基本Apriori演算法就算完成了，不過還有一些需要考慮的細節。

在實際應用過程中，往往頻繁項集產生的數量可能很大，所以很難表示，我們需要尋找一種方法，找到一些有代表性的頻繁項集，以保證其描述性。

通常有如下兩種方法：

如圖：

這種表示很明顯降低了需要表示項集的個數，我們需要別的候選項集，直接取極大頻繁項集的子集就行，任意一個肯定都是。

但是這么做，表示不出他們子集的支持度，所以就需要再遍歷數據集，確定非極大頻繁項集的支持度，不是很方便。

所以我們還可以用閉頻繁項集來表示。

先來看閉項集的概念：

那麼閉頻繁項集的概念就很好理解了：

如圖，我們假設 是40%。

這種做法可以保證支持度和描述性。

之前舉的例子都是二元分類的，要麼1要麼0，下面看多分類的，我們很容易想到可以用獨熱編碼解決這個問題，把所有分類二元化，但是這樣就存在一個問題，有的屬性值可能會不夠頻繁，沒辦法成為頻繁項集。
所以最好是把多分類的項根據實際情況進行分類化，不要針對每個屬性都設置獨熱編碼。

或者將不太頻繁的屬性值合並為一個稱作其他的類別。

所以面對多分類屬性，我們要做的就是：
獨熱編碼二元化-針對這些值進行一定的合並，或者分類或者並為其他 - 刪除冗餘的項 - 避免包含多個來自同一屬性的項的候選集（例如{ }，被寫到了一個候選集中，但是實際上這種情況不可能發生，由於獨熱編碼進行的二元化而產生了這種情況，需要避免。）

我們也會遇到一些連續屬性，可以通過以下幾種方式處理：

這種做法有一個問題就是分類的效果取決於區間的個數和跨度，如果取不好很難得到理想的結果。

如果要驗證統計出的值是否具有統計意義，可以參考假設檢驗中針對不同比較的不同公式，這里不再舉例。

把mini-Apriori演算法中的支持度代入到Apriori演算法的支持度中即可。

舉個例子：

想要衡量模型的好與壞，肯定要有一個評估指標，我們可以根據業務實際去評價，這是主管評價，叫做 主觀興趣度度量 ，這個顯然要結合業務，所以我們要看看一些客觀指標。

指標的評價往往依賴於相依表，這個相依表有點類似於混淆矩陣：

其中A，B代表在事務中出現，!A,!B代表沒有在事務中出現，空列空行例如 代表A的支持度計數， 表示包含B但是不包含A的事務的個數。

最基本的就是置信度和支持度了，但是這兩種指標都很難做到客觀評價模型，會受到多種因素的影響。

我們可以用 興趣因子 來衡量模型：
首先我們引入 提升度 的概念，它用於計算規則置信度和 規則後件 中項集的支持度之間的比率，

對於二元變數，提升度等價於另一種稱作興趣因子的客觀度量，定義為：
其中N是事務個數。
如果

但是興趣因子有一定局限性，看上圖，{p,q}和{r,s}的興趣因子分別為1.02和4.08，雖然p和q同時出現在88%的文檔中，但是他們的興趣因子接近於1，表明他們相互獨立，另一方面，{r,s}的興趣因子閉{p,q}的高，但是r和s很少出現在一個文檔中，這種情況下，置信度要比興趣因子更可信，置信度表明p和q之間的聯系94.6%遠高於r和s之間。

另外還可以引入 相關系數 ，邏輯類似於向量的相關系數：

相關度的值從-1到1，如果變數相互獨立，則Φ=0。

他的局限性在於在食物中把同時出現和同時不出現視為同等重要，這往往不符合實際規律，同時對於傾斜的變數很難度量。

IS度量 可以用於處理非對稱二元變數，定義如下：
IS數學上等價於二元變數的餘弦度量。
但是IS取決於A和B的支持度，所以存在與置信度度量類似的問題——即使是不相關或者負相關的模式，度量值也可能相當大。

支持度，全置信度，可以應用於較大的項集，興趣因子，IS、PS、Jaccard系數等使用多維相依表中的頻率，可以擴展到多個變數。

針對大多數項具有較低或中等的頻率，但是少數項具有很高頻率的數據集。

交叉支持模式是一個項集 ，他的支持度比率是：
小於用戶指定的閾值 。

需要保證全置信度小於上面的支持度比率，而全置信度是：
其中 .

全置信度能夠確保項集中的項之間是強關聯的，例如，假定一個項集X的全置信度是80%，如果X中的一個項出現在某個事物中，則X中其他的項至少也有80%的幾率屬於同一個事務，這種強關聯模式又稱 超團模式 。

⑹ 簡述一種關聯規則挖掘演算法基本過程。《數據挖掘》作業題追分100

Apriori演算法是一種發現頻繁項集的基本演算法。演算法使用頻繁項集性質的先驗知識。Apriori演算法使用一種稱為逐層搜索的迭代方法，其中K項集用於探索(k+1)項集。首先，通過掃描資料庫，累計每個項的計數，並收集滿足最小支持度的項，找出頻繁1項集的集合。該集合記為L1.然後，使用L1找出頻繁2項集的集合L2，使用L2找到L3，如此下去，直到不能再找到頻繁k項集。
Apriori演算法的主要步驟如下：
(1)掃描事務資料庫中的每個事務，產生候選1．項集的集合Cl；
(2)根據最小支持度min_sup，由候選l-項集的集合Cl產生頻繁1一項集的集合Ll；
(3)對k=l；
(4)由Lk執行連接和剪枝操作，產生候選(k+1)．項集的集合Ck+l-
(5)根據最小支持度min_sup，由候選(k+1)一項集的集合Ck+l產生頻繁(k+1)-項
集的集合Lk+1．
(6)若L⋯≠①，則k．k+1，跳往步驟(4)；否則，跳往步驟(7)；
(7)根據最小置信度min_conf,由頻繁項集產生強關聯規則，結束。

⑺ 數據挖掘中的Hotspot關聯規則

提到關聯規則演算法，一般會想到Apriori或者FP，一般很少有想到HotSpot的，這個演算法不知道是應用少還是我查資料的手段太low了，在網上只找到很少的內容，這篇http://wiki.pentaho.com/display/DATAMINING/HotSpot+Segmentation-Profiling ，大概分析了一點，其他好像就沒怎麼看到了。比較好用的演算法類軟體，如weka，其裡面已經包含了這個演算法，在Associate--> HotSpot裡面即可看到，運行演算法界面一般如下：

其中，紅色方框裡面為設置的參數，如下：

-c last ，表示目標所在的目標所在的列，last表示最後一列，也是是數值，表示第幾列；

-V first， 表示目標列的某個狀態值下標值（這里可以看出目標列應該是離散型），first表示第0個，可以是數值型；

-S 0.13，最小支持度，裡面會乘以樣本總數得到一個數值型的支持度；

-M 2 ， 最大分指數；

-I 0.01 ， 在weka裡面解釋為Minimum improvement in target value，不知道是否傳統的置信度一樣；

相關說明：本篇相關代碼參考weka裡面的HotSpot演算法的具體實現，本篇只分析離散型數據，代碼可以在（http://download.csdn.net/detail/fansy1990/8488971）下載。

1. 數據：

@attribute age {young, pre-presbyopic, presbyopic}
@attribute spectacle-prescrip {myope, hypermetrope}
@attribute astigmatism {no, yes}
@attribute tear-prod-rate {reced, normal}
@attribute contact-lenses {soft, hard, none}
young,myope,no,reced,none
young,myope,no,normal,soft
young,myope,yes,reced,none
。。。
presbyopic,hypermetrope,yes,normal,none
這個數據格式是參考weka裡面的，加入最前面的5行是因為需要把各個屬性進行編碼，所以提前拿到屬性的各個狀態，方便後續操作；
2. 單個節點定義：
public class HSNode {
private int splitAttrIndex; // 屬性的下標
private int attrStateIndex; // 屬性state的下標
private int allCount ; // 當前數據集的個數
private int stateCount ; // 屬性的state的個數
private double support; // 屬性的支持度
private List<HSNode> chidren;

public HSNode(){}}

splitAttrIndex 即對應屬性astigmatism的下標（應該是第2個，從0開始）；attrStateIndex 則對應這個屬性的下標，即no的下標（這里應該是0）；allCount即12，stateCount即5，support 對應41.57%（即5/12的值）；children即其孩子節點；（這里的下標即是從文件的前面幾行編碼得到的，比如屬性age為第一個屬性，編碼為0，young為其第一個狀態，編碼為0）；

3. 演算法偽代碼，（文字描述，太不專業了，如果要看，就將就看？）

1. 創建根節點；
2. 創建孩子節點；

2.1 針對所有數據，計算每列的每個屬性的』支持度『support，
if support>= MINSUPPORT
把該列的當前屬性加入潛在的孩子節點列表；
end
2.2 針對潛在孩子節點列表遍歷
if (!當前節點產生的規則序in全局規則序列）
把當前節點加入孩子節點列表；
把當前節點產生的規則加入全局規則中；
end

2.3 遍歷孩子節點列表
針對當前節點，返回到2，進行遞歸；

4. 代碼關鍵步驟具體實現：

4.1 數據讀取及初始化：

1） 讀取文件的前面幾行，初始化兩個變數，attributes和attributeStates ,分別對應所有的屬性和屬性的各個狀態；

while ((tempString = reader.readLine()) != null) {
// 第一行數據是標題
if(tempString.indexOf(HSUtils.FILEFORMAT)==0){
String attr = tempString.substring(HSUtils.FILEFORMAT.length()
, tempString.indexOf("{")).trim();
String[] attrStates =tempString.substring(tempString.indexOf("{")+1,
tempString.indexOf("}")).split(",");
for(int i=0;i<attrStates.length;i++){
attrStates[i]=attrStates[i].trim();
}
attrList.add( attr);
line++;
this.attributeStates.put(attr, attrStates);
continue;
}
if(flag){
this.attributes= new String[line];
attrList.toArray(this.attributes);// 復制值到數組中
flag=false;
}
String[] tempStrings = tempString.split(splitter);
lists.add(strArr2IntArr(tempStrings));
}
2） 後面就是把下面的數據轉為數值型數組了，strArr2IntArr 函數如下：
/**
* String 數組轉為int數組
* @param sArr
* @return
* @throws Exception
*/
private int[] strArr2IntArr(String[] sArr) throws Exception{
int[] iArr = new int[sArr.length];
for(int i=0;i<sArr.length;i++){
iArr[i]= getAttrCode(sArr[i],i);
}
return iArr;
}
/**
* 獲得第attrIndex屬性的attrState的編碼
* @param attrState
* @param attrIndex
* @return
* @throws Exception
*/
private int getAttrCode(String attrState,int attrIndex) throws Exception{
String[] attrStates = attributeStates.get(attributes[attrIndex]);
for(int i=0;i<attrStates.length;i++){
if(attrState.equals(attrStates[i])){
return i;
}
}
throw new Exception("編碼錯誤！");
// return -1; // 如果運行到這里應該會報錯
}

這里數據讀取主要是把離散型的字元串類型數據轉換為數值型數據，編碼規則如下：

屬性age的狀態： [young-->0,pre-presbyopic-->1,presbyopic-->2,]
屬性spectacle-prescrip的狀態： [myope-->0,hypermetrope-->1,]
屬性astigmatism的狀態： [no-->0,yes-->1,]
屬性tear-prod-rate的狀態： [reced-->0,normal-->1,]
屬性contact-lenses的狀態： [soft-->0,hard-->1,none-->2,]
4.2 初始化根節點

// 讀取文件並賦值
List<int[]> intData = readFileAndInitial(HSUtils.FILEPATH,HSUtils.SPLITTER);;

int splitAttributeIndex = attributes.length-1;// 下標需減1
int stateIndex = HSUtils.LABELSTATE;

int numInstances = intData.size();// 數據總個數
int[] labelStateCount = attrStateCount(intData,attributes.length-1);

HSUtils.setMinSupportCount(numInstances);
double targetValue=1.0*labelStateCount[HSUtils.LABELSTATE]/numInstances;
// 創建根節點
HSNode root = new HSNode(splitAttributeIndex,stateIndex,labelStateCount[stateIndex],numInstances);
double[] splitVals=new double[attributes.length];
byte[] tests = new byte[attributes.length];
root.setChidren(constructChildrenNodes(intData,targetValue,splitVals,tests));
labelStateCount即目標屬性的各個狀態的個數，比如這里目標狀態為soft，一共有5個值，一共有24個樣本，所以其支持度為5/25=20.82%;
constructChildrenNodes函數為創建所有子節點，接收的參數有：intData：所有的數據（經過編碼的）；targetValue：當前節點支持度；splitVals和tests數組主要用於針對節點產生規則；

4.3 創建孩子節點：

1） 計算潛在孩子節點：

private List<HSNode> constructChildrenNodes(List<int[]> intData,double targetValue,
double[] splitVals,
byte[] tests) {

// 設置孩子節點
// // 獲取子數據集
//
// 針對每個屬性的每個state值計算其支持度（需要符合置信度）
PriorityQueue<AttrStateSup> pq = new PriorityQueue<AttrStateSup>();
for(int i=0;i<attributes.length-1;i++){// 最後一個屬性不用計算（為Label）
evaluateAttr(pq,intData,i,targetValue);
}
這里的evaluateAttr主要是判斷每個屬性的各個狀態是否符合要求，是則加入pq

/**
* 是否把第attrIndex屬性的state作為備選節點加入pq
* @param pq
* @param intData
* @param attrIndex
* @param targetValue
* @param stateIndex
* @param labelStateCount
*/
private void evaluateAttr(PriorityQueue<AttrStateSup> pq,
List<int[]> intData, int attrIndex, double targetValue) {
int[] counts = attrStateCount(intData,attrIndex);

boolean ok = false;
// only consider attribute values that result in subsets that meet/exceed min support
for (int i = 0; i < counts.length; i++) {
if (counts[i] >= HSUtils.getMinSupportCount()) {
ok = true;
break;
}
}
if(ok){
double subsetMatrix =0.0;
for(int stateIndex=0;stateIndex<counts.length;
stateIndex++){
subsetMatrix =attrStateCount(intData,attrIndex,stateIndex,attributes.length-1,HSUtils.LABELSTATE);
if(counts[stateIndex]>=HSUtils.getMinSupportCount()&&subsetMatrix>=HSUtils.getMinSupportCount()){

double merit = 1.0*subsetMatrix / counts[stateIndex]; //
double delta = merit - targetValue;
if(delta/targetValue>=HSUtils.MINCONFIDENCE){
pq.add(new AttrStateSup(attrIndex,stateIndex,counts[stateIndex],(int)subsetMatrix));
}

}
}
}// ok
}

這里首先針對當前數據集計算屬性下標為attrIndex的各個狀態的計數到counts[]數組中；如果各個狀態的所有計數都小於最小支持度，則該屬性都不作為備選加入pq中；否則繼續判斷：計算目標屬性的設定狀態（比如soft）和當前屬性的狀態（young）共同出現的次數（第一次應該是2），賦值給subsetMatrix（那麼該值就是2）；判斷subsetMatrix是否>=最小支持度，如果是在按照上面的代碼進行計算，最後還有個判斷是用到置信度的（暫譯為置信度），如果滿足則把其加入到pq中，即備選子節點列表；
2）生成全局規則，並添加孩子節點

List<HSNode> children = new ArrayList<HSNode>();
List<HotSpotHashKey> keyList = new ArrayList<HotSpotHashKey>();
while(pq.size()>0&&children.size()<HSUtils.MAXBRANCH){
AttrStateSup attrStateSup = pq.poll();

// 再次進行過濾
double[] newSplitVals = splitVals.clone();
byte[] newTests = tests.clone();
newSplitVals[attrStateSup.getAttrIndex()]=attrStateSup.getStateIndex()+1;
newTests[attrStateSup.getAttrIndex()] =(byte)2;

HotSpotHashKey key = new HotSpotHashKey(newSplitVals, newTests);
if (!HSUtils.m_ruleLookup.containsKey(key)) {
// insert it into the hash table
HSUtils.m_ruleLookup.put(key, ""); // 需要先增加規則，然後才處理子節點
HSNode child_i= new HSNode(attrStateSup.getAttrIndex(),attrStateSup.getStateIndex(),
attrStateSup.getStateCount(),attrStateSup.getAllCount());
keyList.add(key);
children.add(child_i);
} else {
System.out.println("The potential ,but not included :"+attrStateSup);
}
}
這里的全局規則使用HotSpotHashKey生成，具體規則的含義沒有理解（可能和演算法原理有關，都找不到一篇相關的paper！）
添加一個節點後，就會添加相應的規則，這樣可以避免孩子節點的孩子有相同的規則被重復添加；

3） 針對每個孩子節點，處理其節點的孩子

// 處理子節點
for(int i=0;i<children.size();i++){
HSNode child = children.get(i);
child.setChidren(constructChildrenNodes(getSubData(intData,child.getSplitAttrIndex(),
child.getAttrStateIndex()),child.getSupport(),keyList.get(i).getM_splitValues(),
keyList.get(i).getM_testTypes()));

}
這里使用遞歸進行調用，方便處理。需注意節點規則的生成使用的兩個數組newSplitValues 和newTests需要往下傳遞，所以在每個孩子節點生成規則的時候把其加入到一個keyList，這樣在遍歷孩子節點，處理其節點的孩子時，可以找到對應的規則傳遞數組；

這里的getSubData即是找到當前數據集中和給定的屬性下標即屬性狀態一樣的數據返回，如下：

/**
* 獲取和splitAttributeIndex相同下標的屬性以及stateIndex的所有數據
* @param intData
* @param splitAttributeIndex
* @param stateIndex
* @return
*/
private List<int[]> getSubData(List<int[]> intData,
int splitAttributeIndex, int stateIndex) {
List<int[]> subData = new ArrayList<int[]>();
for(int[] d:intData){
if(d[splitAttributeIndex]==stateIndex){
subData.add(d);
}
}
return subData;
}

4.4 列印規則樹

/**
* 列印規則樹
* @param node
* @param level
*/
public void printHSNode(HSNode node,int level){
printLevelTab(level);
System.out.print(node+"\n");

List<HSNode> children= node.getChidren();
for(HSNode child:children){
printHSNode(child,level+1);
}
}
private void printLevelTab(int level) {
for(int i=0;i<level;i++){
System.out.print("|\t");
}
}
這里可以看到針對當前節點，使用直接列印的方式，因為這里覆寫了toString方法，所以可以這樣，其toString 方法如下：

/**
* 格式化輸出
*/
public String toString(){
return HSUtils.getAttr(this.splitAttrIndex)+"="+HSUtils.getAttrState(splitAttrIndex, attrStateIndex)
+" ("+HSUtils.formatPercent(this.support)+" ["+this.stateCount+"/"+this.allCount+"])";
}

4.5 演算法調用：

package fz.hotspot;

import fz.hotspot.dataobject.HSNode;

public class HotSpotTest {

/**
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception {
String file = "D:/jars/weka-src/data/contact-lenses.txt";
int labelStateIndex = 0; // 目標屬性所在下標
int maxBranches=2; // 最大分支數目
double minSupport =0.13; // 最小支持度
double minConfidence=0.01;// 最小置信度（在weka中使用的是minImprovement）
HotSpot hs = new HotSpot();
HSNode root = hs.run(file,labelStateIndex,maxBranches,minSupport,minConfidence);
System.out.println("\n規則樹如下：\n");
hs.printHSNode(root,0);
}

}
列印的規則樹如下：

contact-lenses=soft (20.83% [5/24])
| astigmatism=no (41.67% [5/12])
| | tear-prod-rate=normal (83.33% [5/6])
| | | spectacle-prescrip=hypermetrope (100.00% [3/3])
| | spectacle-prescrip=hypermetrope (50.00% [3/6])
| tear-prod-rate=normal (41.67% [5/12])
| | spectacle-prescrip=hypermetrope (50.00% [3/6])

可以看到和weka給出的是一致的。

最近在看《暗時間》，上面提到說有想法最好寫下來，這樣不僅可以加深自己的理解，同時在寫的過程中，比如一些表達之類的 也可以加強（身為程序員，這方面的能力確實欠缺），同時也可以讓別人檢驗到自己的思維盲點。

文中相關演算法理解，僅代表自己觀點。

分享，成長，快樂

腳踏實地，專注

轉載請註明blog地址：http://blog.csdn.net/fansy1990

文章最後發布於: 2015-03-10
版權聲明：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。
本文鏈接：https://blog.csdn.net/fansy1990/article/details/44177523
展開全文

⑻ 數據挖掘的經典演算法有哪些

1. C4.5

C4.5演算法是機器學習演算法中的一種分類決策樹演算法,其核心演算法是ID3演算法. C4.5演算法繼承了ID3演算法的優點，並在以下幾方面對ID3演算法進行了改進：

1) 用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足;

2) 在樹構造過程中進行剪枝;

3) 能夠完成對連續屬性的離散化處理;

4) 能夠對不完整數據進行處理。

2. The k-means algorithm 即K-Means演算法

k-means algorithm演算法是一個聚類演算法，把n的對象根據他們的屬性分為k個分割，k < n。它與處理混合正態分布的最大期望演算法很相似，因為他們都試圖找到數據中自然聚類的中心。它假設對象屬性來自於空間向量，並且目標是使各個群組內部的均 方誤差總和最小。

3. Support vector machines

支持向量機，英文為Support Vector Machine，簡稱SV機(論文中一般簡稱SVM)。它是一種監督式學習的方法，它廣泛的應用於統計分類以及回歸分析中。支持向量機將向量映射到一個更 高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數據的超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化。

4. The Apriori algorithm

Apriori演算法，它是一種最具影響力的挖掘布爾關聯規則頻繁項集的演算法。它的演算法核心是基於兩階段頻集思想的遞推演算法。該關聯規則在分類上屬於單維、單層、布爾關聯規則。在這里，所有支持度大於最小支持度的項集稱為頻繁項集，簡稱頻集。

關於數據挖掘的經典演算法有哪些，該如何下手的內容，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

⑼ 數據挖掘演算法有哪些

問題一：常用的數據挖掘演算法有哪幾類？ 10分 有十大經典演算法： 我是看譚磊的那本書學的。。。
下面是網站給出的答案：
1. C4.5
C4.5演算法是機器學習演算法中的一種分類決策樹演算法,其核心演算法是ID3演算法. C4.5演算法繼承了ID3演算法的優點，並在以下幾方面對ID3演算法進行了改進：
1) 用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足；
2) 在樹構造過程中進行剪枝；
3) 能夠完成對連續屬性的離散化處理；
4) 能夠對不完整數據進行處理。
C4.5演算法有如下優點：產生的分類規則易於理解，准確率較高。其缺點是：在構造樹的過程中，需要對數據集進行多次的順序掃描和排序，因而導致演算法的低效。

2. The k-means algorithm 即K-Means演算法
k-means algorithm演算法是一個聚類演算法，把n的對象根據他們的屬性分為k個分割，k >

問題二：數據挖掘中的預測演算法有哪些 數據挖掘（六）：預測
blog.csdn/...977837

問題三：用於數據挖掘的分類演算法有哪些，各有何優劣 樸素貝葉斯(Naive Bayes, NB)
超級簡單，就像做一些數數的工作。如果條件獨立假設成立的話，NB將比鑒別模型（如Logistic回歸）收斂的更快，所以你只需要少量的訓練數據。即使條件獨立假設不成立，NB在實際中仍然表現出驚人的好。如果你想做類似半監督學習，或者是既要模型簡單又要性能好，NB值得嘗試。
Logistic回歸(Logistic Regression, LR)
LR有很多方法來對模型正則化。比起NB的條件獨立性假設，LR不需要考慮樣本是否是相關的。與決策樹與支持向量機（SVM）不同，NB有很好的概率解釋，且很容易利用新的訓練數據來更新模型（使用在線梯度下降法）。如果你想要一些概率信息（如，為了更容易的調整分類閾值，得到分類的不確定性，得到置信區間），或者希望將來有更多數據時能方便的更新改進模型，LR是值得使用的。
決策樹（Decision Tree, DT）
DT容易理解與解釋（對某些人而言――不確定我是否也在他們其中）。DT是非參數的，所以你不需要擔心野點（或離群點）和數據是否線性可分的問題（例如，DT可以輕松的處理這種情況：屬於A類的樣本的特徵x取值往往非常小或者非常大，而屬於B類的樣本的特徵轎伍x取值在中間范圍）。DT的主要缺點是容易過擬合，這也正是隨機森林（Random Forest, RF）（或者Boosted樹）等集成學習演算法被提出來的原因。此外，RF在很多分類問題中經常表現得最好（我個人相信一般比SVM稍好），且速度快可擴展，也不像SVM那樣需要調整大量的參數，所以最近RF是一個非常流行的演算法。
支持向量機（Support Vector Machine, SVM）
很高的分類正確率，對過擬合有很好的理論保證，選取合適的核函數，面對特徵線性不可分的問題也可以表現得很好。SVM在維數通常很高的文本分類中非常的流行。由於較大的內存需求和搏帆瞎繁瑣的調參，我認為RF已經開始威脅其地位了。
回到LR與DT的問題（我更傾向是LR與RF的問題），做個簡單的總結：兩種方法都很快且可擴展。在正確率方面，RF比LR更優。但是LR可以在線更新且提供有用的概率信息。鑒於你在Square(不確定推斷科學家是什麼，應該不是有趣的化身)，可能從事欺詐檢測：如果你想快速的調整閾值來改變假陽性率與假陰性率，分類結果中包含概率信息將很有幫助。無論你選擇什麼演算法，如果你的各類樣本數量是不基空均衡的（在欺詐檢測中經常發生），你需要重新采樣各類數據或者調整你的誤差度量方法來使各類更均衡。

問題四：數據挖掘與演算法是什麼關系？ data mining：數據挖掘一般是指從大量的數據中自動搜索隱藏於其中的有著特殊關系性（屬於Association rule learning）的信息的過程。reference:數據挖掘2.聚類和分類：關於這些，我相信再好的演算法，都會有一定的准確度，我沒有說這些東西不重要。3.如果你的數據量足夠大，舉個例子說明吧，數據挖掘是這樣做的，你要判斷什麼樣的蘋果是甜的，應該這樣做，去超市買蘋果，總結甜蘋果的特徵 A B ，第二次你也去買蘋果，就選具備這些特徵值的。存的的問題有可能買到的蘋果還不是甜的，可能原因是要同時包含特徵C。但是如果你數據量足夠大，足夠大，你要買的蘋果直接能夠找到，一模一樣的蘋果，是不是甜的，都已經知道啦，直接取出來不就好了嗎？前提是數據你想要什麼有什麼。@黃宇恆@肖智博@葛少華@余天升

問題五：數據挖掘的方法有哪些？ 利用數據挖掘進行數據分析常用的方法主要有分類、回歸分析、聚類、關聯規則、特徵、變化和偏差分析、Web頁挖掘等， 它們分別從不同的角度對數據進行挖掘。1、分類分類是找出資料庫中一組數據對象的共同特點並按照分類模式將其劃分為不同的類，其目的是通過分類模型，將資料庫中的數據項映射到某個給定的類別。它可以應用到客戶的分類、客戶的屬性和特徵分析、客戶滿意度分析、客戶的購買趨勢預測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大增加了商業機會。2、回歸分析回歸分析方法反映的是事務資料庫中屬性值在時間上的特徵，產生一個將數據項映射到一個實值預測變數的函數，發現變數或屬性間的依賴關系，其主要研究問題包括數據序列的趨勢特徵、數據序列的預測以及數據間的相關關系等。它可以應用到市場營銷的各個方面，如客戶尋求、保持和預防客戶流失活動、產品生命周期分析、銷售趨勢預測及有針對性的促銷活動等。3、聚類聚類分析是把一組數據按照相似性和差異性分為幾個類別，其目的是使得屬於同一類別的數據間的相似性盡可能大，不同類別中的數據間的相似性盡可能小。它可以應用到客戶群體的分丹、客戶背景分析、客戶購買趨勢預測、市場的細分等。4、關聯規則關聯規則是描述資料庫中數據項之間所存在的關系的規則，即根據一個事務中某些項的出現可導出另一些項在同一事務中也出現，即隱藏在數據間的關聯或相互關系。在客戶關系管理中，通過對企業的客戶資料庫里的大量數據進行挖掘，可以從大量的記錄中發現有趣的關聯關系，找出影響市場營銷效果的關鍵因素，為產品定位、定價與定製客戶群，客戶尋求、細分與保持，市場營銷與推銷，營銷風險評估和詐騙預測等決策支持提供參考依據。5、特徵特徵分析是從資料庫中的一組數據中提取出關於這些數據的特徵式，這些特徵式表達了該數據集的總體特徵。如營銷人員通過對客戶流失因素的特徵提取，可以得到導致客戶流失的一系列原因和主要特徵，利用這些特徵可以有效地預防客戶的流失。6、變化和偏差分析偏差包括很大一類潛在有趣的知識，如分類中的反常實例，模式的例外，觀察結果對期望的偏差等，其目的是尋找觀察結果與參照量之間有意義的差別。在企業危機管理及其預警中，管理者更感興趣的是那些意外規則。意外規則的挖掘可以應用到各種異常信息的發現、分析、識別、評價和預警等方面。7、Web頁挖掘隨著Internet的迅速發展及Web 的全球普及， 使得Web上的信息量無比豐富，通過對Web的挖掘，可以利用Web 的海量數據進行分析，收集政治、經濟、政策、科技、金融、各種市場、競爭對手、供求信息、客戶等有關的信息，集中精力分析和處理那些對企業有重大或潛在重大影響的外部環境信息和內部經營信息，並根據分析結果找出企業管理過程中出現的各種問題和可能引起危機的先兆，對這些信息進行分析和處理，以便識別、分析、評價和管理危機。

問題六：數據挖掘中常見的分類方法有哪些 判別分析、規則歸納、決策樹、神經網路、K最近鄰、基於案例的推理、遺傳演算法等等挺多的，這個問題范圍太大了，雲速數據挖掘分類挺多。

問題七：數據挖掘的方法有哪些 利用數據挖掘進行數據分析常用的方法主要有分類、回歸分析、聚類、關聯規則、特徵、變化和偏差分析、Web頁挖掘等， 它們分別從不同的角度對數據進行挖掘。
1、分類
分類是找出資料庫中一組數據對象的共同特點並按照分類模式將其劃分為不同的類，其目的是通過分類模型，將資料庫中的數據項映射到某個給定的類別。它可以應用到客戶的分類、客戶的屬性和特徵分析、客戶滿意度分析、客戶的購買趨勢預測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大增加了商業機會。
2、回歸分析
回歸分析方法反映的是事務資料庫中屬性值在時間上的特徵，產生一個將數據項映射到一個實值預測變數的函數，發現變數或屬性間的依賴關系，其主要研究問題包括數據序列的趨勢特徵、數據序列的預測以及數據間的相關關系等。它可以應用到市場營銷的各個方面，如客戶尋求、保持和預防客戶流失活動、產品生命周期分析、銷售趨勢預測及有針對性的促銷活動等。
3、聚類
聚類分析是把一組數據按照相似性和差異性分為幾個類別，其目的是使得屬於同一類別的數據間的相似性盡可能大，不同類別中的數據間的相似性盡可能小。它可以應用到客戶群體的分類、客戶背景分析、客戶購買趨勢預測、市場的細分等。
4、關聯規則
關聯規則是描述資料庫中數據項之間所存在的關系的規則，即根據一個事務中某些項的出現可導出另一些項在同一事務中也出現，即隱藏在數據間的關聯或相互關系。在客戶關系管理中，通過對企業的客戶資料庫里的大量數據進行挖掘，可以從大量的記錄中發現有趣的關聯關系，找出影響市場營銷效果的關鍵因素，為產品定位、定價與定製客戶群，客戶尋求、細分與保持，市場營銷與推銷，營銷風險評估和詐騙預測等決策支持提供參考依據。
5、特徵
特徵分析是從資料庫中的一組數據中提取出關於這些數據的特徵式，這些特徵式表達了該數據集的總體特徵。如營銷人員通過對客戶流失因素的特徵提取，可以得到導致客戶流失的一系列原因和主要特徵，利用這些特徵可以有效地預防客戶的流失。
6、變化和偏差分析
偏差包括很大一類潛在有趣的知識，如分類中的反常實例，模式的例外，觀察結果對期望的偏差等，其目的是尋找觀察結果與參照量之間有意義的差別。在企業危機管理及其預警中，管理者更感興趣的是那些意外規則。意外規則的挖掘可以應用到各種異常信息的發現、分析、識別、評價和預警等方面。
7、Web頁挖掘
隨著Internet的迅速發展及Web 的全球普及， 使得Web上的信息量無比豐富，通過對Web的挖掘，可以利用Web 的海量數據進行分析，收集政治、經濟、政策、科技、金融、各種市場、競爭對手、供求信息、客戶等有關的信息，集中精力分析和處理那些對企業有重大或潛在重大影響的外部環境信息和內部經營信息，並根據分析結果找出企業管理過程中出現的各種問題和可能引起危機的先兆，對這些信息進行分析和處理，以便識別、分析、評價和管理危機。

問題八：用於數據挖掘的分類演算法有哪些，各有何 數據挖掘可以看看【雲速數據挖掘】，全中文界面，只要設置好挖掘的熟悉，什麼信息都能挖掘到

問題九：大數據挖掘常用的方法有哪些 在大數據時代，數據挖掘是最關鍵的工作。大數據的挖掘是從海量、不完全的、有雜訊的、模糊的、隨機的大型資料庫中發現隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。其主要基於人工智慧，機器學習，模式學習，統計學等。通過對大數據高度自動化地分析，做出歸納性的推理，從中挖掘出潛在的模式，可以幫助企業、商家、用戶調整市場政策、減少風險、理性面對市場，並做出正確的決策。目前，在很多領域尤其是在商業領域如銀行、電信、電商等，數據挖掘可以解決很多問題，包括市場營銷策略制定、背景分析、企業管理危機等。大數據的挖掘常用的方法有分類、回歸分析、聚類、關聯規則、神經網路方法、Web 數據挖掘等。這些方法從不同的角度對數據進行挖掘。
(1)分類。分類是找出資料庫中的一組數據對象的共同特點並按照分類模式將其劃分為不同的類，其目的是通過分類模型，將資料庫中的數據項映射到摸個給定的類別中。可以應用到涉及到應用分類、趨勢預測中，如淘寶商鋪將用戶在一段時間內的購買情況劃分成不同的類，根據情況向用戶推薦關聯類的商品，從而增加商鋪的銷售量。
(2)回歸分析。回歸分析反映了資料庫中數據的屬性值的特性，通過函數表達數據映射的關系來發現屬性值之間的依賴關系。它可以應用到對數據序列的預測及相關關系的研究中去。在市場營銷中，回歸分析可以被應用到各個方面。如通過對本季度銷售的回歸分析，對下一季度的銷售趨勢作出預測並做出針對性的營銷改變。
(3)聚類。聚類類似於分類，但與分類的目的不同，是針對數據的相似性和差異性將一組數據分為幾個類別。屬於同一類別的數據間的相似性很大，但不同類別之間數據的相似性很小，跨類的數據關聯性很低。
(4)關聯規則。關聯規則是隱藏在數據項之間的關聯或相互關系，即可以根據一個數據項的出現推導出其他數據項的出現。關聯規則的挖掘過程主要包括兩個階段：第一階段為從海量原始數據中找出所有的高頻項目組;第二極端為從這些高頻項目組產生關聯規則。關聯規則挖掘技術已經被廣泛應用於金融行業企業中用以預測客戶的需求，各銀行在自己的ATM 機上通過捆綁客戶可能感興趣的信息供用戶了解並獲取相應信息來改善自身的營銷。
(5)神經網路方法。神經網路作為一種先進的人工智慧技術，因其自身自行處理、分布存儲和高度容錯等特性非常適合處理非線性的以及那些以模糊、不完整、不嚴密的知識或數據為特徵的處理問題，它的這一特點十分適合解決數據挖掘的問題。典型的神經網路模型主要分為三大類：第一類是以用於分類預測和模式識別的前饋式神經網路模型，其主要代表為函數型網路、感知機;第二類是用於聯想記憶和優化演算法的反饋式神經網路模型，以Hopfield 的離散模型和連續模型為代表。第三類是用於聚類的自組織映射方法，以ART 模型為代表。雖然神經網路有多種模型及演算法，但在特定領域的數據挖掘中使用何種模型及演算法並沒有統一的規則，而且人們很難理解網路的學習及決策過程。
(6)Web數據挖掘。Web數據挖掘是一項綜合性技術，指Web 從文檔結構和使用的 *** C 中發現隱含的模式P，如果將C看做是輸入，P 看做是輸出，那麼Web 挖掘過程就可以看做是從輸入到輸出的一個映射過程。
當前越來越多的Web 數據都是以數據流的形式出現的，因此對Web 數據流挖掘就具有很重要的意義。目前常用的Web數據挖掘演算法有：PageRank演算法，HITS演算法以及LOGSOM 演算法。這三種演算法提到的用戶都是籠統的用戶，並沒有區分用戶的個體。目前Web 數據挖掘面臨著一些問題，包括：用戶的分類問題、網站內容時效性問題，用戶在頁面......>>