挖掘演算法

1. 數據挖掘演算法有哪些

統計和可視化要想建立一個好的預言模型，你必須了解自己的數據。最基本的方法是計算各種統計變數（平均值、方差等）和察看數據的分布情況。你也可以用數據透視表察看多維數據。數據的種類可分為連續的，有一個用數字表示的值（比如銷售量）或離散的，分成一個個的類別（如紅、綠、藍）。離散數據可以進一步分為可排序的，數據間可以比較大小（如，高、中、低）和標稱的，不可排序（如郵政編碼）。圖形和可視化工具在數據准備階段尤其重要，它能讓你快速直觀的分析數據，而不是給你枯燥乏味的文本和數字。它不僅讓你看到整個森林，還允許你拉近每一棵樹來察看細節。在圖形模式下人們很容易找到數據中可能存在的模式、關系、異常等，直接看數字則很難。可視化工具的問題是模型可能有很多維或變數，但是我們只能在2維的屏幕或紙上展示它。比如，我們可能要看的是信用風險與年齡、性別、婚姻狀況、參加工作時間的關系。因此，可視化工具必須用比較巧妙的方法在兩維空間內展示n維空間的數據。雖然目前有了一些這樣的工具，但它們都要用戶「訓練」過他們的眼睛後才能理解圖中畫的到底是什麼東西。對於眼睛有色盲或空間感不強的人，在使用這些工具時可能會遇到困難。聚集（分群）聚集是把整個資料庫分成不同的群組。它的目的是要群與群之間差別很明顯，而同一個群之間的數據盡量相似。與分類不同（見後面的預測型數據挖掘），在開始聚集之前你不知道要把數據分成幾組，也不知道怎麼分（依照哪幾個變數）。因此在聚集之後要有一個對業務很熟悉的人來解釋這樣分群的意義。很多情況下一次聚集你得到的分群對你的業務來說可能並不好，這時你需要刪除或增加變數以影響分群的方式，經過幾次反復之後才能最終得到一個理想的結果。神經元網路和K-均值是比較常用的聚集演算法。不要把聚集與分類混淆起來。在分類之前，你已經知道要把數據分成哪幾類，每個類的性質是什麼，聚集則恰恰相反。關聯分析關聯分析是尋找資料庫中值的相關性。兩種常用的技術是關聯規則和序列模式。關聯規則是尋找在同一個事件中出現的不同項的相關性，比如在一次購買活動中所買不同商品的相關性。序列模式與此類似，他尋找的是事件之間時間上的相關性，如對股票漲跌的分析。關聯規則可記為A==>B，A稱為前提和左部（LHS），B稱為後續或右部（RHS）。如關聯規則「買錘子的人也會買釘子」，左部是「買錘子」，右部是「買釘子」。要計算包含某個特定項或幾個項的事務在資料庫中出現的概率只要在資料庫中直接統計即可。某一特定關聯（「錘子和釘子」）在資料庫中出現的頻率稱為支持度。比如在總共1000個事務中有15個事務同時包含了「錘子和釘子」，則此關聯的支持度為1.5%。非常低的支持度（比如1百萬個事務中只有一個）可能意味著此關聯不是很重要，或出現了錯誤數據（如，「男性和懷孕」）。要找到有意義的規則，我們還要考察規則中項及其組合出現的相對頻率。當已有A時，B發生的概率是多少？也即概率論中的條件概率。回到我們的例子，也就是問「當一個人已經買了錘子，那他有多大的可能也會買釘子？」這個條件概率在數據挖掘中也稱為可信度，計算方法是求百分比：（A與B同時出現的頻率）/（A出現的頻率）。讓我們用一個例子更詳細的解釋這些概念： 總交易筆數（事務數）：1,000包含「錘子」：50包含「釘子」：80包含「鉗子」：20包含「錘子」和「釘子」：15包含「鉗子」和「釘子」：10包含「錘子」和「鉗子」：10包含「錘子」、「鉗子」和「釘子」：5 則可以計算出： 「錘子和釘子」的支持度=1.5%（15/1,000）「錘子、釘子和鉗子」的支持度=0.5%（5/1,000）「錘子==>釘子」的可信度=30%（15/50）「釘子==>錘子」的可信度=19%（15/80）「錘子和釘子==>鉗子」的可信度=33%（5/15）「鉗子==>錘子和釘子」的可信度=25%（5/20）

2. 數據挖掘中的預測演算法有哪些

數據挖掘（六）：預測
http://blog.csdn.net/kingzone_2008/article/details/8977837

3. 求一個數據挖掘的演算法

試論貝葉斯分類、決策樹分類分類挖掘演算法的優勢與劣勢，以及解決維度效應的策略

引言 數據分類是指按照分析對象的屬性、特徵，建立不同的組類來描述事物。數據分類是數據挖掘的主要內容之一，主要是通過分析訓練數據樣本，產生關於類別的精確描述。這種類別通常由分類規則組成，可以用來對未來的數據進行分類和預測。分類技術解決問題的關鍵是構造分類器。 一．數據分類 數據分類一般是兩個步驟的過程： 第1步：建立一個模型，描述給定的數據類集或概念集（簡稱訓練集）。通過分析由屬性描述的資料庫元組來構造模型。每個元組屬於一個預定義的類，由類標號屬性確定。用於建立模型的元組集稱為訓練數據集，其中每個元組稱為訓練樣本。由於給出了類標號屬性，因此該步驟又稱為有指導的學習。如果訓練樣本的類標號是未知的，則稱為無指導的學習（聚類）。學習模型可用分類規則、決策樹和數學公式的形式給出。 第2步：使用模型對數據進行分類。包括評估模型的分類准確性以及對類標號未知的元組按模型進行分類。 常用的分類規則挖掘方法 分類規則挖掘有著廣泛的應用前景。對於分類規則的挖掘通常有以下幾種方法，不同的方法適用於不同特點的數據： 1．貝葉斯方法 2．決策樹方法 3．人工神經網路方法 4．約略集方法 5．遺傳演算法 分類方法的評估標准： 准確率：模型正確預測新數據類標號的能力。速度：產生和使用模型花費的時間。健壯性：有雜訊數據或空缺值數據時模型正確分類或預測的能力。伸縮性：對於給定的大量數據，有效地構造模型的能力。可解釋性：學習模型提供的理解和觀察的層次。 影響一個分類器錯誤率的因素 (1) 訓練集的記錄數量。生成器要利用訓練集進行學習，因而訓練集越大，分類器也就越可靠。然而，訓練集越大，生成器構造分類器的時間也就越長。錯誤率改善情況隨訓練集規模的增大而降低。 (2) 屬性的數目。更多的屬性數目對於生成器而言意味著要計算更多的組合，使得生成器難度增大，需要的時間也更長。有時隨機的關系會將生成器引入歧途，結果可能構造出不夠准確的分類器（這在技術上被稱為過分擬合）。因此，如果我們通過常識可以確認某個屬性與目標無關，則將它從訓練集中移走。 (3) 屬性中的信息。有時生成器不能從屬性中獲取足夠的信息來正確、低錯誤率地預測標簽（如試圖根據某人眼睛的顏色來決定他的收入）。加入其他的屬性（如職業、每周工作小時數和年齡），可以降低錯誤率。 (4) 待預測記錄的分布。如果待預測記錄來自不同於訓練集中記錄的分布，那麼錯誤率有可能很高。比如如果你從包含家用轎車數據的訓練集中構造出分類器，那麼試圖用它來對包含許多運動用車輛的記錄進行分類可能沒多大用途，因為數據屬性值的分布可能是有很大差別的。 評估方法 有兩種方法可以用於對分類器的錯誤率進行評估，它們都假定待預測記錄和訓練集取自同樣的樣本分布。 (1) 保留方法(Holdout)：記錄集中的一部分（通常是2/3）作為訓練集，保留剩餘的部分用作測試集。生成器使用2/3 的數據來構造分類器，然後使用這個分類器來對測試集進行分類，得出的錯誤率就是評估錯誤率。雖然這種方法速度快，但由於僅使用2/3 的數據來構造分類器，因此它沒有充分利用所有的數據來進行學習。如果使用所有的數據，那麼可能構造出更精確的分類器。 (2) 交叉糾錯方法(Cross validation)：數據集被分成k 個沒有交叉數據的子集，所有子集的大小大致相同。生成器訓練和測試共k 次；每一次，生成器使用去除一個子集的剩餘數據作為訓練集，然後在被去除的子集上進行測試。把所有得到的錯誤率的平均值作為評估錯誤率。交叉糾錯法可以被重復多次(t)，對於一個t 次k 分的交叉糾錯法，k ＊t 個分類器被構造並被評估，這意味著交叉糾錯法的時間是分類器構造時間的k ＊t 倍。增加重復的次數意味著運行時間的增長和錯誤率評估的改善。我們可以對k 的值進行調整，將它減少到3 或5，這樣可以縮短運行時間。然而，減小訓練集有可能使評估產生更大的偏差。通常Holdout 評估方法被用在最初試驗性的場合，或者多於5000 條記錄的數據集；交叉糾錯法被用於建立最終的分類器，或者很小的數據集。 二．貝葉斯分類 貝葉斯分類方法是一種具有最小錯誤率的概率分類方法，可以用數學公式的精確方法表示出來，並且可以用很多種概率理論來解決。 設（Ω,Θ,P）為概率空間，Ai∈Θ（i=1,2,…,n）為Ω的一個有窮剖分，且P(Ai)>0 (i=1,2,…,n)，則對任意B∈Θ且P(B)>0，有 P(Ai|B)= （i=1,2,…,n） 上式稱為貝葉斯公式。貝葉斯定理為我們提供了一個計算假設h的後驗概率的方法 P(h|D)= 分類有規則分類和非規則分類，貝葉斯分類是非規則分類，它通過訓練集訓練而歸納出分類器，並利用分類器對沒有分類的數據進行分類。 貝葉斯分類的特點貝葉斯分類具有如下特點： (1) 貝葉斯分類並不把一個對象絕對地指派給某一類，而是通過計算得出屬於某一類的概率，具有最大概率的類便是該對象所屬的類； (2) 一般情況下在貝葉斯分類中所有的屬性都潛在地起作用，即並不是一個或幾個屬性決定分類，而是所有的屬性都參與分類； (3) 貝葉斯分類對象的屬性可以是離散的、連續的，也可以是混合的。 貝葉斯定理給出了最小化誤差的最優解決方法，可用於分類和預測。理論上，它看起來很完美，但在實際中，它並不能直接利用，它需要知道證據的確切分布概率，而實際上我們並不能確切的給出證據的分布概率。因此我們在很多分類方法中都會作出某種假設以逼近貝葉斯定理的要求。 三．決策樹分類 決策樹（Decision Tree）又稱為判定樹，是運用於分類的一種樹結構。其中的每個內部結點（internal node）代表對某個屬性的一次測試，每條邊代表一個測試結果，葉結點（leaf）代表某個類（class）或者類的分布（class distribution），最上面的結點是根結點。決策樹分為分類樹和回歸樹兩種，分類樹對離散變數做決策樹，回歸樹對連續變數做決策樹。 構造決策樹是採用自上而下的遞歸構造方法。決策樹構造的結果是一棵二叉或多叉樹，它的輸入是一組帶有類別標記的訓練數據。二叉樹的內部結點（非葉結點）一般表示為一個邏輯判斷，如形式為(a = b)的邏輯判斷，其中a 是屬性，b是該屬性的某個屬性值；樹的邊是邏輯判斷的分支結果。多叉樹（ID3）的內部結點是屬性，邊是該屬性的所有取值，有幾個屬性值，就有幾條邊。樹的葉結點都是類別標記。 使用決策樹進行分類分為兩步： 第1步：利用訓練集建立並精化一棵決策樹，建立決策樹模型。這個過程實際上是一個從數據中獲取知識，進行機器學習的過程。 第2步：利用生成完畢的決策樹對輸入數據進行分類。對輸入的記錄，從根結點依次測試記錄的屬性值，直到到達某個葉結點，從而找到該記錄所在的類。 問題的關鍵是建立一棵決策樹。這個過程通常分為兩個階段： (1) 建樹（Tree Building）：決策樹建樹演算法見下，可以看得出，這是一個遞歸的過程，最終將得到一棵樹。 (2) 剪枝（Tree Pruning）：剪枝是目的是降低由於訓練集存在雜訊而產生的起伏。 決策樹方法的評價。 優點 與其他分類演算法相比決策樹有如下優點： (1) 速度快：計算量相對較小，且容易轉化成分類規則。只要沿著樹根向下一直走到葉，沿途的分裂條件就能夠唯一確定一條分類的謂詞。 (2) 准確性高：挖掘出的分類規則准確性高，便於理解，決策樹可以清晰的顯示哪些欄位比較重要。 缺點 一般決策樹的劣勢： (1) 缺乏伸縮性：由於進行深度優先搜索，所以演算法受內存大小限制，難於處理大訓練集。一個例子：在Irvine機器學習知識庫中，最大可以允許的數據集僅僅為700KB，2000條記錄。而現代的數據倉庫動輒存儲幾個G-Bytes的海量數據。用以前的方法是顯然不行的。 (2) 為了處理大數據集或連續量的種種改進演算法（離散化、取樣）不僅增加了分類演算法的額外開銷，而且降低了分類的准確性，對連續性的欄位比較難預測，當類別太多時，錯誤可能就會增加的比較快，對有時間順序的數據，需要很多預處理的工作。 但是，所用的基於分類挖掘的決策樹演算法沒有考慮雜訊問題，生成的決策樹很完美，這只不過是理論上的，在實際應用過程中，大量的現實世界中的數據都不是以的意願來定的，可能某些欄位上缺值（missing values）；可能數據不準確含有雜訊或者是錯誤的；可能是缺少必須的數據造成了數據的不完整。 另外決策樹技術本身也存在一些不足的地方，例如當類別很多的時候，它的錯誤就可能出現甚至很多。而且它對連續性的欄位比較難作出准確的預測。而且一般演算法在分類的時候，只是根據一個屬性來分類的。 在有雜訊的情況下，完全擬合將導致過分擬合（overfitting），即對訓練數據的完全擬合反而不具有很好的預測性能。剪枝是一種克服雜訊的技術，同時它也能使樹得到簡化而變得更容易理解。另外，決策樹技術也可能產

4. 數據挖掘十大演算法 pdf

http://www.cs.uvm.e/~icdm/algorithms/10Algorithms-08.pdf
到這個網站下載就OK

5. 三種經典的數據挖掘演算法

演算法，可以說是很多技術的核心，而數據挖掘也是這樣的。數據挖掘中有很多的演算法，正是這些演算法的存在，我們的數據挖掘才能夠解決更多的問題。如果我們掌握了這些演算法，我們就能夠順利地進行數據挖掘工作，在這篇文章我們就給大家簡單介紹一下數據挖掘的經典演算法，希望能夠給大家帶來幫助。
1.KNN演算法
KNN演算法的全名稱叫做k-nearest neighbor classification，也就是K最近鄰，簡稱為KNN演算法，這種分類演算法，是一個理論上比較成熟的方法，也是最簡單的機器學習演算法之一。該方法的思路是：如果一個樣本在特徵空間中的k個最相似，即特徵空間中最鄰近的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別。KNN演算法常用於數據挖掘中的分類，起到了至關重要的作用。
2.Naive Bayes演算法
在眾多的分類模型中，應用最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型（Naive Bayesian Model，NBC）。樸素貝葉斯模型發源於古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。同時，NBC模型所需估計的參數很少，對缺失數據不太敏感，演算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為NBC模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。在屬性個數比較多或者屬性之間相關性較大時，NBC模型的分類效率比不上決策樹模型。而在屬性相關性較小時，NBC模型的性能最為良好。這種演算法在數據挖掘工作使用率還是挺高的，一名優秀的數據挖掘師一定懂得使用這一種演算法。
3.CART演算法
CART, 也就是Classification and Regression Trees。就是我們常見的分類與回歸樹，在分類樹下面有兩個關鍵的思想。第一個是關於遞歸地劃分自變數空間的想法；第二個想法是用驗證數據進行剪枝。這兩個思想也就決定了這種演算法的地位。
在這篇文章中我們給大家介紹了關於KNN演算法、Naive Bayes演算法、CART演算法的相關知識，其實這三種演算法在數據挖掘中占據著很高的地位，所以說如果要從事數據挖掘行業一定不能忽略這些演算法的學習。

6. 數據挖掘與演算法是什麼關系

data mining：數據挖掘一般是指從大量的數據中自動搜索隱藏於其中的有著特殊關系性（屬於Association rule learning）的信息的過程。reference:數據挖掘2.聚類和分類：關於這些，我相信再好的演算法，都會有一定的准確度，我沒有說這些東西不重要。
3.如果你的數據量足夠大，舉個例子說明吧，數據挖掘是這樣做的，你要判斷什麼樣的蘋果是甜的，應該這樣做，去超市買蘋果，總結甜蘋果的特徵 A B ，第二次你也去買蘋果，就選具備這些特徵值的。存的的問題有可能買到的蘋果還不是甜的，可能原因是要同時包含特徵C。但是如果你數據量足夠大，足夠大，你要買的蘋果直接能夠找到，一模一樣的蘋果，是不是甜的，都已經知道啦，直接取出來不就好了嗎？前提是數據你想要什麼有什麼。

7. 數據挖掘演算法是做什麼的

演算法是利用計算機解決問題的處理步驟，簡而言之，演算法就是解決問題的步驟。

演算法必須具備兩個重要條件：

有效性：演算法必須要為給定的任務給出正確的結果，即，有滿足條件的輸入值時，此演算法一定要保證正常工作（返回正確的輸出值）。表明演算法有效性的方法之一就是斷點。斷點設置在演算法的任意位置上，判斷此位置是否滿足給出的條件，即，程序是否正確運行。

終止性：演算法中沒有永遠反復執行，即，沒有無限循環，且不返回答案的情況。演算法終止性可以用反復處理結束條件的判斷變數，或經過有限次的反復一定能到達結束條件等方法證明。

8. 帶你了解數據挖掘中的經典演算法

數據挖掘的演算法有很多，而不同的演算法有著不同的優點，同時也發揮著不同的作用。可以這么說，演算法在數據挖掘中做出了極大的貢獻，如果我們要了解數據挖掘的話就不得不了解這些演算法，下面我們就繼續給大家介紹一下有關數據挖掘的演算法知識。
1.The Apriori algorithm，
Apriori演算法是一種最有影響的挖掘布爾關聯規則頻繁項集的演算法。其核心是基於兩階段頻集思想的遞推演算法。該關聯規則在分類上屬於單維、單層、布爾關聯規則。在這里，所有支持度大於最小支持度的項集稱為頻繁項集，簡稱頻集。這個演算法是比較復雜的，但也是十分實用的。
2.最大期望演算法
在統計計算中，最大期望演算法是在概率模型中尋找參數最大似然估計的演算法，其中概率模型依賴於無法觀測的隱藏變數。最大期望經常用在機器學習和計算機視覺的數據集聚領域。而最大期望演算法在數據挖掘以及統計中都是十分常見的。
3.PageRank演算法
PageRank是Google演算法的重要內容。PageRank里的page不是指網頁，而是創始人的名字，即這個等級方法是以佩奇來命名的。PageRank根據網站的外部鏈接和內部鏈接的數量和質量倆衡量網站的價值。PageRank背後的概念是，每個到頁面的鏈接都是對該頁面的一次投票，被鏈接的越多，就意味著被其他網站投票越多。這個就是所謂的「鏈接流行度」，這個標准就是衡量多少人願意將他們的網站和你的網站掛鉤。PageRank這個概念引自學術中一篇論文的被引述的頻度——即被別人引述的次數越多，一般判斷這篇論文的權威性就越高。
3.AdaBoost演算法
Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器，然後把這些弱分類器集合起來，構成一個更強的最終分類器。其演算法本身是通過改變數據分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的准確率，來確定每個樣本的權值。將修改過權值的新數據集送給下層分類器進行訓練，最後將每次訓練得到的分類器最後融合起來，作為最後的決策分類器。這種演算法給數據挖掘工作解決了不少的問題。
數據挖掘演算法有很多，這篇文章中我們給大家介紹的演算法都是十分經典的演算法，相信大家一定可以從中得到有價值的信息。需要告訴大家的是，我們在進行數據挖掘工作之前一定要事先掌握好數據挖掘需呀掌握的各類演算法，這樣我們才能在工總中得心應手，如果基礎不牢固，那麼我們遲早是會被淘汰的。職場如戰場，我們一定要全力以赴。

9. 數據挖掘中的經典演算法

大家都知道，數據挖掘中有很多的演算法，不同的演算法有著不同的優勢，它們在數據挖掘領域都產生了極為深遠的影響。那麼大家知道不知知道數據挖掘中的經典演算法都有哪些呢？在這篇文章中我們就給大家介紹數據挖掘中三個經典的演算法，希望這篇文章能夠更好的幫助大家。
1.K-Means演算法
K-means algorithm演算法是一個聚類演算法，把n的對象根據他們的屬性分為k個分割，k大於n。它與處理混合正態分布的最大期望演算法很相似，因為他們都試圖找到數據中自然聚類的中心。它假設對象屬性來自於空間向量，並且目標是使各個群組內部的均方誤差總和最小。這種演算法在數據挖掘中是十分常見的演算法。
2.支持向量機
而Support vector machines就是支持向量機，簡稱SV機（論文中一般簡稱SVM）。它是一種監督式學習的方法，這種方法廣泛的應用於統計分類以及回歸分析中。支持向量機將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數據的超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。這些優點也就成就了這種演算法。

3.C4.5演算法
然後我們給大家說一下C4.5演算法，C4.5演算法是機器學習演算法中的一種分類決策樹演算法,其核心演算法是ID3演算法. C4.5演算法繼承了ID3演算法的優點，並對ID3演算法進行了改進，這種改進具體體現在四個方面，第一就是在樹構造過程中進行剪枝，第二就是能夠完成對連續屬性的離散化處理，第三就是用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足，第四就是能夠對不完整數據進行處理。那麼這種演算法的優點是什麼呢？優點就是產生的分類規則易於理解，准確率較高。其缺點是：在構造樹的過程中，需要對數據集進行多次的順序掃描和排序，因而導致演算法的低效。
相信大家看了這篇文章以後對The k-means algorithm演算法、Support vector machines、C4.5演算法有了比較是深刻的了解，其實這三種演算法那都是十分重要的演算法，能夠幫助數據挖掘解決更多的問題。大家在學習數據挖掘的時候一定要注意好這些問題。