apriori關聯演算法

① apriori演算法是什麼

Apriori演算法是第一個關聯規則挖掘演算法，也是最經典的演算法。它利用逐層搜索的迭代方法找出資料庫中項集的關系，以形成規則，其過程由連接（類矩陣運算）與剪枝（去掉那些沒必要的中間結果）組成。該演算法中項集的概念即為項的集合。包含K個項的集合為k項集。項集出現的頻率是包含項集的事務數，稱為項集的頻率。如果某項集滿足最小支持度，則稱它為頻繁項集。

演算法應用

隨著高校貧困生人數的不斷增加，學校管理部門資助工作難度也越加增大。針對這一現象，提出一種基於數據挖掘演算法的解決方法。將關聯規則的Apriori演算法應用到貧困助學體系中，並且針對經典Apriori挖掘演算法存在的不足進行改進，先將事務資料庫映射為一個布爾矩陣，用一種逐層遞增的思想來動態的分配內存進行存儲，再利用向量求＂與＂運算，尋找頻繁項集。

② 關聯規則演算法(The Apriori algorithm)

        關聯規則的目的在於在一個數據集中找出項之間的關系，也稱之為購物籃分析 (market basket analysis)。例如，購買鞋的顧客，有10%的可能也會買襪子，60%的買麵包的顧客，也會買牛奶。這其中最有名的例子就是"尿布和啤酒"的故事了。

        本篇的Apriori演算法主要是基於頻繁集的關聯分析。其主要目的就是為了尋找強關聯規則。

        要理解頻繁集、強關聯規則，要先藉助下面的一個情境，來介紹幾個重要概念。

        下表是一些購買記錄：

將購買記錄整理，可得到下表，橫欄和縱欄的數字表示同時購買這兩種商品的交易條數。如購買有Orange的交易數為4，而同時購買Orange和Coke的交易數為2。

        置信度，表示這條規則有多大程度上值得可信。

        設條件的項的集合為A,結果的集合為B。置信度計算在A中，同時也含有B的概率。即Confidence(A->B)=P(B|A)。例 如計算"如果Orange則Coke"的置信度。由於在含有Orange的4條交易中，僅有2條交易含有Coke。其置信度為0.5。

        支持度，計算在所有的交易集中，既有A又有B的概率。

        例如在5條記錄中，既有Orange又有Coke的記錄有2條。則此條規則的支持度為2/5=0.4。現在這條規則可表述為，如果一個顧客購買了Orange,則有50%的可能購買Coke。而這樣的情況（即買了Orange會再買Coke）會有40%的可能發生。

支持度大於預先定好的最小支持度的項集。

       關聯規則：令項集I={i1,i2,...in}，且有一個數據集合D，它其中的每一條記錄T，都是I的子集。那麼關聯規則是形如A->B的表達式，A、B均為I的子集，且A與B的交集為空。這條關聯規則的支持度：胡頌support = P(A並B)。這條關聯規則的置信度：confidence = support(A並B）/suport(A)。

       強關聯規則：如果存在一條關聯規則，它的支持度和置信度都大於預先定義好的最小支持度與置信度，我們就稱它為強關聯規則。

下面用一個例子說明演算法的過程：

項目集合 I={1，2，3，4，5};

事務集 T：

設定最小支持度（minsup）=3/7，最小置信度（misconf）=5/7。

假設：n-頻繁項目集為包含n個元素的項目集，例如1-頻繁項目集為包含1個元素的項目集

則這里，1-頻繁項目集有：{1}，{2}，{3}，{4}，{5}

生成2-頻繁項目集的過程如下：

       褲燃鄭 首先列出所有可能的2-項目集，如下：

        {1，2}，{1，3}，{1，4}，{1，5}

        {2，3}，{2，4}，{2，5}

        {3，4}，{3，5}

        {4，5}

        計算它們的支持度，發現只有{1，2}，{1，3}，{1，4}，{2，3}，{2，4}，{2，5}的支持度    滿足要求，因此求得2-頻繁項目集：

        {1，2}，{1，3}，{1，4}，{2，3}，{2，4}

生成3-頻繁項目集：

對於現有的2-頻繁項目集，兩兩取並集，並段純確保第三個二元組也在2-頻繁項目集內，把得到的所有3-項目集分別計算支持度，剔除不滿足最小支持度的項目集；

例如，

{1，2}，{1，3}的並集得到{1，2，3}；

{1，2}，{1，4}的並集得到{1，2，4}；

{1，3}，{1，4}的並集得到{1，3，4}；

{2，3}，{2，4}的並集得到{2，3，4}；

但是由於{1，3，4}的子集{3，4}不在2-頻繁項目集中，所以需要把{1，3，4}剔除掉。{2，3，4} 同理剔除。

然後再來計算{1，2，3}和{1，2，4}的支持度，發現{1，2，3}的支持度為3/7 ，{1，2，4}的支持度為2/7，所以需要把{1，2，4}剔除。因此得到3-頻繁項目集：{1，2，3}。

重復上面步驟繼續尋找n-頻繁項目集，直到不能發現更大的頻繁項目集。所以，到此，頻繁項目集生成過程結束。

這里只說明3-頻繁項目集生成關聯規則的過程，即以集合{1，2，3}為例：

回顧事物集，先生成1-後件的關聯規則：

（1，2）—>3，置信度=3/4（出現（1，2）的記錄共4條，其中有3條包含3，所以3/4）；

（1，3）—>2，置信度=3/5；

（2，3）—>1，置信度=3/3；

第二條置信度<5/7，未達到最小置信度，所以剔除掉。所以對於3-頻繁項目集生成的強關聯規則為：（1，2）—>3和（2，3）—>1。

這表示，如果1、2出現了，則極有可能出現3；2、3出現，則極有可能有1。

http://www.cnblogs.com/junyuhuang/p/5572364.html

③ 關聯規則挖掘演算法的介紹

學號：17020110019    姓名：高少魁

【嵌牛導讀】關聯規則挖掘演算法是數據挖掘中的一種常用演算法，用於發現隱藏在大型數據集中令人感興趣的頻繁出現的模式、關聯和相關性。這里將對該演算法進行簡單的介紹，之後通過Apriori演算法作為實例演示演算法執行結果。

【嵌牛鼻子】數據挖掘    關聯規則挖掘    python

【嵌牛正文】

一、演算法原理

1、基本概念

關聯規則用於發現隱藏在大型數據集中令人感興趣的頻繁出現的模式、關聯和相關性。 而 Apriori演算法則是經典的挖掘頻繁項集的關聯規則演算法，它通過層層迭代來尋找頻繁項集，最後輸出關聯規則：首先掃描數據集，得到 1-頻繁項集，記為 L1，通過合並 L1得到 2-頻繁項集 L2，再通過 L2找到 L3，如此層層迭代，直到找不到頻繁項集為止。

在Apriori演算法中，定義了如下幾個概念：

⚫ 項與項集 ：設 I={i1,i2,…,im}是由 m個不同項構成的集合，其中的每個 ik(k=1,2,…,m)被稱為一個項 (Item)，項的集合 I被稱為項集和，即項集。在實驗中，每一條購物記錄可以被看做 一個項集，用戶購買的某個商品即為一個項。

⚫ 事務與事務集：神乎事務 T是項集 I的一個子集，而事務的全體被稱為事務集。

⚫ 關聯規則：形如 A=>B的表達式，其中， A和 B都屬於項集 I，且 A與 B不相交。

⚫ 支持度：定義如下 support(A=>B) = P(A B)，即 A和 B所含的項在事務集中同時出現的概率。

⚫ 置信度：定義如下 confidence(A⇒B)=support(A⇒B)/support(A)=P(A B)/P(A)=P(B|A)，即如果事務包含 A，則事務中同時出現 B的概率。

⚫ 頻繁項集：如果項集 I的支持度滿足事先定義好的最小支持度閾慧液值（即 I的出現頻度大於相應的最小出現頻度閾值），則 I是頻繁項集。

⚫ 強關聯規則：滿足最小支持度和最小置信度的關聯規則，即待挖掘的關聯規則。

根據以上概念，要實現關聯規則的挖掘，首先要找到所有的頻繁項集，之後找出強關聯規則（即通過多次掃描數據集，找出頻繁集，然後產生關聯規則）。

2、挖掘頻繁項集

在該步驟中有兩個較為重要的部分 ：連接和修剪。連接步驟即使用k-1頻繁項集，通過連接得到 k-候選項集，並且只有相差一個項的項集才能進行連接，如 {A,B}和 {B,C}連接成為 {A,B,C}。修剪步驟基於一個性質：一個 k-項集，如果它的一個 k-1項集（子集）不是頻繁的，那麼它本身也不可能是頻繁的。 因此可以基於這個性質，通過判斷先驗性質來對候選集進行修剪。

3、產生關聯規則

經過連接和修剪之後，即找到了所有的頻繁項集，此時可以在此基礎上產生關聯規則，步驟如下

（1）對於每個頻繁項集 l，產生 l的所有非空子集（這些非空子集一定是頻繁項集）；

（2）對於 l的每一個非空子集 x，計算 confidence(x => (l-x))，如果 confidence(x => (l-x)) confmin，那麼規則 x => (l-x)」成立。

二、演算法設計

1、數據集

通過語句 import xlrd導入相關的庫來進行數據的讀取 。數據內容為十條購物記錄 ，每條購物記錄有若干個商品，表示某個顧客的購買記錄 ，如圖

對於數據載入部分 使用了 xlrd庫中的函數 open_workbook來 打開一個表格文件，使用sheet_by_index函數得到一個工作表， row_values函數即可讀取表格中的內容。由於每個購物記錄的商品數不一定相同，導致讀取的內容含有空格 (』 』)，因此對數據進行刪減以得到緊湊的數據 ，最終讀取數據的結果以列表的游碧悉形式返回。

2、連接

對於連接部分，主要目標是根據已有的k-1頻繁項集生成 k-候選頻繁項集。演算法步驟為：首先將項集中的項按照字典順序排序，之後將 k-1項集中兩個項作比較，如果兩個項集中前 k-2個項是相同的，則可以通過或運算（|）將它們連接起來。

3、修剪

修剪操作主要使用一個判斷函數，通過傳入連接操作後的項集和之前的k-1頻繁項集，對新的項集中的每一個項的補集進行判斷，如果該補集不是 k-1頻繁項集的子集，則證明新的項集不滿足先驗性質，即一個頻繁項集的所有非空子集一定是頻繁的 ，否則就滿足先驗形式。返回布爾類型的參數來供調用它的函數作判斷。

經過連接和修剪步驟之後，項基要成為頻繁項集還必須滿足最小支持度的條件，筆者設計了generateFrequentItems函數來對連接、修剪後產生的 k-候選項集進行判斷，通過遍歷數據集，計算其支持度，滿足最小支持度的項集即是 一個頻繁項集，可將其返回。

以上，經過不斷的遍歷、連接、修剪、刪除，可將得到的所有結果以列表形式返回。筆者還設計了字典類型的變數 support_data，以得到某個頻繁項集及其支持度 。

4、挖掘關聯規則

generateRules函數用來挖掘關聯規則，通過傳入 最小置信度、 頻繁項集及其 支持度來生成規則 。根據定理：對於頻繁項集 l的每一個非空子集 x，計算 confidence(x => (l-x))，如果 confidence(x => (l-x)) confmin，那麼規則 x => (l-x)」成立，因此，該函數重點在掃描頻繁項集，得到每一個子集，並計算置信度，當置信度滿足條件（即大於等於最小置信度）時，生成一條規則。在函數中，使用了元組來表示一條規則，元組中包含 x、 l-x以及其置信度 ，最後返回生成的所有規則的列表。

三、演算法執行結果

設置最大頻繁項集數k為 3，最小支持度為 0.2，最小置信度為 0.8 使用 pycharm運行程序 ，得到以下結果：

由圖中結果可以看出，對於頻繁 1-項集，有五個滿足的項集，頻繁 2-項集有 6個，頻繁 3-項集有 2個，它們都滿足支持度大於或等於最小支持度 0.2。根據頻繁項集，程序得到的關聯規則有三條，即 {麵包 }=>{牛奶 }，，{雞蛋 }=>{牛奶 }，，{麵包，蘋果 }=>{牛奶 其中，這些規則的置信度都是 1.0，滿足大於或等於最小置信度 0.8的條件 。

四、程序源碼