apriori演算法java

① 大數據挖掘需要學習哪些技術大數據的工作

處理大數據需要一個綜合、復雜、多方位的系統，系統中的處理模塊有很多，而數據挖掘技術以一個獨立的身份存在於處理大數據的整個系統之中，與其他模塊之間相輔相成、協調發展。在大數據時代中，數據挖掘技術的地位是無可比擬的。

數據挖掘的基本流程

在正式講數據挖掘知識清單之前，我先和你聊聊數據挖掘的基本流程。

數據挖掘的過程可以分成以下 6 個步驟。

1. 商業理解：數據挖掘不是我們的目的，我們的目的是更好地幫助業務，所以第一步我們要從商業的角度理解項目需求，在這個基礎上，再對數據挖掘的目標進行定義。

2. 數據理解：嘗試收集部分數據，然後對數據進行探索，包括數據描述、數據質量驗證等。這有助於你對收集的數據有個初步的認知。

3. 數據准備：開始收集數據，並對數據進行清洗、數據集成等操作，完成數據挖掘前的准備工作。

4. 模型建立：選擇和應用各種數據挖掘模型，並進行優化，以便得到更好的分類結果。

5. 模型評估：對模型進行評價，並檢查構建模型的每個步驟，確認模型是否實現了預定的商業目標。

6. 上線發布：模型的作用是從數據中找到金礦，也就是我們所說的「知識」，獲得的知識需要轉化成用戶可以使用的方式，呈現的形式可以是一份報告，也可以是實現一個比較復雜的、可重復的數據挖掘過程。數據挖掘結果如果是日常運營的一部分，那麼後續的監控和維護就會變得重要。

數據挖掘的十大演算法

為了進行數據挖掘任務，數據科學家們提出了各種模型，在眾多的數據挖掘模型中，國際權威的學術組織 ICDM （the IEEE International Conference on Data Mining）評選出了十大經典的演算法。

按照不同的目的，我可以將這些演算法分成四類，以便你更好的理解。

• 分類演算法：C4.5，樸素貝葉斯（Naive Bayes），SVM，KNN，Adaboost，CART

• 聚類演算法：K-Means，EM

• 關聯分析：Apriori

• 連接分析：PageRank

1. C4.5

C4.5 演算法是得票最高的演算法，可以說是十大演算法之首。C4.5 是決策樹的演算法，它創造性地在決策樹構造過程中就進行了剪枝，並且可以處理連續的屬性，也能對不完整的數據進行處理。它可以說是決策樹分類中，具有里程碑式意義的演算法。

2. 樸素貝葉斯（Naive Bayes）

樸素貝葉斯模型是基於概率論的原理，它的思想是這樣的：對於給出的未知物體想要進行分類，就需要求解在這個未知物體出現的條件下各個類別出現的概率，哪個最大，就認為這個未知物體屬於哪個分類。

3. SVM

SVM 的中文叫支持向量機，英文是 Support Vector Machine，簡稱 SVM。SVM 在訓練中建立了一個超平面的分類模型。如果你對超平面不理解，沒有關系，我在後面的演算法篇會給你進行介紹。

4. KNN

KNN 也叫 K 最近鄰演算法，英文是 K-Nearest Neighbor。所謂 K 近鄰，就是每個樣本都可以用它最接近的 K 個鄰居來代表。如果一個樣本，它的 K 個最接近的鄰居都屬於分類 A，那麼這個樣本也屬於分類 A。

5. AdaBoost

Adaboost 在訓練中建立了一個聯合的分類模型。boost 在英文中代表提升的意思，所以 Adaboost 是個構建分類器的提升演算法。它可以讓我們多個弱的分類器組成一個強的分類器，所以 Adaboost 也是一個常用的分類演算法。

6. CART

CART 代表分類和回歸樹，英文是 Classification and Regression Trees。像英文一樣，它構建了兩棵樹：一棵是分類樹，另一個是回歸樹。和 C4.5 一樣，它是一個決策樹學習方法。

7. Apriori

Apriori 是一種挖掘關聯規則（association rules）的演算法，它通過挖掘頻繁項集（frequent item sets）來揭示物品之間的關聯關系，被廣泛應用到商業挖掘和網路安全等領域中。頻繁項集是指經常出現在一起的物品的集合，關聯規則暗示著兩種物品之間可能存在很強的關系。

8. K-Means

K-Means 演算法是一個聚類演算法。你可以這么理解，最終我想把物體劃分成 K 類。假設每個類別裡面，都有個「中心點」，即意見領袖，它是這個類別的核心。現在我有一個新點要歸類，這時候就只要計算這個新點與 K 個中心點的距離，距離哪個中心點近，就變成了哪個類別。

9. EM

EM 演算法也叫最大期望演算法，是求參數的最大似然估計的一種方法。原理是這樣的：假設我們想要評估參數 A 和參數 B，在開始狀態下二者都是未知的，並且知道了 A 的信息就可以得到 B 的信息，反過來知道了 B 也就得到了 A。可以考慮首先賦予 A 某個初值，以此得到 B 的估值，然後從 B 的估值出發，重新估計 A 的取值，這個過程一直持續到收斂為止。

EM 演算法經常用於聚類和機器學習領域中。

10. PageRank

PageRank 起源於論文影響力的計算方式，如果一篇文論被引入的次數越多，就代表這篇論文的影響力越強。同樣 PageRank 被 Google 創造性地應用到了網頁權重的計算中：當一個頁面鏈出的頁面越多，說明這個頁面的「參考文獻」越多，當這個頁面被鏈入的頻率越高，說明這個頁面被引用的次數越高。基於這個原理，我們可以得到網站的權重劃分。

最後

演算法可以說是數據挖掘的靈魂，也是最精華的部分。這 10 個經典演算法在整個數據挖掘領域中的得票最高的，後面的一些其他演算法也基本上都是在這個基礎上進行改進和創新。今天你先對十大演算法有一個初步的了解，你只需要做到心中有數就可以了。

② 人工智慧是學習什麼

1、學習並掌握一些數學知識

高等數學是基礎中的基礎，一切理工科都需要這個打底，數據挖掘、人工智慧、模式識別此類跟數據打交道的又尤其需要多元微積分運算基礎。

線性代數很重要，一般來說線性模型是你最先要考慮的模型，加上很可能要處理多維數據，你需要用線性代數來簡潔清晰的描述問題，為分析求解奠定基礎。

概率論、數理統計、隨機過程更是少不了，涉及數據的問題，不確定性幾乎是不可避免的，引入隨機變數順理成章，相關理論、方法、模型非常豐富。很多機器學習的演算法都是建立在概率論和統計學的基礎上的，比如貝葉斯分類器、高斯隱馬爾可夫鏈。

再就是優化理論與演算法，除非你的問題是像二元一次方程求根那樣有現成的公式，否則你將不得不面對各種看起來無解但是要解的問題，優化將是你的GPS為你指路。

以上這些知識打底，就可以開拔了，針對具體應用再補充相關的知識與理論，比如說一些我覺得有幫助的是數值計算、圖論、拓撲，更理論一點的還有實/復分析、測度論，偏工程類一點的還有信號處理、數據結構。

2、掌握經典機器學習理論和演算法

如果有時間可以為自己建立一個機器學習的知識圖譜，並爭取掌握每一個經典的機器學習理論和演算法，我簡單地總結如下：

1) 回歸演算法：常見的回歸演算法包括最小二乘法（OrdinaryLeast Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（MultivariateAdaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）；

2) 基於實例的演算法：常見的演算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射演算法（Self-Organizing Map ， SOM）；

3) 基於正則化方法：常見的演算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網路（Elastic Net）；

4) 決策樹學習：常見的演算法包括：分類及回歸樹（ClassificationAnd Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）；

5) 基於貝葉斯方法：常見演算法包括：樸素貝葉斯演算法，平均單依賴估計（AveragedOne-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）；

6) 基於核的演算法：常見的演算法包括支持向量機（SupportVector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等；

7) 聚類演算法：常見的聚類演算法包括 k-Means演算法以及期望最大化演算法（Expectation Maximization， EM）；

8) 基於關聯規則學習：常見演算法包括 Apriori演算法和Eclat演算法等；

9) 人工神經網路：重要的人工神經網路演算法包括：感知器神經網路（PerceptronNeural Network）, 反向傳遞（Back Propagation）， Hopfield網路，自組織映射（Self-OrganizingMap, SOM）。學習矢量量化（Learning Vector Quantization， LVQ）；

10) 深度學習：常見的深度學習演算法包括：受限波爾茲曼機（RestrictedBoltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網路（Convolutional Network）, 堆棧式自動編碼器（Stacked Auto-encoders）；

11) 降低維度的演算法：常見的演算法包括主成份分析（PrincipleComponent Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）， Sammon映射，多維尺度（Multi-Dimensional Scaling, MDS）, 投影追蹤（ProjectionPursuit）等；

12) 集成演算法：常見的演算法包括：Boosting， Bootstrapped Aggregation（Bagging），AdaBoost，堆疊泛化（Stacked Generalization， Blending），梯度推進機（GradientBoosting Machine, GBM），隨機森林（Random Forest）。

3、掌握一種編程工具，比如Python
一方面Python是腳本語言，簡便，拿個記事本就能寫，寫完拿控制台就能跑；另外，Python非常高效，效率比java、r、matlab高。matlab雖然包也多，但是效率是這四個裡面最低的。

4、了解行業最新動態和研究成果，比如各大牛的經典論文、博客、讀書筆記、微博微信等媒體資訊。

5、買一個GPU，找一個開源框架，自己多動手訓練深度神經網路，多動手寫寫代碼，多做一些與人工智慧相關的項目。

6、選擇自己感興趣或者工作相關的一個領域深入下去
人工智慧有很多方向，比如NLP、語音識別、計算機視覺等等，生命有限，必須得選一個方向深入的鑽研下去，這樣才能成為人工智慧領域的大牛，有所成就。

根據網路給的定義，人工智慧（Artificial Intelligence），英文縮寫為AI。它是研究、開發用於模擬、延伸和擴展人的還能的理論、方法、技術及應用系統的一門新的技術科學。
網路關於人工智慧的定義詳解中說道：人工智慧是計算機的一個分支，二十世紀七十年代以來被稱為世界三大尖端技術之一（空間技術、能源技術、人工智慧）。也被認為是二十一世紀三大尖端技術（基因工程、納米科學、人工智慧）之一。這是因為近三十年來它獲得了迅速的發展，在很多學科領域都獲得了廣泛應用，並取得了豐碩的成果，人工智慧已逐步成為一個獨立的分支，無論在理論和實踐上都已自成一個系統。
綜上，從定義上講，人工智慧是一項技術。

③ 做了這么多年Java開發，如何快速轉行大數據

一、學習大數據是需要學習java和linux的

二、你有多年的java開發經驗，那麼可以直接跳過java課程部分，學習大數據技術！

三、分享一份大數據技術課程大綱供你了解參考