eclat演算法
Ⅰ 懸賞R語言作業答案
# 一、R基本操作
# 1、將數據文件mydata1.txt按照以下要求整理成標准形式。
#(1)讀入數據文件mydata.txt命名為insurance。
insurance<-read.table("mydata1.txt")
head(insurance)
dim(insurance)#192個數據
#(2)將insurance轉換為3列的矩陣。
insurance<-matrix(insurance$V1,nrow = 64,ncol = 3)#nrow =192/3=64
insurance
#(3)將insurance轉換為數據框。
insurance<-as.data.frame(insurance)
class(insurance)
#(4)將列名命名為"District", "Holders"和"Claims"。
names(insurance)<-c("District", "Holders","Claims")
insurance
#(5)隨機無放回抽取50行數據。
sub<-insurance[sample(1:nrow(insurance),50),]#無放回不用設置replace
sub
#(6)將抽樣數據寫入result1.txt。
write.table(sub,"result1.txt",row.names = FALSE)
######################################################################
# 2、將數據文件mydata2.txt按照以下要求整理成標准形式。
#(1)讀入數據文件mydata2.txt命名為iris。
iris<-read.table("mydata2.txt")
head(iris)
dim(iris)#600個數據
#(2)將iris轉換為4列的矩陣。
iris<-matrix(iris$V1,nrow = 150,ncol = 4)#nrow =600/3=150
iris
#(3)將iris轉換為數據框。
iris<-as.data.frame(iris)
class(iris)
#(4)將列名命名為"Sepal.Length", "Sepal.Width", "Petal.Length", "Petal.Width"。
names(iris)<-c("Sepal.Length", "Sepal.Width", "Petal.Length", "Petal.Width")
iris
#(5)隨機無放回抽取90行數搭弊據。
sub<-iris[sample(1:nrow(iris),90),]#無放回不用設置replace
sub
#(6)將抽樣數據寫入result2.txt。
write.table(sub,"result2.txt",row.names = FALSE)
######################################################################
# 3.將數據文件data.csv按照以下要求進行悔枝陵數據預處理。
#(1)讀入數據文件data.csv命名為nhanes2。
nhanes2<-read.csv("data.csv")
#(2) 載入缺失值處理所需要的包。
install.packages("lattice")
install.packages("MASS")
install.packages("nnet"碧戚)
library(lattice)
library(MASS)
library(nnet)
#(3) 判斷nhanes2是否存在缺失值。
sum(is.na(nhanes2))
#(4) 利用插補法處理chl變數的缺失值。
sub=which(is.na(nhanes2[,4])==TRUE)#在數據集中chl變數是第4列，返回nhanes2數據集中第4列為NA的行
dataTR<-nhanes2[-sub,]#將第4列不為NA的數存入數據集dataTR
dataTE<-nhanes2[sub,]#將第4列為NA的數存入數據集dataTE中
dataTE[,4]<-sample(dataTR[,4],length(dataTE[,4]),replace = T)#在非缺失值中簡單抽樣
dataTE
#(5) 將插補法處理後的數據寫入result3.txt。
write.table(dataTE,"result3.txt",row.names = FALSE)
######################################################################
######################################################################
#二、函數調用
#1、測得某班學術X（身高(cm)）與Y（體重(kg)）的數據如下,試畫出散點圖,建立線性回歸方程，並作進一步分析。
# (1) 建立數據集，並畫出散點圖，考察數據點的分布趨勢，看是否呈直線條狀分布。
x1<-c(171,175,159,155,152,158,154,164,168,166,159,164)#身高
y1<-c(57,64,41,38,35,44,41,51,57,49,47,46)#體重
#構建數據集
model <- data.frame(x1,y1)
#探索性分析-做散點圖查看數據的分布情況：
plot(x1,y1)
# (2)進行回歸分析,列出回歸方程，畫擬合線，並對結果進行解讀。
# 用lm()函數構建模型
lm.reg<-lm(y1~ x1)
# 添加回歸曲線查看擬合效果
abline(lm.reg)
#模型解讀
summary(lm.reg)
# (3)對回歸系數進行假設檢驗。
anova(lm.reg) # 回歸模型的方差分析
summary(lm.reg) #回歸系數t檢驗：提取模型計算結果，其中有t檢驗的結果
# (4)對回歸模型進行診斷。
#模型檢驗對方程進行進一步檢驗，以檢查回歸方程是否滿足模型的先驗條件及模型的穩健性。
par(mfrow=c(2,2))#畫布分面
plot(lm.reg)
#結果解讀：
#1.左上圖：殘差與擬合圖，理論上散點應該散亂的分布在橫線兩側；
#2.右上圖：正太Q-Q圖，用於檢驗因變數的正太分布性，若服從正太分布，則散點應分布在一條直線線
#3.左下圖：齊方差檢驗，若滿足其方差，則散點在水平線周圍隨機分布
#4.右下圖：獨立性檢驗，即一個樣本是否會影響另一個樣本
#################################################################
#2、研究某抗心律失常葯對電刺激狗右心室致顫闕的影響,實驗測得狗靜脈注射不同劑量的抗心律失常葯與右心室致顫闕的數據如下,試畫出散點圖,建立線性回歸方程，並作進一步分析。
# (1) 建立數據集，並畫出散點圖，考察數據點的分布趨勢，看是否呈直線條狀分布。
x <- c(1,3,5,7,9)
y <- c(8.03, 14.97, 19.23, 27.83, 36.23)
#構建數據集
model <- data.frame(x,y)
#探索性分析-做散點圖查看數據的分布情況：
plot(model)#畫散點圖
# (2)進行回歸分析,列出回歸方程，畫擬合線，並對結果進行解讀。
# 用lm()函數構建模型
fm <- lm(y ~ x)#建立回歸模型
fm
# 添加回歸曲線查看擬合效果
abline(fm)# 添加回歸曲線至散點圖
#模型解讀
summary(fm)
# (3)對回歸系數進行假設檢驗。
anova(fm) # 回歸模型的方差分析
summary(fm) # 提取模型計算結果，其中有t檢驗的結果
# (4)對回歸模型進行診斷。
#模型檢驗對方程進行進一步檢驗，以檢查回歸方程是否滿足模型的先驗條件及模型的穩健性。
par(mfrow=c(2,2))#畫布分面
plot(fm)
#結果解讀：
#1.左上圖：殘差與擬合圖，理論上散點應該散亂的分布在橫線兩側；
#2.右上圖：正太Q-Q圖，用於檢驗因變數的正太分布性，若服從正太分布，則散點應分布在一條直線線
#3.左下圖：齊方差檢驗，若滿足其方差，則散點在水平線周圍隨機分布
#4.右下圖：獨立性檢驗，即一個樣本是否會影響另一個樣本
##################################################################
# 3、countries數據集含有69個國家和地區的出生率與死亡率。
# (1) 請使用K-均值聚類將樣本點聚為3個類別。
countries=read.csv("countries.csv")
head(countries)#查看前6行
names(countries)=c("country","birth","death")#修改變數名稱
var=as.character(countries$country)#將變數country轉為字元型並賦值給var
for(i in 1:69) row.names(countries)[i]=var[i]#將數據集的行名命名為國家名稱
km1=kmeans(countries[,-1],center=3)#用kmeans演算法對countries數據集進行聚類
# (2) 輸出聚類結果及各類別的中心點坐標。
km1$cluster#獲取類別
km1$centers#獲取中心點坐標
# (3) 繪制聚類結果將中心點以星號標識。
#畫出聚為四類的類別圖，標注中心點。
plot(countries[,-1],pch=c(1,2,3))
#將中心點用星號標示出來
points(km1$centers,pch=8,col="red")
#對中心點添加標注
legend(km1$centers[1,1],km1$centers[1,2],"Center_1",bty="n",xjust=0.5,cex=0.8)
legend(km1$centers[2,1],km1$centers[2,2],"Center_2",bty="n",xjust=0.5,cex=0.8)
legend(km1$centers[3,1],km1$centers[3,2],"Center_3",bty="n",xjust=0.5,cex=0.8)
# (4) 判斷與中國大陸同屬於一個類別的國家和地區有哪些。
cluster_CHINA=km1$cluster[which(countries$country=="CHINA")]
which(km1$cluster==cluster_CHINA)
###############################################################
###############################################################
#三、數據分析
# 1、使用arules軟體包中的Groceries數據集，該數據集是某一食品雜貨店一個月的真實交易數據，使用R完成以下要求：(軟體包：arules；數據集：Groceries； 函數：apriori())
# (1)利用apriori()函數進行關聯分析，支持度為0.01，置信度為0.5。
install.packages("arules")
library(arules)
data("Groceries")
rules0<-apriori(Groceries,parameter=list(support=0.01,confidence=0.5))
inspect(rules0[1:10])
# (2)利用sort()函數按照支持度排序。
rules.sorted_sup<-sort(rules0,by="support")
inspect(rules.sorted_sup[1:5])
# (3)捆綁銷售：尋找蛋黃醬（mayonnaise）的捆綁商品。（supp=0.001,conf=0.1,minlen=2, maxlen=6）
rules1=apriori(Groceries,parameter=list(minlen=2,maxlen=6,supp=0.001,conf=0.1),appearance=list(rhs="mayonnaise",default="lhs"))
inspect(rules1)
# (4)查看銷量最高的商品。
itemsets_apr=apriori(Groceries,parameter=list(supp=0.001,target="frequent itemsets"),control=list(sort=-1))
inspect(itemsets_apr[1:5])
# (5)適合捆綁銷售的商品。（supp=0.001,minlen=2, maxlen=3）
itemsets_apr1=eclat(Groceries,parameter=list(supp=0.001,minlen=2,maxlen=3,target="frequent itemsets"),control=list(sort=-1))
inspect(itemsets_apr1[1:5])
# (6)關聯規則的可視化（support=0.001,con=0.5）
install.packages("arulesViz")
library(arulesViz)
rules5=apriori(Groceries,parameter=list(support=0.002,con=0.5))
rules5
plot(rules5)
#######################################################################
# 2、根據breast-cancer-wisconsin.csv威斯康星州乳腺癌數據集，通過對數據的分析，提取出關鍵特徵來判斷乳腺癌患病情況。(軟體包：rpart；函數：rpart()。)
# (1)屬性名依次設置為"編號","腫塊厚度","腫塊大小","腫塊形狀","邊緣黏附","單個表皮細胞大小","細胞核大小","染色質","細胞核常規","有絲分裂","類別"),並將類別為2的設為"良性",為4的設為"惡性"。
install.packages("rpart")
library(rpart)
install.packages("rpart.plot")
library(rpart.plot)
#############載入數據
breast.cancer<-read.csv('breast-cancer-wisconsin.csv',header=F)
head(breast.cancer)
#數據整理
names(breast.cancer)=c("編號","腫塊厚度","腫塊大小","腫塊形狀","邊緣黏附","單個表皮細胞大小","細胞核大小","染色質","細胞核常規","有絲分裂","類別")
breast.cancer$類別[breast.cancer$類別==2]="良性"
breast.cancer$類別[breast.cancer$類別==4]="惡性"
head(breast.cancer)
# (2)抽取訓練數據集為原數據的70%，測試數據集取30%。
#數據預處理(分層抽樣,劃分訓練集和測試集)
#分別計算良性和惡性組中應抽取測試集樣本數，記為a，b
a=round(0.3*sum(breast.cancer$類別=="良性"))
b=round(0.3*sum(breast.cancer$類別=="惡性"))
a;b #輸出a,b值
install.packages("sampling")
library(sampling)
#使用strata函數對數據集中的「分組油耗」變數進行分層抽樣
sub=strata(breast.cancer,stratanames="類別",size=c(b,a),method="srswor")
sub #所抽出的所有測試集樣本信息
#生成訓練集train1和測試集test1
train1=breast.cancer[-sub$ID_unit,]
test1=breast.cancer[sub$ID_unit,]
nrow(train1);nrow(test1) #顯示訓練集和測試集的行數，檢查兩者比例是否為7：3
# (3) minsplit=5，建立決策樹。
#CART建立分類樹
formula_cla=類別~腫塊厚度+腫塊大小+腫塊形狀+邊緣黏附+單個表皮細胞大小+細胞核大小+染色質+細胞核常規+有絲分裂
cla1=rpart(formula_cla,train1,method="class",minsplit=5)#
cla1
# (4)選擇cp=0.05來剪枝。
######修改cp的值
cla2=rpart(formula_cla,train1,method="class",minsplit=5,cp=0.05)
cla2
# (5)畫出type為2和4的樹圖。
rpart.plot(cla1,type=2)#修改type
rpart.plot(cla1,type=4)
# (6)測試數據進行預測，並輸出混淆矩陣，給出模型准確率為。
#預測
pre1=predict(cla1,test1,type="class")
pre1
table(test1$類別,pre1)#獲取混淆矩陣
#計算樣本錯誤率
error1<-sum(as.numeric(pre1!=test1$類別))/nrow(test1)
error1
###################################################################
# 3、美國科羅拉多州某加油站連續 57 天的OVERSHORTS序列「OVERSHORTS.csv」
# (1) 判斷該序列的平穩性與純隨機性。
# （時序圖檢驗、白雜訊檢驗）
install.packages("fUnitRoots")
install.packages("TSA")
install.packages("forecast")
install.packages("zoo")
library(fUnitRoots)
library(TSA)
library(forecast)
library(zoo)
#讀取數據
c<-read.csv("OVERSHORTS.csv")
#轉換為時間序列
overshort<-ts(c$overshort,start = 1)
#平穩性，純隨機（白雜訊檢驗）
## 繪制序列的時間序列圖
plot.ts(overshort, xlab = "time", ylab = "prop")
##對序列做單位根檢驗
unitrootTest(overshort)
##對序列做白雜訊檢驗
Box.test(overshort, lag = 1, type = "Ljung-Box")
# (2) 如果序列平穩且非白雜訊，選擇適當模型擬合該序列的發展。(10分)
# （模型的識別、參數估計（模型顯著性、模型參數的顯著性））
#模型識別
##觀察自相關，偏自相關圖，模型定階
par(mfrow=c(1,2))
acf(overshort)###衰減到零是突然的，所以自相關系數1階截尾
pacf(overshort)### 衰減到零不是突然的，所以偏相關系數托尾
# 推薦模型為 MA(1)
##或者對序列進行模型識別，自動定階
auto.arima(overshort)# 推薦模型為 MA(1)
#參數估計
###模型檢驗
x.fit<-arima(overshort,order=c(0,0,1),method="ML")
x.fit
##對殘差x.fit$resial進行白雜訊檢驗
for(i in 1:2) print(Box.test(x.fit$resial,lag=6*i))
##P>0.05,接受原假設，即殘差為白雜訊，所以擬合模型顯著有效
####參數檢驗
###模型參數的顯著性檢驗
t1<--0.8477/0.1206
pt(t1,df=56,lower.tail=T) ###p<0.05參數顯著非零
t0<--4.7942/1.0253
pt(t0,df=56,lower.tail=T) ###p<0.05參數顯著非零
# (3) 利用擬合模型，預測該加油站未來5天的OVERSHORTS。(10分)
# （模型預測、繪制預測圖）
####模型預測
c<-read.csv("OVERSHORTS.csv")
x<-ts(c$overshort,start=1)
x.fit<-arima(x,order=c(0,0,1))
x.fit
x.fore<-forecast(x.fit,h=5)#預測
x.fore
plot(x.fore)
##############################################################
#4、使用是survival軟體包中的「pbc」數據集，該數據集記錄的是肝硬化數據， 使用R完成一下要求：(軟體包：survival；數據集：pbc； 函數：Surv()、survfit()、survdiff()、coxph()、cox.zph(), 將答案保存在「姓名.doc」文件中。)
# (1)生成生存分析對象，擬合生存曲線模型。
install.packages("survival") #安裝survival包
library(survival) #載入survival包
#使用survival包自帶的「pbc」數據集為例（418*20）
data("pbc")
str(pbc)
head(pbc)
#生成生存分析對象
Sur_Obj<-Surv(pbc$time,pbc$status)
Sur_Obj
#擬合曲線模型
model<-survfit(Sur_Obj~1)
summary(model)
# (2)兩種方法繪制生存曲線。
plot(model,ylab = "生存率",xlab="天")
#用survminer進行漂亮的展示
install.packages("survminer")
library(survminer)
ggsurvplot(model, data = pbc)
# (3)進行單因素比較分析，並進行結果解釋。
#survdiff(formula)函數進行log-rank檢驗。
survdiff(Sur_Obj~pbc$trt) #trt是分組條件
# (4)考慮年齡，性別以及trt是否會影響肝硬化的生存時間,進行多因素分析Cox模型的建立，並進行結果解釋。
coxmodel<-coxph(Sur_Obj~pbc$age+pbc$sex+pbc$bili)
coxmodel
# (5)模型診斷——PH檢驗。
zphmodel<-cox.zph(coxmodel)
zphmodel
##############################################################
# 5、life.csv為50位急性淋巴細胞白血病病人的數據，包括：入院治療時取得外轅血中細胞數X1，淋巴結浸潤等級X2，出院後有無鞏固治療X3(1表示有鞏固治療，0表示無鞏固治療)；隨訪後，變數Y=0表示生存期在1年以內，Y=1表示生存時間在1年以上，使用R完成一下要求：(函數：glm()，predict()。)
# (1)建立全變數logistic回歸，對模型結果進行解釋。
life<-read.csv("life.csv")
#建立全變數logistic回歸
glm.sol<-glm(Y~X1+X2+X3, family=binomial, data=life)
#回歸模型解讀
summary(glm.sol)
# (2)預測當X1=5,X2=2,X3=0時，y的概率是多少？
pre<-predict(glm.sol, data.frame(X1=5,X2=2,X3=0))
p<-exp(pre)/(1+exp(pre))
p
# (3)預測當X1=5,X2=2,X3=1時，y的概率是多少？(6分)
pre<-predict(glm.sol, data.frame(X1=5,X2=2,X3=1))
p<-exp(pre)/(1+exp(pre))
p
# (4)對回歸模型參數進行檢驗，用step()函數做變數篩選。
step(glm.sol)
glm.new<-glm(Y~X2+X3, family=binomial, data=life)
summary(glm.new)
# (5)對篩選後的變數進行建模，預測。
pre<-predict(glm.new, data.frame(X2=2,X3=0))
p<-exp(pre)/(1+exp(pre))
p
pre<-predict(glm.new, data.frame(X2=2,X3=1))
p<-exp(pre)/(1+exp(pre))
p
Ⅱ 人工智慧是學習什麼
1、學習並掌握一些數學知識
高等數學是基礎中的基礎，一切理工科都需要這個打底，數據挖掘、人工智慧、模式識別此類跟數據打交道的又尤其需要多元微積分運算基礎。
線性代數很重要，一般來說線性模型是你最先要考慮的模型，加上很可能要處理多維數據，你需要用線性代數來簡潔清晰的描述問題，為分析求解奠定基礎。
概率論、數理統計、隨機過程更是少不了，涉及數據的問題，不確定性幾乎是不可避免的，引入隨機變數順理成章，相關理論、方法、模型非常豐富。很多機器學習的演算法都是建立在概率論和統計學的基礎上的，比如貝葉斯分類器、高斯隱馬爾可夫鏈。
再就是優化理論與演算法，除非你的問題是像二元一次方程求根那樣有現成的公式，否則你將不得不面對各種看起來無解但是要解的問題，優化將是你的GPS為你指路。
以上這些知識打底，就可以開拔了，針對具體應用再補充相關的知識與理論，比如說一些我覺得有幫助的是數值計算、圖論、拓撲，更理論一點的還有實/復分析、測度論，偏工程類一點的還有信號處理、數據結構。
2、掌握經典機器學習理論和演算法
如果有時間可以為自己建立一個機器學習的知識圖譜，並爭取掌握每一個經典的機器學習理論和演算法，我簡單地總結如下：
1) 回歸演算法：常見的回歸演算法包括最小二乘法（OrdinaryLeast Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（MultivariateAdaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）；
2) 基於實例的演算法：常見的演算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射演算法（Self-Organizing Map ， SOM）；
3) 基於正則化方法：常見的演算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網路（Elastic Net）；
4) 決策樹學習：常見的演算法包括：分類及回歸樹（ClassificationAnd Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）；
5) 基於貝葉斯方法：常見演算法包括：樸素貝葉斯演算法，平均單依賴估計（AveragedOne-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）；
6) 基於核的演算法：常見的演算法包括支持向量機（SupportVector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等；
7) 聚類演算法：常見的聚類演算法包括 k-Means演算法以及期望最大化演算法（Expectation Maximization， EM）；
8) 基於關聯規則學習：常見演算法包括 Apriori演算法和Eclat演算法等；
9) 人工神經網路：重要的人工神經網路演算法包括：感知器神經網路（PerceptronNeural Network）, 反向傳遞（Back Propagation）， Hopfield網路，自組織映射（Self-OrganizingMap, SOM）。學習矢量量化（Learning Vector Quantization， LVQ）；
10) 深度學習：常見的深度學習演算法包括：受限波爾茲曼機（RestrictedBoltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網路（Convolutional Network）, 堆棧式自動編碼器（Stacked Auto-encoders）；
11) 降低維度的演算法：常見的演算法包括主成份分析（PrincipleComponent Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）， Sammon映射，多維尺度（Multi-Dimensional Scaling, MDS）, 投影追蹤（ProjectionPursuit）等；
12) 集成演算法：常見的演算法包括：Boosting， Bootstrapped Aggregation（Bagging），AdaBoost，堆疊泛化（Stacked Generalization， Blending），梯度推進機（GradientBoosting Machine, GBM），隨機森林（Random Forest）。
3、掌握一種編程工具，比如Python
一方面Python是腳本語言，簡便，拿個記事本就能寫，寫完拿控制台就能跑；另外，Python非常高效，效率比java、r、matlab高。matlab雖然包也多，但是效率是這四個裡面最低的。
4、了解行業最新動態和研究成果，比如各大牛的經典論文、博客、讀書筆記、微博微信等媒體資訊。
5、買一個GPU，找一個開源框架，自己多動手訓練深度神經網路，多動手寫寫代碼，多做一些與人工智慧相關的項目。
6、選擇自己感興趣或者工作相關的一個領域深入下去
人工智慧有很多方向，比如NLP、語音識別、計算機視覺等等，生命有限，必須得選一個方向深入的鑽研下去，這樣才能成為人工智慧領域的大牛，有所成就。
根據網路給的定義，人工智慧（Artificial Intelligence），英文縮寫為AI。它是研究、開發用於模擬、延伸和擴展人的還能的理論、方法、技術及應用系統的一門新的技術科學。
網路關於人工智慧的定義詳解中說道：人工智慧是計算機的一個分支，二十世紀七十年代以來被稱為世界三大尖端技術之一（空間技術、能源技術、人工智慧）。也被認為是二十一世紀三大尖端技術（基因工程、納米科學、人工智慧）之一。這是因為近三十年來它獲得了迅速的發展，在很多學科領域都獲得了廣泛應用，並取得了豐碩的成果，人工智慧已逐步成為一個獨立的分支，無論在理論和實踐上都已自成一個系統。
綜上，從定義上講，人工智慧是一項技術。
Ⅲ 用R語言進行關聯分析
用R語言進行關聯分析
關聯是兩個或多個變數取值之間存在的一類重要的可被發現的某種規律性。關聯分析目的是尋找給定數據記錄集中數據項之間隱藏的關聯關系，描述數據之間的密切度。
幾個基本概念
1. 項集
這是一個集合的概念，在一籃子商品中的一件消費品即為一項（Item），則若干項的集合為項集，如{啤酒，尿布}構成一個二元項集。
2. 關聯規則
一般記為的形式，X為先決條件，Y為相應的關聯結果，用於表示數據內隱含的關聯性。如：，表示購買了尿布的消費者往往也會購買啤酒。
關聯性強度如何，由三個概念——支持度、置信度、提升度來控制和評價。
例：有10000個消費者購買了商品，其中購買尿布1000個，購買啤酒2000個，購買麵包500個，同時購買尿布和麵包800個，同時購買尿布和麵包100個。
3. 支持度（Support）
支持度是指在所有項集中{X, Y}出現的可能性，即項集中同時含有X和Y的概率：
該指標作為建立強關聯規則的第一個門檻，衡量了所考察關聯規則在「量」上的多少。通過設定最小閾值（minsup），剔除「出鏡率」較低的無意義規則，保留出現較為頻繁的項集所隱含的規則。
設定最小閾值為5%，由於{尿布，啤酒}的支持度為800/10000=8%，滿足基本輸了要求，成為頻繁項集，保留規則；而{尿布，麵包}的支持度為100/10000=1%，被剔除。
4. 置信度（Confidence）
置信度表示在先決條件X發生的條件下，關聯結果Y發生的概率：
這是生成強關聯規則的第二個門檻，衡量了所考察的關聯規則在「質」上的可靠性。相似的，我們需要對置信度設定最小閾值（mincon）來實現進一步篩選。
具體的，當設定置信度的最小閾值為70%時，置信度為800/1000=80%，而的置信度為800/2000=40%，被剔除。
5. 提升度（lift）
提升度表示在含有X的條件下同時含有Y的可能性與沒有X這個條件下項集中含有Y的可能性之比：
該指標與置信度同樣衡量規則的可靠性，可以看作是置信度的一種互補指標。
R中Apriori演算法
演算法步驟：
1. 選出滿足支持度最小閾值的所有項集，即頻繁項集；
2. 從頻繁項集中找出滿足最小置信度的所有規則。
> library(arules) #載入arules包
> click_detail =read.transactions("click_detail.txt",format="basket",sep=",",cols=c(1)) #讀取txt文檔（文檔編碼為ANSI）
> rules <- apriori(click_detail, parameter =list(supp=0.01,conf=0.5,target="rules")) #調用apriori演算法
> rules
set of419 rules
> inspect(rules[1:10]) #查看前十條規則
解釋
1) library(arules)：載入程序包arules，當然如果你前面沒有下載過這個包，就要先install.packages(arules)
2) click_detail =read.transactions("click_detail.txt",format="basket",sep=",",cols=c(1))：讀入數據
read.transactions(file, format =c("basket", "single"), sep = NULL,
cols = NULL, rm.plicates =FALSE, encoding = "unknown")
file:文件名，對應click_detail中的「click_detail.txt」
format:文件格式，可以有兩種，分別為「basket」,「single」，click_detail.txt中用的是basket。
basket: basket就是籃子，一個顧客買的東西都放到同一個籃子，所有顧客的transactions就是一個個籃子的組合結果。如下形式，每條交易都是獨立的。
文件形式：
item1,item2
item1
item2,item3
讀入後：
items
1 {item1,
item2}
2 {item1}
3 {item2,
item3}
single: single的意思，顧名思義，就是單獨的交易，簡單說，交易記錄為：顧客1買了產品1， 顧客1買了產品2，顧客2買了產品3……(產品1，產品2，產品3中可以是單個產品，也可以是多個產品)，如下形式：
trans1 item1
trans2 item1
trans2 item2
讀入後：
items transactionID
1 {item1} trans1
2 {item1,
item2} trans2
sep:文件中數據是怎麼被分隔的，默認為空格，click_detail裡面用逗號分隔
cols:對basket, col=1,表示第一列是數據的transaction ids(交易號)，如果col=NULL，則表示數據裡面沒有交易號這一列；對single，col=c(1,2)表示第一列是transaction ids，第二列是item ids
rm.plicates:是否移除重復項，默認為FALSE
encoding:寫到這里研究了encoding是什麼意思，發現前面txt可以不是」ANSI」類型，如果TXT是「UTF-8」，寫encoding=」UTF-8」，就OK了.
3) rules <- apriori(click_detail,parameter = list(supp=0.01,conf=0.5,target="rules"))：apriori函數
apriori(data, parameter = NULL, appearance = NULL, control = NULL)
data:數據
parameter：設置參數，默認情況下parameter=list(supp=0.1,conf=0.8,maxlen=10,minlen=1,target=」rules」)
supp:支持度（support）
conf:置信度（confidence）
maxlen,minlen:每個項集所含項數的最大最小值
target:「rules」或「frequent itemsets」（輸出關聯規則/頻繁項集）
apperence:對先決條件X（lhs），關聯結果Y（rhs）中具體包含哪些項進行限制，如：設置lhs=beer，將僅輸出lhs含有beer這一項的關聯規則。默認情況下，所有項都將無限制出現。
control：控制函數性能，如可以設定對項集進行升序sort=1或降序sort=-1排序，是否向使用者報告進程（verbose=F/T）
補充
通過支持度控制：rules.sorted_sup = sort(rules, by=」support」)
通過置信度控制：rules.sorted_con = sort(rules, by=」confidence」)
通過提升度控制：rules.sorted_lift = sort(rules, by=」lift」)
Apriori演算法
兩步法：
1. 頻繁項集的產生：找出所有滿足最小支持度閾值的項集，稱為頻繁項集；
2. 規則的產生：對於每一個頻繁項集l，找出其中所有的非空子集；然後，對於每一個這樣的子集a，如果support(l)與support(a)的比值大於最小可信度，則存在規則a==>(l-a)。
頻繁項集產生所需要的計算開銷遠大於規則產生所需的計算開銷
頻繁項集的產生
幾個概念：
1， 一個包含K個項的數據集，可能產生2^k個候選集
2，先驗原理：如果一個項集是頻繁的，則它的所有子集也是頻繁的（理解了頻繁項集的意義，這句話很容易理解的）；相反，如果一個項集是非頻繁的，則它所有子集也一定是非頻繁的。
3基於支持度（SUPPORT）度量的一個關鍵性質：一個項集的支持度不會超過它的子集的支持度（很好理解，支持度是共同發生的概率，假設項集{A,B,C}，{A,B}是它的一個自己，A,B,C同時發生的概率肯定不會超過A,B同時發生的概率）。
上面這條規則就是Apriori中使用到的，如下圖，當尋找頻繁項集時，從上往下掃描，當遇到一個項集是非頻繁項集（該項集支持度小於Minsup），那麼它下面的項集肯定就是非頻繁項集，這一部分就剪枝掉了。
一個例子（網路到的一個PPT上的）：
當我在理解頻繁項集的意義時，在R上簡單的復現了這個例子，這里採用了eclat演算法，跟apriori應該差不多：
代碼：
item <- list(
c("bread","milk"),
c("bread","diaper","beer","eggs"),
c("milk","diaper","beer","coke"),
c("bread","milk","diaper","beer"),
c("bread","milk","diaper","coke")
)
names(item) <- paste("tr",c(1:5),sep = "")
item
trans <- as(item,"transactions") #將List轉為transactions型
rules = eclat(trans,parameter = list(supp = 0.6,
target ="frequent itemsets"),control = list(sort=1))
inspect(rules) #查看頻繁項集
運行後結果：
>inspect(rules)
items support
1{beer,
diaper} 0.6
2{diaper,
milk} 0.6
3{bread,
diaper} 0.6
4{bread,
milk} 0.6
5{beer} 0.6
6{milk} 0.8
7{bread} 0.8
8{diaper} 0.8
以上就是該例子的所有頻繁項集，然後我發現少了{bread,milk,diaper}這個項集，回到例子一看，這個項集實際上只出現了兩次，所以是沒有這個項集的。
規則的產生
每個頻繁k項集能產生最多2k-2個關聯規則
將項集Y劃分成兩個非空的子集X和Y-X，使得X ->Y-X滿足置信度閾值
定理：如果規則X->Y-X不滿足置信度閾值，則X』->Y-X』的規則一定也不滿足置信度閾值，其中X』是X的子集
Apriori按下圖進行逐層計算，當發現一個不滿足置信度的項集後，該項集所有子集的規則都可以剪枝掉了。
Ⅳ 關聯演算法
關聯, 指的是關聯分析, 這里引用網路的定義.
通過關聯分析, 可以挖掘出"由於某些事件的發生而引起另外一些事件的發生"之類的規則, 比如說"麵包=>牛奶", 其中麵包被稱為規則的前項, 而牛奶則被稱為規則的後項.
常用於關聯分析的演算法有Apriori演算法, FP-growth演算法, Eclat演算法, 灰色關聯法等, 下面將著重介紹Apriori演算法.
在介紹Apriori演算法之前, 我們先來了解幾個概念:
1.事務: 一條交易記錄稱為一個事務
2.項: 交易中的每一個物品稱為一個項
3.項集: 包含0個或多個項的集合
4.支持度計數: 項集在所有事務中出現的次數.
5.支持度: 支持度計數除於總的事務數.
6.頻繁項集: 支持度大於等於某個閥值的項集.
關聯規則的挖掘通常分為兩步: 第一步, 找出所有的頻繁項集; 第二步, 由頻繁項集產沒判答生強關聯規則. 而Apriori演算法則是挖掘頻繁項集的基本演算法.
可以看到以上每個過程均需要掃描一次數據, 為了提高頻繁項集逐層迭代產生的效率, 需要利用一條重要性質, 其稱為先驗性質:
當然, 非頻繁項集的所有超集也一定是非頻繁的.
將先驗性質應用到Apriori演算法中就是將之枯慧前的過程分為兩大部分, 連接步和剪枝步.
連接步: 連接步的目的是產生候選項集.
剪枝步: 應用先驗性質對候選項集進行篩選, 將不滿足先驗性質的候選項集剔除, 再進而根據最小支持度找出頻繁項集, 這樣可以有效縮短計算量.
關聯分析的目標是找出強關聯規則, 因此這里的關聯規則是指強關聯規則, 我們把滿足最小支持度和最小置信度的規則稱為強關聯規則.
對於規則A=>沖敏B, 置信度的計算公式就是項集{A, B}的支持度計數除於項集{A}的支持度計數.
優點: 簡單, 易理解, 對數據要求低
缺點: 容易產生過多的候選項集, I/O負載大.
Ⅳ spark mllib機器學習什麼語言
1、機器學習概念
1.1機器學習的定義
在維基網路上對機器學習提出以下幾種定義：
l「機器學習是一門人工智慧的科學，該領域的主要研究對象是人工智慧，特別是如何在經驗學習中改善具體演算法的性能」。
l「機器學習是對能通過經驗自動改進的計算機演算法的研究」。
l「機器學習是用數據或以往的經驗，以此優化計算機程序的性能標准。」一種經常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E。
可以看出機器學習強調三個關鍵詞：演算法、經驗、性能，其處理過程如下圖所示。
3、Spark MLlib架構解析
Ⅵ 智能演算法有哪些
（1）人工神經網路（Artificial Neural Network）類：反向傳播（Backpropagation）、波爾茲曼機（Boltzmann Machine）、卷積神經網路（Convolutional Neural Network）、Hopfield網路（hopfield Network）、多層感知器（Multilyer Perceptron）、徑向基函數網路（Radial Basis Function Network，RBFN）、受限波爾茲曼機（Restricted Boltzmann Machine）、回歸神經網路（Recurrent Neural Network，RNN）、自組織映射（Self-organizing Map，SOM）、尖峰神經網路（Spiking Neural Network）等。
（2）貝葉斯類（Bayesin）：樸素貝葉斯（Naive Bayes）、高斯貝葉斯（Gaussian Naive Bayes）、多項樸素貝葉斯（Multinomial Naive Bayes）、平均-依賴性評估（Averaged One-Dependence Estimators，AODE）
貝葉斯信念網路（Bayesian Belief Network，BBN）、貝葉斯網路（Bayesian Network，BN）等。
（3）決策樹（Decision Tree）類：分類和回歸樹（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5演算法（C4.5 Algorithm）、C5.0演算法（C5.0 Algorithm）、卡方自動交互檢測（Chi-squared Automatic Interaction Detection，CHAID）、決策殘端（Decision Stump）、ID3演算法（ID3 Algorithm）、隨機森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）線性分類器（Linear Classifier）類：Fisher的線性判別（Fisher』s Linear Discriminant）
線性回歸（Linear Regression）、邏輯回歸（Logistic Regression）、多項邏輯回歸（Multionmial Logistic Regression）、樸素貝葉斯分類器（Naive Bayes Classifier）、感知（Perception）、支持向量機（Support Vector Machine）等。
常見的無監督學習類演算法包括：
（1） 人工神經網路（Artificial Neural Network）類：生成對抗網路（Generative Adversarial Networks，GAN），前饋神經網路（Feedforward Neural Network）、邏輯學習機（Logic Learning Machine）、自組織映射（Self-organizing Map）等。
（2） 關聯規則學習（Association Rule Learning）類：先驗演算法（Apriori Algorithm）、Eclat演算法（Eclat Algorithm）、FP-Growth演算法等。
（3）分層聚類演算法（Hierarchical Clustering）：單連鎖聚類（Single-linkage Clustering），概念聚類（Conceptual Clustering）等。
（4）聚類分析（Cluster analysis）：BIRCH演算法、DBSCAN演算法，期望最大化（Expectation-maximization，EM）、模糊聚類（Fuzzy Clustering）、K-means演算法、K均值聚類（K-means Clustering）、K-medians聚類、均值漂移演算法（Mean-shift）、OPTICS演算法等。
Ⅶ FLDA 是人工智慧演算法么全名中英文是啥啊
應該不是。
人工智慧之機器學習體系匯總
監督學習 Supervised learning
Fisher的線性判別 Fisher』s linear discriminant
線性回歸 Linear regression
Logistic回歸 Logistic regression
多項Logistic回歸 Multinomial logistic regression
樸素貝葉斯分類器 Naive Bayes classifier
感知 Perceptron
支持向量機 Support vector machine
分類和回歸樹（CART） Classification and regression tree (CART)
迭代Dichotomiser 3（ID3） Iterative Dichotomiser 3(ID3)
C4.5演算法 C4.5 algorithm
C5.0演算法 C5.0 algorithm
卡方自動交互檢測（CHAID） Chi-squared Automatic Interaction Detection(CHAID)
決策殘端 Decision stump
ID3演算法 ID3 algorithm
隨機森林 Random forest
SLIQ
樸素貝葉斯 Naive Bayes
高斯貝葉斯 Gaussian Naive Bayes
多項樸素貝葉斯 Multinomial Naive Bayes
平均一依賴性評估（AODE） Averaged One-Dependence Estimators(AODE)
貝葉斯信念網路（BNN） Bayesian Belief Network(BBN)
貝葉斯網路（BN） Bayesian Network(BN)
自動編碼器 Autoencoder
反向傳播 Backpropagation
玻爾茲曼機 Boltzmann machine
卷積神經網路 Convolutional neural network
Hopfield網路 Hopfield network
多層感知器 Multilayer perceptron
徑向基函數網路（RBFN） Radial basis function network(RBFN)
受限玻爾茲曼機 Restricted Boltzmann machine
回歸神經網路（RNN） Recurrent neural network(RNN)
自組織映射（SOM） Self-organizing map(SOM)
尖峰神經網路 Spiking neural network
人工神經網路 Artificial neural network
貝葉斯 Bayesian
決策樹 Decision Tree
線性分類 Linear classifier
無監督學習 Unsupervised learning
k-最近鄰演算法（K-NN） k-nearest neighbors classification(K-NN)
局部異常因子 Local outlier factor
BIRCH
DBSCAN
期望最大化（EM） Expectation-maximization(EM)
模糊聚類 Fuzzy clustering
K-means演算法 K-means algorithm
k-均值聚類 K-means clustering
k-位數 K-medians
平均移 Mean-shift
OPTICS演算法 OPTICS algorithm
單連鎖聚類 Single-linkage clustering
概念聚類 Conceptual clustering
先驗演算法 Apriori algorithm
Eclat演算法 Eclat algorithm
FP-growth演算法 FP-growth algorithm
對抗生成網路
前饋神經網路 Feedforward neurral network
邏輯學習機 Logic learning machine
自組織映射 Self-organizing map
極端學習機 Extreme learning machine
人工神經網路 Artificial neural network
關聯規則學習 Association rule learning
分層聚類 Hierarchical clustering
聚類分析 Cluster analysis
異常檢測 Anomaly detection
半監督學習 Semi-supervised learning
生成模型 Generative models
低密度分離 Low-density separation
基於圖形的方法 Graph-based methods
聯合訓練 Co-training
強化學習 Reinforcement learning
時間差分學習 Temporal difference learning
Q學習 Q-learning
學習自動 Learning Automata
狀態-行動-回饋-狀態-行動（SARSA） State-Action-Reward-State-Action(SARSA)
深度學習 Deep learning
深度信念網路 Deep belief machines
深度卷積神經網路 Deep Convolutional neural networks
深度遞歸神經網路 Deep Recurrent neural networks
分層時間記憶 Hierarchical temporal memory
深度玻爾茲曼機（DBM） Deep Boltzmann Machine(DBM)
堆疊自動編碼器 Stacked Boltzmann Machine
生成式對抗網路 Generative adversarial networks
遷移學習 Transfer learning
傳遞式遷移學習 Transitive Transfer Learning
其他
主成分分析（PCA） Principal component analysis(PCA)
主成分回歸（PCR） Principal component regression(PCR)
因子分析 Factor analysis
Bootstrap aggregating (Bagging)
AdaBoost
梯度提升機（GBM） Gradient boosting machine(GBM)
梯度提升決策樹（GBRT） Gradient boosted decision tree(GBRT)
集成學習演算法
降維
Ⅷ 機器學習的類型有
機器學習的類型有
是否在人類監督下學習（消稿辯監督學習、非監督學習、半監督學習和強化學習）
是否可以動態的增量學習（在線學習和批量學習）
是簡單的將新的數據點和已知的數據點進行匹配，還是像科學家那樣對訓練數據進行模型檢測，然後建立一個預測模型（基於實例的學習和基於模型的學習）
一、監督學習和非監督學習
根據訓練期間接受的監督數量和監督類型，可以將機器學習分為以下四種類型：監督學習、非監督學習、半監督學習和強化學習。
1.1 監督學習
在監督學習中，提供給演算法的包含所需解決方案的訓練數據，成為標簽或標記。
簡單地說，就是監督學習是包含自變數和因變數（有Y），同時可以用於分類和回歸。下來常見的演算法都是監督學習演算法。
K近鄰演算法
線性回歸
logistic回歸
支持向量機（SVM）
決策樹和隨機森林
神經網路
聚類演算法
K均值演算法（K-means）
基於密度的聚類方法(DBSCAN)
最大期望演算法
可視化和降維
主成分分析
核主成分分析
關聯規則學習
Apriori
Eclat
1.2 無監督學習
無監督學習的訓練數據都是未經標記的，演算法會在沒有指導的情況下自動學習。
簡單地說，就是訓練數據只有自變數沒有因變數（就是沒有Y）。
無監督學習的常見演算法如下：
比如說，我們有大量的購物訪客的數據，包括一個月內的到達次數、購買次數、平均客單價、購物時長、購物種類、數量等，我們可以通過聚類演算法，自動的把這些人分成幾個類別，分類後，我們可以人工的把這些分類標記，如企業客戶、家庭主婦等，也可以分成更細的分類
Ⅸ 什麼是數據挖掘中的關聯分析
FineBI數據挖掘的結果將以欄位和記錄的形式添加到多維資料庫中，並可以在新建分析時從一個專門的數據挖掘業務包中被使用，使用的方式與拖拽任何普通的欄位沒有任何區別。
配合FineBI新建分析中的各種控制項和圖表，使用OLAP的分析人員可以輕松的查看他們想要的特定的某個與結果，或是各種各樣結果的匯總。