eclat算法
Ⅰ 悬赏R语言作业答案
# 一、R基本操作
# 1、将数据文件mydata1.txt按照以下要求整理成标准形式。
#(1)读入数据文件mydata.txt命名为insurance。
insurance<-read.table("mydata1.txt")
head(insurance)
dim(insurance)#192个数据
#(2)将insurance转换为3列的矩阵。
insurance<-matrix(insurance$V1,nrow = 64,ncol = 3)#nrow =192/3=64
insurance
#(3)将insurance转换为数据框。
insurance<-as.data.frame(insurance)
class(insurance)
#(4)将列名命名为"District", "Holders"和"Claims"。
names(insurance)<-c("District", "Holders","Claims")
insurance
#(5)随机无放回抽取50行数据。
sub<-insurance[sample(1:nrow(insurance),50),]#无放回不用设置replace
sub
#(6)将抽样数据写入result1.txt。
write.table(sub,"result1.txt",row.names = FALSE)
######################################################################
# 2、将数据文件mydata2.txt按照以下要求整理成标准形式。
#(1)读入数据文件mydata2.txt命名为iris。
iris<-read.table("mydata2.txt")
head(iris)
dim(iris)#600个数据
#(2)将iris转换为4列的矩阵。
iris<-matrix(iris$V1,nrow = 150,ncol = 4)#nrow =600/3=150
iris
#(3)将iris转换为数据框。
iris<-as.data.frame(iris)
class(iris)
#(4)将列名命名为"Sepal.Length", "Sepal.Width", "Petal.Length", "Petal.Width"。
names(iris)<-c("Sepal.Length", "Sepal.Width", "Petal.Length", "Petal.Width")
iris
#(5)随机无放回抽取90行数搭弊据。
sub<-iris[sample(1:nrow(iris),90),]#无放回不用设置replace
sub
#(6)将抽样数据写入result2.txt。
write.table(sub,"result2.txt",row.names = FALSE)
######################################################################
# 3.将数据文件data.csv按照以下要求进行悔枝陵数据预处理。
#(1)读入数据文件data.csv命名为nhanes2。
nhanes2<-read.csv("data.csv")
#(2) 载入缺失值处理所需要的包。
install.packages("lattice")
install.packages("MASS")
install.packages("nnet"碧戚)
library(lattice)
library(MASS)
library(nnet)
#(3) 判断nhanes2是否存在缺失值。
sum(is.na(nhanes2))
#(4) 利用插补法处理chl变量的缺失值。
sub=which(is.na(nhanes2[,4])==TRUE)#在数据集中chl变量是第4列，返回nhanes2数据集中第4列为NA的行
dataTR<-nhanes2[-sub,]#将第4列不为NA的数存入数据集dataTR
dataTE<-nhanes2[sub,]#将第4列为NA的数存入数据集dataTE中
dataTE[,4]<-sample(dataTR[,4],length(dataTE[,4]),replace = T)#在非缺失值中简单抽样
dataTE
#(5) 将插补法处理后的数据写入result3.txt。
write.table(dataTE,"result3.txt",row.names = FALSE)
######################################################################
######################################################################
#二、函数调用
#1、测得某班学术X（身高(cm)）与Y（体重(kg)）的数据如下,试画出散点图,建立线性回归方程，并作进一步分析。
# (1) 建立数据集，并画出散点图，考察数据点的分布趋势，看是否呈直线条状分布。
x1<-c(171,175,159,155,152,158,154,164,168,166,159,164)#身高
y1<-c(57,64,41,38,35,44,41,51,57,49,47,46)#体重
#构建数据集
model <- data.frame(x1,y1)
#探索性分析-做散点图查看数据的分布情况：
plot(x1,y1)
# (2)进行回归分析,列出回归方程，画拟合线，并对结果进行解读。
# 用lm()函数构建模型
lm.reg<-lm(y1~ x1)
# 添加回归曲线查看拟合效果
abline(lm.reg)
#模型解读
summary(lm.reg)
# (3)对回归系数进行假设检验。
anova(lm.reg) # 回归模型的方差分析
summary(lm.reg) #回归系数t检验：提取模型计算结果，其中有t检验的结果
# (4)对回归模型进行诊断。
#模型检验对方程进行进一步检验，以检查回归方程是否满足模型的先验条件及模型的稳健性。
par(mfrow=c(2,2))#画布分面
plot(lm.reg)
#结果解读：
#1.左上图：残差与拟合图，理论上散点应该散乱的分布在横线两侧；
#2.右上图：正太Q-Q图，用于检验因变量的正太分布性，若服从正太分布，则散点应分布在一条直线线
#3.左下图：齐方差检验，若满足其方差，则散点在水平线周围随机分布
#4.右下图：独立性检验，即一个样本是否会影响另一个样本
#################################################################
#2、研究某抗心律失常药对电刺激狗右心室致颤阙的影响,实验测得狗静脉注射不同剂量的抗心律失常药与右心室致颤阙的数据如下,试画出散点图,建立线性回归方程，并作进一步分析。
# (1) 建立数据集，并画出散点图，考察数据点的分布趋势，看是否呈直线条状分布。
x <- c(1,3,5,7,9)
y <- c(8.03, 14.97, 19.23, 27.83, 36.23)
#构建数据集
model <- data.frame(x,y)
#探索性分析-做散点图查看数据的分布情况：
plot(model)#画散点图
# (2)进行回归分析,列出回归方程，画拟合线，并对结果进行解读。
# 用lm()函数构建模型
fm <- lm(y ~ x)#建立回归模型
fm
# 添加回归曲线查看拟合效果
abline(fm)# 添加回归曲线至散点图
#模型解读
summary(fm)
# (3)对回归系数进行假设检验。
anova(fm) # 回归模型的方差分析
summary(fm) # 提取模型计算结果，其中有t检验的结果
# (4)对回归模型进行诊断。
#模型检验对方程进行进一步检验，以检查回归方程是否满足模型的先验条件及模型的稳健性。
par(mfrow=c(2,2))#画布分面
plot(fm)
#结果解读：
#1.左上图：残差与拟合图，理论上散点应该散乱的分布在横线两侧；
#2.右上图：正太Q-Q图，用于检验因变量的正太分布性，若服从正太分布，则散点应分布在一条直线线
#3.左下图：齐方差检验，若满足其方差，则散点在水平线周围随机分布
#4.右下图：独立性检验，即一个样本是否会影响另一个样本
##################################################################
# 3、countries数据集含有69个国家和地区的出生率与死亡率。
# (1) 请使用K-均值聚类将样本点聚为3个类别。
countries=read.csv("countries.csv")
head(countries)#查看前6行
names(countries)=c("country","birth","death")#修改变量名称
var=as.character(countries$country)#将变量country转为字符型并赋值给var
for(i in 1:69) row.names(countries)[i]=var[i]#将数据集的行名命名为国家名称
km1=kmeans(countries[,-1],center=3)#用kmeans算法对countries数据集进行聚类
# (2) 输出聚类结果及各类别的中心点坐标。
km1$cluster#获取类别
km1$centers#获取中心点坐标
# (3) 绘制聚类结果将中心点以星号标识。
#画出聚为四类的类别图，标注中心点。
plot(countries[,-1],pch=c(1,2,3))
#将中心点用星号标示出来
points(km1$centers,pch=8,col="red")
#对中心点添加标注
legend(km1$centers[1,1],km1$centers[1,2],"Center_1",bty="n",xjust=0.5,cex=0.8)
legend(km1$centers[2,1],km1$centers[2,2],"Center_2",bty="n",xjust=0.5,cex=0.8)
legend(km1$centers[3,1],km1$centers[3,2],"Center_3",bty="n",xjust=0.5,cex=0.8)
# (4) 判断与中国大陆同属于一个类别的国家和地区有哪些。
cluster_CHINA=km1$cluster[which(countries$country=="CHINA")]
which(km1$cluster==cluster_CHINA)
###############################################################
###############################################################
#三、数据分析
# 1、使用arules软件包中的Groceries数据集，该数据集是某一食品杂货店一个月的真实交易数据，使用R完成以下要求：(软件包：arules；数据集：Groceries； 函数：apriori())
# (1)利用apriori()函数进行关联分析，支持度为0.01，置信度为0.5。
install.packages("arules")
library(arules)
data("Groceries")
rules0<-apriori(Groceries,parameter=list(support=0.01,confidence=0.5))
inspect(rules0[1:10])
# (2)利用sort()函数按照支持度排序。
rules.sorted_sup<-sort(rules0,by="support")
inspect(rules.sorted_sup[1:5])
# (3)捆绑销售：寻找蛋黄酱（mayonnaise）的捆绑商品。（supp=0.001,conf=0.1,minlen=2, maxlen=6）
rules1=apriori(Groceries,parameter=list(minlen=2,maxlen=6,supp=0.001,conf=0.1),appearance=list(rhs="mayonnaise",default="lhs"))
inspect(rules1)
# (4)查看销量最高的商品。
itemsets_apr=apriori(Groceries,parameter=list(supp=0.001,target="frequent itemsets"),control=list(sort=-1))
inspect(itemsets_apr[1:5])
# (5)适合捆绑销售的商品。（supp=0.001,minlen=2, maxlen=3）
itemsets_apr1=eclat(Groceries,parameter=list(supp=0.001,minlen=2,maxlen=3,target="frequent itemsets"),control=list(sort=-1))
inspect(itemsets_apr1[1:5])
# (6)关联规则的可视化（support=0.001,con=0.5）
install.packages("arulesViz")
library(arulesViz)
rules5=apriori(Groceries,parameter=list(support=0.002,con=0.5))
rules5
plot(rules5)
#######################################################################
# 2、根据breast-cancer-wisconsin.csv威斯康星州乳腺癌数据集，通过对数据的分析，提取出关键特征来判断乳腺癌患病情况。(软件包：rpart；函数：rpart()。)
# (1)属性名依次设置为"编号","肿块厚度","肿块大小","肿块形状","边缘黏附","单个表皮细胞大小","细胞核大小","染色质","细胞核常规","有丝分裂","类别"),并将类别为2的设为"良性",为4的设为"恶性"。
install.packages("rpart")
library(rpart)
install.packages("rpart.plot")
library(rpart.plot)
#############加载数据
breast.cancer<-read.csv('breast-cancer-wisconsin.csv',header=F)
head(breast.cancer)
#数据整理
names(breast.cancer)=c("编号","肿块厚度","肿块大小","肿块形状","边缘黏附","单个表皮细胞大小","细胞核大小","染色质","细胞核常规","有丝分裂","类别")
breast.cancer$类别[breast.cancer$类别==2]="良性"
breast.cancer$类别[breast.cancer$类别==4]="恶性"
head(breast.cancer)
# (2)抽取训练数据集为原数据的70%，测试数据集取30%。
#数据预处理(分层抽样,划分训练集和测试集)
#分别计算良性和恶性组中应抽取测试集样本数，记为a，b
a=round(0.3*sum(breast.cancer$类别=="良性"))
b=round(0.3*sum(breast.cancer$类别=="恶性"))
a;b #输出a,b值
install.packages("sampling")
library(sampling)
#使用strata函数对数据集中的“分组油耗”变量进行分层抽样
sub=strata(breast.cancer,stratanames="类别",size=c(b,a),method="srswor")
sub #所抽出的所有测试集样本信息
#生成训练集train1和测试集test1
train1=breast.cancer[-sub$ID_unit,]
test1=breast.cancer[sub$ID_unit,]
nrow(train1);nrow(test1) #显示训练集和测试集的行数，检查两者比例是否为7：3
# (3) minsplit=5，建立决策树。
#CART建立分类树
formula_cla=类别~肿块厚度+肿块大小+肿块形状+边缘黏附+单个表皮细胞大小+细胞核大小+染色质+细胞核常规+有丝分裂
cla1=rpart(formula_cla,train1,method="class",minsplit=5)#
cla1
# (4)选择cp=0.05来剪枝。
######修改cp的值
cla2=rpart(formula_cla,train1,method="class",minsplit=5,cp=0.05)
cla2
# (5)画出type为2和4的树图。
rpart.plot(cla1,type=2)#修改type
rpart.plot(cla1,type=4)
# (6)测试数据进行预测，并输出混淆矩阵，给出模型准确率为。
#预测
pre1=predict(cla1,test1,type="class")
pre1
table(test1$类别,pre1)#获取混淆矩阵
#计算样本错误率
error1<-sum(as.numeric(pre1!=test1$类别))/nrow(test1)
error1
###################################################################
# 3、美国科罗拉多州某加油站连续 57 天的OVERSHORTS序列“OVERSHORTS.csv”
# (1) 判断该序列的平稳性与纯随机性。
# （时序图检验、白噪声检验）
install.packages("fUnitRoots")
install.packages("TSA")
install.packages("forecast")
install.packages("zoo")
library(fUnitRoots)
library(TSA)
library(forecast)
library(zoo)
#读取数据
c<-read.csv("OVERSHORTS.csv")
#转换为时间序列
overshort<-ts(c$overshort,start = 1)
#平稳性，纯随机（白噪声检验）
## 绘制序列的时间序列图
plot.ts(overshort, xlab = "time", ylab = "prop")
##对序列做单位根检验
unitrootTest(overshort)
##对序列做白噪声检验
Box.test(overshort, lag = 1, type = "Ljung-Box")
# (2) 如果序列平稳且非白噪声，选择适当模型拟合该序列的发展。(10分)
# （模型的识别、参数估计（模型显着性、模型参数的显着性））
#模型识别
##观察自相关，偏自相关图，模型定阶
par(mfrow=c(1,2))
acf(overshort)###衰减到零是突然的，所以自相关系数1阶截尾
pacf(overshort)### 衰减到零不是突然的，所以偏相关系数托尾
# 推荐模型为 MA(1)
##或者对序列进行模型识别，自动定阶
auto.arima(overshort)# 推荐模型为 MA(1)
#参数估计
###模型检验
x.fit<-arima(overshort,order=c(0,0,1),method="ML")
x.fit
##对残差x.fit$resial进行白噪声检验
for(i in 1:2) print(Box.test(x.fit$resial,lag=6*i))
##P>0.05,接受原假设，即残差为白噪声，所以拟合模型显着有效
####参数检验
###模型参数的显着性检验
t1<--0.8477/0.1206
pt(t1,df=56,lower.tail=T) ###p<0.05参数显着非零
t0<--4.7942/1.0253
pt(t0,df=56,lower.tail=T) ###p<0.05参数显着非零
# (3) 利用拟合模型，预测该加油站未来5天的OVERSHORTS。(10分)
# （模型预测、绘制预测图）
####模型预测
c<-read.csv("OVERSHORTS.csv")
x<-ts(c$overshort,start=1)
x.fit<-arima(x,order=c(0,0,1))
x.fit
x.fore<-forecast(x.fit,h=5)#预测
x.fore
plot(x.fore)
##############################################################
#4、使用是survival软件包中的“pbc”数据集，该数据集记录的是肝硬化数据， 使用R完成一下要求：(软件包：survival；数据集：pbc； 函数：Surv()、survfit()、survdiff()、coxph()、cox.zph(), 将答案保存在“姓名.doc”文件中。)
# (1)生成生存分析对象，拟合生存曲线模型。
install.packages("survival") #安装survival包
library(survival) #加载survival包
#使用survival包自带的“pbc”数据集为例（418*20）
data("pbc")
str(pbc)
head(pbc)
#生成生存分析对象
Sur_Obj<-Surv(pbc$time,pbc$status)
Sur_Obj
#拟合曲线模型
model<-survfit(Sur_Obj~1)
summary(model)
# (2)两种方法绘制生存曲线。
plot(model,ylab = "生存率",xlab="天")
#用survminer进行漂亮的展示
install.packages("survminer")
library(survminer)
ggsurvplot(model, data = pbc)
# (3)进行单因素比较分析，并进行结果解释。
#survdiff(formula)函数进行log-rank检验。
survdiff(Sur_Obj~pbc$trt) #trt是分组条件
# (4)考虑年龄，性别以及trt是否会影响肝硬化的生存时间,进行多因素分析Cox模型的建立，并进行结果解释。
coxmodel<-coxph(Sur_Obj~pbc$age+pbc$sex+pbc$bili)
coxmodel
# (5)模型诊断——PH检验。
zphmodel<-cox.zph(coxmodel)
zphmodel
##############################################################
# 5、life.csv为50位急性淋巴细胞白血病病人的数据，包括：入院治疗时取得外辕血中细胞数X1，淋巴结浸润等级X2，出院后有无巩固治疗X3(1表示有巩固治疗，0表示无巩固治疗)；随访后，变量Y=0表示生存期在1年以内，Y=1表示生存时间在1年以上，使用R完成一下要求：(函数：glm()，predict()。)
# (1)建立全变量logistic回归，对模型结果进行解释。
life<-read.csv("life.csv")
#建立全变量logistic回归
glm.sol<-glm(Y~X1+X2+X3, family=binomial, data=life)
#回归模型解读
summary(glm.sol)
# (2)预测当X1=5,X2=2,X3=0时，y的概率是多少？
pre<-predict(glm.sol, data.frame(X1=5,X2=2,X3=0))
p<-exp(pre)/(1+exp(pre))
p
# (3)预测当X1=5,X2=2,X3=1时，y的概率是多少？(6分)
pre<-predict(glm.sol, data.frame(X1=5,X2=2,X3=1))
p<-exp(pre)/(1+exp(pre))
p
# (4)对回归模型参数进行检验，用step()函数做变量筛选。
step(glm.sol)
glm.new<-glm(Y~X2+X3, family=binomial, data=life)
summary(glm.new)
# (5)对筛选后的变量进行建模，预测。
pre<-predict(glm.new, data.frame(X2=2,X3=0))
p<-exp(pre)/(1+exp(pre))
p
pre<-predict(glm.new, data.frame(X2=2,X3=1))
p<-exp(pre)/(1+exp(pre))
p
Ⅱ 人工智能是学习什么
1、学习并掌握一些数学知识
高等数学是基础中的基础，一切理工科都需要这个打底，数据挖掘、人工智能、模式识别此类跟数据打交道的又尤其需要多元微积分运算基础。
线性代数很重要，一般来说线性模型是你最先要考虑的模型，加上很可能要处理多维数据，你需要用线性代数来简洁清晰的描述问题，为分析求解奠定基础。
概率论、数理统计、随机过程更是少不了，涉及数据的问题，不确定性几乎是不可避免的，引入随机变量顺理成章，相关理论、方法、模型非常丰富。很多机器学习的算法都是建立在概率论和统计学的基础上的，比如贝叶斯分类器、高斯隐马尔可夫链。
再就是优化理论与算法，除非你的问题是像二元一次方程求根那样有现成的公式，否则你将不得不面对各种看起来无解但是要解的问题，优化将是你的GPS为你指路。
以上这些知识打底，就可以开拔了，针对具体应用再补充相关的知识与理论，比如说一些我觉得有帮助的是数值计算、图论、拓扑，更理论一点的还有实/复分析、测度论，偏工程类一点的还有信号处理、数据结构。
2、掌握经典机器学习理论和算法
如果有时间可以为自己建立一个机器学习的知识图谱，并争取掌握每一个经典的机器学习理论和算法，我简单地总结如下：
1) 回归算法：常见的回归算法包括最小二乘法（OrdinaryLeast Square），逻辑回归（Logistic Regression），逐步式回归（Stepwise Regression），多元自适应回归样条（MultivariateAdaptive Regression Splines）以及本地散点平滑估计（Locally Estimated Scatterplot Smoothing）；
2) 基于实例的算法：常见的算法包括 k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization， LVQ），以及自组织映射算法（Self-Organizing Map ， SOM）；
3) 基于正则化方法：常见的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic Net）；
4) 决策树学习：常见的算法包括：分类及回归树（ClassificationAnd Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 随机森林（Random Forest）， 多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine， GBM）；
5) 基于贝叶斯方法：常见算法包括：朴素贝叶斯算法，平均单依赖估计（AveragedOne-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）；
6) 基于核的算法：常见的算法包括支持向量机（SupportVector Machine， SVM）， 径向基函数（Radial Basis Function ，RBF)， 以及线性判别分析（Linear Discriminate Analysis ，LDA)等；
7) 聚类算法：常见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）；
8) 基于关联规则学习：常见算法包括 Apriori算法和Eclat算法等；
9) 人工神经网络：重要的人工神经网络算法包括：感知器神经网络（PerceptronNeural Network）, 反向传递（Back Propagation）， Hopfield网络，自组织映射（Self-OrganizingMap, SOM）。学习矢量量化（Learning Vector Quantization， LVQ）；
10) 深度学习：常见的深度学习算法包括：受限波尔兹曼机（RestrictedBoltzmann Machine， RBN）， Deep Belief Networks（DBN），卷积网络（Convolutional Network）, 堆栈式自动编码器（Stacked Auto-encoders）；
11) 降低维度的算法：常见的算法包括主成份分析（PrincipleComponent Analysis， PCA），偏最小二乘回归（Partial Least Square Regression，PLS）， Sammon映射，多维尺度（Multi-Dimensional Scaling, MDS）, 投影追踪（ProjectionPursuit）等；
12) 集成算法：常见的算法包括：Boosting， Bootstrapped Aggregation（Bagging），AdaBoost，堆叠泛化（Stacked Generalization， Blending），梯度推进机（GradientBoosting Machine, GBM），随机森林（Random Forest）。
3、掌握一种编程工具，比如Python
一方面Python是脚本语言，简便，拿个记事本就能写，写完拿控制台就能跑；另外，Python非常高效，效率比java、r、matlab高。matlab虽然包也多，但是效率是这四个里面最低的。
4、了解行业最新动态和研究成果，比如各大牛的经典论文、博客、读书笔记、微博微信等媒体资讯。
5、买一个GPU，找一个开源框架，自己多动手训练深度神经网络，多动手写写代码，多做一些与人工智能相关的项目。
6、选择自己感兴趣或者工作相关的一个领域深入下去
人工智能有很多方向，比如NLP、语音识别、计算机视觉等等，生命有限，必须得选一个方向深入的钻研下去，这样才能成为人工智能领域的大牛，有所成就。
根据网络给的定义，人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的还能的理论、方法、技术及应用系统的一门新的技术科学。
网络关于人工智能的定义详解中说道：人工智能是计算机的一个分支，二十世纪七十年代以来被称为世界三大尖端技术之一（空间技术、能源技术、人工智能）。也被认为是二十一世纪三大尖端技术（基因工程、纳米科学、人工智能）之一。这是因为近三十年来它获得了迅速的发展，在很多学科领域都获得了广泛应用，并取得了丰硕的成果，人工智能已逐步成为一个独立的分支，无论在理论和实践上都已自成一个系统。
综上，从定义上讲，人工智能是一项技术。
Ⅲ 用R语言进行关联分析
用R语言进行关联分析
关联是两个或多个变量取值之间存在的一类重要的可被发现的某种规律性。关联分析目的是寻找给定数据记录集中数据项之间隐藏的关联关系，描述数据之间的密切度。
几个基本概念
1. 项集
这是一个集合的概念，在一篮子商品中的一件消费品即为一项（Item），则若干项的集合为项集，如{啤酒，尿布}构成一个二元项集。
2. 关联规则
一般记为的形式，X为先决条件，Y为相应的关联结果，用于表示数据内隐含的关联性。如：，表示购买了尿布的消费者往往也会购买啤酒。
关联性强度如何，由三个概念——支持度、置信度、提升度来控制和评价。
例：有10000个消费者购买了商品，其中购买尿布1000个，购买啤酒2000个，购买面包500个，同时购买尿布和面包800个，同时购买尿布和面包100个。
3. 支持度（Support）
支持度是指在所有项集中{X, Y}出现的可能性，即项集中同时含有X和Y的概率：
该指标作为建立强关联规则的第一个门槛，衡量了所考察关联规则在“量”上的多少。通过设定最小阈值（minsup），剔除“出镜率”较低的无意义规则，保留出现较为频繁的项集所隐含的规则。
设定最小阈值为5%，由于{尿布，啤酒}的支持度为800/10000=8%，满足基本输了要求，成为频繁项集，保留规则；而{尿布，面包}的支持度为100/10000=1%，被剔除。
4. 置信度（Confidence）
置信度表示在先决条件X发生的条件下，关联结果Y发生的概率：
这是生成强关联规则的第二个门槛，衡量了所考察的关联规则在“质”上的可靠性。相似的，我们需要对置信度设定最小阈值（mincon）来实现进一步筛选。
具体的，当设定置信度的最小阈值为70%时，置信度为800/1000=80%，而的置信度为800/2000=40%，被剔除。
5. 提升度（lift）
提升度表示在含有X的条件下同时含有Y的可能性与没有X这个条件下项集中含有Y的可能性之比：
该指标与置信度同样衡量规则的可靠性，可以看作是置信度的一种互补指标。
R中Apriori算法
算法步骤：
1. 选出满足支持度最小阈值的所有项集，即频繁项集；
2. 从频繁项集中找出满足最小置信度的所有规则。
> library(arules) #加载arules包
> click_detail =read.transactions("click_detail.txt",format="basket",sep=",",cols=c(1)) #读取txt文档（文档编码为ANSI）
> rules <- apriori(click_detail, parameter =list(supp=0.01,conf=0.5,target="rules")) #调用apriori算法
> rules
set of419 rules
> inspect(rules[1:10]) #查看前十条规则
解释
1) library(arules)：加载程序包arules，当然如果你前面没有下载过这个包，就要先install.packages(arules)
2) click_detail =read.transactions("click_detail.txt",format="basket",sep=",",cols=c(1))：读入数据
read.transactions(file, format =c("basket", "single"), sep = NULL,
cols = NULL, rm.plicates =FALSE, encoding = "unknown")
file:文件名，对应click_detail中的“click_detail.txt”
format:文件格式，可以有两种，分别为“basket”,“single”，click_detail.txt中用的是basket。
basket: basket就是篮子，一个顾客买的东西都放到同一个篮子，所有顾客的transactions就是一个个篮子的组合结果。如下形式，每条交易都是独立的。
文件形式：
item1,item2
item1
item2,item3
读入后：
items
1 {item1,
item2}
2 {item1}
3 {item2,
item3}
single: single的意思，顾名思义，就是单独的交易，简单说，交易记录为：顾客1买了产品1， 顾客1买了产品2，顾客2买了产品3……(产品1，产品2，产品3中可以是单个产品，也可以是多个产品)，如下形式：
trans1 item1
trans2 item1
trans2 item2
读入后：
items transactionID
1 {item1} trans1
2 {item1,
item2} trans2
sep:文件中数据是怎么被分隔的，默认为空格，click_detail里面用逗号分隔
cols:对basket, col=1,表示第一列是数据的transaction ids(交易号)，如果col=NULL，则表示数据里面没有交易号这一列；对single，col=c(1,2)表示第一列是transaction ids，第二列是item ids
rm.plicates:是否移除重复项，默认为FALSE
encoding:写到这里研究了encoding是什么意思，发现前面txt可以不是”ANSI”类型，如果TXT是“UTF-8”，写encoding=”UTF-8”，就OK了.
3) rules <- apriori(click_detail,parameter = list(supp=0.01,conf=0.5,target="rules"))：apriori函数
apriori(data, parameter = NULL, appearance = NULL, control = NULL)
data:数据
parameter：设置参数，默认情况下parameter=list(supp=0.1,conf=0.8,maxlen=10,minlen=1,target=”rules”)
supp:支持度（support）
conf:置信度（confidence）
maxlen,minlen:每个项集所含项数的最大最小值
target:“rules”或“frequent itemsets”（输出关联规则/频繁项集）
apperence:对先决条件X（lhs），关联结果Y（rhs）中具体包含哪些项进行限制，如：设置lhs=beer，将仅输出lhs含有beer这一项的关联规则。默认情况下，所有项都将无限制出现。
control：控制函数性能，如可以设定对项集进行升序sort=1或降序sort=-1排序，是否向使用者报告进程（verbose=F/T）
补充
通过支持度控制：rules.sorted_sup = sort(rules, by=”support”)
通过置信度控制：rules.sorted_con = sort(rules, by=”confidence”)
通过提升度控制：rules.sorted_lift = sort(rules, by=”lift”)
Apriori算法
两步法：
1. 频繁项集的产生：找出所有满足最小支持度阈值的项集，称为频繁项集；
2. 规则的产生：对于每一个频繁项集l，找出其中所有的非空子集；然后，对于每一个这样的子集a，如果support(l)与support(a)的比值大于最小可信度，则存在规则a==>(l-a)。
频繁项集产生所需要的计算开销远大于规则产生所需的计算开销
频繁项集的产生
几个概念：
1， 一个包含K个项的数据集，可能产生2^k个候选集
2，先验原理：如果一个项集是频繁的，则它的所有子集也是频繁的（理解了频繁项集的意义，这句话很容易理解的）；相反，如果一个项集是非频繁的，则它所有子集也一定是非频繁的。
3基于支持度（SUPPORT）度量的一个关键性质：一个项集的支持度不会超过它的子集的支持度（很好理解，支持度是共同发生的概率，假设项集{A,B,C}，{A,B}是它的一个自己，A,B,C同时发生的概率肯定不会超过A,B同时发生的概率）。
上面这条规则就是Apriori中使用到的，如下图，当寻找频繁项集时，从上往下扫描，当遇到一个项集是非频繁项集（该项集支持度小于Minsup），那么它下面的项集肯定就是非频繁项集，这一部分就剪枝掉了。
一个例子（网络到的一个PPT上的）：
当我在理解频繁项集的意义时，在R上简单的复现了这个例子，这里采用了eclat算法，跟apriori应该差不多：
代码：
item <- list(
c("bread","milk"),
c("bread","diaper","beer","eggs"),
c("milk","diaper","beer","coke"),
c("bread","milk","diaper","beer"),
c("bread","milk","diaper","coke")
)
names(item) <- paste("tr",c(1:5),sep = "")
item
trans <- as(item,"transactions") #将List转为transactions型
rules = eclat(trans,parameter = list(supp = 0.6,
target ="frequent itemsets"),control = list(sort=1))
inspect(rules) #查看频繁项集
运行后结果：
>inspect(rules)
items support
1{beer,
diaper} 0.6
2{diaper,
milk} 0.6
3{bread,
diaper} 0.6
4{bread,
milk} 0.6
5{beer} 0.6
6{milk} 0.8
7{bread} 0.8
8{diaper} 0.8
以上就是该例子的所有频繁项集，然后我发现少了{bread,milk,diaper}这个项集，回到例子一看，这个项集实际上只出现了两次，所以是没有这个项集的。
规则的产生
每个频繁k项集能产生最多2k-2个关联规则
将项集Y划分成两个非空的子集X和Y-X，使得X ->Y-X满足置信度阈值
定理：如果规则X->Y-X不满足置信度阈值，则X’->Y-X’的规则一定也不满足置信度阈值，其中X’是X的子集
Apriori按下图进行逐层计算，当发现一个不满足置信度的项集后，该项集所有子集的规则都可以剪枝掉了。
Ⅳ 关联算法
关联, 指的是关联分析, 这里引用网络的定义.
通过关联分析, 可以挖掘出"由于某些事件的发生而引起另外一些事件的发生"之类的规则, 比如说"面包=>牛奶", 其中面包被称为规则的前项, 而牛奶则被称为规则的后项.
常用于关联分析的算法有Apriori算法, FP-growth算法, Eclat算法, 灰色关联法等, 下面将着重介绍Apriori算法.
在介绍Apriori算法之前, 我们先来了解几个概念:
1.事务: 一条交易记录称为一个事务
2.项: 交易中的每一个物品称为一个项
3.项集: 包含0个或多个项的集合
4.支持度计数: 项集在所有事务中出现的次数.
5.支持度: 支持度计数除于总的事务数.
6.频繁项集: 支持度大于等于某个阀值的项集.
关联规则的挖掘通常分为两步: 第一步, 找出所有的频繁项集; 第二步, 由频繁项集产没判答生强关联规则. 而Apriori算法则是挖掘频繁项集的基本算法.
可以看到以上每个过程均需要扫描一次数据, 为了提高频繁项集逐层迭代产生的效率, 需要利用一条重要性质, 其称为先验性质:
当然, 非频繁项集的所有超集也一定是非频繁的.
将先验性质应用到Apriori算法中就是将之枯慧前的过程分为两大部分, 连接步和剪枝步.
连接步: 连接步的目的是产生候选项集.
剪枝步: 应用先验性质对候选项集进行筛选, 将不满足先验性质的候选项集剔除, 再进而根据最小支持度找出频繁项集, 这样可以有效缩短计算量.
关联分析的目标是找出强关联规则, 因此这里的关联规则是指强关联规则, 我们把满足最小支持度和最小置信度的规则称为强关联规则.
对于规则A=>冲敏B, 置信度的计算公式就是项集{A, B}的支持度计数除于项集{A}的支持度计数.
优点: 简单, 易理解, 对数据要求低
缺点: 容易产生过多的候选项集, I/O负载大.
Ⅳ spark mllib机器学习什么语言
1、机器学习概念
1.1机器学习的定义
在维基网络上对机器学习提出以下几种定义：
l“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。
l“机器学习是对能通过经验自动改进的计算机算法的研究”。
l“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E。
可以看出机器学习强调三个关键词：算法、经验、性能，其处理过程如下图所示。
3、Spark MLlib架构解析
Ⅵ 智能算法有哪些
（1）人工神经网络（Artificial Neural Network）类：反向传播（Backpropagation）、波尔兹曼机（Boltzmann Machine）、卷积神经网络（Convolutional Neural Network）、Hopfield网络（hopfield Network）、多层感知器（Multilyer Perceptron）、径向基函数网络（Radial Basis Function Network，RBFN）、受限波尔兹曼机（Restricted Boltzmann Machine）、回归神经网络（Recurrent Neural Network，RNN）、自组织映射（Self-organizing Map，SOM）、尖峰神经网络（Spiking Neural Network）等。
（2）贝叶斯类（Bayesin）：朴素贝叶斯（Naive Bayes）、高斯贝叶斯（Gaussian Naive Bayes）、多项朴素贝叶斯（Multinomial Naive Bayes）、平均-依赖性评估（Averaged One-Dependence Estimators，AODE）
贝叶斯信念网络（Bayesian Belief Network，BBN）、贝叶斯网络（Bayesian Network，BN）等。
（3）决策树（Decision Tree）类：分类和回归树（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5算法（C4.5 Algorithm）、C5.0算法（C5.0 Algorithm）、卡方自动交互检测（Chi-squared Automatic Interaction Detection，CHAID）、决策残端（Decision Stump）、ID3算法（ID3 Algorithm）、随机森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）线性分类器（Linear Classifier）类：Fisher的线性判别（Fisher’s Linear Discriminant）
线性回归（Linear Regression）、逻辑回归（Logistic Regression）、多项逻辑回归（Multionmial Logistic Regression）、朴素贝叶斯分类器（Naive Bayes Classifier）、感知（Perception）、支持向量机（Support Vector Machine）等。
常见的无监督学习类算法包括：
（1） 人工神经网络（Artificial Neural Network）类：生成对抗网络（Generative Adversarial Networks，GAN），前馈神经网络（Feedforward Neural Network）、逻辑学习机（Logic Learning Machine）、自组织映射（Self-organizing Map）等。
（2） 关联规则学习（Association Rule Learning）类：先验算法（Apriori Algorithm）、Eclat算法（Eclat Algorithm）、FP-Growth算法等。
（3）分层聚类算法（Hierarchical Clustering）：单连锁聚类（Single-linkage Clustering），概念聚类（Conceptual Clustering）等。
（4）聚类分析（Cluster analysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚类（Fuzzy Clustering）、K-means算法、K均值聚类（K-means Clustering）、K-medians聚类、均值漂移算法（Mean-shift）、OPTICS算法等。
Ⅶ FLDA 是人工智能算法么全名中英文是啥啊
应该不是。
人工智能之机器学习体系汇总
监督学习 Supervised learning
Fisher的线性判别 Fisher’s linear discriminant
线性回归 Linear regression
Logistic回归 Logistic regression
多项Logistic回归 Multinomial logistic regression
朴素贝叶斯分类器 Naive Bayes classifier
感知 Perceptron
支持向量机 Support vector machine
分类和回归树（CART） Classification and regression tree (CART)
迭代Dichotomiser 3（ID3） Iterative Dichotomiser 3(ID3)
C4.5算法 C4.5 algorithm
C5.0算法 C5.0 algorithm
卡方自动交互检测（CHAID） Chi-squared Automatic Interaction Detection(CHAID)
决策残端 Decision stump
ID3算法 ID3 algorithm
随机森林 Random forest
SLIQ
朴素贝叶斯 Naive Bayes
高斯贝叶斯 Gaussian Naive Bayes
多项朴素贝叶斯 Multinomial Naive Bayes
平均一依赖性评估（AODE） Averaged One-Dependence Estimators(AODE)
贝叶斯信念网络（BNN） Bayesian Belief Network(BBN)
贝叶斯网络（BN） Bayesian Network(BN)
自动编码器 Autoencoder
反向传播 Backpropagation
玻尔兹曼机 Boltzmann machine
卷积神经网络 Convolutional neural network
Hopfield网络 Hopfield network
多层感知器 Multilayer perceptron
径向基函数网络（RBFN） Radial basis function network(RBFN)
受限玻尔兹曼机 Restricted Boltzmann machine
回归神经网络（RNN） Recurrent neural network(RNN)
自组织映射（SOM） Self-organizing map(SOM)
尖峰神经网络 Spiking neural network
人工神经网络 Artificial neural network
贝叶斯 Bayesian
决策树 Decision Tree
线性分类 Linear classifier
无监督学习 Unsupervised learning
k-最近邻算法（K-NN） k-nearest neighbors classification(K-NN)
局部异常因子 Local outlier factor
BIRCH
DBSCAN
期望最大化（EM） Expectation-maximization(EM)
模糊聚类 Fuzzy clustering
K-means算法 K-means algorithm
k-均值聚类 K-means clustering
k-位数 K-medians
平均移 Mean-shift
OPTICS算法 OPTICS algorithm
单连锁聚类 Single-linkage clustering
概念聚类 Conceptual clustering
先验算法 Apriori algorithm
Eclat算法 Eclat algorithm
FP-growth算法 FP-growth algorithm
对抗生成网络
前馈神经网络 Feedforward neurral network
逻辑学习机 Logic learning machine
自组织映射 Self-organizing map
极端学习机 Extreme learning machine
人工神经网络 Artificial neural network
关联规则学习 Association rule learning
分层聚类 Hierarchical clustering
聚类分析 Cluster analysis
异常检测 Anomaly detection
半监督学习 Semi-supervised learning
生成模型 Generative models
低密度分离 Low-density separation
基于图形的方法 Graph-based methods
联合训练 Co-training
强化学习 Reinforcement learning
时间差分学习 Temporal difference learning
Q学习 Q-learning
学习自动 Learning Automata
状态-行动-回馈-状态-行动（SARSA） State-Action-Reward-State-Action(SARSA)
深度学习 Deep learning
深度信念网络 Deep belief machines
深度卷积神经网络 Deep Convolutional neural networks
深度递归神经网络 Deep Recurrent neural networks
分层时间记忆 Hierarchical temporal memory
深度玻尔兹曼机（DBM） Deep Boltzmann Machine(DBM)
堆叠自动编码器 Stacked Boltzmann Machine
生成式对抗网络 Generative adversarial networks
迁移学习 Transfer learning
传递式迁移学习 Transitive Transfer Learning
其他
主成分分析（PCA） Principal component analysis(PCA)
主成分回归（PCR） Principal component regression(PCR)
因子分析 Factor analysis
Bootstrap aggregating (Bagging)
AdaBoost
梯度提升机（GBM） Gradient boosting machine(GBM)
梯度提升决策树（GBRT） Gradient boosted decision tree(GBRT)
集成学习算法
降维
Ⅷ 机器学习的类型有
机器学习的类型有
是否在人类监督下学习（消稿辩监督学习、非监督学习、半监督学习和强化学习）
是否可以动态的增量学习（在线学习和批量学习）
是简单的将新的数据点和已知的数据点进行匹配，还是像科学家那样对训练数据进行模型检测，然后建立一个预测模型（基于实例的学习和基于模型的学习）
一、监督学习和非监督学习
根据训练期间接受的监督数量和监督类型，可以将机器学习分为以下四种类型：监督学习、非监督学习、半监督学习和强化学习。
1.1 监督学习
在监督学习中，提供给算法的包含所需解决方案的训练数据，成为标签或标记。
简单地说，就是监督学习是包含自变量和因变量（有Y），同时可以用于分类和回归。下来常见的算法都是监督学习算法。
K近邻算法
线性回归
logistic回归
支持向量机（SVM）
决策树和随机森林
神经网络
聚类算法
K均值算法（K-means）
基于密度的聚类方法(DBSCAN)
最大期望算法
可视化和降维
主成分分析
核主成分分析
关联规则学习
Apriori
Eclat
1.2 无监督学习
无监督学习的训练数据都是未经标记的，算法会在没有指导的情况下自动学习。
简单地说，就是训练数据只有自变量没有因变量（就是没有Y）。
无监督学习的常见算法如下：
比如说，我们有大量的购物访客的数据，包括一个月内的到达次数、购买次数、平均客单价、购物时长、购物种类、数量等，我们可以通过聚类算法，自动的把这些人分成几个类别，分类后，我们可以人工的把这些分类标记，如企业客户、家庭主妇等，也可以分成更细的分类
Ⅸ 什么是数据挖掘中的关联分析
FineBI数据挖掘的结果将以字段和记录的形式添加到多维数据库中，并可以在新建分析时从一个专门的数据挖掘业务包中被使用，使用的方式与拖拽任何普通的字段没有任何区别。
配合FineBI新建分析中的各种控件和图表，使用OLAP的分析人员可以轻松的查看他们想要的特定的某个与结果，或是各种各样结果的汇总。