大数据数据挖掘算法研究

1. 大数据挖掘技术涉及哪些内容

大数据挖掘技术涉及的主要内容有：模式跟踪，数据清理和准备，基于分类的数据挖掘技术，异常值检测，关联，聚类。
基于大环境下的数据特点，挖掘技术与对应：
1.数据来源多, 大数据挖掘的研究对象往往不只涉及一个业务系统, 肯定是多个系统的融合分析, 因此,需要强大的ETL技术, 将多个系统的数据整合到一起, 并且, 多个系统的数据可能标准不同, 需要清洗。
2.数据的维度高, 整合起来的数据就不只传统数据挖掘的那一些维度了, 可能成百上千维, 这需要降维技术了。
3.大数据量的计算, 在单台服务器上是计算不了的, 这就需要用分布式计算, 所以要掌握各种分布式计算框架, 像hadoop, spark之类, 需要掌握机器学习算法的分布式实现。
数据挖掘：目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

想了解更多大数据挖掘技术，请关注CDA数据分析课程。CDA（Certified Data Analyst），即“CDA 数据分析”，是在数字经济大背景和人工智能时代趋势下，面向全行业的专业权威国际资格认证，旨在提升全民数字技能，助力企业数字化转型，推动行业数字化发展。国家发展战略的要求，岗位人才的缺口以及市场规模的带动，都从不同方面体现了数据分析师职业的重要性。大数据挖掘技术的学习，有利于提高人在职场的信誉度，增加职场竞争力，提高自己的经济地位。点击预约免费试听课。

2. 大数据时代空间数据挖掘的认识及其思考

引言

空间数据挖掘（Spatial Data Mining，SDM）即找出开始并不知道但是却隐藏在空间数据中潜在的、有价值的规则的过程。具体来说，空间数据挖掘就是在海量空间数据集中，结合确定集、模糊集、仿生学等理论，利用人工智能、模式识别等科学技术，提取出令人相信的、潜在有用的知识，发现空间数据集背后隐藏的规律、联系，为空间决策提供理论技术上的依据[1]。

1.空间数据挖掘的一般步骤

空间数据挖掘系统大致可以分为以下步骤：

（1）空间数据准备：选择合适的多种数据来源，包括地图数据、影像数据、地形数据、属性数据等。

（2）空间数据预处理和特征提取：数据预处理目的是去除数据中的噪声，包括对数据的清洗、数据的转换、数据的集成等。特征提取是剔除掉冗余或不相关的特征并将特征转化为适合数据挖掘的新特征。

（3）空间数据挖掘和知识评估：采用空间数据挖掘技术对空间数据进行分析处理和预测，从而发现数据背后的某种联系。然后结合具体的领域知识进行评估，看是否达到预期效果。

2.空间数据挖掘的方法研究

空间数据挖掘是一门综合型的交叉学科，结合了计算机科学、统计学、地理学等领域的很多特性，产生了大量处理空间数据的挖掘方法。

2.1 空间关联规则

关联规则挖掘是寻找数据项之间的联系，表达式形式是X→Y，其中X与Y是两种不相交的数据项集，即X∩Y=？覫。KOPERSKI K等人将关联规则与空间数据库相结合，提出了空间关联规则挖掘[2]。空间关联规则将数据项替换为了空间谓词，一般表达形式如下：

A1∧A2∧…∧An→B1∧B2∧…∧Bm（3）

令A=（A1，A2，…，An），B=（B1，B2，…，Bm），A和B分别表示Ai和Bj的谓词集合，A和B可以是空间谓词或非空间谓词，但是必须至少包含一个空间谓词且A∩B=？覫。SHEKHAR S和HUANG Y针对空间关联规则的特点提出了把关联规则的思想泛化成空间索引点集的空间同位规则的概念，在不违背空间相关性的同时用邻域替换掉了事务[3]。时空关联不仅涉及事件在空间中的关联，还考虑了空间位置和时间序列因素。国内的柴思跃、苏奋振和周成虎提出了基于周期表的时空关联规则挖掘方法[4]。

2.2 空间聚类

空间聚类分析是普通聚类分析的扩展，不能完全按照处理普通数据的聚类分析方法来处理空间数据。由于存在地理学第一定律，即空间对象之间都存在一定的相关性，因此在空间聚类分析中，对于簇内的定义，要考虑空间自相关这一因素。通过对空间数据进行自相关分析，可判断对象之间是否存在空间相关性，从而可合理判断出对象是否可以分为一簇。

基本的聚类挖掘算法有：

（1）划分聚类算法：存在n个数据对象，对于给定k个分组（k≤n），将n个对象通过基于一定目标划分规则，不停迭代、优化，直到将这n个对象分配到k个分组中，使得每组内部对象相似度大于组之间相似度。

（2）层次聚类算法：通过将数据不停地拆分与重组，最终把数据转为一棵符合一定标准的具有层次结构的聚类树。

（3）密度聚类算法：用低密度的区域对数据对象进行分割，最终将数据对象聚类成为若干高密度的区域。

（4）图聚类算法：用空间结点表示每个数据对象，然后基于一定标准形成若干子图，最后把所有子图聚类成一个包含所有空间对象的整图，子图则代表一个个空间簇。

（5）网格聚类算法：把空间区域分割成具有多重分辨率的和有网格结构特性的若干网格单元，在网格单元上对数据进行聚类。

（6）模型聚类算法：借助一定的数学模型，使用最佳拟合数据的数学模型来对数据进行聚类，每一个簇用一个概率分布表示。

仅采用一种算法通常无法达到令人满意的预期结果，王家耀、张雪萍、周海燕将遗传算法与K-均值算法结合提出了用于空间聚类分析的遗传K-均值算法[5]。现实空间环境中，存在很多像道路、桥梁、河流的障碍物，张雪萍、杨腾飞等人把K-Medoids算法与量子粒子群算法结合进行带有空间障碍约束的聚类分析[6]。

2.3 空间分类

分类，简单地说是通过学习得到一定的分类模型，然后把数据对象按照分类模型划分至预先给定类的过程。空间分类时，不仅考虑数据对象的非空间属性，还要顾及邻近对象的非空间属性对其类别的影响，是一种监督式的分析方法。

空间分类挖掘方法有统计方法、机器学习的方法和神经网络方法等。贝叶斯分类器是基于统计学的方法，利用数据对象的先验概率和贝叶斯公式计算出其后验概率，选择较大后验概率的类作为该对象映射的类别。决策树分类器是机器学习的方法，采取从上到下的贪心策略，比较决策树内部节点的属性值来往下建立决策树的各分支，每个叶节点代表满足某个条件的属性值，从根节点到叶节点的路径表示一条合适的规则。支持向量机也是机器学习的方法，思路是使用非线性映射把训练数据集映射到较高维，然后寻找出最大边缘超平面，将数据对象分类。神经网络是一种模拟人神经的网络，由一组连接的输入和输出单元组成，赋予各个连接相应的权值，通过调节各连接的权值使得数据对象得到正确分类。

针对融入空间自相关性的空间分类挖掘，SHEKHAR S等人使用空间自回归模型和基于贝叶斯的马可夫随机场进行空间分类挖掘[7]，汪闽、骆剑承、周成虎等人将高斯马尔可夫随机场与支持向量机结合并将其用于遥感图像的信息提取[8]。

2.4 其他空间挖掘方法

空间数据挖掘的方法多种多样，其他还包括：空间分析的方法，即利用GIS的方法、技术和理论对空间数据进行加工处理，从而找出未知有用的信息模式；基于模糊集、粗糙集和云理论的方法可用来分析具有不确定性的空间数据；可视化方法是对空间数据对象的视觉表示，通过一定技术用图像的形式表达要分析的空间数据，从而得到其隐含的信息；国内张自嘉、岳邦珊、潘琦等人将蚁群算法与自适应滤波的模糊聚类算法相结合用以对图像进行分割[9]。

3.结论

空间数据挖掘作为数据挖掘的延伸，有很好的传统数据挖掘方法理论的基础，虽然取得了很大进步，然而其理论和方法仍需进一步的深入研究。伴随着大数据时代，面对越来越多的空间数据，提升数据挖掘的准确度和精度是一个有待研究的问题。同时现在流行的空间数据挖掘算法的时间复杂度仍停留在O（nlog（n））~O（n3）之间，处理大量的异构数据，数据挖掘算法的效率也需要进一步提高。数据挖掘在云环境下已经得到很好的应用[10]，对于处理空间数据的空间云计算是有待学者们研究的方向。大多数空间数据挖掘算法没有考虑含有障碍约束的情况，如何解决现实中障碍约束问题值得探讨。带有时间属性的空间数据呈现出了一种动态、可变的空间现象，时空数据挖掘将是未来研究的重点。

由于数据挖掘涉及多种学科，其基本理论与方法也已经比较成熟，针对空间数据挖掘，如何合理地利用和拓展这些理论方法以实现对空间数据的挖掘仍将是研究人员们需要长期努力的方向。

参考文献

[1] 李德仁，王树良，李德毅.空间数据挖掘理论与应用（第2版）[M].北京：科学出版社，2013.

[2] KOPERSKI K， HAN J W. Discovery of spatial association rules in geographic information databases[C]. Procedings of the 4th International Symposium on Advances in Spatial Databases， 1995： 47-66.

[3] SHEKHAR S， HUANG Y. Discovering spatial co-location patterns： a summary of results[C]. Procedings of the 7th International Symposium on Advances in Spatial and Temporal Databases， 2001：236-256.

[4] 柴思跃，苏奋振，周成虎．基于周期表的时空关联规则挖掘方法与实验[J]．地球信息科学学报，2011，13（4）：455-464.

[5] 王家耀，张雪萍，周海燕.一个用于空间聚类分析的遗传K-均值算法[J].计算机工程，2006，32（3）：188-190.

[6] Zhang Xueping， Du Haohua， Yang Tengfei， et al. A novel spatial clustering with obstacles constraints based on PNPSO and K-medoids[C]. Advances in Swarm Intelligence， Lecture Notes in Computer Science （LNCS）， 2010： 476-483.

[7] SHEKHAR S， SCHRATER P R， VATSAVAI R R， et al．Spatial contextual classification and prediction models for mining geospatial data[J]． IEEE Transactions on Multimedia， 2002， 4（2）：174-187.

[8] 汪闽，骆剑承，周成虎，等.结合高斯马尔可夫随机场纹理模型与支撑向量机在高分辨率遥感图像上提取道路网[J].遥感学报，2005，9（3）：271-275.

[9] 张自嘉，岳邦珊，潘琦，等.基于蚁群和自适应滤波的模糊聚类图像分割[J].电子技术应用，2015，41（4）：144-147.

[10] 石杰.云计算环境下的数据挖掘应用[J].微型机与应用，2015，34（5）：13-15.

来源 | AET电子技术应用

3. 大数据挖掘方法有哪些

数据挖掘是指人们从事先不知道的大量不完整、杂乱、模糊和随机数据中提取潜在隐藏的有用信息和知识的过程。下面说下我们在挖掘大数据的时候，都会用到的几种方法：
方法1.(可视化分析)无论是日志数据分析专家还是普通用户，数据可视化都是数据分析工具的最基本要求。可视化可以直观地显示数据，让数据自己说话，让听众看到结果。
方法2.(数据挖掘算法)如果说可视化用于人们观看，那么数据挖掘就是给机器看的。集群、分割、孤立点分析和其他算法使我们能够深入挖掘数据并挖掘价值。这些算法不仅要处理大量数据，还必须尽量缩减处理大数据的速度。
方法3.(预测分析能力)数据挖掘使分析师可以更好地理解数据，而预测分析则使分析师可以根据可视化分析和数据挖掘的结果做出一些预测性判断。
方法4.(语义引擎)由于非结构化数据的多样性给数据分析带来了新挑战，因此需要一系列工具来解析，提取和分析数据。需要将语义引擎设计成从“文档”中智能地提取信息。
方法5.(数据质量和主数据管理)数据质量和数据管理是一些管理方面的最佳实践。通过标准化流程和工具处理数据可确保获得预定义的高质量分析结果。

想要了解更多有关大数据挖掘的信息，可以了解一下CDA数据分析师的课程。课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。要求学生在使用算法解决微观根因分析、预测分析的问题上，根据业务场景来综合判断，洞察数据规律，使用正确的数据清洗与特征工程方法，综合使用统计分析方法、统计模型、运筹学、机器学习、文本挖掘算法，而非单一的机器学习算法。真正给企业提出可行性的价值方案和价值业务结果。点击预约免费试听课。

4. 大数据挖掘的算法有哪些

大数据挖掘的算法：
1.朴素贝叶斯，超级简单，就像做一些数数的工作。如果条件独立假设成立的话，NB将比鉴别模型收敛的更快，所以你只需要少量的训练数据。即使条件独立假设不成立，NB在实际中仍然表现出惊人的好。
2. Logistic回归，LR有很多方法来对模型正则化。比起NB的条件独立性假设，LR不需要考虑样本是否是相关的。与决策树与支持向量机不同，NB有很好的概率解释，且很容易利用新的训练数据来更新模型。如果你想要一些概率信息或者希望将来有更多数据时能方便的更新改进模型，LR是值得使用的。
3.决策树，DT容易理解与解释。DT是非参数的，所以你不需要担心野点（或离群点）和数据是否线性可分的问题，DT的主要缺点是容易过拟合，这也正是随机森林等集成学习算法被提出来的原因。
4.支持向量机，很高的分类正确率，对过拟合有很好的理论保证，选取合适的核函数，面对特征线性不可分的问题也可以表现得很好。SVM在维数通常很高的文本分类中非常的流行。

如果想要或许更多更详细的讯息，建议您去参加CDA数据分析课程。大数据分析师现在有专业的国际认证证书了，CDA，即“CDA 数据分析师”，是在数字经济大背景和人工智能时代趋势下，面向全行业的专业权威国际资格认证， 旨在提升全民数字技能，助力企业数字化转型，推动行业数字化发展。 “CDA 数据分析师”具体指在互联网、金融、零售、咨询、电信、医疗、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、 提供决策的新型数据分析人才。点击预约免费试听课。

5. 大数据挖掘常用的方法有哪些

1、分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。
它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。
2、回归分析。回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。
它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。
3、聚类。聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。
它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。
4、关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。
在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。
5、特征。特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。
6、变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。

6. 大数据时代的数据怎么挖掘

3月13日下午，南京邮电大学计算机学院、软件学院院长、教授李涛在CIO时代APP微讲座栏目作了题为《大数据时代的数据挖掘》的主题分享，深度诠释了大数据及大数据时代下的数据挖掘。

众所周知，大数据时代的大数据挖掘已成为各行各业的一大热点。
一、数据挖掘
在大数据时代，数据的产生和收集是基础，数据挖掘是关键，数据挖掘可以说是大数据最关键也是最基本的工作。通常而言，数据挖掘也称为DataMining，或知识发现Knowledge Discovery from Data，泛指从大量数据中挖掘出隐含的、先前未知但潜在的有用信息和模式的一个工程化和系统化的过程。
不同的学者对数据挖掘有着不同的理解，但个人认为，数据挖掘的特性主要有以下四个方面：
1.应用性（A Combination of Theory and Application）：数据挖掘是理论算法和应用实践的完美结合。数据挖掘源于实际生产生活中应用的需求，挖掘的数据来自于具体应用，同时通过数据挖掘发现的知识又要运用到实践中去，辅助实际决策。所以，数据挖掘来自于应用实践，同时也服务于应用实践，数据是根本，数据挖掘应以数据为导向，其中涉及到算法的设计与开发都需考虑到实际应用的需求，对问题进行抽象和泛化，将好的算法应用于实际中，并在实际中得到检验。
2.工程性（An Engineering Process）：数据挖掘是一个由多个步骤组成的工程化过程。数据挖掘的应用特性决定了数据挖掘不仅仅是算法分析和应用，而是一个包含数据准备和管理、数据预处理和转换、挖掘算法开发和应用、结果展示和验证以及知识积累和使用的完整过程。而且在实际应用中，典型的数据挖掘过程还是一个交互和循环的过程。
3.集合性（A Collection of Functionalities）：数据挖掘是多种功能的集合。常用的数据挖掘功能包括数据探索分析、关联规则挖掘、时间序列模式挖掘、分类预测、聚类分析、异常检测、数据可视化和链接分析等。一个具体的应用案例往往涉及多个不同的功能。不同的功能通常有不同的理论和技术基础，而且每一个功能都有不同的算法支撑。
4.交叉性（An Interdisciplinary Field）：数据挖掘是一门交叉学科，它利用了来自统计分析、模式识别、机器学习、人工智能、信息检索、数据库等诸多不同领域的研究成果和学术思想。同时一些其他领域如随机算法、信息论、可视化、分布式计算和最优化也对数据挖掘的发展起到重要的作用。数据挖掘与这些相关领域的区别可以由前面提到的数据挖掘的3个特性来总结，最重要的是它更侧重于应用。
综上所述，应用性是数据挖掘的一个重要特性，是其区别于其他学科的关键，同时，其应用特性与其他特性相辅相成，这些特性在一定程度上决定了数据挖掘的研究与发展，同时，也为如何学习和掌握数据挖掘提出了指导性意见。如从研究发展来看，实际应用的需求是数据挖掘领域很多方法提出和发展的根源。从最开始的顾客交易数据分析（market basket analysis）、多媒体数据挖掘（multimedia data mining）、隐私保护数据挖掘（privacy-preserving data mining）到文本数据挖掘（text mining）和Web挖掘（Web mining），再到社交媒体挖掘（social media mining）都是由应用推动的。工程性和集合性决定了数据挖掘研究内容和方向的广泛性。其中，工程性使得整个研究过程里的不同步骤都属于数据挖掘的研究范畴。而集合性使得数据挖掘有多种不同的功能，而如何将多种功能联系和结合起来，从一定程度上影响了数据挖掘研究方法的发展。比如，20世纪90年代中期，数据挖掘的研究主要集中在关联规则和时间序列模式的挖掘。到20世纪90年代末，研究人员开始研究基于关联规则和时间序列模式的分类算法（如classification based on association），将两种不同的数据挖掘功能有机地结合起来。21世纪初，一个研究的热点是半监督学习（semi-supervised learning）和半监督聚类（semi-supervised clustering），也是将分类和聚类这两种功能有机结合起来。近年来的一些其他研究方向如子空间聚类（subspace clustering）（特征抽取和聚类的结合）和图分类（graph classification）（图挖掘和分类的结合）也是将多种功能联系和结合在一起。最后，交叉性导致了研究思路和方法设计的多样化。
前面提到的是数据挖掘的特性对研究发展及研究方法的影响，另外，数据挖掘的这些特性对如何学习和掌握数据挖掘提出了指导性的意见，对培养研究生、本科生均有一些指导意见，如应用性在指导数据挖掘时，应熟悉应用的业务和需求，需求才是数据挖掘的目的，业务和算法、技术的紧密结合非常重要，了解业务、把握需求才能有针对性地对数据进行分析，挖掘其价值。因此，在实际应用中需要的是一种既懂业务，又懂数据挖掘算法的人才。工程性决定了要掌握数据挖掘需有一定的工程能力，一个好的数据额挖掘人员首先是一名工程师，有很强大的处理大规模数据和开发原型系统的能力，这相当于在培养数据挖掘工程师时，对数据的处理能力和编程能力很重要。集合性使得在具体应用数据挖掘时，要做好底层不同功能和多种算法积累。交叉性决定了在学习数据挖掘时要主动了解和学习相关领域的思想和技术。
因此，这些特性均是数据挖掘的特点，通过这四个特性可总结和学习数据挖掘。
二、大数据的特征
大数据（bigdata）一词经常被用以描述和指代信息爆炸时代产生的海量信息。研究大数据的意义在于发现和理解信息内容及信息与信息之间的联系。研究大数据首先要理清和了解大数据的特点及基本概念，进而理解和认识大数据。
研究大数据首先要理解大数据的特征和基本概念。业界普遍认为，大数据具有标准的“4V”特征：
1.Volume（大量）：数据体量巨大，从TB级别跃升到PB级别。
2.Variety（多样）：数据类型繁多，如网络日志、视频、图片、地理位置信息等。
3.Velocity（高速）：处理速度快，实时分析，这也是和传统的数据挖掘技术有着本质的不同。
4.Value（价值）：价值密度低，蕴含有效价值高，合理利用低密度价值的数据并对其进行正确、准确的分析，将会带来巨大的商业和社会价值。
上述“4V”特点描述了大数据与以往部分抽样的“小数据”的主要区别。然而，实践是大数据的最终价值体现的唯一途径。从实际应用和大数据处理的复杂性看，大数据还具有如下新的“4V”特点：
5.Variability（变化）：在不同的场景、不同的研究目标下数据的结构和意义可能会发生变化，因此，在实际研究中要考虑具体的上下文场景（Context）。
6.Veracity（真实性）：获取真实、可靠的数据是保证分析结果准确、有效的前提。只有真实而准确的数据才能获取真正有意义的结果。
7.Volatility（波动性）/Variance（差异）：由于数据本身含有噪音及分析流程的不规范性，导致采用不同的算法或不同分析过程与手段会得到不稳定的分析结果。
8.Visualization（可视化）：在大数据环境下，通过数据可视化可以更加直观地阐释数据的意义，帮助理解数据，解释结果。
综上所述，以上“8V”特征在大数据分析与数据挖掘中具有很强的指导意义。
三、大数据时代下的数据挖掘
在大数据时代，数据挖掘需考虑以下四个问题：
大数据挖掘的核心和本质是应用、算法、数据和平台4个要素的有机结合。
因为数据挖掘是应用驱动的，来源于实践，海量数据产生于应用之中。需用具体的应用数据作为驱动，以算法、工具和平台作为支撑，最终将发现的知识和信息应用到实践中去，从而提供量化的、合理的、可行的、且能产生巨大价值的信息。
挖掘大数据中隐含的有用信息需设计和开发相应的数据挖掘和学习算法。算法的设计和开发需以具体的应用数据作为驱动，同时在实际问题中得到应用和验证，而算法的实现和应用需要高效的处理平台，这个处理平台可以解决波动性问题。高效的处理平台需要有效分析海量数据，及时对多元数据进行集成，同时有力支持数据化对算法及数据可视化的执行，并对数据分析的流程进行规范。
总之，应用、算法、数据、平台这四个方面相结合的思想，是对大数据时代的数据挖掘理解与认识的综合提炼，体现了大数据时代数据挖掘的本质与核心。这四个方面也是对相应研究方面的集成和架构，这四个架构具体从以下四个层面展开：
应用层（Application）：关心的是数据的收集与算法验证，关键问题是理解与应用相关的语义和领域知识。
数据层（Data）：数据的管理、存储、访问与安全，关心的是如何进行高效的数据使用。
算法层（Algorithm）：主要是数据挖掘、机器学习、近似算法等算法的设计与实现。
平台层（Infrastructure）：数据的访问和计算，计算平台处理分布式大规模的数据。
综上所述，数据挖掘的算法分为多个层次，在不同的层面有不同的研究内容，可以看到目前在做数据挖掘时的主要研究方向，如利用数据融合技术预处理稀疏、异构、不确定、不完整以及多来源数据；挖掘复杂动态变化的数据；测试通过局部学习和模型融合所得到的全局知识，并反馈相关信息给预处理阶段；对数据并行分布化，达到有效使用的目的。
四、大数据挖掘系统的开发
1.背景目标
大数据时代的来临使得数据的规模和复杂性都出现爆炸式的增长，促使不同应用领域的数据分析人员利用数据挖掘技术对数据进行分析。在应用领域中，如医疗保健、高端制造、金融等，一个典型的数据挖掘任务往往需要复杂的子任务配置，整合多种不同类型的挖掘算法以及在分布式计算环境中高效运行。因此，在大数据时代进行数据挖掘应用的一个当务之急是要开发和建立计算平台和工具，支持应用领域的数据分析人员能够有效地执行数据分析任务。
之前提到一个数据挖掘有多种任务、多种功能及不同的挖掘算法，同时，需要一个高效的平台。因此，大数据时代的数据挖掘和应用的当务之急，便是开发和建立计算平台和工具，支持应用领域的数据分析人员能够有效地执行数据分析任务。
2.相关产品
现有的数据挖掘工具
有Weka、SPSS和SQLServer，它们提供了友好的界面，方便用户进行分析，然而这些工具并不适合进行大规模的数据分析，同时，在使用这些工具时用户很难添加新的算法程序。
流行的数据挖掘算法库
如Mahout、MLC++和MILK，这些算法库提供了大量的数据挖掘算法。但这些算法库需要有高级编程技能才能进行任务配置和算法集成。
最近出现的一些集成的数据挖掘产品
如Radoop和BC-PDM，它们提供友好的用户界面来快速配置数据挖掘任务。但这些产品是基于Hadoop框架的，对非Hadoop算法程序的支持非常有限。没有明确地解决在多用户和多任务情况下的资源分配。
3.FIU-Miner
为解决现有工具和产品在大数据挖掘中的局限性，我们团队开发了一个新的平台——FIU-Miner，它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一个用户友好并支持在分布式环境中进行高效率计算和快速集成的数据挖掘系统。与现有数据挖掘平台相比，FIU-Miner提供了一组新的功能，能够帮助数据分析人员方便并有效地开展各项复杂的数据挖掘任务。
与传统的数据挖掘平台相比，它提供了一些新的功能，主要有以下几个方面：
A.用户友好、人性化、快速的数据挖掘任务配置。基于“软件即服务”这一模式，FIU-Miner隐藏了与数据分析任务无关的低端细节。通过FIU-Miner提供的人性化用户界面，用户可以通过将现有算法直接组装成工作流，轻松完成一个复杂数据挖掘问题的任务配置，而不需要编写任何代码。
B.灵活的多语言程序集成。允许用户将目前最先进的数据挖掘算法直接导入系统算法库中，以此对分析工具集合进行扩充和管理。同时，由于FIU-Miner能够正确地将任务分配到有合适运行环境的计算节点上，所以对这些导入的算法没有实现语言的限制。
C.异构环境中有效的资源管理。FIU-Miner支持在异构的计算环境中（包括图形工作站、单个计算机、和服务器等）运行数据挖掘任务。FIU-Miner综合考虑各种因素（包括算法实现、服务器负载平衡和数据位置）来优化计算资源的利用率。
D.有效的程序调度和执行。
应用架构上包括用户界面层、任务和系统管理层、逻辑资源层、异构的物理资源层。这种分层架构充分考虑了海量数据的分布式存储、不同数据挖掘算法的集成、多重任务的配置及系统用户的交付功能。一个典型的数据挖掘任务在应用之中需要复杂的主任务配置，整合多种不同类型的挖掘算法。因此，开发和建立这样的计算平台和工具，支持应用领域的数据分析人员进行有效的分析是大数据挖掘中的一个重要任务。
FIU-Miner系统用在了不同方面：如高端制造业、仓库智能管理、空间数据处理等，TerraFly GeoCloud是建立在TerraFly系统之上的、支持多种在线空间数据分析的一个平台。提供了一种类SQL语句的空间数据查询与挖掘语言MapQL。它不但支持类SQL语句，更重要的是可根据用户的不同要求，进行空间数据挖掘，渲染和画图查询得到空间数据。通过构建空间数据分析的工作流来优化分析流程，提高分析效率。
制造业是指大规模地把原材料加工成成品的工业生产过程。高端制造业是指制造业中新出现的具有高技术含量、高附加值、强竞争力的产业。典型的高端制造业包括电子半导体生产、精密仪器制造、生物制药等。这些制造领域往往涉及严密的工程设计、复杂的装配生产线、大量的控制加工设备与工艺参数、精确的过程控制和材料的严格规范。产量和品质极大地依赖流程管控和优化决策。因此，制造企业不遗余力地采用各种措施优化生产流程、调优控制参数、提高产品品质和产量，从而提高企业的竞争力。
在空间数据处理方面，TerraFly GeoCloud对多种在线空间数据分析。对传统数据分析而言，其难点在于MapQL语句比较难写，任务之间的关系比较复杂，顺序执行之间空间数据分许效率较低。而FIU-Miner可有效解决以上三个难点。
总结而言，大数据的复杂特征对数据挖掘在理论和算法研究方面提出了新的要求和挑战。大数据是现象，核心是挖掘数据中蕴含的潜在信息，并使它们发挥价值。数据挖掘是理论技术和实际应用的完美结合。数据挖掘是理论和实践相结合的一个例子。

7. 大数据挖掘有哪些方法

方法1.可视化分析

无论是日志数据分析专家还是普通用户，数据可视化都是数据分析工具的最基本要求。可视化可以直观地显示数据，让数据自己说话，让听众看到结果。

方法2.数据挖掘算法

如果说可视化用于人们观看，那么数据挖掘就是给机器看的。集群、分割、孤立点分析和其他算法使我们能够深入挖掘数据并挖掘价值。这些算法不仅要处理大量数据，还必须尽量缩减处理大数据的速度。

方法3.预测分析能力

数据挖掘使分析师可以更好地理解数据，而预测分析则使分析师可以根据可视化分析和数据挖掘的结果做出一些预测性判断。

方法4.语义引擎

由于非结构化数据的多样性给数据分析带来了新挑战，因此需要一系列工具来解析，提取和分析数据。需要将语义引擎设计成从“文档”中智能地提取信息。

方法5.数据质量和主数据管理

数据质量和数据管理是一些管理方面的最佳实践。通过标准化流程和工具处理数据可确保获得预定义的高质量分析结果。

8. 大数据和数据挖掘什么区别

可以理解成大数据是场景是问题，而数据挖掘是手段。

大数据概念：大数据是近两年提出来的，有三个重要的特征：数据量大，结构复杂，数据更新速度很快。由于Web技术的发展，web用户产生的数据自动保存、传感器也在不断收集数据，以及移动互联网的发展，数据自动收集、存储的速度在加快，全世界的数据量在不断膨胀，数据的存储和计算超出了单个计算机(小型机和大型机)的能力，这给数据挖掘技术的实施提出了挑战（一般而言，数据挖掘的实施基于一台小型机或大型机，也可以进行并行计算）。
数据挖掘概念: 数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在很多领域中都有应用。涉及到很多的算法，源于机器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。数据挖掘的定义是从海量数据中找到有意义的模式或知识。

了解更多大数据和数据挖掘区别，推荐CDA数据分析师的相关课程，它是由国际数据科学领域专家、学者及企业机构共同制定并逐年更新，具备公 立性、权威性、前沿性。企业会员包括 CDMS、Oracle、IBM、Big Data University、 Pearson VUE、Meritdata、TalkingData、CDA INSTITUTE、Yonghong Tech、法国 布雷斯特商学院、CASICloud Deutschland GmbH（德国云网）等。点击预约免费试听课。

9. 大数据挖掘有什么方法

1.可视化分析

无论是日志数据分析专家还是普通用户，数据可视化都是数据分析工具的最基本要求。可视化可以直观地显示数据，让数据自己说话，让听众看到结果。

2.数据挖掘算法

如果说可视化用于人们观看，那么数据挖掘就是给机器看的。集群、分割、孤立点分析和其他算法使我们能够深入挖掘数据并挖掘价值。这些算法不仅要处理大量数据，还必须尽量缩减处理大数据的速度。

3.预测分析能力

数据挖掘使分析师可以更好地理解数据，而预测分析则使分析师可以根据可视化分析和数据挖掘的结果做出一些预测性判断。

4.语义引擎

由于非结构化数据的多样性给数据分析带来了新挑战，因此需要一系列工具来解析，提取和分析数据。需要将语义引擎设计成从“文档”中智能地提取信息。

5.数据质量和主数据管理

数据质量和数据管理是一些管理方面的最佳实践。通过标准化流程和工具处理数据可确保获得预定义的高质量分析结果。

10. 大数据和“数据挖掘”是何关系

数据挖掘是一个动作，是研究数据内在的规律，并且通过各种机器学习、统计学习、模型算法进行研究。大数据其实是一种数据的状态，数据多而大，大到超出了人类的数据处理软件的极限。

数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在很多领域中都有应用。涉及到很多的算法，源于机器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。数据挖掘的定义是从海量数据中找到有意义的模式或知识。

想要了解更多关于大数据挖掘的相关内容，建议了解一下CDA数据分析师的相关课程。CDA数据分析师要求学生具备从数据治理根源出发的思维，通过数字化工作方法来探查业务问题，通过近因分析、宏观根因分析等手段，再选择业务流程优化工具还是算法工具，而非“遇到问题调算法包”。真正给企业提出可行性的价值方案和价值业务结果。点击预约免费试听课。