遗传算法分簇

A. 大数据分析需要哪些工具

稍微整理了下常用到的大数据分析工具，看下能不能帮到你
1.专业的大数据分析工具
2.各种Python数据可视化第三方库
3.其它语言的数据可视化框架
一、专业的大数据分析工具
1、FineReport
FineReport是一款纯java编写的、集数据展示(报表)和数据录入(表单)功能于一身的企业级web报表工具，只需要简单的拖拽操作便可以设计复杂的中国式报表，搭建数据决策分析系统。
2、FineBI
FineBI是新一代自助大数据分析的商业智能产品，提供了从数据准备、自助数据处理、数据分析与挖掘、数据可视化于一体的完整解决方案，也是我比较推崇的可视化工具之一。
FineBI的使用感同Tableau类似，都主张可视化的探索性分析，有点像加强版的数据透视表。上手简单，可视化库丰富。可以充当数据报表的门户，也可以充当各业务分析的平台。
二、Python的数据可视化第三方库
Python正慢慢地成为数据分析、数据挖掘领域的主流语言之一。在Python的生态里，很多开发者们提供了非常丰富的、用于各种场景的数据可视化第三方库。这些第三方库可以让我们结合Python语言绘制出漂亮的图表。
1、pyecharts
Echarts(下面会提到)是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。当Python遇上了Echarts，pyecharts便诞生了，它是由chenjiandongx等一群开发者维护的Echarts Python接口，让我们可以通过Python语言绘制出各种Echarts图表。
2、Bokeh
Bokeh是一款基于Python的交互式数据可视化工具，它提供了优雅简洁的方法来绘制各种各样的图形，可以高性能地可视化大型数据集以及流数据，帮助我们制作交互式图表、可视化仪表板等。
三、其他数据可视化工具
1、Echarts
前面说过了，Echarts是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。
大家都知道去年春节以及近期央视大规划报道的网络大数据产品，如网络迁徙、网络司南、网络大数据预测等等，这些产品的数据可视化均是通过ECharts来实现的。
2、D3
D3（Data Driven Documents）是支持SVG渲染的另一种JavaScript库。但是D3能够提供大量线性图和条形图之外的复杂图表样式，例如Voronoi图、树形图、圆形集群和单词云等。

B. 数据挖掘技术在客户关系管理中的应用

数据挖掘技术在客户关系管理中的应用

随着计算机技术、网络技术、通讯技术和Internet技术的发展，电子商务中 企业内部会产生了大量业务数据，如何从丰富的客户数据中挖掘有价值的信息，为企业管理者提供有效的辅助决策，是企业真正关心的问题。其中，客户分类是分析 型客户关系管理的重要功能之一。通过客户分类，区分客户的霞要程度，并针对不同霞要级别的客户制定专门的营销方案和客户关系管理策略，可以帮助企业降低营 销成本，提高利润和企业竞争力。客户也可从食业制定的专门的营销方案和客户关系管理策略中获得适合的交易体验。数据挖掘是分析型CRM实现其“分析”功能 的必要手段，也是实现客户分类的有效工具。
1 客户关系管理(CRM)
CRM(Customer Relation Managemen)是一种旨在改善企业与客户之间关系的新型管理机制，它实施于企业的市场营销、销售、服务与技术支持等领域，它的目标是提供更优质、更快捷的服务吸引并保持客户，通过业务流程的全面管理降低仓业成本。
在电子商务环 境下，CRM使网站企业在所有的业务环节下更好地满足客户需求以及提供更优质的服务，从而使站点企业在这种不存在时空差异的新型商务环境中保留现有客户和 发掘潜在客户。以提高市场竞争力。同时CRM又可以提供客户需求、市场分布、回馈信息等重要信息，为企业和经营活动提供智能化分析的依据，因此，CRM为 企业带来了成功实现电子商务的基础。
个性化服务是增强竞争力的有力武器，CRM就是以客户为中心并为客户提供最合适的服务。互联网成为 实施客户关系管理应用的理想渠道，记住顾客的名字及他们的偏好，根据顾客的不同而提供不同内容，顾客再次光顾的可能性会大大增加。CRM可以增加客户忠诚 度，提高购买比率，使每个顾客产生更多的购买需求，及更长时间的需求，并提高顾客满意度。
2 数据挖掘技术
如何对这些海量的数据进行分析发现，为商业决策提供有价值的信息，使企业获得利润，强有力的工具就是数据挖掘。
在分析型CRM系统中，数据挖掘是其中的核心技术，数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。对于企业而言，数据挖掘 可以有助于发现业务发展的趋势，揭示已知的事实，预测未知的结果，并帮助企业分析出完成任务所需的关键因素，以达到增加收入、降低成本，使企业处于更有利 的竞争位置的目的。
2.1 数据挖掘常用的算法
(1)决策树(decision tree)决策算法。决策树是一个类似于流程图的树结构。其中每个内部节点表示在一个属性上的测试，每个分枝代表一个测试输出，而每个树叶节点代表类或类 分布。决策树算法包括树的构造和树的剪枝，有两种常用的剪枝方法：先剪枝和后剪枝。
(2)神经网络(Neural Network)。神经网络是一组连接的输入，输出单元，其中每个连接都与一个权相连，在学习阶段，通过调整神经网络的权，使得能够预测输入样本的正确类标号来学习。
(3)遗传算法(Genetic Algorithms)。遗传算法根据适者生存的原则，形成由当前群体巾最适合的规则组成新的群体，以及这些规则的后代。遗传算法用于分类和其他优化问题。
(4)粗糙集方法。粗糙集方法基于给定训练数据内部的等价类的建立。它将知识理解为对数据的划分，每一被划分的集合称为概念，利用已知的知识库来处理或刻臧不精确或不确定的知识。粗糙集用于特征归约和相关分析。
(5)模糊集方法。基于规则的分类系统有一个缺点：对于连续属性，他们有陡峭的截断。将模糊逻辑引入，允许定义“模糊”边界，提供了在高抽象层处理的便利。
其它还有贝叶斯网络、可视化技术、临近搜索方法和公式发现等方法。
2.2 数据挖掘常用的分析方法
(1)分类和预测。主要用于客户细分(分群)处理，如价值客户群的分级，分类和预测是两种数据分析形式，可以用于提取描述重要数据类的模型或预测未来的 数姑趋势。数据分类(data elassfication)是一个两步过程，第一步，建立一个模型，描述预定的数据类集或概念集，通过分析有属性描述的数据库元组来构造模型。第二步， 使用模型进行分类。首先评估模犁的预测准确率，如果认为模型的准确率可以接受，就可以用来对类标号未知的数据远祖或对象进行分类。
预测 技术，主要用于对客户未来行为的发现，如客户流失分析中，用神经元网络方法学习各种客户流失前的行为变化，进而预测(预警)可能出现的存价值客户的流失。 预测足构造和使用模型评估无标号样本类，或评估给定样本可能具有的属性值或值区间。分类和预测具有广泛的应用，如信誉证实、医疗诊断、性能预测和选择购 物。分类和预测常用的算法包括决策树归纳、贝叶斯分类、贝叶斯网络、神经网络、K-最临近分类、遗传算法、粗糙集和模糊集技术。
(2) 聚类分析。聚类是将数据对象分组成为多个类或簇(cluster)，在同一个簇中的对象之同具有较高的相似度，而不周簇中的对象差别较大。作为统计学的一 个分支，聚类分析已被广泛的研究了许多年，现在主要集中在基于距离的聚类分析，基于k-means(k-平均值)、k-medoids(k-中心点)和其 他的一些聚类分析工具也有不少的应用。
(3)关联规则。关联规则挖掘给定数据集中项之间的有趣联系。设I＝{i1，i2，…im}是项 的集合，任务相关的数据D是数据库事务的集合，其中每个事务T是项的集合，使得T包含于I。关联规则是形如A=>B的蕴涵式，其中A∈I，B∈I， 并且A∩B为空。关联规则的挖掘分成两步：①找出所有频繁项集，这些项集出现的频繁性至少和预定义的最小支持计数一样。②由频繁项集产生强关联规则。这些 规则必须满足最小支持度和最小置信度。
(4)序列模式。序列模式分析和关联规则分析类似，也是为了挖掘数据项之间的联系，不过序列模式分析的是数据项在时间维上的先后序列关系，如一个顾客在购买了计算机半年后可能再购买财务分析软件。
(5)孤立点分析。孤立点是度量错误或固有的数据变异性的结果。许多数据挖掘算法都试图使孤立点的影响最小，或排除它们。一个人的噪声可能是另一个人的 信号，在有些时候。孤立点是非常有用的。孤立点挖掘可以描述如下：给定一个n个数据点或对象的集合，以及预期的孤立点的数目k，发现与剩余的数据相比是显 着相异的或不一致的头k个对象。孤立点探测方法可分为三类：统计学方法，基于距离的方法和基于偏移的方法。
3 应用方法
3.1 了解业务
最初的阶段，着眼于了解业务特点，并把它还原成为数据分析的条件和参数。例如：在零售行业中，我们的第一个步骤是了解客户购买的频率，购买频率和每次消费金额之间是否有明显的相关关系。
3.2 分析数据
这个阶段着眼于对现有的数据进行规整。我们发现，在不少行业中，可分析的数据和前面提出的分析目标是不匹配的。例如：消费者的月收入水平可能与许多购买 行为相关，但是，原始的数据积累中却不一定具备这螳数据。对这一问题的解决方法是从其它的相关数据中进行推理，例如，通过抽样调查，我们发现，一次性购买 大量卫生纸的客户，其月收入水平集中在1000-3000RMB的档次，如果这一结论基本成立。我们可以从消费习惯中推理出现有客户有多大的百分比是月收 入水平在这个档次中的；另外，可以根据抽样调查的方法。在问卷调查的基础上推理整个样本人群的收入水平曲线。
3.3 数据准备
这个阶段的着眼点是转换、清理和导入数据，可能从多个数据源抽取并加以组合，以形成data cube。对于缺失的少量数据，是用均值补齐，还是忽略，还是按照现有样本分配，这是在这个阶段需要处理的问题之一。
3.4 建模
现在已经有各种各样的模型方法可以利用。让最好的一种应用于我们要着眼的主要问题中。是这个阶段的主要任务。例如，对于利润的预测是否应当采用回归方式预测，预测的基础是什么等，这些问题需要行业专家和数据分析专家协商并达成共识。
3.5 评估与应用
优秀的评估方法是利用不同的时间段，让系统对已经发生的消费情况进行预测，然后比较预测结果和实际状况，这样模型的评估就容易进行了。完成了上述的步骤 之后，多数的分析工具都支持保存并重复应用已经建立起来的模型。更为重要的是，在这个过程中，对数据分析的方法和知识应当已经由客户方的市场分析人员或决 策者所了解，我们提供的，不仅仅是最终结果，而且是获得这一结果的方法。“要把金针度与人”正是TurboCRM咨询服务不同于单纯的软件提供商的区别所 在。
最后，在软件架构方面，分析数据库与运营数据库应当是分离的，避免影响运营数据库在操作方面的的实时响应速度。
4 结束语
数据挖掘可以把大量的客户分成不同的类，在每个类里的客户拥有相似的属性，而不同类里的客户的属性也不同，可以给这两类客户提供完全不同的服务来提高客户的满意度，细致而切实可行的客户分类对企业的经营策略有很大益处。

C. 什么是进化计算它包括哪些内容它们的出发点是什么

1、准确的说应该叫进化算法或演化算法。是一个“算法簇”，尽管它有很多的变化，有不同的遗传基因表达方式，不同的交叉和变异算子，特殊算子的引用，以及不同的再生和选择方法。与传统的基于微积分的方法和穷举法等优化算法相比，进化计算是一种成熟的具有高鲁棒性和广泛适用性的全局优化方法，具有自组织、自适应、自学习的特性，能够不受问题性质的限制，有效地处理传统优化算法难以解决的复杂问题。

2、进化算法内容包括遗传算法(Genetic Algorithms)、遗传规划（Genetic Programming）、进化策略(Evolution Strategies)和进化规划(Evolution Programming)等等。进化算法的基本框架还是简单遗传算法所描述的框架，但在进化的方式上有较大的差异，选择、交叉、变异、种群控制等有很多变化。

3、它们产生的出发点（或者说灵感）都来自于大自然的生物进化。

D. 进化算法入门读书笔记（一）

这里我参考学习的书籍是：

《进化计算的理论和方法》，王宇平，科学出版社

《进化优化算法：基于仿生和种群的计算机智能方法》，[美]丹·西蒙，清华大学出版社。

进化算法是 求解优化问题 的一种算法，它是 模仿生物进化与遗传原理 而设计的一类随机搜索的优化算法。

不同的作者称进化算法有不同的术语，以下。注：这里仅列举出了我自己比较容易混淆的一些，并未全部列出。

进化计算： 这样能强调算法需要在 计算机上 实施，但进化计算也可能指不用于优化的算法（最初的遗传算法并不是用于优化本身，而是想用来研究自然选择的过程）。因此，进化优化算法比进化计算更具体。

基于种群的优化： 它强调进化算法一般是让问题的候选解 种群 随着时间的进化以得到问题的更好的解。然而许多进化算法每次迭代只有单个候选解。因此，进化算法比基于种群的优化更一般化。

计算机智能/计算智能： 这样做常常是为了区分进化算法与专家系统，在传统上专家系统一直被称为人工智能。专家系统模仿演绎推理，进化算法则模仿归纳推理。进化算法有时候也被看成是人工智能的一种。计算机智能是比进化算法更一般的词，它包括神经计算、模糊系统、人工生命这样的一些技术，这些技术可应用于优化之外的问题。因此，进化计算可能比计算机智能更一般化或更具体。

由自然启发的计算/仿生计算： 像差分进化和分布估计算法这些进化算法可能并非源于自然，像进化策略和反向学习这些进化算法与自然过程联系甚微。因此，进化算法比由自然启发的算法更一般化，因为进化算法包括非仿生算法。

机器学习： 机器学习研究由经验学到的计算机算法，它还包括很多不是进化计算的算法，如强化学习、神经网络、分簇、SVM等等。因此，机器学习比进化算法更广。

群智能算法： 一些人认为群智能算法应与进化算法区分开，一些人认为群智能算法是进化算法的一个子集。因为群智能算法与进化算法有相同的执行方式，即，每次迭代都改进问题的候选解的性能从而让解的种群进化。因此，我们认为群智能算法是一种进化算法。

进化算法的简单定义可能并不完美。在进化算法领域术语的不统一会让人困惑，一个算法是进化算法如果它通常被认为是进化算法，这个戏谑的、循环的定义一开始有些麻烦，但是一段时间后，这个领域工作的人就会习惯了。

优化几乎适用于生活中的所有领域。除了对如计算器做加法运算这种过于简单的问题，不必用进化算法的软件，因为有更简单有效的算法。此外对于每个复杂的问题，至少应该考虑采用进化算法。

一个优化野兆问题可以写成最小化问题或最大化问题，这两个问题在形式上很容易互相转化：

函数 被称为目标函数，向量 被称为独立变量，或决策变量。我们称 中元素的个数为问题的维数。

优化问题常常带有约束。即在最小化某个函数 时，对 可取的值加上约束。不举例。

实际的优化问题不仅带有约束，还有多个目标。这意味着我们想要同时最小化不止一个量。

例子：

这里评估这个问题的一种方式是绘制 作为函数 的函数的图：

如图，对在实线上的 的值，找不到能同时使 和 减小的 的其他值，此实线被称为 帕累托前沿 ，而相应的 的值的集合被称为帕累托集。（此处的帕累托最优问题十分重要，可以参考这个链接来学习和理解： 多目标优化之帕累托最优 - 知乎 ，非常清晰易懂。）

该例子是一个非常简单的多目标优化问题，它只有两个目标。实际的优化问题通常涉及两个以上的模目标，因此很难得到它的帕累托前沿，由于它是高维的，我们也无法将它可视化。后面的章节将会仔细讨论多目标进化优化。

多峰优化问题是指问题不止一个局部最小值。上例中的 就有两个局部最小值，处理起来很容易，有些问题有很多局部最小值，找出其中的全局最小值就颇具挑战性。

对于前面的简单例子，我们能用图形的方法或微积分的方法求解，但是许竖隐多实际问题除了有更多独立变量、多目标，以及带约束之外更像上面的Ackley函数这样，对于这类问题，基于微积分或图形的方法就不够用了，而进化算法却能给出更好的结果。

到现在为余脊厅止我们考虑的都是连续优化问题，也就是说，允许独立变量连续地变化。但有许多优化问题中的独立变量智能在一个离散集合上取值。这类问题被称为组合优化问题。如旅行商问题。

对于有 个城市的旅行商问题，有 个可能的解。对于一些过大的问题，硬算的方法不可行，像旅行商这样的组合问题没有连续的独立变量，因此不能利用导数求解。除非对每个可能的解都试一遍，不然就无法确定所得到的组合问题的解是否就是最好的解。进化算法对这类大规模、多维的问题，它至少能帮我们找出一个好的解（不一定是最好的）。

E. tSp Concorder算法原理

tsp问题遗传算法将多目标按照线性加权的方式转化为单目标，然后应用传统遗传算法求解
其中w_i表示第i个目标的权重，f_k表示归一化之后的第i个目标值。我们很容易知道，这类方法的关键是怎么设计权重。比如，Random Weight Genetic Algorithm (RWGA) 采用随机权重的方式，每次计算适应度都对所有个体随机地产生不同目标的权重，然后进行选择操作。Vector-Evaluated Genetic Algorithm (VEGA) 也是基于线性加权的多目标遗传算法。如果有K个目标，VEGA 会随机地将种群分为K个同等大小子种群，在不同的子种群按照不同的目标函数设定目标值，然后再进行选择操作。VEGA 实质上是基于线性加权的多目标遗传算法。VEGA 是第一个多目标遗传算法，开启了十几年的研究潮流。
1.TSP问题是指假设有一个旅行商人要拜访n个城市，他必须选择所要走的路径，路径的限制是每个城市只能拜访一次，而且最后要回到原来出发的城市。路径的选择目标是要求得的路径路程为所有路径之中的最小值。本文使用遗传算法解决att30问题，即30个城市的旅行商问题。旅行商问题是一个经典的组合优化问题。一个经典的旅行商问题可以描述为：一个商品推销员要去若干个城市推销商品，该推销员从一个城市出发，需要经过所有城市后，回到出发地。应如何选择行进路线，以使总的行程最短。从图论的角度来看，该问题实质是在一个带权完全无向图中，找一个权值最小的Hamilton回路。由于该问题的可行解是所有顶点的全排列，随着顶点数的增加，会产生组合爆炸，它是一个NP完全问题。TSP问题可以分为对称和不对称。在对称TSP问题中，两座城市之间来回的距离是相等的，形成一个无向图，而不对称TSP则形成有向图。对称性TSP问题可以将解的数量减少了一半。所以本次实验的TSP问题使用att48数据，可在tsplib中下载数据包。演化算法是一类模拟自然界遗传进化规律的仿生学算法，它不是一个具体的算法，而是一个算法簇。遗传算法是演化算法的一个分支，由于遗传算法的整体搜索策略和优化计算是不依赖梯度信息，所以它的应用比较广泛。我们本次实验同样用到了遗传算法（用MATLAB编写）来解决TSP问题。