数据流架构与编译
⑴ 大数据分析一般用什么工具分析
大数据分析是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：和梁传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据分析产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。
大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。
一、Hadoop
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop
是可靠的，即使计算元素和存储会失败，它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，它采用并行的方式工作，通过并行处理加快处理速度。Hadoop
还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Pentaho BI 平台，Pentaho Open BI
套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI
平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI
平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过
J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。
Pentaho的发行，主要以Pentaho SDK的形式进行。
Pentaho
SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的
Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为
Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;
Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。
Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE
服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。
七、Druid
Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。
八、Ambari
大数据平台搭建、监控利器;类似的还有CDH
1、提供Hadoop集群
Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。
Ambari处理集群Hadoop服务的配置。
2、管理Hadoop集群
Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。
3、监视Hadoop集群
Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。
九、Spark
大规模数据处理框架(可以应付企业中常见的三种数据处理场景：复杂的批量数据处理(batch data
processing);基于历史数据的交互式查询;基于实时数据流的数据处理，Ceph:Linux分布式文件系统。
十、Tableau Public
1、什么是Tableau Public - 大数据分析工具
这是一个简单直观的工具。因为它通过数据可视化提供了有趣的见解。Tableau
Public的百万行限制。因为它比数据分析市场中的大多数其他玩家更容易使用票价。使用Tableau的视觉效果，您可以调查一个假设。此外，浏览数据，并交叉核对您的见解。
2、Tableau Public的使用
您可以免费将交互式数据可视化发布到Web;无需编程技能;发布到Tableau
Public的可视化可以嵌入到博客中。此外，还可以通过电子邮件或社交媒体分享网页。共享的内容可以进行有效硫的下载。这使其成为最佳的大数据分析工具。
3、Tableau Public的限制
所有数据都是公开的，并且限制访问的范围很小;数据大小限制;无法连接到[R ;读取的唯一方法是通过OData源，是Excel或txt。
十一、OpenRefine
1、什么是OpenRefine - 数据分析工具
以前称为GoogleRefine的数据清理软件。因为它可以帮助您清理数据以进行分析。它对一行数据进行操作。此外，将列放在列下，与关系数据库表非常相似。
2、OpenRefine的使用
清理凌乱的数据;数据转换;从网站解析数据;通过从Web服务获取数据将数据添加到数据集。例如，OpenRefine可用于将地址地理编码到地理坐标。
3、OpenRefine的局限性
Open Refine不适用于大型数据集;精炼对大数据不起作用
十二、KNIME
1、什么是KNIME - 数据分析工具
KNIME通过可视化编程帮助您操作，分析和建模数据。它用于集成各种组件，用于数据挖掘和机器学习。
2、KNIME的用途
不要写代码块。相反，您必须在活动之间删除和拖动连接点;该数据分析工具支持编程语言;事实上，分析工具，例如可扩展运行化学数据，文本挖掘，蟒蛇，和[R
。
3、KNIME的限制
数据可视化不佳
十三、Google Fusion Tables
1、什么是Google Fusion Tables
对于数据工具，我们有更酷，更大版本的Google Spreadsheets。一个令人难以置信的数据分析，映射和大型数据集可视化工具。此外，Google
Fusion Tables可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一。
2、使用Google Fusion Tables
在线可视化更大的表格数据;跨越数十万行进行过滤和总结;将表与Web上的其他数据组合在一起;您可以合并两个或三个表以生成包含数据集的单个可视化;
3、Google Fusion Tables的限制
表中只有前100,000行数据包含在查询结果中或已映射;在一次API调用中发送的数据总大小不能超过1MB。
十四、NodeXL
1、什么是NodeXL
它是关系和网络的可视化和分析软件。NodeXL提供精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于数据分析的最佳统计工具之一。其中包括高级网络指标。此外，访问社交媒体网络数据导入程序和自动化。
2、NodeXL的用途
这是Excel中的一种数据分析工具，可帮助实现以下方面：
数据导入;图形可视化;图形分析;数据表示;该软件集成到Microsoft Excel
2007,2010,2013和2016中。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵，Pajek
.net，UCINet .dl，GraphML和边缘列表。
3、NodeXL的局限性
您需要为特定问题使用多个种子术语;在稍微不同的时间运行数据提取。
十五、Wolfram Alpha
1、什么是Wolfram Alpha
它是Stephen Wolfram创建的计算知识引擎或应答引擎。
2、Wolfram Alpha的使用
是Apple的Siri的附加组件;提供技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述，商品信息和高级定价历史记录。
3、Wolfram Alpha的局限性
Wolfram Alpha只能处理公开数字和事实，而不能处理观点;它限制了每个查询的计算时间;这些数据分析统计工具有何疑问?
十六、Google搜索运营商
1、什么是Google搜索运营商
它是一种强大的资源，可帮助您过滤Google结果。这立即得到最相关和有用的信息。
2、Google搜索运算符的使用
更快速地过滤Google搜索结果;Google强大的数据分析工具可以帮助发现新信息。
十七、Excel解算器
1、什么是Excel解算器
Solver加载项是Microsoft Office Excel加载项程序。此外，它在您安装Microsoft
Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。
2、求解器的使用
Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法，来自非线性优化。还有线性规划到进化算法和遗传算法，以找到解决方案。
3、求解器的局限性
不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;
十八、Dataiku DSS
1、什么是Dataiku DSS
这是一个协作数据科学软件平台。此外，它还有助于团队构建，原型和探索。虽然，它可以更有效地提供自己的数据产品。
2、Dataiku DSS的使用
Dataiku DSS - 数据分析工具提供交互式可视化界面。因此，他们可以构建，单击，指向或使用SQL等语言。
3、Dataiku DSS的局限性
有限的可视化功能;UI障碍：重新加载代码/数据集;无法轻松地将整个代码编译到单个文档/笔记本中;仍然需要与SPARK集成
以上的工具只是大数据分析所用的部分工具，小编就不一一列举了，下面把部分工具的用途进行分类：
1、前端展现
用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。
用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft
Power BI, Oracle,Microstrategy,QlikView、 Tableau 。
国内的有BDP，国云数据(大数据分析魔镜)，思迈特，FineBI等等。
2、数据仓库
有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。
3、数据集市
有QlikView、 Tableau 、Style Intelligence等等。
⑵ 急！！！！急！！！！！！！！！急！！！！！计算机体系结构这门课所解决的问题以及解决的方法在线等
计算机体系结构（ComputerArchitecture）是程序员所看到的计算机的属性，即概念性结构与功能特性。按照计算机系统的多级层次结构，不同级程序员所看到的计算机具有不同的属性。一般来说，低级机器的属性对于高层机器程序员基本是透明的，通常所说的计算机体系结构主要指机器语言级机器的系统结构。经典的关于“计算机体系结构（computerarchitecture）”的定义是1964年C.M.Amdahl在介绍IBM360系统时提出的，其具体描述为“计算机体系结构是程序员所看到的计算机的属性，即概念性结构与功能特性”
基本概念
计算机体系结构就是指适当地组织在一起的一系列系统元素的集合，这些系统元素互相配合、相互协作，通过对信息的处理而完成预先定义的目标。通常包含的系统元素有：计算机软件、计算机硬件、人员、数据库、文档和过程。其中，软件是程序、数据结构和相关文档的集合，用于实现所需要的逻辑方法、过程或控制；硬件是提供计算能力的电子设备和提供外部世界功能的电子机械设备(例如传感器、马达、水泵等)；人员是硬件和软件的用户和操作者；数据库是通过软件访问的大型的、有组织的信息集合；文档是描述系统使用方法的手册、表格、图形及其他描述性信息；过程是一系列步骤，它们定义了每个系统元素的特定使用方法或系统驻留的过程性语境。 计算机体系结构
8种属性
1•机内数据表示：硬件能直接辨识和操作的数据类型和格式 计算机体系结构
2•寻址方式：最小可寻址单位、寻址方式的种类、地址运算 3•寄存器组织：操作寄存器、变址寄存器、控制寄存器及专用寄存器的定义、数量和使用规则 4•指令系统：机器指令的操作类型、格式、指令间排序和控制机构 5•存储系统：最小编址单位、编址方式、主存容量、最大可编址空间 6•中断机构：中断类型、中断级别，以及中断响应方式等 7•输入输出结构：输入输出的连接方式、处理机/存储器与输入输出设备间的数据交换方式、数据交换过程的控制 8•信息保护：信息保护方式、硬件信息保护机制。
编辑本段发展历程
计算机系统已经经历了四个不同的发展阶段。 计算机体系结构
第一阶段
60年代中期以前，是计算机系统发展的早期时代。在这个时期通用硬件已经相当普遍，软件却是为每个具体应用而专门编写的，大多数人认为软件开发是无需预先计划的事情。这时的软件实际上就是规模较小的程序，程序的编写者和使用者往往是同一个(或同一组)人。由于规模小，程序编写起来相当容易，也没有什么系统化的方法，对软件开发工作更没有进行任何管理。这种个体化的软件环境，使得软件设计往往只是在人们头脑中隐含进行的一个模糊过程，除了程序清单之外，根本没有其他文档资料保存下来。
第二阶段
从60年代中期到70年代中期，是计算机系统发展的第二代。在这10年中计算机技术有了很大进步。多道程序、多用户系统引入了人机交互的新概念，开创了计算机应用的新境界，使硬件和软件的配合上了一个新的层次。实时系统能够从多个信息源收集、分析和转换数据，从而使得进程控制能以毫秒而不是分钟来进行。在线存储技术的进步导致了第一代数据库管理系统的出现。计算机系统发展的第二代的一个重要特征是出现了“软件作坊”，广泛使用产品软件。但是，“软件作坊”基本上仍然沿用早期形成的个体化软件开发方法。随着计算机应用的日益普及，软件数量急剧膨胀。在程序运行时发现的错误必须设法改正；用户有了新的需求时必须相应地修改程序；硬件或操作系统更新时，通常需要修改程序以适应新的环境。上述种种软件维护工作，以令人吃惊的比例耗费资源。更严重的是，许多程序的个体化特性使得它们最终成为不可维护的。“软件危机”就这样开始出现了。1968年北大西洋公约组织的计算机科学家在联邦德国召开国际会议，讨论软件危机课题，在这次会议上正式提出并使用了“软件工程”这个名词，一门新兴的工程学科就此诞生了。
第三阶段
计算机系统发展的第三代从20世纪70年代中期开始，并且跨越了整整10年。在这10年中计算机技术又有了很大进步。分布式系统极大地增加亍计算机系统的复杂性，局域网、广域网、宽带数字通信以及对“即时”数据访问需求的增加，都对软件开发者提出了更高的要求。但是，在这个时期软件仍然主要在工业界和学术界应用，个人应用还很少。这个时期的主要特点是出现了微处理器，而且微处理器获得了广泛应用。以微处理器为核心的“智能”产品随处可见，当然，最重要的智能产品是个人计算机。在不到10年的时间里，个人计算机已经成为大众化的商品。 在计算机系统发展的第四代已经不再看重单台计算机和程序，人们感受到的是硬件和软件的综合效果。由复杂操作系统控制的强大的桌面机及局域网和广域网，与先进的应用软件相配合，已经成为当前的主流。计算机体系结构已迅速地从集中的主机环境转变成分布的客户机／服务器(或浏览器／服务器)环境。世界范围的信息网为人们进行广泛交流和资源的充分共享提供了条件。软件产业在世界经济中已经占有举足轻重的地位。随着时代的前进，新的技术也不断地涌现出来。面向对象技术已经在许多领域迅速地取代了传统的软件开发方法。
总结
软件开发的“第四代技术”改变了软件界开发计算机程序的方式。专家系统和人工智能软件终于从实验室中走出来进入了实际应用，解决了大量实际问题。应用模糊逻辑的人工神经网络软件，展现了模式识别与拟人信息处理的美好前景。虚拟现实技术与多媒体系统，使得与用户的通信可以采用和以前完全不同的方法。遗传算法使我们有可能开发出驻留在大型并行生物计算机上的软件。
编辑本段基本原理
计算机体系结构解决的是计算机系统在总体上、功能上需要解决的问题，它和计算机组成、计算机实现是不同的概念。一种体系结构可能有多种组成，一种组成也可能有多种物理实现。 计算机体系结构
计算机系统结构的逻辑实现，包括机器内部数据流和控制流的组成以及逻辑设计等。其目标是合理地把各种部件、设备组成计算机，以实现特定的系统结构，同时满足所希望达到的性能价格比。一般而言，计算机组成研究的范围包括：确定数据通路的宽度、确定各种操作对功能部件的共享程度、确定专用的功能部件、确定功能部件的并行度、设计缓冲和排队策略、设计控制机构和确定采用何种可靠技术等。计算机组成的物理实现。包括处理机、主存等部件的物理结构，器件的集成度和速度，器件、模块、插件、底板的划分与连接，专用器件的设计，信号传输技术，电源、冷却及装配等技术以及相关的制造工艺和技术。
编辑本段分类
Flynn分类法
1966年，Michael.J.Flynn提出根据指令流、数据流的多倍性（multiplicity）特征对计算机系统进行分类，定义如下。 •指令流：机器执行的指令序列 计算机体系结构
•数据流：由指令流调用的数据序列，包括输入数据和中间结果 •多倍性：在系统性能瓶颈部件上同时处于同一执行阶段的指令或数据的最大可能个数。 Flynn根据不同的指令流-数据流组织方式把计算机系统分为4类。 1•单指令流单数据流（，SISD） SISD其实就是传统的顺序执行的单处理器计算机，其指令部件每次只对一条指令进行译码，并只对一个操作部件分配数据。 2•单指令流多数据流（，SIMD） SIMD以并行处理机为代表，结构如图，并行处理机包括多个重复的处理单元PU1～PUn，由单一指令部件控制，按照同一指令流的要求为它们分配各自所需的不同的数据。 3•多指令流单数据流（，MISD） MISD的结构，它具有n个处理单元，按n条不同指令的要求对同一数据流及其中间结果进行不同的处理。一个处理单元的输出又作为另一个处理单元的输入。 4•多指令流多数据流（，MIMD） MIMD的结构，它是指能实现作业、任务、指令等各级全面并行的多机系统，多处理机就属于MIMD。（2）
冯式分类法
1972年冯泽云提出用最大并行度来对计算机体系结构进行分类。所谓最大并行度Pm是指计算机系统在单位时间内能够处理的最大的二进制位数。设每一个时钟周期△ti内能处理的二进制位数为Pi，则T个时钟周期内平均并行度为Pa=(∑Pi)／T(其中i为1，2，…，T)。平均并行度取决于系统的运行程度，与应用程序无关，所以，系统在周期T内的平均利用率为μ=Pa/Pm=(∑Pi)/(T*Pm)。用最大并行度对计算机体系结构进行的分类。用平面直角坐标系中的一点表示一个计算机系统，横坐标表示字宽(N位)，即在一个字中同时处理的二进制位数；纵坐标表示位片宽度(M位)，即在一个位片中能同时处理的字数，则最大并行度Pm=N*M。 由此得出四种不同的计算机结构： ①字串行、位串行(简称WSBS)。其中N＝1，M＝1。 ②字并行、位串行(简称WPBS)。其中N＝1，M>1。 ③字串行、位并行(简称WSBP)。其中N>1，M＝1。 ④字并行、位并行(简称WPBP)。其中N>1，M>1。
编辑本段技术革新
计算机体系结构以图灵机理论为基础，属于冯•诺依曼体系结构。本质上，图灵机理论和冯•诺依曼体系结构是一维串行的，而多核处理器则属于分布式离散的并行结构，需要解决二者的不匹配问题。 首先，串行的图灵机模型和物理上分布实现的多核处理器的匹配问题。图灵机模型意味着串行的编程模型。串行程序很难利用物理上分布实现的多个处理器核获得性能加速.与此同时,并行编程模型并没有获得很好的推广，仅仅局限在科学计算等有限的领域.研究者应该寻求合适的机制来实现串行的图灵机模型和物理上分布实现的多核处理器的匹配问题或缩小二者之间的差距，解决“并行程序编程困难，串行程序加速小”的问题。 计算机体系结构
在支持多线程并行应用方面，未来多核处理器应该从如下两个方向加以考虑。第一是引入新的能够更好的能够表示并行性的编程模型。由于新的编程模型支持编程者明确表示程序的并行性，因此可以极大的提升性能。比如Cell处理器提供不同的编程模型用于支持不同的应用。其难点在于如何有效推广该编程模型以及如何解决兼容性的问题。第二类方向是提供更好的硬件支持以减少并行编程的复杂性。并行程序往往需要利用锁机制实现对临界资源的同步、互斥操作，编程者必须慎重确定加锁的位置，因为保守的加锁策略限制了程序的性能，而精确的加锁策略大大增加了编程的复杂度。一些研究在此方面做了有效的探索。比如，SpeculativeLockElision机制允许在没有冲突的情况下忽略程序执行的锁操作，因而在降低编程复杂度的同时兼顾了并行程序执行的性能。这样的机制使得编程者集中精力考虑程序的正确性问题，而无须过多地考虑程序的执行性能。更激进的，(TCC)机制以多个访存操作（Transaction）为单位考虑数据一致性问题，进一步简化了并行编程的复杂度。 主流的商业多核处理器主要针对并行应用，如何利用多核加速串行程序仍然是一个值得关注的问题。其关键技术在于利用软件或硬件自动地从串新程序中派生出能够在多核处理器上并行执行的代码或线程。多核加速串行程序主要有三种方法，包括并行编译器、推测多线程以及基于线程的预取机制等。在传统并行编译中，编译器需要花费很大的精力来保证拟划分线程之间不存在数据依赖关系。编译时存在大量模糊依赖，尤其是在允许使用指针（如C程序）的情况下，编译器不得不采用保守策略来保证程序执行的正确性。这大大限制了串行程序可以挖掘的并发程度，也决定了并行编译器只能在狭窄范围使用。为解决这些问题，人们提出推测多线程以及基于线程的预取机制等。然而，从这种概念提出到现在为止，这个方向的研究大部分局限于学术界，仅有个别商业化处理器应用了这种技术，并且仅仅局限于特殊的应用领域。我们认为动态优化技术和推测多线程（包括基于线程的预取机制）的结合是未来的可能发展趋势。 冯•诺依曼体系结构的一维地址空间和多核处理器的多维访存层次的匹配问题。本质上，冯•诺依曼体系结构采用了一维地址空间。由于不均匀的数据访问延迟和同一数据在多个处理器核上的不同拷贝导致了数据一致性问题。该领域的研究分为两大类：一类研究主要是引入新的访存层次。新的访存层次可能采用一维分布式实现方式。典型的例子是增加分布式统一编址的寄存器网络。全局统一编址的特性避免了数据一致性地考虑。同时，相比于传统的大容量cache访问，寄存器又能提供更快的访问速度。TRIPS和RAW都有实现了类似得寄存器网络。令另外，新的访存层次也可以是私有的形式。比如每个处理器和都有自己私有的访存空间。其好处是更好的划分了数据存储空间，已洗局部私有数据没有必要考虑数据一致性问题。比如Cell处理器为每个SPE核设置了私有的数据缓冲区。另一类研究主要涉及研制新的cache一致性协议。其重要趋势是放松正确性和性能的关系。比如推测Cache协议在数据一致性未得到确认之前就推测执行相关指令，从而减少了长迟访存操作对流水线的影响。此外，TokenCoherence和TCC也采用了类似的思想。程序的多样性和单一的体系结构的匹配问题。未来的应用展现出多样性的特点。一方面，处理器的评估不仅仅局限于性能，也包括可靠性，安全性等其他指标。另一方面，即便考虑仅仅追求性能的提高，不同的应用程序也蕴含了不同层次的并行性。应用的多样性驱使未来的处理器具有可配置、灵活的体系结构。TRIPS在这方面作了富有成效的探索，比如其处理器核和片上存储系统均有可配置的能力，从而使得TRIPS能够同时挖掘指令级并行性、数据级并行性及指令级并行性。 多核和Cell等新型处理结构的出现不仅是处理器架构历史上具有里程碑式的事件，对传统以来的计算模式和计算机体系架构也是一种颠覆 2005年，一系列具有深远影响的计算机体系结构被曝光，有可能为未来十年的计算机体系结构奠定根本性的基础，至少为处理器乃至整个计算机体系结构做出了象征性指引。随着计算密度的提高，处理器和计算机性能的衡量标准和方式在发生变化，从应用的角度讲，讲究移动和偏向性能两者已经找到了最令人满意的结合点，并且有可能引爆手持设备的急剧膨胀。尽管现在手持设备也相对普及，在计算能力、可扩展性以及能耗上，完全起步到一台手持设备应该具备的作用；另一方面，讲究性能的服务器端和桌面端，开始考虑减少电力消耗赶上节约型社会的大潮流。 Cell本身适应这种变化，同样也是它自己创造了这种变化。因而从它开始就强调了不一样的设计风格，除了能够很好地进行多倍扩展外，处理器内部的SPU(SynergisticProcessorUnit协同处理单元)具有很好的扩展性，因而可以同时面对通用和专用的处理，实现处理资源的灵活重构。也就意味着，通过适当的软件控制，Cell能应付多种类型的处理任务，同时还能够精简设计的复杂。
⑶ 着名计算机科学家高光荣享年76岁逝世
着名计算机科学家高光荣享年76岁逝世
着名计算机科学家高光荣享年76岁逝世，着名计算机科学家、数据流体系结构领域的先驱人物、美国特拉华大学电子与计算机工程系终身教授高光荣逝世，享年76岁。他是中国在MIT的第一位计算机博士
着名计算机科学家高光荣享年76岁逝世1
刚刚，新智元获悉，杰出的华人科学家、美国特拉华大学电子与计算机工程系终身教授、数据流体系结构的先驱人物高光荣逝世，享年76岁。
高光荣，1945年生，1968年毕业于清华大学电机系，获学士学位。分别于 1982 年和 1986 年获得麻省理工学院计算机科学硕士、博士学位，是中国在MIT的第一位计算机博士。
高光荣生前任特拉华大学纽瓦克分校名誉教授，计算机体系结构与并行系统实验室 (CAPSL) 的创始主任、清华大学特聘客座教授和中国几所顶尖大学的客座教授。
他的研究领域包括：高性能计算和数据流模型、计算机体系结构和系统、编译器技术和运行时系统、数据流模型下的程序分析、映射和优化。
高光荣2007年当选为IEEE Fellow 和ACM Fellow。2017年获得“罗摩克里希纳·劳奖”，以表彰他在“指令级并行和数据级并行编译技术以及微架构研究领域的卓越贡献”。他是来自中国大陆第一位获得该奖项的科学家。
生前发表300多篇论文，在同行评审国际会议和研讨会中获得多项最佳论文奖。他发起成立了多项顶级国际会议和研讨会，并在大量着名的国际会议和研讨会上（如 HPCA、MICRO、PACT、PLDI、PPoPP、SC、CF、 ICS、IPDPS、MICRO、EuroPar、CASES等）担任会员，并担任多个国际期刊的编委。
高光荣培养了博士生30余人，指导博士后20余人。他们中的许多人有的进入世界各地的大学任教，有的成为创业公司的创始人。其中美团创始人王兴，就是高光荣的学生之一。王兴2005年获美国特拉华大学计算机工程硕士学位。读高光荣的博士，没读完就回国创业。
各方悼念 华中科技大学发来唁电
不幸的消息传来，业内不少专家学者第一时间纷纷通过社交媒体悼念高光荣教授。
华为操作系统首席科学家、中央软件院副总裁、OS内核实验室主任陈海波表示：
早上起床就看到这个悲痛的消息。高先生是新中国成立后MIT的第一位来自中国的计算机博士，一直致力于计算机体系结构和编译器的研究，培养了大批计算机人才。
高先生也长期致力于我国体系结构与编译器技术的提升，多次和我说要一起多为我国体系结构与编译器领域多做贡献，2018年还专程回国组织了专题论坛，并主持了“人工智能和大数据应用对计算机系统的挑战”。听说高先生昨天还是操劳ICPP 50周年的事情。
沉痛悼念高老师！高老师千古！
CCF杰出会员、中国科学院计算技术研究所研究员韩银河表示：
沉痛悼念高光荣老师。高老师是数据流体系结构的先驱，影响了计算机体系结构、编译器等多个领域。高老师非常关注国内的计算机体系结构方向的发展，组织过很多课程和讨论会，为中国的很多年轻体系结构学者指明了奋斗的方向。
高老师千古。
原华中科技大学计算机学院金海教授表示：
沉痛悼念世界级的计算机科学家、华中科技大学杰出校友、CCF海外杰出贡献奖获得者高光荣老师！高老师是MIT计算机专业毕业的我国第一位博士，是我在数据流研究领域的引路人，我目前承担的国家自然科学基金委数据流重点基金就是在高老师的指导下获得的，我们目前的图计算机研发思路也是遵循高老师的数据流思想进行设计的。先生风范，高山仰止！高老师，我们永远怀念您！
加州大学圣芭芭拉分校教授，IEEE Fellow谢源教授表示：
华中科技大学也发来唁电，深切缅怀这位杰出校友。
中国计算机学会（CCF）网站称，高光荣教授作为杰出的华人学者，始终心系中国计算机领域的发展，以其优异的学术造诣、广泛的'国际影响力在人才培养，重大科研攻关中发挥着至关重要的作用，为我国计算机的发展，特别是在系统结构，高性能计算等领域争抢、保持国际先进水平做出了杰出贡献。
认为数据流与AI存在“天然联系”，未来将迎来“中国主导”
高光荣认为，数据流与AI之前存在“天然联系”。
此前，在2017年接受媒体采访时，他曾表示，在计算机体系结构的设计中，诞生过很多种想法，但数据流是“活得最长、最有生命力的”。而由于数据流与AI之间的“天然联系”，他也更看好数据流的前景。
历史上人工智能的低潮，与数据流的低潮几乎是一致的。而人工智能计算往往是“不规则的”或“非既定的”，这也与数据流善于并行处理不规则的事情的特点非常相像。
高光荣认为，就像人脑一样，计算机数据流的思想强调‘并行’和‘不规则计算’，从这个角度上来讲，数据流思想或将对未来AI发展带来长足的支持。”
眼下AI如火如荼、热火朝天，数据流也有望再次“回春”。在国力强大的大环境下，中国多年来在人才吸引和培养方面的努力也到了兑现的时刻。
“年轻人都起来了，开放的窗口也开得越来越好，越来越多的高水平人员来中国交流，有的干脆回来工作——数据流正迎来‘中国主导’的机会。”
悼念高光荣先生！
着名计算机科学家高光荣享年76岁逝世2
近日，美国特拉华大学电子与计算机工程系终身教授、数据流体系结构的先驱人物高光荣逝世，享年76岁。
近日，杰出的华人科学家、美国特拉华大学电子与计算机工程系终身教授、数据流体系结构的先驱人物高光荣逝世，享年76岁。
高光荣，1968年毕业于清华大学无线电系，1980年在华中科大读研期间出国学习，并于1982年获美国麻省理工学院硕士学位。1986 年于美国麻省理工学院获博士学位，是新中国成立后第一位获得麻省理工学院计算机博士的学者。
1987 年，高光荣开始任教于加拿大麦吉尔大学，任终身教授，现任美国特拉华大学电子与计算机工程系终身教授，特拉华大学计算机系统结构和并行系统实验室的创始人和领导者，并兼任清华大学客座教授、中科院客座研究员兼联合实验室主任、上海交通大学致远学院海外特聘教授、华中科技大学特聘教授及北京理工大学特聘教授。2007 年，高光荣获得美国计算机协会和美国电子电气工程师协会资深会员荣誉，也是第一位获得双资深会员的大陆学者
高教授的研究集中在数据流模型、并行计算、计算机系统架构、程序分析与优化技术等方面，包括：（1）针对计算，分析，延展的数据流模型；（2）基于数据流的多线程编程/执行模型；（3）计算机系统架构；（4）基于数据流的编译优化模型；（5）软件流水线；（6）程序分析技术。
高光荣教授获得2017年度罗摩克里希纳·劳奖
高光荣2007年当选为IEEE Fellow 和ACM Fellow。2017年获得“罗摩克里希纳·劳奖”（B. Ramakrishna Rau Award），成为全球第7位该奖项得主，也是第一位获得该奖项的来自大陆的华人科学家以表彰他在“指令级并行和数据级并行编译技术以及微架构研究领域的卓越贡献”。
高光荣教授获中国计算机学会（CCF）“2013年度海外杰出贡献奖”。据悉，“CCF海外杰出贡献奖”授予为中国计算机事业作出突出贡献的海外个人，此奖项由国内学者联合提名，每年选出1位获得者，竞争激烈。自此奖项创建以来，共有8位海外人士获此荣誉。
⑷ HLS(涓)Vivado楂桦眰娆＄患钖堟傝堪
鎺㈢储娣卞害锛歏ivado HLS镄勯珮搴︾患钖堟妧链璇﹁В
FPGA锛岃繖涓楂桦害鍙缂栫▼镄勯泦鎴愮数璺锛屽洜鍏剁栌涓囩骇阃昏緫鍗曞厓镄勭伒娲绘у拰锷ㄦ佺畻娉曞疄鐜拌兘锷涜屽囧弹鐬╃洰銆傜敱锘虹鍗曞厓濡侺UT锛堥昏緫鍗曞厓锛屽疄鐜颁换浣曢昏緫鍑芥暟镄勫熀鐭筹级銆丗lip-Flop锛埚瓨鍌ㄥ崟鍏冿纴鐢ㄤ簬阃昏緫娴佹按绾垮拰鏁版嵁瀛桦偍锛夈乄ires鍜孖/O pads鏋勫缓锛孎PGA镄勬灦鏋勫湪璁＄畻钖炲悙閲忓拰璧勬簮闄愬埗涓灞旷幇浜嗗叾镫鐗规с侺UT鏄阃昏緫鏋勫缓镄勬牳蹇冿纴阃氲繃瀛桦偍鐪熷艰〃𨱒ユ墽琛屽嶆潅镄勯昏緫镎崭綔锛汧lip-Flops鍒欐槸鏁版嵁娴佷腑镄勯吨瑕佹ˉ姊侊纴灏ゅ叾鍦╔ilinx FPGA涓锛屽畠浠鏀鎸佸唴缃镄凞SP妯″潡锛屾兜鐩栦简锷犲噺涔樼瓑杩愮畻锛屼负楂樻晥绠楁硶瀹炵幇鎻愪緵浜嗗彲鑳姐
鏁版嵁閲岖敤锛屽傛护娉㈠櫒锛岄氲繃涔樻硶鍣ㄥ苟琛屽勭悊杈揿叆鏁版嵁锛屽𪾢鐜颁简FPGA鏋舵瀯镄勫苟琛屼紭锷裤傜浉姣斾箣涓嬶纴澶勭悊鍣ㄤ緷璧栨寚浠ゅ簭鍒楁墽琛岋纴姣忎釜鎸囦护鍙鑳藉甫𨱒ュ欢杩燂纴钥孎PGA鍒╃敤LUT瀹炵幇骞惰岃＄畻锛岃祫婧愪笉鍏变韩锛屽唴瀛樼粨鏋勪紭鍖栵纴鎻愪緵瓒呴珮镄勫甫瀹姐俈ivado HLS缂栬疟鍣ㄧ殑榄斿姏鍦ㄤ簬鍏惰兘镊锷ㄨ皟搴﹀拰娴佹按绾夸紭鍖栵纴濡傝捐′竴涓3锻ㄦ湡娴佹按绾挎潵璁＄畻y锛屾樉镢楀噺灏戝欢杩熴
澶勭悊鍣ㄥ拰FPGA镄勫樊寮傛樉镢楋细澶勭悊鍣ㄦ墽琛屾寚浠ゅ簭鍒楋纴链夊欢杩熶笖渚濊禆鏁版嵁浣岖疆锛汧PGA鍒欓氲繃LUT杩涜屽苟琛屽勭悊锛屽唴瀛樼粨鏋勭粡杩囩簿蹇冭捐★纴𨰾ユ湁镟撮珮镄勬晥鐜囥傞氲繃HLS锛屾垜浠鍙浠ュ噺灏戝嚱鏁拌＄畻寤惰繜锛屾瘆濡傚湪pipelining涓锛屽埯濮媦镄勮＄畻鍙闇3锻ㄦ湡锛屽悗缁锻ㄦ湡鍙浠ュ苟琛屼骇鐢熸柊缁撴灉銆
Vivado HLS镄勬櫤鑳藉湪浜庡畠鑳借瘑鍒鏁版嵁娴佺洰镙囦腑镄勫苟琛屾э纴鏀鎸佹秷璐硅-鐢熶骇钥呮ā鍨嬶纴涓绉嶉氲繃鍐呭瓨搴揿垏鎹㈤檺鍒跺苟琛岋纴鍙︿竴绉嶅垯鍒╃敤FIFO鍐呭瓨镓╁𪾢骞惰屽害銆傚湪纭浠惰捐′笂锛孎PGA镄勭伒娲绘т娇鍏惰兘阃傚簲钖勭嶈嚜瀹氢箟鐢佃矾锛岃屽勭悊鍣ㄥ垯鍙楅檺浜庡浐瀹氭灦鏋勚傞夋嫨镞堕挓棰戠巼鏄骞冲彴鍐崇瓥镄勪竴閮ㄥ垎锛屼絾FPGA涓庡勭悊鍣ㄧ殑镐ц兘宸璺濊繙涓嶆浜庢ゃ
镐ц兘鎻愬崌镄勫叧阌鍦ㄤ簬HLS镄勮嚜瀹氢箟鍐呭瓨浣撶郴缁撴瀯锛屽畠鍏佽稿姩镐佸唴瀛桦垎閰嶏纴浼桦寲钖炲悙閲忋佸姛钥楀拰寤惰繜锛屼笉鍙楃‖浠堕檺鍒躲侣LS涓庡勭悊鍣ㄧ紪璇戝櫒镄勫樊寮傚湪浜庯纴瀹冭兘涓虹壒瀹氱畻娉曟彁渚涙渶浣冲钩鍙颁紭鍖栵纴阃氲繃璧勬簮璋冨害鍑忓皯涓存椂鏁版嵁瀛桦偍銆侳PGA镄勭伒娲绘т綋鐜板湪瀵规浔浠惰鍙ュ拰寰鐜杩浠ｇ殑澶勭悊锛岃繖浜涘湪澶勭悊鍣ㄤ笂鍙鑳介犳垚棰濆栧紑阌锛屼絾鍦‵PGA涓婂垯鑳芥湁鏁埚苟琛岋纴鎻愬崌镐ц兘銆
鍦℉LS镄勯珮绾у簲鐢ㄤ腑锛40锻ㄦ湡鍐咃纴娴佹按绾胯凯浠ｉ厤缃镞犳瀬闄愶纴鐢ㄦ埛鍙浠ラ氲繃璁剧疆II锛堟寚浠ら棿闅旓级鎺у埗娴佹按绾挎繁搴︺侣LS浼氩垎鏋愭暟鎹渚濊禆浠ヤ紭鍖栫畻娉曟墽琛岋纴灏嗗嚱鏁板勭悊杞鍖栦负鏁版嵁娴佸舰寮忋傝槠铹跺姩镐佸唴瀛樼敌璇峰湪缂栬疟镞剁‘瀹氾纴C++镄勫姩镐佸唴瀛樿锋眰鍦‵PGA涓婇渶鐗瑰埆澶勭悊銆傛带鍒朵腑蹇幂殑绠楁硶阃氲繃HLS𨱔垫椿璋冩暣锛屽备换锷″ぇ灏忕敤鎴峰彲镊瀹氢箟锛屽奖鍝岖‖浠堕厤缃棰戠巼銆
镐荤殑𨱒ヨ达纴HLS浼桦寲浜嗘暟鎹阃熺巼锛屽挨鍏堕傜敤浜巉or銆亀hile鍜宒o-while寰鐜锛岃屾带鍒朵腑蹇幂畻娉曞垯镙规嵁绯荤粺闇姹傚姩镐佽皟鏁淬备粠鎺у埗绯荤粺鍒嗙被鐪嬶纴HLS鍦ㄥ揩阃熷搷搴斿満鏅涓灏や负绐佸嚭锛屽彲浣滀负澶勭悊鍣ㄥ姞阃熷櫒銆傚湪楠岃瘉阒舵碉纴纭淇滺LS test bench镄勫嗳纭镐ц呖鍏抽吨瑕侊纴钖屾椂瑕嗙洊鐜囱揪鍒90%浠ヤ笂锛岄伩鍏嶅唴瀛橀敊璇鍜屾湭鍒濆嫔寲鍙橀噺銆侣LS鍗忓悓浠跨湡鍒欐槸楠岃瘉骞惰屽寲锷熻兘姝ｇ‘镐х殑寮哄ぇ宸ュ叿锛屽敖绠￠熷害杈冩参锛屼絾鑳芥彁渚涘疂璐电殑鐢ㄦ埛鎸囧笺
阃氲繃Vivado HLS锛屾垜浠寰椾互鏋勫缓楂樻晥銆佺伒娲荤殑FPGA璁捐★纴鍒╃敤鍏剁壒链夌殑浼桦娍鎻愬崌镐ц兘锛屽悓镞跺厖鍒呜冭槛鍐呭瓨缁戝畾鍜屾暟鎹甯冨眬銆傚湪闆嗘垚澶氢釜绋嫔簭镞讹纴濡俍ynq-7000SoC镄勫勭悊鍣ㄤ笌FPGA锛孒LS镄勫岗浣滃繀涓嶅彲灏戙傛棤璁烘槸镫绔嬬郴缁熼獙璇佽缮鏄锘轰簬澶勭悊鍣ㄧ殑绯荤粺锛孒LS閮芥壆婕旂潃鍏抽敭瑙掕壊锛屾彁渚涗简涓绉嶅叏鏂扮殑璁捐′笌楠岃瘉鏂规硶銆
⑸ 大数据分析,大数据开发,数据挖掘 所用到技术和工具
大数据分析是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据分析产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。
大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。
一、Hadoop
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，即使计算元素和存储会失败，它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，它采用并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：
1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
3、高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
4、高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。
二、HPCC
HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了"重大挑战项目：高性能计算与通信"的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
十、Tableau Public
1、什么是Tableau Public -大数据分析工具
这是一个简单直观的工具。因为它通过数据可视化提供了有趣的见解。Tableau Public的百万行限制。因为它比数据分析市场中的大多数其他玩家更容易使用票价。使用Tableau的视觉效果，您可以调查一个假设。此外，浏览数据，并交叉核对您的见解。
2、Tableau Public的使用
您可以免费将交互式数据可视化发布到Web;无需编程技能;发布到Tableau Public的可视化可以嵌入到博客中。此外，还可以通过电子邮件或社交媒体分享网页。共享的内容可以进行有效硫的下载。这使其成为最佳的大数据分析工具。
3、Tableau Public的限制
所有数据都是公开的，并且限制访问的范围很小;数据大小限制;无法连接到[R ;读取的唯一方法是通过OData源，是Excel或txt。
十一、OpenRefine
1、什么是OpenRefine - 数据分析工具
以前称为GoogleRefine的数据清理软件。因为它可以帮助您清理数据以进行分析。它对一行数据进行操作。此外，将列放在列下，与关系数据库表非常相似。
2、OpenRefine的使用
清理凌乱的数据;数据转换;从网站解析数据;通过从Web服务获取数据将数据添加到数据集。例如，OpenRefine可用于将地址地理编码到地理坐标。
3、OpenRefine的局限性
Open Refine不适用于大型数据集;精炼对大数据不起作用
十二、KNIME
1、什么是KNIME - 数据分析工具
KNIME通过可视化编程帮助您操作，分析和建模数据。它用于集成各种组件，用于数据挖掘和机器学习。
2、KNIME的用途
不要写代码块。相反，您必须在活动之间删除和拖动连接点;该数据分析工具支持编程语言;事实上，分析工具，例如可扩展运行化学数据，文本挖掘，蟒蛇，和[R 。
3、KNIME的限制
数据可视化不佳
十三、Google Fusion Tables
1、什么是Google Fusion Tables
对于数据工具，我们有更酷，更大版本的Google Spreadsheets。一个令人难以置信的数据分析，映射和大型数据集可视化工具。此外，Google Fusion Tables可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一，大数据分析十八般工具。
2、使用Google Fusion Tables
在线可视化更大的表格数据;跨越数十万行进行过滤和总结;将表与Web上的其他数据组合在一起；您可以合并两个或三个表以生成包含数据集的单个可视化;
3、Google Fusion Tables的限制
表中只有前100,000行数据包含在查询结果中或已映射;在一次API调用中发送的数据总大小不能超过1MB。
十四、NodeXL
1、什么是NodeXL
它是关系和网络的可视化和分析软件。NodeXL提供精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于数据分析的最佳统计工具之一。其中包括高级网络指标。此外，访问社交媒体网络数据导入程序和自动化。
2、NodeXL的用途
这是Excel中的一种数据分析工具，可帮助实现以下方面：
数据导入;图形可视化;图形分析;数据表示;该软件集成到Microsoft Excel 2007,2010,2013和2016中。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵，Pajek .net，UCINet .dl，GraphML和边缘列表。
3、NodeXL的局限性
您需要为特定问题使用多个种子术语;在稍微不同的时间运行数据提取。
十五、Wolfram Alpha
1、什么是Wolfram Alpha
它是Stephen Wolfram创建的计算知识引擎或应答引擎。
2、Wolfram Alpha的使用
是Apple的Siri的附加组件;提供技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述，商品信息和高级定价历史记录。
3、Wolfram Alpha的局限性
Wolfram Alpha只能处理公开数字和事实，而不能处理观点;它限制了每个查询的计算时间;这些数据分析统计工具有何疑问?
十六、Google搜索运营商
1、什么是Google搜索运营商
它是一种强大的资源，可帮助您过滤Google结果。这立即得到最相关和有用的信息。
2、Google搜索运算符的使用
更快速地过滤Google搜索结果;Google强大的数据分析工具可以帮助发现新信息。
十七、Excel解算器
1、什么是Excel解算器
Solver加载项是Microsoft Office Excel加载项程序。此外，它在您安装Microsoft Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。
2、求解器的使用
Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法，来自非线性优化。还有线性规划到进化算法和遗传算法，以找到解决方案。
3、求解器的局限性
不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;
十八、Dataiku DSS
1、什么是Dataiku DSS
这是一个协作数据科学软件平台。此外，它还有助于团队构建，原型和探索。虽然，它可以更有效地提供自己的数据产品。
2、Dataiku DSS的使用
Dataiku DSS - 数据分析工具提供交互式可视化界面。因此，他们可以构建，单击，指向或使用SQL等语言。
3、Dataiku DSS的局限性
有限的可视化功能;UI障碍：重新加载代码/数据集;无法轻松地将整个代码编译到单个文档/笔记本中;仍然需要与SPARK集成
以上的工具只是大数据分析所用的部分工具，小编就不一一列举了，下面把部分工具的用途进行分类：
1、前端展现
用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。
用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。
国内的有BDP，国云数据(大数据分析魔镜)，思迈特，FineBI等等。
2、数据仓库
有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。
3、数据集市
有QlikView、 Tableau 、Style Intelligence等等。
当然学大数据分析也有很多坑：
《转行大数据分析师后悔了》、《零基础学大数据分析现实吗》、《大数据分析培训好就业吗》、《转行大数据分析必知技能》