hue编译器

‘壹’ 大数据培训到底是培训什么

一、基础部分：JAVA语言 和 LINUX系统

二、数据开发:

1、数据分析与挖掘

一般工作包括数据清洗，执行分析和数据可视化。学习Python、数据库、网络爬虫、数据分析与处理等。

大数据培训一般是指大数据开发培训。

大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。

2、大数据开发

数据工程师建设和优化系统。学习hadoop、spark、storm、超大集群调优、机器学习、Docker容器引擎、ElasticSearch、并发编程等；

课程学习一共分为六个阶段：

7

‘贰’ 如何使用helpandmanual

使用Help & Manual制作帮助文件的操作方法。

启动程序，会出现一个“Welcome to Help &Manual”对话框，要求用户选择本次操作方案，我们选择“Create an empty new project”创建一个新项目（如果你要继续进行未完的工作，可选择“Open an existing Help & Manual project”项），单击“OK”按钮确定，并在关联界面中设置创建的帮助项目文件保存路径，确定后进入程序主界面。

我们先创建帮助文件的整体结构，至于帮助项目的文本，稍后再作介绍。在程序界面中的左上窗口“Content tree”中单击鼠标右键，并在关联的菜单中选择“Add after”命令，程序给出“Insert first”对话框，要求用户设置帮助文件标题。它共提供了三个可供选择的复选框，其中“Chapter without text”表示只创建章节标题但不包括标题文本，“Chapter with text”表示创建含有文本的章节标题，“Topic”表示创建一个文本主题。

现在你可根据自己需要创建的内容进行设置，如果首先要显示“使用权利和义务”条款，可选择“Chapter with text”或“Topic”，如果直接开始软件使用介绍，则可选择“Chapter without text”，然后创建子标题。选择好后，在该对话框中的“Item caption”文本框中设置题目的具体内容。设置完成之后，单击“OK”按钮退出，此时你可看到新建的标题已经显示在“Content tree”窗口中。

按照以上的方法创建好所有章节标题，如“Chapter without text”或“Chapter with text”。如果在创建过程中需要调整已创建标题的前后顺序，可直接使用鼠标拖曳须要调整的标题图标到合适的位置。现在我们就可以创建属于每个章节标题的子标题了。具体方法是使用鼠标右键单击“Content tree”窗口中你创建的标题，并从程序关联的菜单中选择“Add child”命令，程序给出关联的“Insert after”对话框，这个对话框界面与“Insert first”是完全一样的，只不过程序已经默认设置使用“Topic”设置了。但是如果你需要多级子标题，可继续选择“Chapter with text”，创建子章节标题及其下的子子标题，由于方法完全相同，在此不作介绍。在“Insert after”对话框中的“Item caption”文本框中设置题目的具体内容，完成之后单击OK按钮确定，此时你可看到子标题内容已经添加到界面中的“Content tree”窗口中。

现在各级标题都已经做好，以下就该写标题内容了。首先在“Content text”标题结构列表框中选择需要编辑内容的标题，然后选择程序界面主窗口中的“Help text”标签项，现在你将看到一个完全自由的编辑窗口，你可以像使用Word一样简便地创建相关主题的内容。当然作为一种特殊功能的软件，该工具提供了非常多的帮助文件阅读的编辑功能，在此笔者给出一些常见的编辑操作方法。

§ 如果需要在帮助内容中加入插图，可使用Windows提供的粘贴与复制功能。即首先用“Print-Screen”或“Alt + PrintScreen”键截取活动屏幕窗口，然后按“Ctrl + V”键插入到文本中。如果要插入一张已有的图片，可单击程序界面按钮条中的“Insert a image”按钮，并在关联界面中选择需要添加的内容。对于插入的图形，程序提供缩放显示功能。此外，你也可以在文本中插入AVI视频文件或Windows可支持的OLE控件、特殊字符、横分割线、宏等等。操作方法是首先单击程序界面菜单条中的Insert命令，然后在关联下拉菜单中选择需要插入的项目。

§ 如果你须要在一个标题文本中插入标题跳转信息或可以切换到另一个帮助文本的快捷方式，可单击程序菜单条中的“Insert” |“ Link”命令（快捷键是“Ctrl +L”），程序会给出关联的“Insert new help link”对话框（图7），你可在其中的“Caption”文本框中设置链接文本的突出显示内容，并在“Topic ID”列表框中选择可以切换到的跳转帮助主题ID号，之后单击“OK”按钮确定即可。程序会自动将“Caption”文本框中的内容以“绿色加下划线”方式显示在编辑文本中，如果你使用鼠标双击它，就可实现帮助主题跳转。

§ 如果你创建的是英文文本，可使用程序提供的英文拼写检查功能看看单词拼写是否正确。操作方法是单击程序界面菜单条中的“Misc”|“Spell check”命令，并从关联菜单中选择“Current topic”（检查当前主题文本）或“All topics”（检查全部主题文本）命令。

§ 如果你须要制作软件使用手册，而不是在线帮助文件，可直接按下程序界面按钮条中的“Preview”按钮，并在关联的对话框中单击OK按钮确定。使用这项功能的好处是可以直接提供打印预览结果，也方便你组织文档排版。

§ 由于是英文软件，程序默认的各种字体都是英文的，这样在编辑中文标题时可能会出现乱码，此时你可直接用鼠标选中乱码部分（可以是灰色标题内容），然后在程序界面中的字体下拉文本框中选择中文字库即可恢复显示。

当全部文本编辑工作结束后，就可输出结果文件。操作方法是：使用鼠标单击程序界面按钮条中的“Make”按钮，并在关联界面中选择需要生成的帮助文件类型，其中包括基于Win 95的帮助文件，基于Win 3.x的帮助文件，RTF格式的软件说明手册，HTML超文本格式帮助文件等。现在你可根据自己的要求选择需要的格式，对于HTML格式文件，你还可以在“Edit HTML options”项中设置页面框架方式。最后单击“Make”对话框中的“OK”按钮确定，程序会自动为你完成帮助文件的编译的。

Help & Manual于1999年1月更新，提供14天全功能试用版本，hman2x.zip，下载文件大小为2.14MB。
最后提醒您一点：Help & Manual本身并不提供制作Hlp文件功能，制作Hlp文件须使用微软提供的Hlp文件编译器，这个文件可从微软的官方站点得到，HC505.EXE，
此外你还可以使用微软提供的HTML编译器创建微软方式的Windows帮助文件，这也需要相应的编译器，htmlhelp.EXE。

‘叁’ Hadoop到底是什么玩意

Hadoop到底是个啥？
答：Hadoop是基于廉价设备利用集群的威力对海量数据进行安全存储和高效计算的分布式存储和分析框架，Hadoop本身是一个庞大的项目家族，其核心 家族或者底层是HDFS和MapRece，HDFS和MapRece分别用来实现对海量数据的存储和分析，其它的项目，例如Hive、HBase 等都是基于HDFS和MapRece，是为了解决特定类型的大数据处理问题而提出的子项目，使用Hive、HBase等子项目可以在更高的抽象的基础上更简单的编写分布式大数据处理程序。Hadoop的其它子项目还包括Common, Avro, Pig, ZooKeeper, Sqoop, Oozie 等，随着时间的推移一些新的子项目会被加入进来，一些关注度不高的项目会被移除Hadoop家族，所以Hadoop是一个充满活力的系统。
Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapRece分布式计算的软件架构。
Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类sql语句快速实现简单的MapRece统计，不必开发专门的MapRece应用，十分适合数据仓库的统计分析。
ApachePig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapRece运算。
ApacheHBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务 ApacheMahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapRece实现了部分数据挖掘算法，解决了并行挖掘的问题。
ApacheCassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与AmazonDynamo的完全分布式的架构于一身 Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制 ApacheAmbari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
ApacheChukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供Hadoop 进行各种 MapRece 操作。
ApacheHama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
ApacheFlume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
ApacheGiraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和Google 的 Pregel。
ApacheOozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapRece）的任务。
ApacheCrunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapRece程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库 ApacheWhirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
ApacheBigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
ApacheHCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
ClouderaHue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapRece/YARN, HBase, Hive, Pig的web化操作和管理。

‘肆’ 程序中的Hive具体是干什么用的呢

Hive是基于Hadoop平台的数仓工具，具有海量数据存储、水平可扩展、离线批量处理的优点，解决了传统关系型数仓不能支持海量数据存储、水平可扩展性差等问题，但是由于Hive数据存储和数据处理是依赖于HDFS和MapRece，因此在Hive进行数据离线批量处理时，需将查询语言先转换成MR任务，由MR批量处理返回结果，所以Hive没法满足数据实时查询分析的需求。
Hive是由FaceBook研发并开源，当时FaceBook使用Oracle作为数仓，由于数据量越来越大，Oracle数仓性能越来越差，没法实现海量数据的离线批量分析，因此基于Hadoop研发Hive，并开源给Apacha。
由于Hive不能实现数据实时查询交互，Hbase可提供实时在线查询能力，因此Hive和Hbase形成了良性互补。Hbase因为其海量数据存储、水平扩展、批量数据处理等优点，也得到了广泛应用。
Pig与HIVE工具类似，都可以用类sql语言对数据进行处理。但是他们应用场景有区别，Pig用于数据仓库数据的ETL，HIVE用于数仓数据分析。
从架构图当中，可看出Hive并没有完成数据的存储和处理，它是由HDFS完成数据存储，MR完成数据处理，其只是提供了用户查询语言的能力。Hive支持类sql语言，这种SQL称为Hivesql。用户可用Hivesql语言查询，其驱动可将Hivesql语言转换成MR任务，完成数据处理。
【Hive的访问接口】
CLI：是hive提供的命令行工具
HWI：是Hive的web访问接口
JDBC/ODBC：是两种的标准的应用程序编程访问接口
Thrift Server：提供异构语言，进行远程RPC调用Hive的能力。
因此Hiv具备丰富的访问接口能力，几乎能满足各种开发应用场景需求。
【Driver】
是HIVE比较核心的驱动模块，包含编译器、优化器、执行器，职责为把用户输入的Hivesql转换成MR数据处理任务
【Metastore】
是HIVE的元数据存储模块，数据的访问和查找，必须要先访问元数据。Hive中的元数据一般使用单独的关系型数据库存储，常用的是Mysql，为了确保高可用，Mysql元数据库还需主备部署。
架构图上面Karmasphere、Hue、Qubole也是访问HIVE的工具，其中Qubole可远程访问HIVE，相当于HIVE作为一种公有云服务，用户可通过互联网访问Hive服务。
Hive在使用过程中出现了一些不稳定问题，由此发展出了Hive HA机制，