阿里慢sql
‘壹’ 阿里的UMP云数据库和RDS云数据库的关系是什么
RDS是阿里云提供的即开即用的关系型数据库服务，兼容了Mysql和SQL Server两种数据库引擎。在传统数据库的基础上，阿里云RDS提供了强大丰富的功能从而保证了高可用性、高安全性以及高性能。此外，RDS还提供了诸多便利功能提升了RDS的易用性。
★高可用：
采用主从热备的架构。主机down机或者出现故障后，备机秒级完成无缝切换,服务可用性承诺：99.95%
提供自动多重备份的机制。用户可以自行选择备份周期，也可以根据自身业务特点随时进行临时备份,数据可靠性承诺：99.9999%
数据回溯到任意时间点。用户可以选择7天内的任意时间点创建一个临时实例，临时实例生成后验证数据无误，即可将数据迁移到RDS实例，从而完成数据回溯操作。
★高安全
提供白名单访问策略。可自行设置允许访问的IP及IP段，有效防止黑客扫描端口进行服务器攻击。
提供阈值报警的功能。支持实例锁定报警、连接数报警、IOPS报警、磁盘空间使用报警、CPU报警等。
提供SQL注入告警。将对发往RDS的疑似SQL注入的语句进行记录并展示，供用户进行程序调整，杜绝SQL注入的发生。
SQL审计。记录所有发往RDS的SQL语句，系统将记录SQL语句相关的连接IP、访问数据库的名称、执行语句的账号、执行时间、返回记录数等信息。供用户对RDS安全性进行排查。
控制台操作日志。记录所有在控制台上进行的修改类操作，便于管理员查看并管理RDS。
★高性能
RDS使用高端服务器来保障每个数据库都拥有良好的性能。
针对MySQL类型的RDS，数据库版本融合了阿里巴巴官方数据库补丁，有效的提升了RDS的性能。
性能监控。提供多种监控图方便用户跟踪RDS的性能状况。如IOPS、连接数、磁盘使用空间、CPU利用率、QPS\TPS、网络流量以及多种数据库的内部监控指标图
慢SQL汇总分析。将数据库中的慢SQL进行相似语句去重，按照指定方式排序后进行展示，为用户排查慢SQL优化数据库性能提供帮助。
优化建议。提供多种优化建议方便用户优化数据库性能,如：存储引擎检查、大表检查、无主键检查、索引过多表检查、缺失索引检查等
★易用性：
提供向导式迁移服务，使用户能够通过WEB端管理控制台轻松将自建数据库迁移至RDS。
快捷查看数据库系统日志，用户能够RDS管理控制台查看数据库级别的系统日志。
便捷操作数据库实例。提供完善的WEB端管理控制台，帮助用户操作数据库实例，如重启实例、删除BINLOG、备份等等。
轻松升级，按量付费。RDS提供实例配置和数据库版本的在线升级服务，随开随用，按量付费，资源业务轻松拓展。
‘贰’ 阿里云慢sql告警，单个sql执行时间很短，会不会出现多个sql累计排队导致cpu飙升
如果是使用频次比较高的sql，很容易出现连接暴涨，cpu飙升或者网络带宽占用太高等问题。
‘叁’ 技术面试会问很多技术问题吗
笔者其实没有想到去面试，只是在智联上更新了一下简历，就陆陆续续接到很多猎头的邮件和电话，实在是没准备好要去面试，就推掉了几家公司的面试了。正因为笔者也很久没有面试了，笔者也想去面试学习一下，闲话少说，下面就分享给大家笔者在2018年1月4号上午10点30分的面试经历：
首先，猎头或者公司人资会把公司的介绍及岗位要求发到你邮箱（或者QQ、微信），下面这份是猎头发给我的岗位说明，为了职业道德操守，公司的介绍和面试通知信息我就不贴出来了，我就把岗位要求贴出来：
职位描述：
1、 负责应用服务器的安装、配置、优化与维护；
2、 负责应用系统的日志信息备份、管理、维护与分析；
3、 负责应用系统的日常监测于维护、故障处理、性能分析与优化；
4、 负责应用部署系统、环境配置系统、监控系统的开发、部署、升级与维护，建设高性能的运维平台。
岗位要求:
1、 熟悉linux操作系统的基础知识，熟练使用Linux常用操作命令；
2、 熟练配置Nginx、HAproxy 等应用相关软件的部署、配置与优化维护；
3、 熟悉网络基础知识、熟悉TCP/IP的工作原理，会配交换机或路由器，能熟练的对网络情况进行分析
4、 熟悉shell/perl/python中的一种或多种进行运维程序的开发；
5、 熟悉Nagios,Ganglia等监控软件
看着上面的要求大家是不是觉得要求也不高啊，你要细看就会发现，这家公司要求的还挺多，不仅要会网络知识（熟悉TCP/IP好像是每家单位的都会写这样的要求），还要会开发技能。相信很多做运维的兄弟在网络这一块是个头疼的事情，都对交换机和路由器不怎么会配置和管理。
然后，笔者详细了解他们公司，了解岗位要求，在突击复习一下可能会问到的知识点和技术点。到了面试的这天时间，早早的起床，把牙一定要刷干净，特别是有口臭的兄弟，最好准备点口香糖，到达面试公司前嚼块口香糖，以免因为口气的原因熏到面试官，让你在面试官心里减分。早点要记得吃，如果你是下午面试的话也要吃午饭，吃早点了精气神就有了。还要注意，带上你的简历和一支笔，虽然他们那边也会有你的简历，为了以防万一还是准备好简历。
最后，关键点来了，就是和面试官沟通了，有笔试的公司会让你做些面试题，没有笔试就直接和面试官聊了，下面是我和面试官沟通完之后记住的一些问题，分享给大家看一下，笔者一共记住了7个问题，好像还有两个问题实在想不起来了，如果大家有更恰当的回答一定要贴出来一起探讨和进步：
1、介绍下自己？（几乎每家公司首先都会让你做个自我介绍，好像是必修课一样）
笔者回答：此处省略笔者的自我介绍，笔者建议介绍自己的时间不宜过长，3-4分钟为宜，说多了面试官会觉得你太啰嗦了。说太少了也不行，那样会让人感觉你的经历太简单了、太空了。正常情况下，一般你在做自我介绍的同时，面试官这个时候在看你的简历，他需要一边看简历、一边听你介绍自己，如果你说个几句话就把自己介绍完了，他肯定还没缓过神来，对你的映像会减分的。在介绍的同时思维要清晰，逻辑要清楚，最好是根据你简历上写的经历来介绍，这样可以把面试官的思路带到你这里来，让他思路跟着你走。不要东扯一句，西扯一句。竟量少介绍自己的性格、爱好（最好能不说就不说），你可以简单罗列干过几家公司（最多罗列3家公司/也包含目前所在的公司，注意顺序不要乱），都在那几家公司负责什么工作，都用过什么技术，在着重介绍一下你目前所在的公司是负责哪些工作的，可以稍微详细一点介绍，不要让面试官听着晕头转向的感觉。
2、灰度发布如何实现？
笔者回答：其实对这个问题笔者也答的不好，就不写出来误导大家了。大家有好的方法可以共享出来。不过笔事后在知呼上看到了一位网友的建议觉得不错，大家可以参考看一下 ：https://www.hu.com/question/20584476
3、Mongodb熟悉吗，一般部署几台？
笔者回答：部署过，没有深入研究过，一般mongodb部署主从、或者mongodb分片集群；建议3台或5台服务器来部署。MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面，每个片只负责总数据的一部分。 对于客户端来说，无需知道数据被拆分了，也无需知道服务端哪个分片对应哪些数据。数据在分片之前需要运行一个路由进程，进程名为mongos。这个路由器知道所有数据的存放位置，知道数据和片的对应关系。对客户端来说，它仅知道连接了一个普通的mongod，在请求数据的过程中，通过路由器上的数据和片的对应关系，路由到目标数据所在的片上，如果请求有了回应，路由器将其收集起来回送给客户端。
4、如何发布和回滚，用jenkins又是怎么实现？
笔者回答：发布：jenkins配置好代码路径（SVN或GIT），然后拉代码，打tag。需要编译就编译，编译之后推送到发布服务器（jenkins里面可以调脚本），然后从分发服务器往下分发到业务服务器上。
回滚：按照版本号到发布服务器找到对应的版本推送
5、Tomcat工作模式？
笔者回答：Tomcat是一个JSP/Servlet容器。其作为Servlet容器，有三种工作模式：独立的Servlet容器、进程内的Servlet容器和进程外的Servlet容器。
进入Tomcat的请求可以根据Tomcat的工作模式分为如下两类：
Tomcat作为应用程序服务器：请求来自于前端的web服务器，这可能是Apache, IIS, Nginx等；
Tomcat作为独立服务器：请求来自于web浏览器；
6、监控用什么实现的？
笔者回答：现在公司的业务都跑在阿里云上，我们首选的监控就是用阿里云监控，阿里云监控自带了ECS、RDS等服务的监控模板，可结合自定义报警规则来触发监控项。上家公司的业务是托管在IDC，用的是zabbix监控方案，zabbix图形界面丰富，也自带很多监控模板，特别是多个分区、多个网卡等自动发现并进行监控做得非常不错，不过需要在每台客户机（被监控端）安装zabbix agent。
7、你是怎么备份数据的，包括数据库备份？
笔者回答：在生产环境下，不管是应用数据、还是数据库数据首先在部署的时候就会有主从架构、或者集群，这本身就是属于数据的热备份；其实考虑冷备份，用专门一台服务器做为备份服务器，比如可以用rsync+inotify配合计划任务来实现数据的冷备份，如果是发版的包备份，正常情况下有台发布服务器，每次发版都会保存好发版的包。
总结
总结一下面试注意几点事项，可能笔者也说得不太对，为了我们运维工作的兄弟们都能拿到高薪，大家一定要指证出来一起进步、一起探讨：
第一，你要对自己的简历很熟悉，简历上的写的技能自己一定要能说出个一二，因为面试官的很多问题都会挑你简历上写的问。比如你简历上写了这么一条技能“熟悉mysql数据库的部署安装及原理”。你即然写了这么一条技能，你在怎么不熟悉你也要了解mysql的原理，能说出个大概意思。万一面试官问到了你写的这一条，你都答不上来，那在他心里你又减分了，基本上这次面试希望不大。
第二，如果面试官问到你不会的问题，你就说这个不太熟悉，没有具体研究过，千万别不懂装懂，还扯一堆没用的话题来掩饰，这样只会让面试官反感你。
第三，准备充分，竟可能多的记住原理性的知识，一般面试问的多的就是原理。很少问具体的配置文件是怎么配置的。面试前也要了解清楚“职位描述”和“岗位要求”，虽然有时候大多数不会问到岗位要求的问题，但也要了解和熟悉。
第四，面试完后一定要总结，尽量记住面试官问的每一个问题，回去记录下来，如果问到不会的问题，事后要立马查网络或者找朋友搞清楚、弄明白，这样你才能记劳，下次面试说不定又问到同样的问题。
问完之后，面试官就跟我聊薪资待遇了，问我多少钱能达到自己的要求，我就不便透露了，可以私聊，哈哈，后续笔者会陆陆续续更新以前面试的经历和问题，有需要的朋友可以转载或者收藏起来一起讨论。
基于大家热情高昂的气氛，笔者又花了一个下午的时间回忆并整理在2017年2月24号笔者在东三环边上（快到东四环了，没有地铁过去，到了四惠还要转公交车）的一家传媒公司的面试经历，还好笔者有做笔记的习惯，把之前面试的问题都记录在案，这一次的面试笔者可是记忆犹新，因为这次这家公司都跟笔者发offer了，实在是真心不想去这家公司就找原因推掉了，大家可别学我这么不靠谱。下面是这家公司中的岗位要求说明：
岗位职责：
1、负责公司产品的版本控制、构建和发布管理；
2、负责公司统一配置库管理工作，权限管理与分配准确及时，定期完成配置备份；
3、负责公司内部开发/测试服务器的运行管理工作；
4、负责Linux操作系统的安装、配置、监控和维护、问题处理、软件升级、 数据备份、应急响应、故障排除等、保证线上环境的稳定运行；
5、负责支撑平台24×7稳定运行，并进行前瞻性容量规划；
6、负责公司机房服务器日常维护及网络系统安装、部署、维护工作。
岗位要求：
1、计算机相关专业本科及以上学历，2年以上运维或配置管理工作经验；
2、至少熟悉一种监控系统搭建，如Nagios/Zabbix/等；
3、至少熟悉一种集群管理工具，如Ansible/SaltStack等；
4、有使用集成发布工具发布构建经验优先。比如：bamboo或者Jenkins；
5、熟悉Unix/Linux操作系统，熟悉Weblogic/tomcat等中间件，能够编写shell脚本，熟悉软件开发过程及过程产品，有一定的网络基础；
6、熟悉rsyslog, flume等日志收集和处理系统；
7、具有强烈的安全意识及较强的沟通协调和学习能力，良好的团队合作精神，工作积极主动。
过去之后，前台美眉把我带到他们公司的地下室，我扫视了一下周围的环境，貌似旁边就是机房，因为我听到服务器的声音。等了几分钟，面试官下来了，面试官目测比较瘦，看着跟我身材差不多（应该不到120），他说他是负责运维部的，然后开始就叫我先自我介绍，都是一个套路，免不了介绍的，所以兄弟们一定要把自我介绍练好。然后开始问我问题了，跟面试官聊得还行，问我应该有不下10个以上的问题，我记住了下面有10个问题：
1、LVS负载的原理，和Nginx负载有啥区别？
笔者回答：这个问题我觉得面试官司没问好，正常都会这么问“LVS有哪些负载均衡技术和调度算法?"。我回答就是按我说的这种问法回答的，反正他也频繁点头，当然，笔者回答的可能没有下面我整理出来的那么详细，大概意思我都说明白了。
LVS是Liunx虚拟服务器的简称，利用LVS提供的负载均衡技术和linux操作系统可实现高性能、高可用的服务器集群，一般LVS都是位于整个集群系统的最前端，由一台或者多台负载调度器（Director Server）组成，分发给应用服务器（Real Server）。它是工作在4层（也就是TCP/IP中的传输层），LVS是基于IP负载均衡技术的IPVS模块来实现的，IPVS实现负载均衡机制有三种，分别是NAT、TUN和DR，详述如下：
VS/NAT： 即（Virtual Server via Network Address Translation）
也就是网络地址翻译技术实现虚拟服务器，当用户请求到达调度器时，调度器将请求报文的目标地址（即虚拟IP地址）改写成选定的Real Server地址，同时报文的目标端口也改成选定的Real Server的相应端口，最后将报文请求发送到选定的Real Server。在服务器端得到数据后，Real Server返回数据给用户时，需要再次经过负载调度器将报文的源地址和源端口改成虚拟IP地址和相应端口，然后把数据发送给用户，完成整个负载调度过程。
可以看出，在NAT方式下，用户请求和响应报文都必须经过Director Server地址重写，当用户请求越来越多时，调度器的处理能力将称为瓶颈。
VS/TUN ：即（Virtual Server via IP Tunneling）
也就是IP隧道技术实现虚拟服务器。它的连接调度和管理与VS/NAT方式一样，只是它的报文转发方法不同，VS/TUN方式中，调度器采用IP隧道技术将用户请求转发到某个Real Server，而这个Real Server将直接响应用户的请求，不再经过前端调度器，此外，对Real Server的地域位置没有要求，可以和Director Server位于同一个网段，也可以是独立的一个网络。因此，在TUN方式中，调度器将只处理用户的报文请求，集群系统的吞吐量大大提高。
VS/DR： 即（Virtual Server via Direct Routing）
也就是用直接路由技术实现虚拟服务器。它的连接调度和管理与VS/NAT和VS/TUN中的一样，但它的报文转发方法又有不同，VS/DR通过改写请求报文的MAC地址，将请求发送到Real Server，而Real Server将响应直接返回给客户，免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的，但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上。
回答负载调度算法，IPVS实现在八种负载调度算法，我们常用的有四种调度算法（轮叫调度、加权轮叫调度、最少链接调度、加权最少链接调度）。一般说了这四种就够了，也不会需要你详细解释这四种算法的。你只要把上面3种负载均衡技术讲明白面试官就对这道问题很满意了。接下来你在简单说下与nginx的区别：
LVS的优点：
抗负载能力强、工作在第4层仅作分发之用，没有流量的产生，这个特点也决定了它在负载均衡软件里的性能最强的；无流量，同时保证了均衡器IO的性能不会受到大流量的影响；
工作稳定，自身有完整的双机热备方案，如LVS+Keepalived和LVS+Heartbeat；
应用范围比较广，可以对所有应用做负载均衡；
配置性比较低，这是一个缺点也是一个优点，因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率。
LVS的缺点：
软件本身不支持正则处理，不能做动静分离，这就凸显了Nginx/HAProxy+Keepalived的优势。
如果网站应用比较庞大，LVS/DR+Keepalived就比较复杂了，特别是后面有Windows Server应用的机器，实施及配置还有维护过程就比较麻烦，相对而言，Nginx/HAProxy+Keepalived就简单一点
Nginx的优点：
工作在OSI第7层，可以针对http应用做一些分流的策略。比如针对域名、目录结构。它的正则比HAProxy更为强大和灵活；
Nginx对网络的依赖非常小，理论上能ping通就就能进行负载功能，这个也是它的优势所在；
Nginx安装和配置比较简单，测试起来比较方便；
可以承担高的负载压力且稳定，一般能支撑超过几万次的并发量；
Nginx可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点；
Nginx不仅仅是一款优秀的负载均衡器/反向代理软件，它同时也是功能强大的Web应用服务器。LNMP现在也是非常流行的web环境，大有和LAMP环境分庭抗礼之势，Nginx在处理静态页面、特别是抗高并发方面相对apache有优势；
Nginx现在作为Web反向加速缓存越来越成熟了，速度比传统的Squid服务器更快，有需求的朋友可以考虑用其作为反向代理加速器；
Nginx的缺点：
Nginx不支持url来检测。
Nginx仅能支持http和Email，这个它的弱势。
Nginx的Session的保持，Cookie的引导能力相对欠缺。
2、redis集群的原理，redis分片是怎么实现的，你们公司redis用在了哪些环境？
笔者回答：reids集群原理：
其实它的原理不是三两句话能说明白的，redis 3.0版本之前是不支持集群的，官方推荐最大的节点数量为1000，至少需要3(Master)+3(Slave)才能建立集群，是无中心的分布式存储架构，可以在多个节点之间进行数据共享，解决了Redis高可用、可扩展等问题。集群可以将数据自动切分(split)到多个节点，当集群中的某一个节点故障时，redis还可以继续处理客户端的请求。
redis分片：
分片(partitioning)就是将你的数据拆分到多个 Redis 实例的过程，这样每个实例将只包含所有键的子集。当数据量大的时候,把数据分散存入多个数据库中,减少单节点的连接压力,实现海量数据存储。分片部署方式一般分为以下三种：
（1）在客户端做分片；这种方式在客户端确定要连接的redis实例，然后直接访问相应的redis实例；
（2）在代理中做分片；这种方式中，客户端并不直接访问redis实例，它也不知道自己要访问的具体是哪个redis实例，而是由代理转发请求和结果；其工作过程为：客户端先将请求发送给代理，代理通过分片算法确定要访问的是哪个redis实例，然后将请求发送给相应的redis实例，redis实例将结果返回给代理，代理最后将结果返回给客户端。
（3）在redis服务器端做分片；这种方式被称为“查询路由”，在这种方式中客户端随机选择一个redis实例发送请求，如果所请求的内容不再当前redis实例中它会负责将请求转交给正确的redis实例，也有的实现中，redis实例不会转发请求，而是将正确redis的信息发给客户端，由客户端再去向正确的redis实例发送请求。
redis用在了哪些环境：
java、php环境用到了redis，主要缓存有登录用户信息数据、设备详情数据、会员签到数据等
3、你会怎么统计当前访问的IP，并排序？
笔者回答：统计用户的访问IP，用awk结合uniq、sort过滤access.log日志就能统计并排序好。一般这么回答就够了，当然你还可以说出其它方式来统计，这都是你的加分项。
4、你会使用哪些虚拟化技术？
笔者回答：vmware vsphere及kvm，我用得比较多的是vmware vsphere虚拟化，几本上生产环境都用的vmware vsphere，kvm我是用在测试环境中使用。vmware 是属于原生架构虚拟化技术，也就是可直接在硬件上运行。kvm属于寄居架构的虚拟化技术，它是依托在系统之上运行。vmware vcenter
管理上比较方便，图形管理界面功能很强大，稳定性强，一般比较适合企业使用。KVM管理界面稍差点，需要管理人员花费点时间学习它的维护管理技术。
5、假如有人反应，调取后端接口时特别慢，你会如何排查？
笔者回答：其实这种问题都没有具体答案，只是看你回答的内容与面试官契合度有多高，能不能说到他想要的点上，主要是看你排查问题的思路。我是这么说的：问清楚反应的人哪个服务应用或者页面调取哪个接口慢，叫他把页面或相关的URL发给你，首先，最直观的分析就是用浏览器按F12，看下是哪一块的内容过慢（DNS解析、网络加载、大图片、还是某个文件内容等），如果有，就对症下药去解决（图片慢就优化图片、网络慢就查看内网情况等）。其次，看后端服务的日志，其实大多数的问题看相关日志是最有效分析，最好用tail -f 跟踪一下日志，当然你也要点击测试来访问接口日志才会打出来。最后，排除sql，，找到sql去mysql执行一下，看看时间是否很久，如果很久，就要优化SQL问题了，expain一下SQL看看索引情况啥的，针对性优化。数据量太大的能分表就分表，能分库就分库。如果SQL没啥问题，那可能就是写的逻辑代码的问题了，一行行审代码，找到耗时的地方改造，优化逻辑。
6、mysql数据库用的是主从读写分离，主库写，从库读，假如从库无法读取了、或者从库读取特别慢，你会如何解决？
笔者回答：这个问题笔者觉得回答的不太好，对mysql比较在行的朋友希望能给点建议。以解决问题为前提条件，先添加从库数量，临时把问题给解决，然后抓取slow log ，分析sql语句，该优化就优化处理。慢要不就是硬件跟不上，需要升级；要不就是软件需要调试优化，等问题解决在细化。
7、cpu单核和多核有啥区别？
笔者回答：很少有面试官会问这样的问题，即然问到了，也要老实回答。还好笔者之前了解过CPU，我是这么说的：双核CPU就是能处理多份任务，顺序排成队列来处理。单核CPU一次处理一份任务，轮流处理每个程序任务。双核的优势不是频率，而是对付同时处理多件事情。单核同时只能干一件事，比如你同时在后台BT下载，前台一边看电影一边拷贝文件一边QQ。
8、机械磁盘和固态硬盘有啥区别？
笔者回答：我擦，啥年代了，还问磁盘的问题，这面试官有点逗啊。那也要回答啊：
HDD代表机械硬盘，SSD代表固态硬盘。首先，从性能方面来说，固态硬盘几乎完胜机械硬盘，固态硬盘的读写速度肯定要快机械硬盘，因为固态硬盘和机械硬盘的构造是完全不同的（具体的构造就没必要解释了）。其次，固态盘几乎没有噪音、而机械盘噪音比较大。还有就是，以目前的市场情况来看，一般机械盘容量大，价格低；固态盘容量小，价格偏高。但是企业还是首选固态盘。
9、说一下用过哪些监控系统？
笔者回答：这个监控的问题又问到了，笔者在2018年1月4号也被问到类似这样的问题，笔者曾经用过zabbix、nagios、 cacit等。但是在这次面试中只说用过zabbix和nagios。说完了之后，面试官就让我说一下这两个监控有啥区别：
从web功能及画图来讲：
Nagios简单直观，报警与数据都在同一页面， 红色即为问题项。Nagios web端不要做任何配置。 Nagios需要额外安装插件，且插件画图不够美观。
Zabbix监控数据与报警是分开的，查看问题项需要看触发器，查看数据在最新数据查看。而且zabbix有很多其它配置项， zabbix携带画图功能，且能手动把多个监控项集在一个图中展示。
从监控服务来讲：
Nagios自带的监控项很少。对一些变动的如多个分区、多个网卡进行监控时需要手动配置。
Zabbix自带了很多监控内容，感觉zabbix一开始就为你做了很多事，特别是对多个分区、多个网卡等自动发现并进行监控时，那一瞬间很惊喜，很省心的感觉。
从批量配置和报警来讲：
Nagios对于批量监控主机，需要用脚本在server端新增host，并拷贝service文件。 Nagios用脚本来修改所有主机的services文件，加入新增服务。
Zabbix在server端配置自动注册规则，配置好规则后，后续新增client端不需要对server端进行操作。 Zabbix只需手动在模板中新增一监控项即可。
总体来讲：
Nagios要花很多时间写插件，Zabbix要花很多时间探索功能。
Nagios更易上手，Nagios两天弄会，Zabbix两周弄会。
Zabbix画图功能比Nagios更强大
Zabbix对于批量监控与服务更改，操作更简洁；Nagios如果写好自动化脚本后，也很简单，问题在于写自动化脚本很费神。
10、给你一套环境，你会如何设计高可用、高并发的架构？
笔者回答：如果这套环境是部署在云端(比如阿里云)，你就不用去考虑硬件设计的问题。可直接上阿里云的SLB+ECS+RDS这套标准的高可用、高并发的架构。对外服务直接上SLB负载均衡技术，由阿里的SLB分发到后端的ECS主机；ECS主机部署多台，应用拆分在不同的ECS主机上，尽量细分服务。数据库用RDS高可用版本（一主一备的经典高可用架构）、或者用RDS金融版（一主两备的三节点架构）。在结合阿里其它的服务就完全OK，业务量上来了，主机不够用了，直横向扩容ECS主机搞定。
如果这套环境托管在IDC，那么你就要从硬件、软件（应用服务）双面去考虑了。硬件要达到高可用、高并发公司必须买多套网络硬件设备（比如负载设备F5、防火墙、核心层交换、接入层交换）都必须要冗余，由其是在网络设计上，设备之间都必须有双线连接。设备如果都是跑的单机，其中一个设备挂了，你整个网络都瘫痪了，就谈不上高可用、高并发了。其次在是考虑应用服务了，对外服务我会采用成熟的开源方案LVS+Keepalived或者Nginx+Keepalived，缓存层可以考虑redis集群及Mongodb集群，中间件等其它服务可以用kafka、zookeeper，图片存储可以用fastDFS或MFS，如果数据量大、又非常多，那么可采用hadoop这一套方案。后端数据库可采用 “主从+MHA”。这样一套环境下来是绝对满足高可用、高并发的架构
‘肆’ 怎样去学java
想要学好Java，需要有正确的学习路线，有坚持不懈的学习毅力，也需要有专业老师的指导，这样才能学得更好。那么，学习Java需要掌握哪些知识和技能呢？这里简单列举一些。
Java学习需要掌握的知识与技能：
1、Java SE部分初级语法，面向对象，异常，IO流，多线程，Java Swing，JDBC，泛型，注解，反射等。
2、数据库部分，基础的sql语句，sql语句调优，索引，数据库引擎，存储过程，触发器，事务等。
3、前端部分， HTML5 CSS3 JS， HTML DOM Jquery BootStrap等。
4、Java EE部分，Tomcat和Nginx服务器搭建，配置文件，Servlet，JSP，Filter，Listener，http协议，MVC等。
5、框架部分，每个框架都可以分开学，在去学如何使用SSM 或者SSH框架，如何搭建，如何整合。开发中为什么会用框架，Rest是啥？Spring为啥经久不衰，底层如何实现等。
6、23种设计模式，掌握常用的，比如单例模式的多种实现，责任链模式，工厂模式，装饰器模式等，了解常用场景。
7、基础算法和数据结构，八大排序算法，查找算法。
8、熟练使用maven等构建工具，git等版本控制工具，熟悉常用linux命令，log4j，bug，junit单元测试，日志打印工具，Redis等NoSql。
互联网行业目前还是最热门的行业之一，学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。
想要系统学习，你可以考察对比一下开设有大数据及云计算专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，建议实地考察对比一下。
祝你学有所成，望采纳。
‘伍’ 如何选择阿里云云服务器ECS操作系统
方法/步骤
首先，我们要清楚的便是每个系统之间的差别，以及在阿里云上的差别：
1. Windows
1.1) 系统内含正版激活。
1.2) 适合于运行Windows下开发的程序，如.net等。
1.3) 支持SQL Server等数据库(需自行安装)。
1.4) 可以使用远程桌面方式登录进行管理。
注：512内存不支持选择Windows系统，1G以上内存才能很好支持该系统。
2. Linux
2.1.1) 最流行的服务器端操作系统，强大的安全性和稳定性。
2.1.2) 免费且开源，轻松建立和编译源代码。
2.1.3) 通过SSH方式远程访问您的云服务器。
2.1.4) 一般用于高性能web等服务器应用，支持常见的PHP/Python等编程语言，支持MySQL等数据库(需自行安装)。
2.2 CentOS (推荐)请使用yum方式在线安装软件。
2.3 Ubuntu请使用aptitude方式在线安装软件。
2.4 Debian请使用apt-get方式在线安装软件。
2.5 Aliyun Linux(兼容 Red Hat)请使用yum方式在线安装软件，yum源需要自行购买redhat的商业支持。
操作系统更换规则：
1.更换操作系统
更换系统之前请先停止云服务器，云服务器更换操作系统会直接重置系统盘【IP不变】，系统盘数据将会丢失!
请您注意：
1.1. 更换操作系统会使云服务器的系统盘更换为新的镜像，原有系统盘的数据都会丢失。
1.2. 云服务器数据盘的数据不会受到影响。
1.3. 建议您将系统盘的个人数据备份到数据盘中，或采用其他方式进行备份。
1.4. 因您没有备份系统盘相关个人数据而造成的数据丢失，阿里云不承担责任。
1.5. 内存为512M云服务器不支持更换Windows操作系统。
2. CPU/内存与操作系统的选择
2.1)如需选择/变更4G以上内存请您选择64位操作系统(32位操作系统存在寻址限制)。
2.2) 如您选择32位操作系统，4G以上内存页面暂不展示，只有云服务器更换为64位操作系统才可展示。
2.3)Windows 32位操作系统支持最高CPU为4核。
2.4)配置：[CPU：1核;内存：512M] 的云服务器不支持选择/更换Windows操作系统。
Windows篇
阿里云提供了6种window系统，涵盖了Server 2003 sp2以及Server 2008 R2这两大类操作系统。
其中又分为了32位和64位
(1)如何选择32位还是64位
32位系统相比64位系统，最主要的限制体现在内存的大小上。因为32位本身的限制，其最大只可支持到4GB内存，如果您的网站要使用高于4GB的内存或者以后有扩充内存寻到4GB以上的打算，请使用64位操作系统。
(2)选择2003还是选择2008
对于windows来说，我个人建议是选择版本越高的越好。相对来说新版本漏洞相对来说更少，而且IIS 7.5相对于IIS6提供了更多的功能以及更方便的控制台。但是考虑到大家的机器配置不同，在此给出一下几种选择：
A：配置低于双核 2GB内存：选择server2003 不装数据库配置双核4GB： server 2003 mssql 或者 server 2008 R2 不带数据库
B：配置高于双核 8GB：serever 2008 R2 mssql 建议如果大家要在云服务器上跑数据库，尽量选择大内存配置，或者降低配置去选用RDS
(3)中英文、安全加固版如何选择
这个就依据大家各自的喜好来了，在此不多说了至于Windows服务器配置教程，因为网上教程很多而且相对于Linux来说Windows配置难度更低，所以Windows的配置教程会比较晚的放出。
Linux篇
(1)这些linux大类有什么区别
Debian：用的deb包，使用APT包管理系统。
同时Debian提供了大多数软件比较新的版本，并且提供了更多的软件包(相对于原版Red Hat)。Debian的优点在于更新迅速，软件包完善(Ubuntu尤其)，操作便利。缺点是部分时候稳定性欠佳，跟进最新软件有可能存在Bug。
Centos：用rpm包，使用yum包管理系统。
相对于Debian来说，Centost的一大特点就是慢。大部分软件停留在稳定版本，而且相距最新版版本也差较多。而且某些新版软件的一些新特性支持也比较慢，比如php-fpm。
因为Centos是面向企业用户提供的操作系统，所以在稳定性上十分突出，一般在新功能或稳定性的选择上更倾向于后者。只有当某个功能完全确定稳定了，才会加入到系统里。优点是系统稳定，技术文档完善，如果付费的话能得到企业级别的技术支持。缺点是软件包比较老旧，而且一些较新功能会欠缺。
总结一下：如果你喜欢尝鲜，喜欢用最新的功能或喜欢折腾系统，那么Debian是个更好的选择。
上手难度 Ubunt<Debian<Redhat=Centos
(2)Debian与Ubuntu的选择
Ubuntu是基于Debian所开发，可以简单地认为Ubuntu是Debian的功能加强版。
与Debian相比，Ubuntu提供了更人性化系统配置，更强大的系统操作以及比Debian更激进的软件更新。
Ubuntu与Debian比较，可以认为Debian更趋向于保守一些，Ubuntu对新手友好度更高，上手更容易。
用过Ubuntu的都会体会到它的易用，反之如果用过Ubuntu再换到别的系统，都会觉得不适应，Ubuntu真的很方便。
个人建议，如果你打算选择Debian类的，建议选择Ubuntu。
Ubuntu提供了更好的操作，更激进的软件更新，更方便管理软件以及相差无几的稳定性。
如果你不想放弃稳定，那么请选择Debian。
关于Ubuntu版本选择：
在此解释下Ubuntu的版本支持时间。Ubuntu普通版本只提供18个月的技术支持，过期则不管。
服务器版本提供长达五年的技术支持。所以建议大家选择12.04 版，提供长达5年的技术支持，可以确保在静候相当长的一段时间内你的服务器可以继续收到系统升级补丁以及可用的软件源。
(3) Centos 的选择
对于阿里云Centos的选择，建议选择Centos 6.5版本，带来了更多的新特性以及更多的新功能。
除非你的软件需要php 5.1的环境，那么就选择Centos6.5。如果网站需要支持php5.1，只能选用Centos 5.8。
至于具体版本选择，建议php 5.1用户选择Centos 5.8，其他的用户则为Centos 6.5。
‘陆’ 我想学软件开发专业0基础可以学习吗
可以的 0基础是可以学习的，任何事情都是从不会到到会的，态度端正，有条件的可以报个培训机构，自学可以在网上找找视频多向有经验的人学习学习，功夫不负有心人，会达到你想要的结果的。
软件开发需要学习的课程
1.数据结构与算法，只要你做开发，这一点就必须好好的学习，把它学透了，对编程的优化帮助很大。
2.计算机组成原理，一门特别难学的课程，学透了，是大牛级别的。
3. 数据库，作为一名软件开发人员，数据库肯定是要会的，必备的知识，目前来说，MySQL 数据库用的比较多，可以多研究研究。
4.网络编程，软件终归都是通过网络来交互的，所以网络编程同样蛮重要的，TCP，UDP协议等。
互联网行业目前还是最热门的行业之一，学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。
想要系统学习，你可以考察对比一下开设有相关专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，建议实地考察对比一下。
祝你学有所成，望采纳
北大青鸟学生课堂实录
‘柒’ 大数据需要学编程吗
导读：
第一章：初识Hadoop
第二章：更高效的WordCount
第三章：把别处的数据搞到Hadoop上
第四章：把Hadoop上的数据搞到别处去
第五章：快一点吧，我的SQL
第六章：一夫多妻制
第七章：越来越多的分析任务
第八章：我的数据要实时
第九章：我的数据要对外
第十章：牛逼高大上的机器学习
数据量大，TB->PB
数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；
商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；
处理时效性高，海量数据的处理需求不再局限在离线计算当中。
Hadoop 1.0、Hadoop 2.0
MapRece、HDFS
NameNode、DataNode
JobTracker、TaskTracker
Yarn、ResourceManager、NodeManager
0和Hadoop2.0的区别；
MapRece的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；
HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；
自己会写简单的MapRece程序，运行出现问题，知道在哪里查看日志；
会写简单的SELECT、WHERE、GROUP BY等SQL语句；
Hive SQL转换成MapRece的大致流程；
Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；
为什么Spark比MapRece快。
使用SparkSQL代替Hive，更快的运行SQL。
使用Kafka完成数据的一次收集，多次消费架构。
自己可以写程序完成Kafka的生产者和消费者。
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。。
其实这就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易，哪个前景好，哪个钱多。
先扯一下大数据的4V特征：
现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：
文件存储：Hadoop HDFS、Tachyon、KFS
离线计算：Hadoop MapRece、Spark
流式、实时计算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie
……
眼花了吧，上面的有30多种吧，别说精通了，全部都会使用的，估计也没几个。
就我个人而言，主要经验是在第二个方向（开发/设计/架构），且听听我的建议吧。
第一章：初识Hadoop
1.1 学会网络与Google
不论遇到什么问题，先试试搜索并自己解决。
Google首选，翻不过去的，就用网络吧。
1.2 参考资料首选官方文档
特别是对于入门来说，官方文档永远是首选文档。
相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。
1.3 先让Hadoop跑起来
Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。
关于Hadoop,你至少需要搞清楚以下是什么：
自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。
建议先使用安装包命令行安装，不要使用管理工具安装。
另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.
1.4 试试使用Hadoop
HDFS目录操作命令；
上传、下载文件命令；
提交运行MapRece示例程序；
打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。
知道Hadoop的系统日志在哪里。
1.5 你该了解它们的原理了
MapRece：如何分而治之；
HDFS：数据到底在哪里，什么是副本；
Yarn到底是什么，它能干什么；
NameNode到底在干些什么；
ResourceManager到底在干些什么；
1.6 自己写一个MapRece程序
请仿照WordCount例子，自己写一个（照抄也行）WordCount程序，
打包并提交到Hadoop运行。
你不会Java？Shell、Python都可以，有个东西叫Hadoop Streaming。
如果你认真完成了以上几步，恭喜你，你的一只脚已经进来了。
第二章：更高效的WordCount
2.1 学点SQL吧
你知道数据库吗？你会写SQL吗？
如果不会，请学点SQL吧。
2.2 SQL版WordCount
在1.6中，你写（或者抄）的WordCount一共有几行代码？
给你看看我的:
SELECT word,COUNT(1) FROM wordcount GROUP BY word;
这便是SQL的魅力，编程需要几十行，甚至上百行代码，我这一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。
2.3 SQL On Hadoop之Hive
什么是Hive？官方给的解释是：
The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax.
为什么说Hive是数据仓库工具，而不是数据库工具呢？有的朋友可能不知道数据仓库，数据仓库是逻辑上的概念，底层使用的是数据库，数据仓库中的数据有这两个特点：最全的历史数据（海量）、相对稳定的；所谓相对稳定，指的是数据仓库不同于业务系统数据库，数据经常会被更新，数据一旦进入数据仓库，很少会被更新和删除，只会被大量查询。而Hive，也是具备这两个特点，因此，Hive适合做海量数据的数据仓库工具，而不是数据库工具。
2.4 安装配置Hive
请参考1.1 和 1.2 完成Hive的安装配置。可以正常进入Hive命令行。
2.5 试试使用Hive
请参考1.1 和 1.2 ，在Hive中创建wordcount表，并运行2.2中的SQL语句。
在Hadoop WEB界面中找到刚才运行的SQL任务。
看SQL查询结果是否和1.4中MapRece中的结果一致。
2.6 Hive是怎么工作的
明明写的是SQL，为什么Hadoop WEB界面中看到的是MapRece任务？
2.7 学会Hive的基本命令
创建、删除表；
加载数据到表；
下载Hive表的数据；
请参考1.2，学习更多关于Hive的语法和命令。
如果你已经按照《写给大数据开发初学者的话》中第一章和第二章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点：
从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapRece是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapRece，提交运行。
此时，你的”大数据平台”是这样的：
那么问题来了，海量数据如何到HDFS上呢？
第三章：把别处的数据搞到Hadoop上
此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。
3.1 HDFS PUT命令
这个在前面你应该已经使用过了。
put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。
建议熟练掌握。
3.2 HDFS API
HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。
实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。
建议了解原理，会写Demo。
3.3 Sqoop
Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。
就像Hive把SQL翻译成MapRece一样，Sqoop把你指定的参数翻译成MapRece，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。
自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。
了解Sqoop常用的配置参数和方法。
使用Sqoop完成从MySQL同步数据到HDFS；
使用Sqoop完成从MySQL同步数据到Hive表；
PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。
3.4 Flume
Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。
Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。
因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。
下载和配置Flume。
使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；
PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。
3.5 阿里开源的DataX
之所以介绍这个，是因为我们公司目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，非常好用。
可以参考我的博文《异构数据源海量数据交换工具-Taobao DataX 下载和使用》。
现在DataX已经是3.0版本，支持很多数据源。
你也可以在其之上做二次开发。
PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。
如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
第四章：把Hadoop上的数据搞到别处去
前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapRece进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？
其实，此处的方法和第三章基本一致的。
4.1 HDFS GET命令
把HDFS上的文件GET到本地。需要熟练掌握。
4.2 HDFS API
同3.2.
4.3 Sqoop
同3.3.
使用Sqoop完成将HDFS上的文件同步到MySQL；
使用Sqoop完成将Hive表中的数据同步到MySQL；
4.4 DataX
同3.5.
如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
如果你已经按照《写给大数据开发初学者的话2》中第三章和第四章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点：
知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；
你已经知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；
你已经知道flume可以用作实时的日志采集。
从前面的学习，对于大数据平台，你已经掌握的不少的知识和技能，搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapRece来分析数据，把分析结果同步到其他数据源。
接下来的问题来了，Hive使用的越来越多，你会发现很多不爽的地方，特别是速度慢，大多情况下，明明我的数据量很小，它都要申请资源，启动MapRece来执行。
第五章：快一点吧，我的SQL
其实大家都已经发现Hive后台使用MapRece作为执行引擎，实在是有点慢。
因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.
这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。关于三者的比较，请参考1.1.
我们目前使用的是SparkSQL，至于为什么用SparkSQL，原因大概有以下吧：
使用Spark还做了其他事情，不想引入过多的框架；
Impala对内存的需求太大，没有过多资源部署；
5.1 关于Spark和SparkSQL
什么是Spark，什么是SparkSQL。
Spark有的核心概念及名词解释。
SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。
SparkSQL为什么比Hive跑的快。
5.2 如何部署和运行SparkSQL
Spark有哪些部署模式？
如何在Yarn上运行SparkSQL？
使用SparkSQL查询Hive中的表。
PS: Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。
关于Spark和SparkSQL，可参考http://lxw1234.com/archives/category/spark
如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
第六章：一夫多妻制
请不要被这个名字所诱惑。其实我想说的是数据的一次采集、多次消费。
在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面章节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。
为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。
6.1 关于Kafka
什么是Kafka？
Kafka的核心概念及名词解释。
6.2 如何部署和使用Kafka
使用单机部署Kafka，并成功运行自带的生产者和消费者例子。
使用Java程序自己编写并运行生产者和消费者程序。
Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。
如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。
如果你已经按照《写给大数据开发初学者的话3》中第五章和第六章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点：
从前面的学习，你已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务之间又存在一定的依赖性，比如，必须等数据采集任务成功完成后，数据计算任务才能开始运行。如果一个任务执行失败，需要给开发运维人员发送告警，同时需要提供完整的日志来方便查错。
第七章：越来越多的分析任务
不仅仅是分析任务，数据采集、数据交换同样是一个个的任务。这些任务中，有的是定时触发，有点则需要依赖其他任务来触发。当平台中有几百上千个任务需要维护和运行时候，仅仅靠crontab远远不够了，这时便需要一个调度监控系统来完成这件事。调度监控系统是整个数据平台的中枢系统，类似于AppMaster，负责分配和监控任务。
7.1 Apache Oozie
1. Oozie是什么？有哪些功能？
2. Oozie可以调度哪些类型的任务（程序）？
3. Oozie可以支持哪些任务触发方式？
4. 安装配置Oozie。
第八章：我的数据要实时
在第六章介绍Kafka的时候提到了一些需要实时指标的业务场景，实时基本可以分为绝对实时和准实时，绝对实时的延迟要求一般在毫秒级，准实时的延迟要求一般在秒、分钟级。对于需要绝对实时的业务场景，用的比较多的是Storm，对于其他准实时的业务场景，可以是Storm，也可以是Spark Streaming。当然，如果可以的话，也可以自己写程序来做。
8.1 Storm
1. 什么是Storm？有哪些可能的应用场景？
2. Storm由哪些核心组件构成，各自担任什么角色？
3. Storm的简单安装和部署。
4. 自己编写Demo程序，使用Storm完成实时数据流计算。
8.2 Spark Streaming
1. 什么是Spark Streaming，它和Spark是什么关系？
2. Spark Streaming和Storm比较，各有什么优缺点？
3. 使用Kafka + Spark Streaming，完成实时计算的Demo程序。
如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：
至此，你的大数据平台底层架构已经成型了，其中包括了数据采集、数据存储与计算（离线和实时）、数据同步、任务调度与监控这几大模块。接下来是时候考虑如何更好的对外提供数据了。
第九章：我的数据要对外
通常对外（业务）提供数据访问，大体上包含以下方面：
离线：比如，每天将前一天的数据提供到指定的数据源（DB、FILE、FTP）等；离线数据的提供可以采用Sqoop、DataX等离线数据交换工具。
实时：比如，在线网站的推荐系统，需要实时从数据平台中获取给用户的推荐数据，这种要求延时非常低（50毫秒以内）。
根据延时要求和实时数据的查询需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。
OLAP分析：OLAP除了要求底层的数据模型比较规范，另外，对查询的响应速度要求也越来越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的数据模型比较规模，那么Kylin是最好的选择。
即席查询：即席查询的数据比较随意，一般很难建立通用的数据模型，因此可能的方案有：Impala、Presto、SparkSQL。
这么多比较成熟的框架和方案，需要结合自己的业务需求及数据平台技术架构，选择合适的。原则只有一个：越简单越稳定的，就是最好的。
如果你已经掌握了如何很好的对外（业务）提供数据，那么你的“大数据平台”应该是这样的：
第十章：牛逼高大上的机器学习
关于这块，我这个门外汉也只能是简单介绍一下了。数学专业毕业的我非常惭愧，很后悔当时没有好好学数学。
在我们的业务中，遇到的能用机器学习解决的问题大概这么三类：
分类问题：包括二分类和多分类，二分类就是解决了预测的问题，就像预测一封邮件是否垃圾邮件；多分类解决的是文本的分类；
聚类问题：从用户搜索过的关键词，对用户进行大概的归类。
推荐问题：根据用户的历史浏览和点击行为进行相关推荐。
大多数行业，使用机器学习解决的，也就是这几类问题