大规模分布式存储系统原理解析
A. 大数据分析到底需要多少种工具
在工具学习上，入门工具推荐两类：sql（Structured Query Language）、Microsoft Office Excel，进阶工具推荐：SPSS Clementine/Python。
1、SQL
SQL是数据提取工具，大中型企业都会建立自己的数据库系统，常用数据会建立数据报表系统（常说的BI系统，即business intelligence），供业务人员使用。但深入业务分析需要更多的底层数据，报表系统里没有呈现的数据，这时就需要使用SQL工具提取数据库系统数据。
SQL工具很多，有oracle、mysql、sqlserver、hive等，除了细微差异，大多数SQL语句都通用。
SQL工具学习很容易，真正需要下功夫的是对数据库表结构的了解。从常用数据表了解，摸清数据指标及含义，建立起表结构间关系，完成日常工作数据提取工作为要。有精力的童鞋可以再去探索非常用数据表。
2、Microsoft Office Excel
Excel应该是所有数据分析师的入门工具。除了一些常用功能使用外，就是使用数据透视表和多学习内嵌函数，能省去不少工作量。除了数据量级处理有限外，Excel功能强大不能仅仅用强大来形容。高阶Excel学习，可以继续了解宏使用。
3、SPSS Clementine/Python
在数据分析进阶路上，还有一类工具是：数据建模工具，如SPSS Clementine、R、Python等。大数据时代，数据维度过于丰富，数据量级过于庞大，对于未知数据探索，手动计算发现数据关系的工作量已经过于繁重，交给这些数据模型工具就简单多了。其内嵌了大量精细的数据算法，我们需要做的就是掌握统计理论，掌握算法原理，输入规范的数据，等待模型的结果。当然，对模型的掌握，结论的解读，业务的理解，都是使用建模工具必须要学习的。
B. 想从事分布式系统，计算，hadoop等方面，需要哪些基础，推荐哪些书籍
What are some good resources for learning about distributed computing? Why? 今天在quora上看到这个问题，感觉特别全面，质量也都A+级别的，贴在这里供大家参考。
课程：
MIT 6.824: Distributed Computer Systems Engineering——经典和详细的介绍了分布式系统的技术和工程实现经验，值得每个做分布式系统的人去看一遍，继续锤炼和提高自己的眼界和技术。
补充三篇论文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文。
2. The Chubby lock service for loosely-coupled distributed systems，http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//archive/chubby-osdi06.pdf，这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Maprece和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分布式事务的基础，具有非常高的参考价值。另外，着名的zookeeper就是基于Chubby的开源实现，但是根据在Google工作的朋友讲，zookeeper跟Chubby在性能和功能上都还有差距。
3. Spanner: Google's Globally-Distributed Database，这个是第一个全球意义上的分布式数据库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分布式系统方面具有很强的借鉴意义。
另外，还有一本书:
刚出的，读了一下样章，感觉还不错，一起推荐给大家——《大规模分布式存储系统:原理解析与架构实战》华章图书 - 大规模分布式存储系统:原理解析与架构实战
C. 大数据技术包括哪些
大数据技术包括数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。
1、数据收集：在大数据的生命周期中，数据采集处于第一个环节。根据MapRece产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。
2、数据存取：大数据的存去采用不同的技术路线，大致可以分为3类。第1类主要面对的是大规模的结构化数据。第2类主要面对的是半结构化和非结构化数据。第3类面对的是结构化和非结构化混合的大数据，
3、基础架构：云存储、分布式文件存储等。
4、数据处理：对于采集到的不同的数据集，可能存在不同的结构和模式，如文件、XML 树、关系表等，表现为数据的异构性。对多个异构的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。
5、统计分析：假设检验、显着性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。
6、数据挖掘：目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
7、模型预测：预测模型、机器学习、建模仿真。
8、结果呈现：云计算、标签云、关系图等。
D. 谁有《大规模分布式存储系统：原理解析与架构实战-杨传辉》电子书百度网盘资源下载
大规模分布式存储系统：原理解析与架构实战-杨传辉链接：https://pan..com/s/1RANVCdsTdhC0FoR_aOJRlw
E. 《大规模分布式系统架构与设计实战（含光盘）》epub下载在线阅读，求百度网盘云资源
《大规模分布式系统架构与设计实战（含光盘）》（彭渊）电子书网盘下载免费在线阅读
资源链接：
链接：https://pan..com/s/1XoxJB0i2HGGsmPJtONFSUA
书名：大规模分布式系统架构与设计实战（含光盘）
作者：彭渊
豆瓣评分：4.8
出版社：机械工业出版社
出版年份：2014-3
页数：231
内容简介：
【编辑推荐】
绝技源于江湖、将军发于卒伍，本书包含作者从程序员到首席架构师十多年职业生涯所积累的实战经验。
这不是一本讲怎么使用Hadoop的书，而是一本讲实现Hadoop功能的书，本书系统讲解构建大规模分布式系统的核心技术和实现方法，包含开源的代码，手把手教你掌握分布式技术
【内容简介】
本书从作者的实战经验出发，深入浅出地讲解了如何建立一个Hadoop那样的分布式系统，实现对多台计算机CPU、内存、硬盘的统一利用，从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台，系统复杂、代码庞大，而且只适合公司的业务，工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结，并从中抽取出一套简化的框架和编程API进行讲解，方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书，这本书包含了大量精炼示例，手把手教你掌握分布式核心技术。
本书主要内容
分布式并行计算的基本原理解剖；
分布式协调的实现，包括如何实现公共配置管理，如何实现分布式锁，如何实现集群管理等；
分布式缓存的实现，包括如何提供完整的分布式缓存来利用多机内存能力；
消息队列的实现，包括如何实现发送和接收模式；
分布式文件系统的实现，包括如何像操作本地文件一样操作远程文件，并利用多机硬盘存储能力；
分布式作业调度平台的实现，包括资源隔离、资源调度等。
【参考阅读】
978-7-111-43052-0 大规模分布式存储系统:原理解析与架构实战
978-7-111-40392-0 分布式系统：概念与设计（原书第5版）
978-7-111-45244-7 Hadoop应用开发技术详解
978-7-111-41766-8 Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理
978-7-111-42226-6 Hadoop技术内幕：深入解析MapRece架构设计与实现原理
978-7-111-44534-0 Hadoop技术内幕：深入解析YARN架构设计与实现原理
978-7-111-43514-3 网站数据分析：数据驱动的网站管理、优化和运营
978-7-111-42591-5 数据挖掘：实用案例分析
作者简介：
彭渊资深架构师，现任华为企业中间件首席架构师，主要负责中间件和大数据。前淘宝高级专家（花名：千峰），先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。曾任金蝶总体架构部SOA架构师，负责设计ESB。曾艰苦创业，编写和销售财务软件。在java技术领域从业十多年，撰写过多款开源软件，其中，淘宝分布式技术框架Fourinone为其代表作。他拥有软件着作权的代表作有：BS系列软件（包括财务进销存、OA产品、CRM等）、FMS视频会议、Flash网站生成软件（华军可下载），所有软件作品均贡献99%代码。
F. 哪本php书上有高并发，redis一类的
亲,php只是一门语言,高并发是适用于所有网站使用的,学习这门技术要具备以下知识:
linux 服务器知识:推荐数据 鸟哥linux
网络工程 知识
硬件相关知识:了解即可网上搜搜
mysql数据库:mysql深入浅出,高性能mysql,把集群研究一下
Oracle(最好掌握,为了深入了解关系型数据库)
然后在 开始高并发之路
redis这属于nosql
NoSQL精粹
Linux高性能服务器编程
Redis设计与实现
大规模分布式存储系统：原理解析与架构实战
大型网站技术架构 核心原理与案例分析
图灵程序设计丛书·实用负载均衡技术：网站性能优化攻略完美应对云环境及大数据
还有更深的外文书,有的是,那个不用看哪怕你在网络 都不用看,一般人做不到那个位置.
这个看完懂点儿 c语言 java能说会道 去个中小企业 当主管没什么问题
有些问题,这些书上也没有涉及,php 和java,asp.net网站如何实现对接,要去有点规模的公司实际工作中才能解除
G. 系统架构 分布式 哪本书比较好
Distributed
Computer
Systems
Engineering——经典和详细的介绍了分布式系统的技术和工程实现经验，值得每个做分布式系统的人去看一遍，继续锤炼和提高自己的眼界和技术。
补充三篇论文:
1.
Sinfonia:
A
New
Paradigm
for
Building
Scalable
Distributed
Systems，这篇论文是SOSP2007的Best
Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文。
2.
The
Chubby
lock
service
for
loosely-coupled
distributed
systems，这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Maprece和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分布式事务的基础，具有非常高的参考价值。另外，着名的zookeeper就是基于Chubby的开源实现，但是根据在Google工作的朋友讲，zookeeper跟Chubby在性能和功能上都还有差距。
3.
Spanner:
Google's
Globally-Distributed
Database，这个是第一个全球意义上的分布式数据库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分布式系统方面具有很强的借鉴意义。
另外，还有一本书:
刚出的，读了一下样章，感觉还不错，一起推荐给大家——《大规模分布式存储系统:原理解析与架构实战》
H. 有什么关于 Spark 的书推荐
《大数据Spark企业级实战》本书共包括14章，每章的主要内容如下。
第一章回答了为什么大型数据处理平台都要选择SPARK
。为什么spark如此之快?星火的理论基础是什么?spark如何使用专门的技术堆栈来解决大规模数据处理的需要?第二章回答了如何从头构建Hadoop集群的问题。
如何构建基于Hadoop集群的星火集群?如何测试火星的质量?
附录从spark的角度解释了Scala，并详细解释了Scala函数编程和面向对象编程。
I. 系统架构 分布式 哪本书比较好
Distributed Computer Systems Engineering——经典和详细的介绍了分布式系统的技术和工程实现经验，值得每个做分布式系统的人去看一遍，继续锤炼和提高自己的眼界和技术。
补充三篇论文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文。
2. The Chubby lock service for loosely-coupled distributed systems，这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Maprece和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分布式事务的基础，具有非常高的参考价值。另外，着名的zookeeper就是基于Chubby的开源实现，但是根据在Google工作的朋友讲，zookeeper跟Chubby在性能和功能上都还有差距。
3. Spanner: Google's Globally-Distributed Database，这个是第一个全球意义上的分布式数据库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分布式系统方面具有很强的借鉴意义。
另外，还有一本书:
刚出的，读了一下样章，感觉还不错，一起推荐给大家——《大规模分布式存储系统:原理解析与架构实战》