大規模分布式存儲系統原理解析
A. 大數據分析到底需要多少種工具
在工具學習上，入門工具推薦兩類：sql（Structured Query Language）、Microsoft Office Excel，進階工具推薦：SPSS Clementine/Python。
1、SQL
SQL是數據提取工具，大中型企業都會建立自己的資料庫系統，常用數據會建立數據報表系統（常說的BI系統，即business intelligence），供業務人員使用。但深入業務分析需要更多的底層數據，報表系統里沒有呈現的數據，這時就需要使用SQL工具提取資料庫系統數據。
SQL工具很多，有oracle、mysql、sqlserver、hive等，除了細微差異，大多數SQL語句都通用。
SQL工具學習很容易，真正需要下功夫的是對資料庫表結構的了解。從常用數據表了解，摸清數據指標及含義，建立起表結構間關系，完成日常工作數據提取工作為要。有精力的童鞋可以再去探索非常用數據表。
2、Microsoft Office Excel
Excel應該是所有數據分析師的入門工具。除了一些常用功能使用外，就是使用數據透視表和多學習內嵌函數，能省去不少工作量。除了數據量級處理有限外，Excel功能強大不能僅僅用強大來形容。高階Excel學習，可以繼續了解宏使用。
3、SPSS Clementine/Python
在數據分析進階路上，還有一類工具是：數據建模工具，如SPSS Clementine、R、Python等。大數據時代，數據維度過於豐富，數據量級過於龐大，對於未知數據探索，手動計算發現數據關系的工作量已經過於繁重，交給這些數據模型工具就簡單多了。其內嵌了大量精細的數據演算法，我們需要做的就是掌握統計理論，掌握演算法原理，輸入規范的數據，等待模型的結果。當然，對模型的掌握，結論的解讀，業務的理解，都是使用建模工具必須要學習的。
B. 想從事分布式系統，計算，hadoop等方面，需要哪些基礎，推薦哪些書籍
What are some good resources for learning about distributed computing? Why? 今天在quora上看到這個問題，感覺特別全面，質量也都A+級別的，貼在這里供大家參考。
課程：
MIT 6.824: Distributed Computer Systems Engineering——經典和詳細的介紹了分布式系統的技術和工程實現經驗，值得每個做分布式系統的人去看一遍，繼續錘煉和提高自己的眼界和技術。
補充三篇論文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，這篇論文是SOSP2007的Best Paper，闡述了一種構建分布式文件系統的範式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文。
2. The Chubby lock service for loosely-coupled distributed systems，http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//archive/chubby-osdi06.pdf，這篇論文詳細介紹了Google的分布式鎖實現機制Chubby。Chubby是一個基於文件實現的分布式鎖，Google的Bigtable、Maprece和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基於Chubby的開源實現，但是根據在Google工作的朋友講，zookeeper跟Chubby在性能和功能上都還有差距。
3. Spanner: Google's Globally-Distributed Database，這個是第一個全球意義上的分布式資料庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還採用了原子鍾，同樣在分布式系統方面具有很強的借鑒意義。
另外，還有一本書:
剛出的，讀了一下樣章，感覺還不錯，一起推薦給大家——《大規模分布式存儲系統:原理解析與架構實戰》華章圖書 - 大規模分布式存儲系統:原理解析與架構實戰
C. 大數據技術包括哪些
大數據技術包括數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現。
1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。
2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，
3、基礎架構：雲存儲、分布式文件存儲等。
4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。
5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。
6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。
7、模型預測：預測模型、機器學習、建模模擬。
8、結果呈現：雲計算、標簽雲、關系圖等。
D. 誰有《大規模分布式存儲系統：原理解析與架構實戰-楊傳輝》電子書百度網盤資源下載
大規模分布式存儲系統：原理解析與架構實戰-楊傳輝鏈接：https://pan..com/s/1RANVCdsTdhC0FoR_aOJRlw
E. 《大規模分布式系統架構與設計實戰（含光碟）》epub下載在線閱讀，求百度網盤雲資源
《大規模分布式系統架構與設計實戰（含光碟）》（彭淵）電子書網盤下載免費在線閱讀
資源鏈接：
鏈接：https://pan..com/s/1XoxJB0i2HGGsmPJtONFSUA
書名：大規模分布式系統架構與設計實戰（含光碟）
作者：彭淵
豆瓣評分：4.8
出版社：機械工業出版社
出版年份：2014-3
頁數：231
內容簡介：
【編輯推薦】
絕技源於江湖、將軍發於卒伍，本書包含作者從程序員到首席架構師十多年職業生涯所積累的實戰經驗。
這不是一本講怎麼使用Hadoop的書，而是一本講實現Hadoop功能的書，本書系統講解構建大規模分布式系統的核心技術和實現方法，包含開源的代碼，手把手教你掌握分布式技術
【內容簡介】
本書從作者的實戰經驗出發，深入淺出地講解了如何建立一個Hadoop那樣的分布式系統，實現對多台計算機CPU、內存、硬碟的統一利用，從而獲取強大計算能力去解決復雜問題。一般互聯網企業的分布式存儲計算系統都是個大平台，系統復雜、代碼龐大，而且只適合公司的業務，工程師很難下載安裝到自己的電腦里學習和吃透。本書對分布式核心技術進行了大量歸納和總結，並從中抽取出一套簡化的框架和編程API進行講解，方便工程師了解分布式系統的主要技術實現。這不是一本空談概念、四處摘抄的書，這本書包含了大量精煉示例，手把手教你掌握分布式核心技術。
本書主要內容
分布式並行計算的基本原理解剖；
分布式協調的實現，包括如何實現公共配置管理，如何實現分布式鎖，如何實現集群管理等；
分布式緩存的實現，包括如何提供完整的分布式緩存來利用多機內存能力；
消息隊列的實現，包括如何實現發送和接收模式；
分布式文件系統的實現，包括如何像操作本地文件一樣操作遠程文件，並利用多機硬碟存儲能力；
分布式作業調度平台的實現，包括資源隔離、資源調度等。
【參考閱讀】
978-7-111-43052-0 大規模分布式存儲系統:原理解析與架構實戰
978-7-111-40392-0 分布式系統：概念與設計（原書第5版）
978-7-111-45244-7 Hadoop應用開發技術詳解
978-7-111-41766-8 Hadoop技術內幕：深入解析Hadoop Common和HDFS架構設計與實現原理
978-7-111-42226-6 Hadoop技術內幕：深入解析MapRece架構設計與實現原理
978-7-111-44534-0 Hadoop技術內幕：深入解析YARN架構設計與實現原理
978-7-111-43514-3 網站數據分析：數據驅動的網站管理、優化和運營
978-7-111-42591-5 數據挖掘：實用案例分析
作者簡介：
彭淵資深架構師，現任華為企業中間件首席架構師，主要負責中間件和大數據。前淘寶高級專家（花名：千峰），先後在淘寶交易、淘寶中間件、集團核心系統、阿里金融等部門工作。曾任金蝶總體架構部SOA架構師，負責設計ESB。曾艱苦創業，編寫和銷售財務軟體。在java技術領域從業十多年，撰寫過多款開源軟體，其中，淘寶分布式技術框架Fourinone為其代表作。他擁有軟體著作權的代表作有：BS系列軟體（包括財務進銷存、OA產品、CRM等）、FMS視頻會議、Flash網站生成軟體（華軍可下載），所有軟體作品均貢獻99%代碼。
F. 哪本php書上有高並發，redis一類的
親,php只是一門語言,高並發是適用於所有網站使用的,學習這門技術要具備以下知識:
linux 伺服器知識:推薦數據 鳥哥linux
網路工程 知識
硬體相關知識:了解即可網上搜搜
mysql資料庫:mysql深入淺出,高性能mysql,把集群研究一下
Oracle(最好掌握,為了深入了解關系型資料庫)
然後在 開始高並發之路
redis這屬於nosql
NoSQL精粹
Linux高性能伺服器編程
Redis設計與實現
大規模分布式存儲系統：原理解析與架構實戰
大型網站技術架構 核心原理與案例分析
圖靈程序設計叢書·實用負載均衡技術：網站性能優化攻略完美應對雲環境及大數據
還有更深的外文書,有的是,那個不用看哪怕你在網路 都不用看,一般人做不到那個位置.
這個看完懂點兒 c語言 java能說會道 去個中小企業 當主管沒什麼問題
有些問題,這些書上也沒有涉及,php 和java,asp.net網站如何實現對接,要去有點規模的公司實際工作中才能解除
G. 系統架構 分布式 哪本書比較好
Distributed
Computer
Systems
Engineering——經典和詳細的介紹了分布式系統的技術和工程實現經驗，值得每個做分布式系統的人去看一遍，繼續錘煉和提高自己的眼界和技術。
補充三篇論文:
1.
Sinfonia:
A
New
Paradigm
for
Building
Scalable
Distributed
Systems，這篇論文是SOSP2007的Best
Paper，闡述了一種構建分布式文件系統的範式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文。
2.
The
Chubby
lock
service
for
loosely-coupled
distributed
systems，這篇論文詳細介紹了Google的分布式鎖實現機制Chubby。Chubby是一個基於文件實現的分布式鎖，Google的Bigtable、Maprece和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基於Chubby的開源實現，但是根據在Google工作的朋友講，zookeeper跟Chubby在性能和功能上都還有差距。
3.
Spanner:
Google's
Globally-Distributed
Database，這個是第一個全球意義上的分布式資料庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還採用了原子鍾，同樣在分布式系統方面具有很強的借鑒意義。
另外，還有一本書:
剛出的，讀了一下樣章，感覺還不錯，一起推薦給大家——《大規模分布式存儲系統:原理解析與架構實戰》
H. 有什麼關於 Spark 的書推薦
《大數據Spark企業級實戰》本書共包括14章，每章的主要內容如下。
第一章回答了為什麼大型數據處理平台都要選擇SPARK
。為什麼spark如此之快?星火的理論基礎是什麼?spark如何使用專門的技術堆棧來解決大規模數據處理的需要?第二章回答了如何從頭構建Hadoop集群的問題。
如何構建基於Hadoop集群的星火集群?如何測試火星的質量?
附錄從spark的角度解釋了Scala，並詳細解釋了Scala函數編程和面向對象編程。
I. 系統架構 分布式 哪本書比較好
Distributed Computer Systems Engineering——經典和詳細的介紹了分布式系統的技術和工程實現經驗，值得每個做分布式系統的人去看一遍，繼續錘煉和提高自己的眼界和技術。
補充三篇論文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，這篇論文是SOSP2007的Best Paper，闡述了一種構建分布式文件系統的範式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文。
2. The Chubby lock service for loosely-coupled distributed systems，這篇論文詳細介紹了Google的分布式鎖實現機制Chubby。Chubby是一個基於文件實現的分布式鎖，Google的Bigtable、Maprece和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基於Chubby的開源實現，但是根據在Google工作的朋友講，zookeeper跟Chubby在性能和功能上都還有差距。
3. Spanner: Google's Globally-Distributed Database，這個是第一個全球意義上的分布式資料庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還採用了原子鍾，同樣在分布式系統方面具有很強的借鑒意義。
另外，還有一本書:
剛出的，讀了一下樣章，感覺還不錯，一起推薦給大家——《大規模分布式存儲系統:原理解析與架構實戰》