分布式存儲入門
1. 大數據怎麼學習
第一階段：大數據技術入門
1大數據入門：介紹當前流行大數據技術，數據技術原理，並介紹其思想，介紹大數據技術培訓課程，概要介紹。
2Linux大數據必備：介紹Lniux常見版本，VMware虛擬機安裝Linux系統，虛擬機網路配置，文件基本命令操作，遠程連接工具使用，用戶和組創建，刪除，更改和授權，文件/目錄創建，刪除，移動，拷貝重命名，編輯器基本使用，文件常用操作，磁碟基本管理命令，內存使用監控命令，軟體安裝方式，介紹LinuxShell的變數，控制，循環基本語法，LinuxCrontab定時任務使用，對Lniux基礎知識，進行階段性實戰訓練，這個過程需要動手操作，將理論付諸實踐。
3CM&CDHHadoop的Cloudera版：包含Hadoop，HBase，Hiva，Spark，Flume等，介紹CM的安裝，CDH的安裝，配置，等等。
第二階段：海量數據高級分析語言
Scala是一門多範式的編程語言，類似於java，設計的初衷是實現可伸縮的語言，並集成面向對象編程和函數式編程的多種特性，介紹其優略勢，基礎語句，語法和用法， 介紹Scala的函數，函數按名稱調用，使用命名參數函數，函數使用可變參數，遞歸函數，默認參數值，高階函數，嵌套函數，匿名函數，部分應用函數，柯里函數，閉包，需要進行動手的操作。
第三階段：海量數據存儲分布式存儲
1HadoopHDFS分布式存儲：HDFS是Hadoop的分布式文件存儲系統，是一個高度容錯性的系統，適合部署在廉價的機器上，HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用，介紹其的入門基礎知識，深入剖析。
2HBase分布式存儲：HBase-HadoopDatabase是一個高可靠性，高性能，面向列，可伸縮的分布式存儲系統，利用HBase技術可在廉價PC上搭建起大規模結構化存儲集群，介紹其入門的基礎知識，以及設計原則，需實際操作才能熟練。
第四階段：海量數據分析分布式計算
1HadoopMapRece分布式計算：是一種編程模型，用於打過莫數據集的並行運算。
2Hiva數據挖掘：對其進行概要性簡介，數據定義，創建，修改，刪除等操作。
3Spare分布式計算：Spare是類MapRece的通用並行框架。
第五階段：考試
1技術前瞻：對全球最新的大數據技術進行簡介。
2考前輔導：自主選擇報考工信部考試，對通過者發放工信部大數據技能認證書。
上面的內容包含了大數據學習的所有的課程，所以，如果有想學大數據的可以從這方面下手，慢慢的了解大數據。
2. python爬蟲需要什麼基礎
網頁知識
html，js,css，xpath這些知識，雖然簡單，但一定需要了解。 你得知道這些網頁是如何構成的，然後才能去分解他們.
HTTP知識
一般爬蟲你需要模擬瀏覽器的操作，才能去獲取網頁的信息
如果有些網站需要登錄，才能獲取更多的資料，你得去登錄，你得把登錄的賬號密碼進行提交
有些網站登錄後需要保存cookie信息才能繼續獲取更多資料
url,url2
beautiul Soup
正則表達式
有了正則表達式才能更好的分割網頁信息，獲取我們想要的數據，所以正則表達式也是需要了解的.
一些重要的爬蟲庫
爬取到的數據我們得有個地方來保存，可以使用文件，也可以使用資料庫，這里我會使用mysql，還有更適合爬蟲的MongoDB資料庫，以及分布式要用到的redis 資料庫
爬蟲框架
PySpider和Scrapy這兩個爬蟲框架是非常NB的,簡單的爬蟲可以使用urllib與urllib2以及正則表達式就能完成，但高級的爬蟲還得用這兩個框架。 這兩個框架需要另行安裝。後面一起學習.
反爬蟲
有時候你的網站數據想禁止別人爬取，可以做一些反爬蟲處理操作。 打比方網路上就無法去查找淘寶上的數據，這樣就避開了搜索引擎的競爭，淘寶就可以搞自己的一套競價排名
分布式爬蟲
使用多個redis實例來緩存各台主機上爬取的數據。
爬蟲要學的東西還是挺多的，想把爬蟲玩得666，基本就是這些知識點吧！
3. 大數據如何入門
首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。
大數據
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。
4. HDS G350是不是分布式存儲
是。，HDS G350系列包括定位於中端的G350，企業入門級的G400/600以及企業級的G800四個型號，與業界最高端的G1000組成完整的產品系列。產品的定位差異僅表現在硬體擴展性的差異，其功能性上完全相同，並且保持完全的兼容性和良好的軟體互通性。
5. 如何要學習python爬蟲，我需要學習哪些知識
現行環境下，大數據與人工智慧的重要依託還是龐大的數據和分析採集，類似於淘寶 京東 網路 騰訊級別的企業 能夠通過數據可觀的用戶群體獲取需要的數據，而一般企業可能就沒有這種通過產品獲取數據的能力和條件，想從事這方面的工作，需掌握以下知識：
1. 學習Python基礎知識並實現基本的爬蟲過程
一般獲取數據的過程都是按照 發送請求-獲得頁面反饋-解析並且存儲數據 這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
2.了解非結構化數據的存儲
爬蟲抓取的數據結構復雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。
3. 掌握一些常用的反爬蟲技巧
使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略。
4.了解分布式存儲
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具就可以了。