廣州大數據分布式存儲上線
A. 大數據時代需要什麼樣的存儲
眾多專家認為，大數據時代的存儲，應當是分布式的存儲，並呈現出與計算融合的趨勢。當然，不同專家對融合的理解也有所區別。 SNIA-China技術委員會主席雷濤表示，在當前的大數據時代，由於數據量TB、PB級的急劇膨脹，傳統的數據搬移工作已經不現實，因而存儲伺服器出現新的融合趨勢。在這樣的架構中，數據不再移動，寫入以後分散在STORAGE，它的計算節點融合在數據旁邊的CPU，數據越來越貼近計算。 雷濤補充說，大數據只談商業分析的數據支持，這是小數據思維，從金融、運營商、政府行業我們做的項目裡面發現，大數據是嵌入到整個行業裡面，替換以前的存儲和計算的系統架構的過程。 華為存儲產品線Marketing部長經寧認為，大數據帶來的三大變化，包括從集中式走向分布式，從水平走向縱向，從計算為中心轉向以數據為中心，總結一句話，即在大數據下架構方向走向分布式存儲的架構。 2013年，華為存儲產品線把理念進行升級，變成「存以致用，融以致遠」。經寧表示，融合架構是我們面對大數據挑戰一個很好的選擇。華為更多的希望把數據智能用起來產生價值，通過融合架構實現計算存儲融合，可以帶來更高的管理效率更高效能，大大降低我們管理上的開銷。 中橋國際調研咨詢公司首席分析師王叢女士則從虛擬化、雲計算數據保護和融合架構三個維度談了中國數據中心的發展變化。她表示，具有高可移動性的虛擬機用於生產，掉了鏈子就很難判斷是哪個物理環境，這就驅動了融合架構。融合架構避免了整合的時間和網路問題判斷的時間，能夠實現統一集中透明管理，可以根據工作負載去實時動態配置資源，也可以實時監控哪裡出了問題，怎麼解決問題。 王叢還指出，融合架構有不同的形態，其中一種是在原來硬體基礎上用一個軟體罩上，然後形成融合架構，實現目的是可以在線擴展，所有動態可以負載均衡，在最大限度提高部署效率前提下，又能夠降低因為硬體問題而導致的應用性能降低和應用的不穩定。 老牌存儲廠商NetApp同樣對存儲架構很有體會。NetApp公司北方區及電信事業部技術總監劉煒表示，在今天把數據存起來不是很難的問題，買一個移動硬碟就可以存儲數據，但是在上面存儲享受的服務級別不同的，不同於放在數據中心和網路雲上面的服務級別的。 為了不讓數據成為整個企業發展的負擔，而是成為真正的價值點，從資料變成資產，基礎架構需要快速、安全地支持一些新的技術手段。劉煒認為，應用級別和服務級別怎麼定義需要有很好存儲架構。NetApp集群存儲系統，並不是簡單地迎合新概念，而是面向實際的應用設計。NetApp做了很多IT架構的設計，滿足應用分級、資源分層的需求，你可以用虛擬化，也可以不用。 Fusion-io大中國區技術總監Tonny Ai與英特爾公司通信和存儲基礎架構事業部存儲部市場總監 Christine M Rice女士談到了SSD在大數據時代數據中心的應用。Tonny Ai表示，讓包括非結構化數據的大量數據快速變成信息，不僅僅是伺服器要快，存儲速度也要跟上CPU的速度，快閃記憶體正是針對當前網路存儲速度落後的解決方案，能夠有效提高存儲的性能。 同時，Tonny Ai認為，在雲計算、大數據時代，集中式存儲需要的管理和維護非常困難，分布式存儲模型是大勢所趨。在這其中，Fusion-io提供了PCIe快閃記憶體卡、全快閃記憶體陣列以及SDK工具，支持提升各種應用的性能。 Christine M Rice女士指出，SSD不只是讓數據變快。她認為，通過SSD在數據中心的使用，能夠幫助節約成本，降低延遲，加快訪問數據的速度，同時還能夠提供非常高的可靠性和管理級別，結合了DRM的使用進行軟體分層管理。 戴爾亞太存儲技術總監許良謀則強調了SSD的利用要在成本和性能之間的平衡，如何更好地應對大數據——快閃記憶體的成本和壽命讓很多企業對它愛恨交加。許良謀認為，大數據需要一個高容量高速度的共享存儲，戴爾的流動數據架構就是一個讓數據平滑遷移的平台。 戴爾實現了一個新的技術突破，即快速SLC和eMLC大容量盤可以用到流動架構裡面，再加上普通的大容量盤，兩級固態盤優化和流動數據架構的配合，這種方案可以比普通純快閃記憶體的方式實現75%以上的成本節約。 許良謀介紹到，戴爾一直通過收購、合作等方式，在自身產品線中不斷引入新的存儲技術，力圖把最好的存儲產品以最經濟的方式提供給用戶。
B. 大數據的分布式資料庫的發展趨勢如何
現在大數據是一個十分火熱的技術，這也使得很多人都開始關注大數據的任何動態，因為大數據在某種程度上來說能夠影響我們的生活。在這篇文章中我們就給大家介紹一下大數據的分布式資料庫的發展趨勢，希望這篇文章能夠幫助大家更好理解大數據的分布式資料庫的發展趨勢。
其實不論是Hadoop還是分布式資料庫，技術體繫上兩者都已經向著計算存儲層分離的方式演進。對於Hadoop來說這一趨勢非常明顯，HDFS存儲與YARN調度計算的分離，使得計算與存儲均可以按需橫向擴展。而分布式資料庫近年來也在遵循類似的趨勢，很多資料庫已經將底層存儲與上層的SQL引擎進行剝離。傳統的XML資料庫、OO資料庫、與pre-RDBMS正在消亡；新興領域文檔類資料庫、圖資料庫、Table-Style資料庫與Multi-Model資料庫正在擴大自身影響；傳統關系型資料庫、列存儲資料庫、內存分析型資料庫正在考慮轉型。可以看到，從技術完整性與成熟度來看，Hadoop確實還處於相對早期的形態。直到今天，很多技術在很多企業應用中需要大量的手工調優才能夠勉強運行。同時，Hadoop的主要應用場景一直以來面向批處理分析型業務，傳統資料庫在線聯機處理部分不是其主要的發展方向。同時Hadoop技術由於開源生態體系過於龐大，同時參與改造的廠商太多，使得用戶很難完全熟悉整個體系，這一方面大大增加了開發的復雜度，提升了用戶使用的難度，另一方面則是各個廠商之間維護不同版本，使得產品的發展方向可能與開源版本差別逐漸加大。
而分布式資料庫領域經歷了幾十年的磨練，傳統RDBMS的MPP技術早已經爐火純青，在分類眾多的分布式資料庫中，其主要發展方向基本可以分為「分布式聯機資料庫」與「分布式分析型資料庫」兩種。對比Hadoop與分布式資料庫可以看出，Hadoop的產品發展方向定位，與分布式資料庫中列存儲資料庫相當重疊而在高並發聯機交易場景，在Hadoop中除了HBase能夠勉強沾邊以外，分布式資料庫則占據絕對的優勢。目前，從Hadoop行業的發展來看，很多廠商而是將其定位改變為數據科學與機器學習服務商。因此，從商業模式上看以Hadoop分銷的商業模式基本已經宣告結束，用戶已經體驗到維護整個Hadoop平台的困難而不願被強迫購買整個平台。大量用戶更願意把原來Hadoop的部件拆開靈活使用，為使用場景和結果買單，而非平台本身買單。另外一個細分市場——非結構化小文件存儲，一直以來都是對象存儲、塊存儲，與分布式文件系統的主戰場。如今，一些新一代資料庫也開始進入該領域，可以預見在未來的幾年中，小型非結構化文件存儲也可能成為具備多模數據處理能力的分布式資料庫的戰場之一。
我們在這篇文章中給大家介紹了很多有關大數據分布資料庫的發展前景，通過這篇文章我們不難發現資料庫的發展是一個極其重要的內容，只有搭建分布式資料庫，大數據才能夠更好地為我們服務。
C. 目前進行大數據存儲的方式主要是分布式集群存儲嗎
主要分布式存儲更為廣泛
D. 大規模分布式存儲系統的內容介紹
《大規模分布式存儲系統：原理解析與架構實戰》是分布式系統領域的經典著作，由阿里巴巴高級技術專家「阿里日照」（OceanBase核心開發人員）撰寫，陽振坤、章文嵩、楊衛華、汪源、余鋒（褚霸）、賴春波等來自阿里、新浪、網易和網路的資深技術專家聯袂推薦。理論方面，不僅講解了大規模分布式存儲系統的核心技術和基本原理，而且對谷歌、亞馬遜、微軟和阿里巴巴等國際型大互聯網公司的大規模分布式存儲系統進行了分析；實戰方面，首先通過對阿里巴巴的分布式資料庫OceanBase的實現細節的深入剖析完整地展示了大規模分布式存儲系統的架構與設計過程，然後講解了大規模分布式存儲技術在雲計算和大數據領域的實踐與應用。
《大規模分布式存儲系統：原理解析與架構實戰》內容分為四個部分：基礎篇——分布式存儲系統的基礎知識，包含單機存儲系統的知識，如數據模型、事務與並發控制、故障恢復、存儲引擎、壓縮/解壓縮等；分布式系統的數據分布、復制、一致性、容錯、可擴展性等。范型篇——介紹谷歌、亞馬遜、微軟、阿里巴巴等著名互聯網公司的大規模分布式存儲系統架構，涉及分布式文件系統、分布式鍵值系統、分布式表格系統以及分布式資料庫技術等。實踐篇——以阿里巴巴的分布式資料庫OceanBase為例，詳細介紹分布式資料庫內部實現，以及實踐過程中的經驗。專題篇——介紹分布式系統的主要應用：雲存儲和大數據，這些是近年來的熱門領域，本書介紹了雲存儲平台、技術與安全，以及大數據的概念、流式計算、實時分析等。
E. 分布式存儲是什麼
分布式存儲的話，其實就是說把一個數據分別存到不幾個地方，這樣的話，既保證了安全。有保證了，調取的速度更快。當然分布式存儲的問題就是比較浪費存儲空間。一般家用還沒有這個存儲方式的。
F. 如何實現企業數據 大數據平台 分布式存放
Hadoop在可伸縮性、健壯性、計算性能和成本上具有無可替代的優勢，事實上已成為當前互聯網企業主流的大數據分析平台。本文主要介紹一種基於Hadoop平台的多維分析和數據挖掘平台架構。作為一家互聯網數據分析公司，我們在海量數據的分析領域那真是被「逼上樑山」。多年來在嚴苛的業務需求和數據壓力下，我們幾乎嘗試了所有可能的大數據分析方法，最終落地於Hadoop平台之上。
1. 大數據分析大分類
Hadoop平台對業務的針對性較強，為了讓你明確它是否符合你的業務，現粗略地從幾個角度將大數據分析的業務需求分類，針對不同的具體需求，應採用不同的數據分析架構。
按照數據分析的實時性，分為實時數據分析和離線數據分析兩種。
實時數據分析一般用於金融、移動和互聯網B2C等產品，往往要求在數秒內返回上億行數據的分析，從而達到不影響用戶體驗的目的。要滿足這樣的需求，可以採用精心設計的傳統關系型資料庫組成並行處理集群，或者採用一些內存計算平台，或者採用HDD的架構，這些無疑都需要比較高的軟硬體成本。目前比較新的海量數據實時分析工具有EMC的Greenplum、SAP的HANA等。
對於大多數反饋時間要求不是那麼嚴苛的應用，比如離線統計分析、機器學習、搜索引擎的反向索引計算、推薦引擎的計算等，應採用離線分析的方式，通過數據採集工具將日誌數據導入專用的分析平台。但面對海量數據，傳統的ETL工具往往徹底失效，主要原因是數據格式轉換的開銷太大，在性能上無法滿足海量數據的採集需求。互聯網企業的海量數據採集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，均可以滿足每秒數百MB的日誌數據採集和傳輸需求，並將這些數據上載到Hadoop中央系統上。
按照大數據的數據量，分為內存級別、BI級別、海量級別三種。
這里的內存級別指的是數據量不超過集群的內存最大值。不要小看今天內存的容量，Facebook緩存在內存的Memcached中的數據高達320TB，而目前的PC伺服器，內存也可以超過百GB。因此可以採用一些內存資料庫，將熱點數據常駐內存之中，從而取得非常快速的分析能力，非常適合實時分析業務。圖1是一種實際可行的MongoDB分析架構。
圖1 用於實時分析的MongoDB架構
MongoDB大集群目前存在一些穩定性問題，會發生周期性的寫堵塞和主從同步失效，但仍不失為一種潛力十足的可以用於高速數據分析的NoSQL。
此外，目前大多數服務廠商都已經推出了帶4GB以上SSD的解決方案，利用內存+SSD，也可以輕易達到內存分析的性能。隨著SSD的發展，內存數據分析必然能得到更加廣泛的應用。
BI級別指的是那些對於內存來說太大的數據量，但一般可以將其放入傳統的BI產品和專門設計的BI資料庫之中進行分析。目前主流的BI產品都有支持TB級以上的數據分析方案。種類繁多，就不具體列舉了。
海量級別指的是對於資料庫和BI產品已經完全失效或者成本過高的數據量。海量數據級別的優秀企業級產品也有很多，但基於軟硬體的成本原因，目前大多數互聯網企業採用Hadoop的HDFS分布式文件系統來存儲數據，並使用MapRece進行分析。本文稍後將主要介紹Hadoop上基於MapRece的一個多維數據分析平台。
數據分析的演算法復雜度
根據不同的業務需求，數據分析的演算法也差異巨大，而數據分析的演算法復雜度和架構是緊密關聯的。舉個例子，Redis是一個性能非常高的內存Key-Value NoSQL，它支持List和Set、SortedSet等簡單集合，如果你的數據分析需求簡單地通過排序，鏈表就可以解決，同時總的數據量不大於內存（准確地說是內存加上虛擬內存再除以2），那麼無疑使用Redis會達到非常驚人的分析性能。
還有很多易並行問題（Embarrassingly Parallel），計算可以分解成完全獨立的部分，或者很簡單地就能改造出分布式演算法，比如大規模臉部識別、圖形渲染等，這樣的問題自然是使用並行處理集群比較適合。
而大多數統計分析，機器學習問題可以用MapRece演算法改寫。MapRece目前最擅長的計算領域有流量統計、推薦引擎、趨勢分析、用戶行為分析、數據挖掘分類器、分布式索引等。
2. 面對大數據OLAP大一些問題
OLAP分析需要進行大量的數據分組和表間關聯，而這些顯然不是NoSQL和傳統資料庫的強項，往往必須使用特定的針對BI優化的資料庫。比如絕大多數針對BI優化的資料庫採用了列存儲或混合存儲、壓縮、延遲載入、對存儲數據塊的預統計、分片索引等技術。
Hadoop平台上的OLAP分析，同樣存在這個問題，Facebook針對Hive開發的RCFile數據格式，就是採用了上述的一些優化技術，從而達到了較好的數據分析性能。如圖2所示。
然而，對於Hadoop平台來說，單單通過使用Hive模仿出SQL，對於數據分析來說遠遠不夠，首先Hive雖然將HiveQL翻譯MapRece的時候進行了優化，但依然效率低下。多維分析時依然要做事實表和維度表的關聯，維度一多性能必然大幅下降。其次，RCFile的行列混合存儲模式，事實上限制死了數據格式，也就是說數據格式是針對特定分析預先設計好的，一旦分析的業務模型有所改動，海量數據轉換格式的代價是極其巨大的。最後，HiveQL對OLAP業務分析人員依然是非常不友善的，維度和度量才是直接針對業務人員的分析語言。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
使用Hadoop進行多維分析，首先能解決上述維度難以改變的問題，利用Hadoop中數據非結構化的特徵，採集來的數據本身就是包含大量冗餘信息的。同時也可以將大量冗餘的維度信息整合到事實表中，這樣可以在冗餘維度下靈活地改變問題分析的角度。其次利用Hadoop MapRece強大的並行化處理能力，無論OLAP分析中的維度增加多少，開銷並不顯著增長。換言之，Hadoop可以支持一個巨大無比的Cube，包含了無數你想到或者想不到的維度，而且每次多維分析，都可以支持成千上百個維度，並不會顯著影響分析的性能。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
3. 一種Hadoop多維分析平台的架構
整個架構由四大部分組成：數據採集模塊、數據冗餘模塊、維度定義模塊、並行分 析模塊。
數據採集模塊採用了Cloudera的Flume，將海量的小日誌文件進行高速傳輸和合並，並能夠確保數據的傳輸安全性。單個collector宕機之後，數據也不會丟失，並能將agent數據自動轉移到其他的colllecter處理，不會影響整個採集系統的運行。如圖5所示。
數據冗餘模塊不是必須的，但如果日誌數據中沒有足夠的維度信息，或者需要比較頻繁地增加維度，則需要定義數據冗餘模塊。通過冗餘維度定義器定義需要冗餘的維度信息和來源（資料庫、文件、內存等），並指定擴展方式，將信息寫入數據日誌中。在海量數據下，數據冗餘模塊往往成為整個系統的瓶頸，建議使用一些比較快的內存NoSQL來冗餘原始數據，並採用盡可能多的節點進行並行冗餘；或者也完全可以在Hadoop中執行批量Map，進行數據格式的轉化。
維度定義模塊是面向業務用戶的前端模塊，用戶通過可視化的定義器從數據日誌中定義維度和度量，並能自動生成一種多維分析語言，同時可以使用可視化的分析器通過GUI執行剛剛定義好的多維分析命令。
並行分析模塊接受用戶提交的多維分析命令，並將通過核心模塊將該命令解析為Map-Rece，提交給Hadoop集群之後，生成報表供報表中心展示。
核心模塊是將多維分析語言轉化為MapRece的解析器，讀取用戶定義的維度和度量，將用戶的多維分析命令翻譯成MapRece程序。核心模塊的具體邏輯如圖6所示。
圖6中根據JobConf參數進行Map和Rece類的拼裝並不復雜，難點是很多實際問題很難通過一個MapRece Job解決，必須通過多個MapRece Job組成工作流（WorkFlow），這里是最需要根據業務進行定製的部分。圖7是一個簡單的MapRece工作流的例子。
MapRece的輸出一般是統計分析的結果，數據量相較於輸入的海量數據會小很多，這樣就可以導入傳統的數據報表產品中進行展現。
G. 大窒大數據的存儲系統 什麼是分布式文件系統
大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經涌現出了大量新的技術，它們成為大數據採集、存儲、處理和呈現的有力武器。智能職涯（bigdata-job)總結了大數據處理關鍵技術一般包括：大數據採集、大數據預處理、...
H. 大數據存儲技術都有哪些
1. 數據採集：在大數據的生命周期中，數據採集是第一個環節。按照MapRece應用系統的分類，大數據採集主要來自四個來源：管理信息系統、web信息系統、物理信息系統和科學實驗系統。
2. 數據訪問：大數據的存儲和刪除採用不同的技術路線，大致可分為三類。第一類主要面向大規模結構化數據。第二類主要面向半結構化和非結構化數據。第三類是面對結構化和非結構化的混合大數據，
3。基礎設施：雲存儲、分布式文件存儲等。數據處理：對於收集到的不同數據集，可能會有不同的結構和模式，如文件、XML樹、關系表等，表現出數據的異構性。對於多個異構數據集，需要進行進一步的集成或集成處理。在對不同數據集的數據進行收集、排序、清理和轉換後，生成一個新的數據集，為後續的查詢和分析處理提供統一的數據視圖。
5. 統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、t檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測、殘差分析，嶺回歸、logistic回歸、曲線估計、因子分析、聚類分析、主成分分析等方法介紹了聚類分析、因子分析、快速聚類與聚類、判別分析、對應分析等方法，多元對應分析(最優尺度分析)、bootstrap技術等。
6. 數據挖掘：目前需要改進現有的數據挖掘和機器學習技術;開發數據網路挖掘、特殊群挖掘、圖挖掘等新的數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破面向領域的大數據挖掘技術如用戶興趣分析、網路行為分析、情感語義分析等挖掘技術。
7. 模型預測：預測模型、機器學習、建模與模擬。
8. 結果：雲計算、標簽雲、關系圖等。
關於大數據存儲技術都有哪些，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。
I. 分布式存儲都有哪些，並闡述其基本實現原理
神州雲科 DCN NCS DFS2000（簡稱DFS2000）系列是面向大數據的存儲系統，採用分布式架構，真正的分布式、全對稱群集體系結構，將模塊化存儲節點與數據和存儲管理軟體相結合，跨節點的客戶端連接負載均衡，自動平衡容量和性能，優化集群資源，3-144節點無縫擴展，容量、性能歲節點增加而線性增長，在 60 秒鍾內添加一個節點以擴展性能和容量。
J. 大數據技術有哪些分布式存儲系統
比 比鯨做大數據還做的不錯的，你可以去參考一下。