大數據的存儲

A. 什麼是大數據存儲

Hadoop是一個開源分布式計算平台，它提供了一種建立平台的方法，這個平台由標准化硬體(伺服器和內部伺服器存儲)組成，並形成集群能夠並行處理大數據請求。在存儲方面來看，這個開源項目的關鍵組成部分是Hadoop分布式文件系統(HDFS)，該系統具有跨集群中多個成員存儲非常大文件的能力。HDFS通過創建多個數據塊副本，然後將其分布在整個集群內的計算機節點，這提供了方便可靠極其快速的計算能力。

B. 大數據量存儲的方案

hadoop

什麼是大數據存儲？

首先，我們需要清楚大數據與其他類型數據的區別以及與之相關的技術(主要是分析應用程序)。大數據本
身意味著非常多需要使用標准存儲技術來處理的數據。大數據可能由TB級(或者甚至PB級)信息組成，既包括結構化數據(資料庫、日誌、SQL等)以及非結
構化數據(社交媒體帖子、感測器、多媒體數據)。此外，大部分這些數據缺乏索引或者其他組織結構，可能由很多不同文件類型組成。
由於這些數據缺乏一致性，使標准處理和存儲技術無計可施，而且運營開銷以及龐大的數據量使我們難以使用傳統的伺服器和SAN方法來有效地進行處理。換句話說，大數據需要不同的處理方法：自己的平台，這也是Hadoop可以派上用場的地方。
Hadoop
是一個開源分布式計算平台，它提供了一種建立平台的方法，這個平台由標准化硬體(伺服器和內部伺服器存儲)組成，並形成集群能夠並行處理大數據請求。在存
儲方面來看，這個開源項目的關鍵組成部分是Hadoop分布式文件系統(HDFS)，該系統具有跨集群中多個成員存儲非常大文件的能力。HDFS通過創建
多個數據塊副本，然後將其分布在整個集群內的計算機節點，這提供了方便可靠極其快速的計算能力。
從目前來看，為大數據建立足夠大的存儲平台最簡單的方法就是購買一套伺服器，並為每台伺服器配備數TB級的驅動器，然後讓Hadoop來完成餘下的工作。對於一些規模較小的企業而言，可能只要這么簡單。然而，一旦考慮處理性能、演算法復雜性和數據挖掘，這種方法可能不一定能夠保證成功。

C. 大數據和傳統數據存儲的區別

主要區別在於，現在的大數據包括非結構化數據，並且可以從各種數據中提取有用的信息，比如郵件、日誌文件、社交多媒體、商業交易及其他數據。比如，保存在資料庫里的一家連鎖零售商店的某商品的銷售圖表數據。對這些數據的獲取就不是大數據范疇的問題。大數據應用的一個主要特點是實時性或者近實時性。大數據比傳統數據存儲更需要非常高性能、高吞吐率、大容量的基礎設備。

D. 大數據的數據的存儲方式是什麼

大數據有效存儲和管理大數據的三種方式：
1.
不斷加密
任何類型的數據對於任何一個企業來說都是至關重要的，而且通常被認為是私有的，並且在他們自己掌控的范圍內是安全的。然而，黑客攻擊經常被覆蓋在業務故障中，最新的網路攻擊活動在新聞報道不斷充斥。因此，許多公司感到很難感到安全，尤其是當一些行業巨頭經常成為攻擊目標時。
隨著企業為保護資產全面開展工作，加密技術成為打擊網路威脅的可行途徑。將所有內容轉換為代碼，使用加密信息，只有收件人可以解碼。如果沒有其他的要求，則加密保護數據傳輸，增強在數字傳輸中有效地到達正確人群的機會。
2.
倉庫存儲
大數據似乎難以管理，就像一個永無休止統計數據的復雜的漩渦。因此，將信息精簡到單一的公司位置似乎是明智的，這是一個倉庫，其中所有的數據和伺服器都可以被充分地規劃指定。然而，有些報告指出了反對這種方法的論據，指出即使是最大的存儲中心，大數據的指數增長也不再能維持。
然而，在某些情況下，企業可能會租用一個倉庫來存儲大量數據，在大數據超出的情況下，這是一個臨時的解決方案，而LCP屬性提供了一些很好的機會。畢竟，企業不會立即被大量的數據所淹沒，因此，為物理機器租用倉庫至少在短期內是可行的。這是一個簡單有效的解決方案，但並不是永久的成本承諾。
3.
備份服務
-
雲端
當然，不可否認的是，大數據管理和存儲正在迅速脫離物理機器的范疇，並迅速進入數字領域。除了所有技術的發展，大數據增長得更快，以這樣的速度，世界上所有的機器和倉庫都無法完全容納它。
因此，由於雲存儲服務推動了數字化轉型，雲計算的應用越來越繁榮。數據在一個位置不再受到風險控制，並隨時隨地可以訪問，大型雲計算公司(如谷歌雲)將會更多地訪問基本統計信息。數據可以在這些服務上進行備份，這意味著一次網路攻擊不會消除多年的業務增長和發展。最終，如果出現網路攻擊，雲端將以A遷移到B的方式提供獨一無二的服務。

E. 大數據量數據存儲問題

杉岩數據專注數據存儲解決方案，面對大數據，人工智慧帶來的海量數據存儲挑戰，杉岩海量對象存儲MOS提供完美解決方案，
SandStone MOS是兼具企業級存儲能力和智能檢索處理能力的對象存儲產品。新一代的存儲引擎基於標准伺服器構建一個可以線性擴展、幾乎沒有容量上限的跨地域存儲架構，在提供高可靠和高可用服務能力的同時，集成了數據智能處理和分析能力，簡化了海量數據處理所需的基礎設施，以大幅提升數據處理的效率。

F. 怎樣存儲大數據

PB或多PB級基礎設施與傳統大規模數據集之間的差別簡直就像白天和黑夜的差別，就像在筆記本電腦上處理數據和在RAID陣列上處理數據之間的差別。"
當Day在2009年加入Shutterfly時，存儲已經成為該公司最大的開支，並且以飛快的速度增長。
"每N個PB的額外存儲意味著我們需要另一個存儲管理員來支持物理和邏輯基礎設施，"Day表示，"面對大規模數據存儲，系統會更頻繁地出問題，任何管理超大存儲的人經常都要處理硬體故障。大家都在試圖解決的根本問題是：當你知道存儲的一部分將在一段時間內出現問題，你應該如何確保數據可用性，同時確保不會降低性能？"RAID問題解決故障的標准答案是復制，通常以RAID陣列的形式。但Day表示，面對龐大規模的數據時，RAID解決問題的同時可能會製造更多問題。在傳統RAID數據存儲方案中，每個數據的副本都被鏡像和存儲在陣列的不同磁碟中，以確保完整性和可用性。但這意味著每個被鏡像和存儲的數據將需要其本身五倍以上的存儲空間。隨著RAID陣列中使用的磁碟越來越大（從密度和功耗的角度來看，3TB磁碟非常具有吸引力），更換故障驅動器的時間也將變得越來越長。
"實際上，我們使用RAID並不存在任何操作問題，"Day表示，"我們看到的是，隨著磁碟變得越來越大，當任何組件發生故障時，我們回到一個完全冗餘的系統的時間增加。生成校驗是與數據集的大小成正比的。當我們開始使用1TB和2TB的磁碟時，回到完全冗餘系統的時間變得很長。可以說，這種趨勢並沒有朝著正確的方向發展。"
對於Shutterfly而言，可靠性和可用性是非常關鍵的因素，這也是企業級存儲的要求。Day表示，其快速膨脹的存儲成本使商品系統變得更具吸引力。當Day及其團隊在研究潛在技術解決方案以幫助控制存儲成本時，他們對於一項叫做糾刪碼（erasure code）的技術非常感興趣。
採用擦除代碼技術的下一代存儲
里德-所羅門糾刪碼最初作為前向糾錯碼（Forward Error Correction, FEC）用於不可靠通道的數據傳輸，例如外層空間探測的數據傳輸。這項技術還被用於CD和DVD來處理光碟上的故障，例如灰塵和劃痕。一些存儲供應商已經開始將糾刪碼納入他們的解決方案中。使用糾刪碼，數據可以被分解成幾塊，單塊分解數據是無用的，然後它們被分散到不同磁碟驅動器或者伺服器。在任何使用，這些數據都可以完全重組，即使有些數據塊因為磁碟故障已經丟失。換句話說，你不需要創建多個數據副本，單個數據就可以確保數據的完整性和可用性。
基於糾刪碼的解決方案的早期供應商之一是Cleversafe公司，他們添加了位置信息來創建其所謂的分散編碼，讓用戶可以在不同位置（例如多個數據中心）存儲數據塊或者說數據片。
每個數據塊就其自身而言是無用的，這樣能夠確保隱私性和安全性。因為信息分散技術使用單一數據來確保數據完整性和可用性，而不是像RAID一樣使用多個副本，公司可以節省多達90%的存儲成本。
"當你將試圖重組數據時，你並不一定需要提供所有數據塊，"Cleversafe公司產品策略、市場營銷和客戶解決方案副總裁Russ Kennedy表示，"你生成的數據塊的數量，我們稱之為寬度，我們將重組數據需要的最低數量稱之為門檻。你生成的數據塊的數量和重組需要的數量之間的差異決定了其可靠性。同時，即使你丟失節點和驅動器，你仍然能夠得到原來形式的數據。"

G. 傳統大數據存儲的架構有哪些

大數據是收集、整理、處理大容量數據集，並從中獲得見解所需的非傳統戰略和技術的總稱。雖然處理數據所需的計算能力或存儲容量早已超過一台計算機的上限，但這種計算類型的普遍性、規模，以及價值在最近幾年才經歷了大規模擴展。

H. 大數據存儲包括哪些內容

1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。

2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據。

3、基礎架構：雲存儲、分布式文件存儲等。

4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。

5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

7、模型預測：預測模型、機器學習、建模模擬。

8、結果呈現：雲計算、標簽雲、關系圖等。

I. 大數據存儲需要具備什麼

大數據之大大是相對而言的概念。例如，對於像SAPHANA那樣的內存資料庫來說，2TB可能就已經是大容量了；而對於像谷歌這樣的搜索引擎，EB的數據量才能稱得上是大數據。大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB大數據存儲需要具備什麼？

J. 大數據時代需要什麼樣的存儲

眾多專家認為，大數據時代的存儲，應當是分布式的存儲，並呈現出與計算融合的趨勢。當然，不同專家對融合的理解也有所區別。 SNIA-China技術委員會主席雷濤表示，在當前的大數據時代，由於數據量TB、PB級的急劇膨脹，傳統的數據搬移工作已經不現實，因而存儲伺服器出現新的融合趨勢。在這樣的架構中，數據不再移動，寫入以後分散在STORAGE，它的計算節點融合在數據旁邊的CPU，數據越來越貼近計算。 雷濤補充說，大數據只談商業分析的數據支持，這是小數據思維，從金融、運營商、政府行業我們做的項目裡面發現，大數據是嵌入到整個行業裡面，替換以前的存儲和計算的系統架構的過程。 華為存儲產品線Marketing部長經寧認為，大數據帶來的三大變化，包括從集中式走向分布式，從水平走向縱向，從計算為中心轉向以數據為中心，總結一句話，即在大數據下架構方向走向分布式存儲的架構。 2013年，華為存儲產品線把理念進行升級，變成「存以致用，融以致遠」。經寧表示，融合架構是我們面對大數據挑戰一個很好的選擇。華為更多的希望把數據智能用起來產生價值，通過融合架構實現計算存儲融合，可以帶來更高的管理效率更高效能，大大降低我們管理上的開銷。 中橋國際調研咨詢公司首席分析師王叢女士則從虛擬化、雲計算數據保護和融合架構三個維度談了中國數據中心的發展變化。她表示，具有高可移動性的虛擬機用於生產，掉了鏈子就很難判斷是哪個物理環境，這就驅動了融合架構。融合架構避免了整合的時間和網路問題判斷的時間，能夠實現統一集中透明管理，可以根據工作負載去實時動態配置資源，也可以實時監控哪裡出了問題，怎麼解決問題。 王叢還指出，融合架構有不同的形態，其中一種是在原來硬體基礎上用一個軟體罩上，然後形成融合架構，實現目的是可以在線擴展，所有動態可以負載均衡，在最大限度提高部署效率前提下，又能夠降低因為硬體問題而導致的應用性能降低和應用的不穩定。 老牌存儲廠商NetApp同樣對存儲架構很有體會。NetApp公司北方區及電信事業部技術總監劉煒表示，在今天把數據存起來不是很難的問題，買一個移動硬碟就可以存儲數據，但是在上面存儲享受的服務級別不同的，不同於放在數據中心和網路雲上面的服務級別的。 為了不讓數據成為整個企業發展的負擔，而是成為真正的價值點，從資料變成資產，基礎架構需要快速、安全地支持一些新的技術手段。劉煒認為，應用級別和服務級別怎麼定義需要有很好存儲架構。NetApp集群存儲系統，並不是簡單地迎合新概念，而是面向實際的應用設計。NetApp做了很多IT架構的設計，滿足應用分級、資源分層的需求，你可以用虛擬化，也可以不用。 Fusion-io大中國區技術總監Tonny Ai與英特爾公司通信和存儲基礎架構事業部存儲部市場總監 Christine M Rice女士談到了SSD在大數據時代數據中心的應用。Tonny Ai表示，讓包括非結構化數據的大量數據快速變成信息，不僅僅是伺服器要快，存儲速度也要跟上CPU的速度，快閃記憶體正是針對當前網路存儲速度落後的解決方案，能夠有效提高存儲的性能。 同時，Tonny Ai認為，在雲計算、大數據時代，集中式存儲需要的管理和維護非常困難，分布式存儲模型是大勢所趨。在這其中，Fusion-io提供了PCIe快閃記憶體卡、全快閃記憶體陣列以及SDK工具，支持提升各種應用的性能。 Christine M Rice女士指出，SSD不只是讓數據變快。她認為，通過SSD在數據中心的使用，能夠幫助節約成本，降低延遲，加快訪問數據的速度，同時還能夠提供非常高的可靠性和管理級別，結合了DRM的使用進行軟體分層管理。 戴爾亞太存儲技術總監許良謀則強調了SSD的利用要在成本和性能之間的平衡，如何更好地應對大數據——快閃記憶體的成本和壽命讓很多企業對它愛恨交加。許良謀認為，大數據需要一個高容量高速度的共享存儲，戴爾的流動數據架構就是一個讓數據平滑遷移的平台。 戴爾實現了一個新的技術突破，即快速SLC和eMLC大容量盤可以用到流動架構裡面，再加上普通的大容量盤，兩級固態盤優化和流動數據架構的配合，這種方案可以比普通純快閃記憶體的方式實現75%以上的成本節約。 許良謀介紹到，戴爾一直通過收購、合作等方式，在自身產品線中不斷引入新的存儲技術，力圖把最好的存儲產品以最經濟的方式提供給用戶。