大規模存儲式系統

Ⅰ 集中式存儲和分布式存儲的區別在哪裡如何選擇

如今全球數據存儲量呈現爆炸式增長，企業及互聯網數據以每年50%的速率在增長，據Gartner預測，到2020年，全球數據量將達到35ZB，等於80億塊4TB硬碟。數據結構變化給存儲系統帶來新的挑戰。非結構化數據在存儲系統中所佔據比例已接近80%。

互聯網的發展使得數據創造的主體由企業逐漸轉向個人用戶，而個人所產生的絕大部分數據均為圖片、文檔、視頻等非結構化數據；企業辦公流程更多通過網路實現，表單、票據等都實現了以非結構化為主的數字化存檔;同時，基於資料庫應用的結構化數據仍然在企業中占據重要地位，存儲大量的核心信息。

數據業務的急劇增加，傳統單一的SAN存儲或NAS存儲方式已經不適應業務發展需要。SAN存儲：成本高，不適合PB級大規模存儲系統。數據共享性不好，無法支持多用戶文件共享。NAS存儲：共享網路帶寬，並發性能差。隨系統擴展，性能會進一步下降。因此，集中式存儲再次活躍。

那麼集中式存儲和分布式存儲的有缺點分別有哪些呢？在面對二者時我們該如何選擇呢？下面我將為大家介紹和分析集中式存儲和分布式存儲的不同之處以及在應用中我們應做的選擇。


分布式和集中式存儲的選擇

集中存儲的優缺點是，物理介質集中布放;視頻流上傳到中心對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。

分布存儲，集中管理的優缺點是，物理介質分布到不同的地理位置;視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。

Ⅱ 什麼是分布式存儲系統

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(2)大規模存儲式系統擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

Ⅲ 如何開啟大容量存儲模式

一般是需要開啟手機系統的開發者模式，通過USB數據線進行連接，方可開啟大容量存儲模式。

Ⅳ HDFS簡介：不用HDFS我們如何存儲大規模數據

        大數據技術主要是要解決大規模數據的計算處理問題，但是我們要想對數據進行計算，首先要解決的其實是大規模數據的存儲問題。

         如果一個文件的大小超過了一張磁碟的大小，你該如何存儲？ 單機時代，主要的解決方案是 RAID ；分布式時代，主要解決方案是 分布式文件系統 。

           其實不論是在 RAID 還是 分布式文件系統 ，大規模數據存儲都需要解決幾個核心問題，這些問題都是什麼呢？總結一下，主要有以下三個方面。       

        1. 數據存儲容量的問題。 既然大數據要解決的是數以 PB 計的數據計算問題，而一般的伺服器磁碟容量通常 1～2TB，那麼如何存儲這么大規模的數據呢？

        2. 數據讀寫速度的問題。 一般磁碟的連續讀寫速度為幾十 MB，以這樣的速度，幾十 PB 的數據恐怕要讀寫到天荒地老。

        3. 數據可靠性的問題。 磁碟大約是計算機設備中最易損壞的硬體了，通常情況一塊磁碟使用壽命大概是一年，如果磁碟損壞了，數據怎麼辦？

        RAID（獨立磁碟冗餘陣列）技術是將多塊普通磁碟組成一個陣列，共同對外提供服務。主要是為了改善磁碟的存儲容量、讀寫速度，增強磁碟的可用性和容錯能力。目前伺服器級別的計算機都支持插入多塊磁碟，通過使用 RAID 技術，實現數據在多塊磁碟上的並發讀寫和數據備份。

        常用 RAID 技術有圖中下面這幾種，RAID0，RAID1，RAID10，RAID5， RAID6。

           首先，我們先假設伺服器有 N 塊磁碟。

            RAID 0  是數據在從內存緩沖區寫入磁碟時，根據磁碟數量將數據分成 N 份，這些數據同時並發寫入 N 塊磁碟，使得數據整體寫入速度是一塊磁碟的 N 倍；讀取的時候也一樣，因此 RAID 0 具有極快的數據讀寫速度。但是 RAID 0 不做數據備份，N 塊磁碟中只要有一塊損壞，數據完整性就被破壞，其他磁碟的數據也都無法使用了。

            RAID 1 是數據在寫入磁碟時，將一份數據同時寫入兩塊磁碟，這樣任何一塊磁碟損壞都不會導致數據丟失，插入一塊新磁碟就可以通過復制數據的方式自動修復，具有極高的可靠性。

           結合 RAID 0 和 RAID 1 兩種方案構成了 RAID 10 ，它是將所有磁碟 N 平均分成兩份，數據同時在兩份磁碟寫入，相當於 RAID 1；但是平分成兩份，在每一份磁碟（也就是 N/2 塊磁碟）裡面，利用 RAID 0 技術並發讀寫，這樣既提高可靠性又改善性能。不過 RAID 10 的磁碟利用率較低，有一半的磁碟用來寫備份數據。

           一般情況下，一台伺服器上很少出現同時損壞兩塊磁碟的情況，在只損壞一塊磁碟的情況下，如果能利用其他磁碟的數據恢復損壞磁碟的數據，這樣在保證可靠性和性能的同時，磁碟利用率也得到大幅提升。

           順著這個思路， RAID 3  可以在數據寫入磁碟的時候，將數據分成 N-1 份，並發寫入 N-1 塊磁碟，並在第 N 塊磁碟記錄校驗數據，這樣任何一塊磁碟損壞（包括校驗數據磁碟），都可以利用其他 N-1 塊磁碟的數據修復。但是在數據修改較多的場景中，任何磁碟數據的修改，都會導致第 N 塊磁碟重寫校驗數據。頻繁寫入的後果是第 N 塊磁碟比其他磁碟更容易損壞，需要頻繁更換，所以 RAID 3 很少在實踐中使用，因此在上面圖中也就沒有單獨列出。

           相比 RAID 3， RAID 5 是使用更多的方案。RAID 5 和 RAID 3 很相似，但是校驗數據不是寫入第 N 塊磁碟，而是螺旋式地寫入所有磁碟中。這樣校驗數據的修改也被平均到所有磁碟上，避免 RAID 3 頻繁寫壞一塊磁碟的情況。

            如果數據需要很高的可靠性，在出現同時損壞兩塊磁碟的情況下，仍然需要修復數據，這時候可以使用 RAID 6。

             RAID 6 和 RAID 5 類似 ， 但是數據只寫入 N-2 塊磁碟，並螺旋式地在兩塊磁碟中寫入校驗信息（使用不同演算法生成）。

            從下面表格中你可以看到在相同磁碟數目（N）的情況下，各種 RAID 技術的比較。

        現在我來總結一下，看看 RAID 是如何解決我一開始提出的，關於存儲的三個關鍵問題。

         1. 數據存儲容量的問題。 RAID 使用了 N 塊磁碟構成一個存儲陣列，如果使用 RAID 5，數據就可以存儲在 N-1 塊磁碟上，這樣將存儲空間擴大了 N-1 倍。

         2. 數據讀寫速度的問題。 RAID 根據可以使用的磁碟數量，將待寫入的數據分成多片，並發同時向多塊磁碟進行寫入，顯然寫入的速度可以得到明顯提高；同理，讀取速度也可以得到明顯提高。不過，需要注意的是，由於傳統機械磁碟的訪問延遲主要來自於定址時間，數據真正進行讀寫的時間可能只佔據整個數據訪問時間的一小部分，所以數據分片後對 N 塊磁碟進行並發讀寫操作並不能將訪問速度提高 N 倍。

         3. 數據可靠性的問題。 使用 RAID 10、RAID 5 或者 RAID 6 方案的時候，由於數據有冗餘存儲，或者存儲校驗信息，所以當某塊磁碟損壞的時候，可以通過其他磁碟上的數據和校驗數據將丟失磁碟上的數據還原。

        RAID 可以看作是一種垂直伸縮，一台計算機集成更多的磁碟實現數據更大規模、更安全可靠的存儲以及更快的訪問速度。而 HDFS 則是水平伸縮，通過添加更多的伺服器實現數據更大、更快、更安全存儲與訪問。

        RAID 技術只是在單台伺服器的多塊磁碟上組成陣列，大數據需要更大規模的存儲空間和更快的訪問速度。將 RAID 思想原理應用到分布式伺服器集群上，就形成了 Hadoop 分布式文件系統 HDFS 的架構思想。

Ⅳ 分布式存儲系統是做什麼的

一句話，是為了解決非分布式存儲系統滿足不了的存儲瓶頸、性能瓶頸而產生的。
對了非分布式存儲系統而言，數據量大、訪問量大都會導致IO瓶頸，分布式存儲通過把一個完整的數據集分片，存儲到不同的節點中，每個節點都能對外提供服務來提高整個存儲的存儲能力、處理能力、快速響應能力。

Ⅵ 什麼是大數據存儲管理

1.分布式存儲

傳統化集中式存儲存在已有一段時間。但大數據並非真的適合集中式存儲架構。Hadoop設計用於將計算更接近數據節點，同時採用了HDFS文件系統的大規模橫向擴展功能。

雖然，通常解決Hadoop管理自身數據低效性的方案是將Hadoop 數據存儲在SAN上。但這也造成了它自身性能與規模的瓶頸。現在，如果你把所有的數據都通過集中式SAN處理器進行處理，與Hadoop的分布式和並行化特性相悖。你要麼針對不同的數據節點管理多個SAN，要麼將所有的數據節點都集中到一個SAN。

但Hadoop是一個分布式應用，就應該運行在分布式存儲上，這樣存儲就保留了與Hadoop本身同樣的靈活性，不過它也要求擁抱一個軟體定義存儲方案，並在商用伺服器上運行，這相比瓶頸化的Hadoop自然更為高效。

2.超融合VS分布式

注意，不要混淆超融合與分布式。某些超融合方案是分布式存儲，但通常這個術語意味著你的應用和存儲都保存在同一計算節點上。這是在試圖解決數據本地化的問題，但它會造成太多資源爭用。這個Hadoop應用和存儲平台會爭用相同的內存和CPU。Hadoop運行在專有應用層，分布式存儲運行在專有存儲層這樣會更好。之後，利用緩存和分層來解決數據本地化並補償網路性能損失。

3.避免控制器瓶頸(Controller Choke Point)

實現目標的一個重要方面就是——避免通過單個點例如一個傳統控制器來處理數據。反之，要確保存儲平台並行化，性能可以得到顯著提升。

此外，這個方案提供了增量擴展性。為數據湖添加功能跟往裡面扔x86伺服器一樣簡單。一個分布式存儲平台如有需要將自動添加功能並重新調整數據。

4.刪重和壓縮

掌握大數據的關鍵是刪重和壓縮技術。通常大數據集內會有70%到90%的數據簡化。以PB容量計，能節約數萬美元的磁碟成本。現代平台提供內聯(對比後期處理)刪重和壓縮，大大降低了存儲數據所需能力。

5.合並Hadoop發行版

很多大型企業擁有多個Hadoop發行版本。可能是開發者需要或是企業部門已經適應了不同版本。無論如何最終往往要對這些集群的維護與運營。一旦海量數據真正開始影響一家企業時，多個Hadoop發行版存儲就會導致低效性。我們可以通過創建一個單一，可刪重和壓縮的數據湖獲取數據效率

6.虛擬化Hadoop

虛擬化已經席捲企業級市場。很多地區超過80%的物理伺服器現在是虛擬化的。但也仍有很多企業因為性能和數據本地化問題對虛擬化Hadoop避而不談。

7.創建彈性數據湖

創建數據湖並不容易，但大數據存儲可能會有需求。我們有很多種方法來做這件事，但哪一種是正確的?這個正確的架構應該是一個動態，彈性的數據湖，可以以多種格式(架構化，非結構化，半結構化)存儲所有資源的數據。更重要的是，它必須支持應用不在遠程資源上而是在本地數據資源上執行。

不幸的是，傳統架構和應用(也就是非分布式)並不盡如人意。隨著數據集越來越大，將應用遷移到數據不可避免，而因為延遲太長也無法倒置。

理想的數據湖基礎架構會實現數據單一副本的存儲，而且有應用在單一數據資源上執行，無需遷移數據或製作副本

8.整合分析

分析並不是一個新功能，它已經在傳統RDBMS環境中存在多年。不同的是基於開源應用的出現，以及資料庫表單和社交媒體，非結構化數據資源(比如，維基網路)的整合能力。關鍵在於將多個數據類型和格式整合成一個標準的能力，有利於更輕松和一致地實現可視化與報告製作。合適的工具也對分析/商業智能項目的成功至關重要。

9. 大數據遇見大視頻

大數據存儲問題已經讓人有些焦頭爛額了，現在還出現了大視頻現象。比如，企業為了安全以及操作和工業效率逐漸趨於使用視頻監控，簡化流量管理，支持法規遵從性和幾個其它的使用案例。很短時間內這些資源將產生大量的內容，大量必須要處理的內容。如果沒有專業的存儲解決方案很可能會導致視頻丟失和質量降低的問題。

10.沒有絕對的贏家

Hadoop的確取得了一些進展。那麼隨著大數據存儲遍地開花，它是否會成為贏家，力壓其它方案，其實不然。

比如，基於SAN的傳統架構在短期內不可取代，因為它們擁有OLTP，100%可用性需求的內在優勢。所以最理想的辦法是將超融合平台與分布式文件系統和分析軟體整合在一起。而成功的最主要因素則是存儲的可擴展性因素。

Ⅶ 分布式存儲有哪些

問題一：當前主流分布式文件系統有哪些?各有什麼優缺點 目前幾個主流的分布式文件系統除GPFS外，還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行linux集群而創建的一個開源項目,目前PVFS還存在以下不足：
1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;
2）對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時，數據將出現不可用的情況;
3）靜態配置:對PVFS的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統，此項目於1999年在Carnegie Mellon University啟動，Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後，管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統，GPFS的主要優點有以下三點：
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理，這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.

問題二：分布式存儲是什麼？選擇什麼樣的分布式存儲更好？ 分布式存儲系統，是將數據分散存儲在多 *** 立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平台、計算、網路和存儲系統的無縫集成，構建了雲計算基礎設施即服務的一站式解決方案，為用戶提供了一個高度簡化的一站式基礎設施雲平台。這不僅使得業務部署上線從周縮短到天，而且與企業應用軟體、中間件及資料庫軟體完全解耦，能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能

問題三：什麼是分布式存儲系統？ 就是將數據分散存儲在多 *** 立的設備上

問題四：什麼是分布式數據存儲 定義：
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上，以獲取更大的存儲容量和更高的並發訪問量。近年來，隨著數據量的高速增長，分布式資料庫技術也得到了快速的發展，傳統的關系型資料庫開始從集中式模型向分布式架構發展，基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下，從集中式存儲走向分布式存儲，從集中式計算走向分布式計算。
特點：
1.高可擴展性：分布式資料庫必須具有高可擴展性，能夠動態地增添存儲節點以實現存儲容量的線性擴展。
2 高並發性：分布式資料庫必須及時響應大規模用戶的讀/寫請求，能對海量數據進行隨機讀/寫。
3. 高可用性：分布式資料庫必須提供容錯機制，能夠實現對數據的冗餘備份，保證數據和服務的高度可靠性。

問題五：分布式文件系統有哪些主要的類別？ 分布式存儲在大數據、雲計算、虛擬化場景都有勇武之地，在大部分場景還至關重要。munity.emc/message/655951 下面簡要介紹*nix平台下分布式文件系統的發展歷史：
1、單機文件系統
用於操作系統和應用程序的本地存儲。
2、網路文件系統（簡稱：NAS）
基於現有乙太網架構，實現不同伺服器之間傳統文件系統數據共享。
3、集群文件系統
在共享存儲基礎上，通過集群鎖，實現不同伺服器能夠共用一個傳統文件系統。

4、分布式文件系統
在傳統文件系統上，通過額外模塊實現數據跨伺服器分布，並且自身集成raid保護功能，可以保證多台伺服器同時訪問、修改同一個文件系統。性能優越，擴展性很好，成本低廉。

問題六：分布式文件系統和分布式資料庫有什麼不同 分布式文件系統（dfs）和分布式資料庫都支持存入，取出和刪除。但是分布式文件系統比較暴力，可以當做key/value的存取。分布式資料庫涉及精煉的數據，傳統的分布式關系型資料庫會定義數據元組的schema，存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS（未開源），HDFS（Hadoop distributed file system）。分布式資料庫現在出名的有Hbase，oceanbase。其中Hbase是基於HDFS，而oceanbase是自己內部實現的分布式文件系統，在此也可以說分布式資料庫以分布式文件系統做基礎存儲。

問題七：分布式存儲有哪些 華為的fusionstorage屬於分布式 您好，很高興能幫助您，首先，FusionDrive其實是一塊1TB或3TB機械硬碟跟一塊128GB三星830固態硬碟的組合。我們都知道，很多超極本同樣採用了混合型硬碟，但是固態硬碟部分的容量大都只有8GB到32GB之間，這個區間無法作為系統盤來使用，只能作

問題八：linux下常用的分布式文件系統有哪些 這他媽不是騰訊今年的筆試題么
NFS（tldp/HOWTO/NFS-HOWTO/index）
網路文件系統是FreeBSD支持的文件系統中的一種，也被稱為NFS。
NFS允許一個系統在網路上與它人共享目錄和文件。通過使用NFS， 用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是：
1、本地工作站使用更少的磁碟空間，因為通常的數據可以存放在一台機器上而且可以通過網路訪問到。
2、用戶不必在每個網路上機器裡面都有一個home目錄。home目錄可以被放在NFS伺服器上並且在網路上處處可用。
3、諸如軟碟機、CDROM、和ZIP之類的存儲設備可以在網路上面被別的機器使用。可以減少整個網路上的可移動介質設備的數量。
開發語言c/c++,可跨平台運行。
OpenAFS（openafs）
OpenAFS是一套開放源代碼的分布式文件系統，允許系統之間通過區域網和廣域網來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件伺服器組織的，每個伺服器的標識通常是隱藏在文件系統中，從AFS客戶機登陸的用戶將分辨不出他們在那個伺服器上運行，因為從用戶的角度上看，他們想在有識別的Unix文件系統語義的單個系統上運行。
文件系統內容通常都是跨cell復制，一便一個硬碟的失效不會損害OpenAFS客戶機上的運行。OpenAFS需要高達1GB的大容量客戶機緩存，以允許訪問經常使用的文件。它是一個十分安全的基於kerbero的系統，它使用訪問控制列表(ACL）以便可以進行細粒度的訪問，這不是基於通常的Linux和Unix安全模型。開發協議IBM Public，運行在linux下。
MooseFs（derf.homelinux）
Moose File System是一個具備容錯功能的網路分布式文件統，它將數據分布在網路中的不同伺服器上，MooseFs通過FUSE使之看起來就 是一個Unix的文件系統。但有一點問題，它還是不能解決單點故障的問題。開發語言perl,可跨平台操作。
pNFS（pnfs）
網路文件系統(Network FileSystem,NFS)是大多數區域網(LAN）的重要的組成部分。但NFS不適用於高性能計算中苛刻的輸入書櫥密集型程序，至少以前是這樣。NFS標準的罪行修改納入了Parallel NFS(pNFS），它是文件共享的並行實現，將傳輸速率提高了幾個數量級。
開發語言c/c++,運行在linu下。
googleFs
據說是一個比較不錯的一個可擴展分布式文件系統，用於大型的，分布式的，對大量數據進行訪問的應用。它運行於廉價的普通硬體上，但可以提供容錯功能，它可以給大量的用戶提供性能較高的服務。google自己開發的。

問題九：分布式存儲都有哪些，並闡述其基本實現原理 神州雲科 DCN NCS DFS2000（簡稱DFS2000）系列是面向大數據的存儲系統，採用分布式架構，真正的分布式、全對稱群集體系結構，將模塊化存儲節點與數據和存儲管理軟體相結合，跨節點的客戶端連接負載均衡，自動平衡容量和性能，優化集群資源，3-144節點無縫擴展，容量、性能歲節點增加而線性增長，在 60 秒鍾內添加一個節點以擴展性能和容量。

問題十：linux 分布式系統都有哪些？ 常見的分布式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。
GFS（Google File System）
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節，但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。
HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch，後者是一個開源的網路搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用，是Google開創其帝國的重要基石。
Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高，C++編寫的代碼，支持Fuse，並且沒有單點故障依賴， 於是下載安裝， 由於 ceph 使用 btrfs 文件系統， 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了，它基於的btrfs本身就不成熟，它的官方網站上也明確指出不要把ceph用在生產環境中。
Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的，具備高可用性的集群文件系統，它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統，可以支持超過10000個節點，數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域，例如HP SFS產品等。

Ⅷ 集中式存儲和分布式存儲有什麼區別

區別：

1、物理介質分布不同。

集中存儲：物理介質集中布放。

分布存儲：物理介質分布到不同的地理位置。

2、視頻流上傳不同：

集中存儲：視頻流上傳到中心。

分布存儲：視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。

3、對機房有要求不同：

集中存儲：對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。

分布存儲：對骨幹網帶寬沒有什麼要求，可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;。小容量設備分布部署，對機房環境要求低。

(8)大規模存儲式系統擴展閱讀：

集中存儲：

指建立一個龐大的資料庫，把各種信息存入其中，各種功能模塊圍繞信息庫的周圍並對信息庫進行錄入、修改、查詢、刪除等操作的組織方式。

分布式存儲系統：

是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。

分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

網路-集中存儲

網路-分布式存儲系統

Ⅸ 《大規模分布式存儲系統原理解析與架構實戰》epub下載在線閱讀，求百度網盤雲資源

《大規模分布式存儲系統》（楊傳輝）電子書網盤下載免費在線閱讀

鏈接：https://pan..com/s/1CG8nBAVixYg53OHREZc_3g

書名：大規模分布式存儲系統

作者：楊傳輝

豆瓣評分：7.8

出版社：機械工業出版社

出版年份：2013-9-1

頁數：293

內容簡介：

《大規模分布式存儲系統：原理解析與架構實戰》是分布式系統領域的經典著作，由阿里巴巴高級技術專家「阿里日照」（OceanBase核心開發人員）撰寫，陽振坤、章文嵩、楊衛華、汪源、余鋒（褚霸）、賴春波等來自阿里、新浪、網易和網路的資深技術專家聯袂推薦。理論方面，不僅講解了大規模分布式存儲系統的核心技術和基本原理，而且對谷歌、亞馬遜、微軟和阿里巴巴等國際型大互聯網公司的大規模分布式存儲系統進行了分析；實戰方面，首先通過對阿里巴巴的分布式資料庫OceanBase的實現細節的深入剖析完整地展示了大規模分布式存儲系統的架構與設計過程，然後講解了大規模分布式存儲技術在雲計算和大數據領域的實踐與應用。

《大規模分布式存儲系統：原理解析與架構實戰》內容分為四個部分：基礎篇——分布式存儲系統的基礎知識，包含單機存儲系統的知識，如數據模型、事務與並發控制、故障恢復、存儲引擎、壓縮/解壓縮等；分布式系統的數據分布、復制、一致性、容錯、可擴展性等。范型篇——介紹谷歌、亞馬遜、微軟、阿里巴巴等著名互聯網公司的大規模分布式存儲系統架構，涉及分布式文件系統、分布式鍵值系統、分布式表格系統以及分布式資料庫技術等。實踐篇——以阿里巴巴的分布式資料庫OceanBase為例，詳細介紹分布式資料庫內部實現，以及實踐過程中的經驗。專題篇——介紹分布式系統的主要應用：雲存儲和大數據，這些是近年來的熱門領域，本書介紹了雲存儲平台、技術與安全，以及大數據的概念、流式計算、實時分析等。

作者簡介：

楊傳輝，阿里巴巴高級技術專家，花名日照，OceanBase核心開發人員，對分布式系統的理論和工程實踐有深刻理解。曾在網路作為核心成員參與類MapRece系統、類Bigtable系統和網路分布式消息隊列等底層基礎設施架構工作。熱衷於分布式存儲和計算系統設計，樂於分享，有技術博客NosqlNotes。

Ⅹ 誰能簡述三大網路存儲

三大網路存儲：

1、前端存儲

所謂前端存儲，是在網路視頻監控系統的前端設備(如網路視頻編碼器或網路攝像機)中內置存儲部件，由前端設備直接完成監控圖像的本地錄制和保存。

前端存儲具有幾個方面的優勢：一是可以通過分布式的存儲部署，來減輕集中存儲帶來的容量壓力;二是可以有效緩解集中存儲帶來的網路流量壓力;三是可以避免集中存儲在網路發生故障時的圖像丟失。

對於前端存儲，由於單個前端編碼設備通常所帶監控點路數不多，存儲時間也不長，所以對存儲容量要求不高，網路攝像機一般用CF卡或SD卡，視頻伺服器一般用內置硬碟。

這與以往單機存儲相比，基本沒有區別。

而與以往單機存儲本質上不同的是，為了保證用戶訪問的靈活性和便捷性，網路視頻監控系統中的所有前端存儲除了要能夠提供點對點的單機訪問外，還要能夠通過一個統一的介面提供所有內容的集 *** 享。

為此，網路視頻監控系統通過中心業務平台對所有前端吵察存儲進行統一管理和調度，並實現存儲空間和存儲內容的網路化。

這樣，用戶既可以直接登錄單個前端設備進行錄像資料的點播回放，也可以統一登錄中心業務平台進行所有前端錄像資料的集中檢索和回放。

2、中心存儲

在網路視頻監控系統中，部署得更多的是中心存儲。

前端設備採集監控點圖像並編碼壓縮處理成數字監控碼流，然後通過網路傳送到中心業務平台，由中心業務平台將碼流分發給網路錄像單元進行集中存儲。

在很多大型的視頻監控聯網應用中，也可採用多級分布的中心存儲方式，即分中心存儲，這樣一方面可以降低一個中心點集中存儲帶來的存儲容量和網路流量的壓力，一方面可以大幅度提升系統的可靠性。

使用中心/分中心存儲，在以下幾個方面具有明顯優勢：一是對於用戶而言，檢索和調用錄像資源更為方便;二是存儲內容的完整性更容易保證，不會因為某個前端設備失竊或損壞而導致重要內容的丟失;三是可以合理的進行資源調度，為前端設備按需分配存儲空間，從而節約資源;四是有利於制定多樣化的存儲策略，以滿足用戶的個性化需求;五是維護方便，便於集中檢測和及時排查問題。

對於監控點路數比較少、存儲時間要求不長的應用場合，中心/分中心存儲可以採用伺服器插硬碟或外接磁碟櫃這種比較簡單的方式進行部署，稱為DAS(直接訪問存儲)，與單機類似。

而隨著網路視頻監控的優勢被廣泛認可，侍伍現在開始出現越來越多的大型甚至超大型視頻監控系統，比如「平安城市」建設中的社會面治安監控系統、中國電信和中國網通正在全面推進的「全球眼」和「寬視界」這兩大運營級視頻監控系統，這些監控系統都面臨著前端設備的大規模接入和大容量集中存儲的需求。

以往的單機存儲方式無法滿足這些系統在容量靈活擴展方面的應用需求，必須採用更為先進的網路存儲設備和存儲技術，其中典型的就是SAN、NAS以及iSCSI。

SAN(存儲區域網)起源於上老碰或世紀九十年代中後期，與DAS不同，SAN基於光纖通道技術，伺服器和存儲陣列之間通過光纖通道交換機連接，形成專用於數據存儲的區域網路。

SAN採用了面向網路的存儲結構，數據處理和數據存儲分離，具有存儲空間易於擴展、定址靈活、可遠距離傳輸數據、I/O性能高、存儲設備利用率高等特點，是一種全新的存儲體系結構。

與SAN基於專門的光纖通道協議不同，NAS(網路訪問存儲)基於IP網路實現伺服器和存儲陣列的互聯，使用TCP/IP協議進行通信，以文件級的I/O方式進行數據傳輸。

相比之下，NAS設備的安裝、調試、使用和管理更簡單，部署成本也相對較低。

iSCSI是IETF一種新的標准協議，即透過IP網路，將SCSI區塊數據轉換成網路封包的一種傳輸標准，它和NAS一樣透過IP網路來傳輸數據，但在數據存取方式上，則採用與NAS不同的，而與SAN相同的Block Protocol協議。

由此，iSCSI給用戶帶來的價值在於：第一，iSCSI使SCSI數據包在乙太網中傳輸成為可能，使SAN擺脫了昂貴的光纖網路，通過IP網路即可實現原先的功能，既降低了管理復雜度又降低了成本;第二，由於用戶應用需求的復雜性，往往會同時部署SAN和NAS兩種存儲網路，而iSCSI則可以將兩者融合起來。

iSCSI的這些特點非常契合現在的視頻監控發展的現狀和方向，特別是在運營級視頻監控領域，存儲的規模大、投入高，基於目前成熟的IP網路進行中心/分中心存儲系統的構建，iSCSI技術無疑是一個很好的參考。

3、混合型存儲

對於視頻監控網路比較復雜，對存儲安全性和可靠性要求又非常高的應用場合，可以採用既有集中存儲也有前端存儲的部署方式，兼有二者的優勢，並規避可能存在的風險，是一種比較好的選擇。

但會帶來管理的復雜度和高昂的建設成本，需要根據具體情況而定。