集群存儲

1. 集群存儲的集群存儲相對傳統NAS和SAN的優勢

傳統的SAN與NAS分別提供的是數據塊與文件兩個不同級別的存儲服務，集群存儲也分為提供數據塊與文件兩個不同級別存儲服務的集群存儲系統。
集群存儲的優勢主要體現在提高並行或分區I/O的整體性能，特別是工作流、讀密集型以及大型文件的訪問，通過採用更低成本的伺服器來降低整體成本。
SAN系統具有很高的性能，但是構建和維護起來很復雜。由於數據塊和網路需求的原因，SAN系統也很難擴容。NAS系統的構建和維護雖然比較簡單，但是由於其聚合設備(又叫做NAS頭)是其架構上的瓶頸，造成其性能很有限。集群存儲提供了SAN和NAS結構的優點。在大多數使用集群存儲的案例中，隨著存儲系統的擴容，性能也隨之提升。一個大的集群存儲的性能往往勝過一個SAN系統，但是價格也會更高。集群存儲系統像NAS系統一樣易於構建、操作和擴容。大多數集群存儲系統沒有傳統NAS系統的固有瓶頸。
集群存儲有兩種實現方式：一種是硬體基礎架構加上軟體，典型代表是SAN架構+IBM GPFS;另一種是專用集群存儲，典型代表是Isilon、NetApp GX以及Panasas，其中NetApp GX是構建在NAS基礎架構之上的，但是通過操作系統實現集群存儲。從這個角度講，集群存儲與SAN或NAS不存在競爭關系，是實現不同存儲需求的解決方案。」
集群存儲和NAS的概念是在文件系統層面上的，而SAN是在LUN層面上的，集群存儲可以利用SAN環境實現。因此，集群存儲與SAN解決的問題不同。如果一定要比較這兩者的優缺點的話，可以說SAN做到的是多個伺服器節點可以同時看到SAN環境中的同一個LUN，還不能做到多伺服器節點間的文件級共享。
集群存儲在性能、可靠性及擴展性等多個方面都遠遠優於 NAS。

2. hadoop集群的存儲架構一般適宜採用das，nas，san或其他什麼架構

數據局部性(data locality)：這是Hadoop的主要特性，指的是直接在存儲數據的節點上做CPU密集型計算。顯然，SAN/NAS不適用於任何形式的CPU密集型計算。

RAID：SAN/NAS採用RAID磁碟陣列進行存儲，而Hadoop框架通過復本來確保數據的可靠性和容錯性。

DAS採用JBOD磁碟數組進行存儲，如果Hadoop節點的內置存儲容量較小，可以採用DAS做擴展。如果只是想通過Hadoop做數據歸檔，沒有計算，好吧，SAN/NAS是個選擇。

3. 分布式集群存儲跟ssd固態硬碟的區別

用固態電子存儲晶元陣列而製成的硬碟，由控制單元和存儲單元（FLASH晶元、DRAM晶元）組成

4. isilon 集群存儲採用什麼文件系統

集群文件系統的選擇有很多種，但是要想把每種系統的優劣性能都弄清楚，是需要花費不少時間和精力的。我們在此為大家介紹一些常用的集群文件系統，讓讀者朋友對此有一個了解，在選擇上有一個參考。 集群文件系統基礎架構有些讀者也許希望裝配一組可以並行訪問同一個文件系統的伺服器，而另一些讀者可能想復制存儲器並提供並行訪問和冗餘。有兩種方法可以實現多伺服器訪問同一個磁碟，一種方法是讓那些伺服器都可以看到那個磁碟，另一種方法則是通過復制。 共享磁碟結構在光纖通道SAN和iSCSI領域是最常見的結構。配置存儲系統相當簡單，這樣多個伺服器就可以看到同一個邏輯塊設備或LUN，但是如果沒有群集文件系統，那麼當多個伺服器同時想使用那個邏輯塊設備時就會出現混亂。 這個問題與使用群集文件系統有關，我們將在下文中詳細介紹。 一般而言，共享磁碟系統有個弱點，那就是存儲系統。但是情況也並非總是如此，因為利用現在的技術是很難理解共享盤的概念的。 SAN、NAS設備和基於Linux系統的商品硬體可以將所有的基礎磁碟實時復制到另一個存儲節點，從而提供一個模擬共享盤環境。基礎模塊設備被復制之後，那些節點就可以訪問相同的數據，也可以運行同一個群集文件系統了，但是這種復制超出了傳統共享盤的定義。 相反，不共享才是共享盤的問題所在。連接著不同存儲設備的節點會在每個模塊被寫入數據時將變化通知給主伺服器。 現在，不共享架構仍存在於Hadoop那樣的文件系統之中，那些文件系統可以在許多節點故意建立多個數據副本，從而提高性能和冗餘。而且，在不同存儲設備或節點之間利用自己的存儲設備進行復制的群集也可以做到不共享。 集群文件系統設計選擇正如我們所說的，你不能通過多個伺服器訪問同一個模塊設備。你聽說過文件系統鎖定，因此普通的文件系統並不能實現這一點就有些奇怪了。 在文件系統級別上，文件系統本身會將文件鎖定以保證數據不會出錯。但是在操作系統級別上，文件系統啟動程序完全可以訪問基礎模塊設備，它們可以在基層模塊設備之間自由的漫遊。大部分文件系統都會認為它們被分配了一個模塊設備，而且那個模塊設備也只是它們自己所有。 為了解決這個問題，集群文件系統採用了一種並行控制機制。有些集群文件系統將把元數據保存在共享設備的一個分區里，另一些集群文件系統則會使用集中式元數據伺服器來保存元數據。 不管採用哪種方案，集群中的所有節點都可以看到文件系統的狀態，從而保證安全的並行訪問。然而，如果你想保證系統的高利用率和消除單點故障問題，那麼採用集中式元數據伺服器的解決方案就要略遜一籌了。 另一個注意事項：集群文件系統要求在節點發生故障時迅速做出反應。如果某個節點寫入錯誤數據或由於某種原因停止關於元數據變化的通信，其他節點必須能夠將它隔離出去。隔離可以通過多種方式來實現，最常用的方法是利用斷電管理來實現。健康的節點可以在發現問題時第一時間關閉另一個節點電源（STONITH）以保全數據。集群文件系統詞典GFS：全局文件系統 GFS是應用最廣泛的集群文件系統。它是由紅帽公司開發出來的，允許所有集群節點並行訪問。元數據通常會保存在共享存儲設備或復制存儲設備的一個分區里。 OCFS:甲骨文集群文件系統 從概念上來說，OCFS與GFS非常相似，現在OCFS 2已經被應用於Linux系統之中。 VMFS:VMware的虛擬計算機文件系統 VMFS是ESX伺服器用來允許多個伺服器訪問同一個共享存儲設備的集群文件系統。這樣就可以實現虛擬機在不同伺服器之間的無縫遷移，因為源伺服器和目標伺服器都可以訪問同一個存儲設備。日誌是分布式的，ESX伺服器之間也不會出現單節點故障。 Lustre：Sun的集群分布式文件系統。 Lustre是專門用於包含數千個節點的大型集群的分布式文件系統。Lustre已經支持Linux系統，但是高速計算環境之外的應用程序是有限的。 Hadoop:一個象谷歌那樣使用的分布式文件系統。 這不是一個集群文件系統，但是卻是一個分布式文件系統。我們將Hadoop收錄進來是因為它的應用越來越廣泛，而且利用Hadoop的存儲架構設計決策的組合很多。但是默認配置下，你會在3個不同的節點上擁有3個數據副本。一旦數據發生變化，每個數據副本都會更新，因此，從某種意義上來說，它也可以被看做是集群文件系統。然而，Hadoop存在一個故障點隱患，即跟蹤記錄所有文件系統級數據的命名節點。 做出最好選擇有太多選擇並不是壞事。你可以根據執行目標選擇使用合適的集群文件系統以及存儲架構。 只要有計劃地使用，所有這些文件系統都可以發揮出應有的作用。
,

5. 存儲虛擬化是什麼集群存儲又是什麼

存儲虛擬化廣義上來說，就是通過映射或抽象的方式屏蔽物理設備復雜性,增加一個管理層面，激活一種資源並使之更易於透明控制。
存儲虛擬化(Storage Virtualization)最通俗的理解就是對存儲硬體資源進行抽象化表現。通過將一個（或多個）目標（Target）服務或功能與其它附加的功能集成，統一提供有用的全面功能服務。

集群存儲是指：由若干個「通用存儲設備」組成的用於存儲的集群，組成集群存儲的每個存儲系統的性能和容量均可通過「集群」的方式得以疊加和擴展。

6. 伺服器集群如何實現訪問一個存儲

朋友，這是你的電腦「丟失」或「誤刪」了「系統文件」，或「系統文件」被病

毒和「頑固」木馬「破壞」，我給你8套方案！

（答案原創，嚴禁盜用，如有雷同，純屬山寨！）

（提示：360急救箱不能聯網，就先用：（5）網路修復，重啟電腦，或者使

用：離線模式）

1.下載個：「360系統急救箱」！（安全模式下，聯網使用，效果更好！）

（注意：已經安裝了「360安全衛士」的朋友，直接打開「木馬雲查殺」，

點擊:快速掃描，掃描結束後，中間有：沒有問題，請用360急救箱，點擊它！）

先點：「開始急救」查殺病毒，刪除後，「立即重啟」！

重啟開機後，再點開「文件恢復區」，全選，點：「徹底刪除文件」和「可

疑啟動項」！

再點開「系統修復」，「全選」，再「立即修復」文件！（關鍵一步）

再點開：「dll文件恢復」，掃描一下，如果沒有就行了，如果有丟失，添

加恢復，手動添加，立即恢復！

點開：「網路修復」，點：「開始修復」，重啟電腦！（關鍵一步）

2。用「360安全衛士」里「系統修復」，點擊「使用360安全網址導航」，「一

鍵修復」！（關鍵一步）

3。用「360安全衛士」的「掃描插件」，然後再「清理插件」，把它刪除！

4。再用「360殺毒雙引擎版」，勾選「自動處理掃描出的病毒威脅」，用「全盤

掃描」和「自定義掃描」，掃出病毒木馬，再點刪除！

重啟電腦後，來到「隔離區」，點「徹底刪除」！

5。使用360安全衛士的「木馬查殺」，全盤掃描，完畢再「自定義掃描」！

掃出木馬或惡意病毒程序，就點刪除！

重啟電腦後，來到「文件恢復區」，點「徹底刪除」！

6。如果還是不行，試試：「金山急救箱」的「擴展掃描」，立即處理，重啟！

或者：可牛免費殺毒，瀏覽器醫生，瀏覽器修復，立即掃描，立即修復！

7。再不行，重啟電腦，開機後，按F8，回車，回車，進到「安全模式」里，

「高級啟動選項」里，「最後一次正確配置」，按下去試試，看看效果！

8。實在不行，做「一鍵還原」系統！（方法：我的網路空間的博客里有）

7. 什麼是集群存儲

雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念，是指通過集
群應用、網格技術或分布式文機房集中監控系統件系統等功能，將網路中大量各種不同類
型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的
一個系統。當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就
需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一
個以數據存儲和管理為核心的雲計算系統。他們基於虛擬化技術和集群架構，具有強大的
橫向擴展能力。雲存儲設備橫向擴展的方式讓存儲系統具有了無限擴展的能力，它能夠實
現控制器與硬碟的同時擴展，也就是性能與容量可以同時實現線性擴展。

集群存儲是通過將數據分布到集群中各節點的存儲方式，提供單一的使用介面與界面，使
用戶可以方便地對所有數據進行統一使用與管理。集群中所有磁碟設備整合到單一的共享
存儲池中提供給前端的應用伺服器，極大提高了磁碟利用率，可以為非結構化數據提供具
備極高IO帶寬和靈活可擴展性的存儲解決方案。

8. hdfs數據存儲在集群什麼地方

1、存儲文件的時候需要指定存儲的路徑，這個路徑是HDFS的路徑。而不是哪個節點的某個目錄。比如./hadoopfs-putlocalfilehdfspat一般操作的當前路徑是/user/hadoop比如執行./hadoopfs-ls.實際上就相當於./hadoopfs-ls/user/hadoop2、HDFS本身就是一個文件系統，在使用的時候其實不用關心具體的文件是存儲在哪個節點上的。如果需要查詢可以通過頁面來查看，也可以通過API來實現查詢。

9. 集群NAS和對象存儲的區別

集群NAS性能和擴展性好，但價格較高，一般運行在一個數據中心內。所以適合客戶自建數據中心內需要高帶寬、大容量的業務。如高性能計算、流媒體等。
對象存儲擴展性好，價格較低，但性能一般，可以跨中心運行，所以適合在公有雲環境中作為一類存儲服務來提供，或者適合大型客戶在自建私有雲環境中提供多租戶的大容量存儲服務，目前看到的對象存儲的部署級別都是在PB級起步。此外由於對象存儲對讀訪問的支持要好於寫訪問，因此對象存儲更適合於「冷數據「的存放。
同時需要指出，兩類技術會有重疊之處，例如有些分布式文件系統可以同時支持集群NAS和對象存儲。而現在有些較為先進的對象存儲產品也開始支持集群NAS功能，以實現和用戶已有應用的集成。
從長遠來看，兩類技術都將會有用武之地。由於對象存儲處於一個上升的生命周期，可以預見會有更多對性能不太敏感的業務遷移到對象存儲。

10. 分布式集群存儲和磁碟陣列櫃存儲哪種好

各有各的好處，磁碟陣列使用維護方便，分布式集群可以利用分布的機器計算能力