共享存儲集群文件系統
負載均衡是一項困難的任務。我們經常需要通過NFS(網路文件系統)或其他機制來為數據提供中心地址，從而共享文件系統。雖然你的安全機制可能可以讓你免於Web伺服器節點的故障，但是你仍然需要通過中央存儲節點來共享數據。
通過GFS(全局文件系統)——Linux的一個免費集群文件系統——你可以創建一個不需要依賴其他伺服器的真正穩定的集群。在這篇文章中，我們將展示如何正確地設置GFS.
從概念上來說，一個集群文件系統可以允許多個操作系統載入同一個文件系統並可以在同一時間內向同一文件系統寫入數據。現在有許多集群文件系統，包括Sun的Lustre，Oracle的OCFS(Oracle集群文件系統)，以及Linux的GFS.
有許多方法可以讓一個塊設備同時被多個伺服器所使用。你可以分區出一個對多個伺服器都可視的SAN(存儲區域網)LUN(邏輯單元號)，設置好相應的iSCSI(互聯網小型計算機系統介面)，或使用DRBD(分布式復制塊設備)在兩台伺服器之間復制一個分區。在使用DRBD的時候，你將需要在主/主節點中設置好DRBD以使用GFS.
GFS要求
運行GFS意味著你在運行一個集群。目前為止，運行GFS的最簡單的手段就是使用Red Hat Cluster Suite(RHCS：Red Hat集群套件)。這個套件在CentOS中就有。此外，還需要下面這些包：cman——集群管理器;lvm2-cluster——使LVM(邏輯卷管理器)可以支持集群的CLVM(集群邏輯卷管理器)包;kmod-gfs——GFS內核模塊;最後是gfs-utils.
集群管理器(cman)包含必要的工具，比如分布式鎖管理器。除非你希望花時間來確認各種不同的分發版本是如何採用cman的，否則我們強烈推薦使用CentOS或RHEL.同時，你還將獲得RH(Red Hat)所維護的各種最新版本的集群服務，此外你還可以獲得一個比較穩定的環境。
Fencing(阻絕)機制是絕對必要的。一些指導性文章建議將阻絕模式設定成"手動"，因為阻絕設置有可能比較復雜。阻絕意味在集群中進行隔離，或馬上中斷某些危險節點的運作。如果集群無法阻絕某個發生故障的節點，那麼你的GFS將會出現很多問題，因此不要跳過這個步驟。
創建集群設置
你可以通過/etc/cluster/裡面的cluster.conf完成大部分的集群設置。我不建議使用各種集群管理應用程序來創建這個設置文件。即使是完全支持的RHEL應用程序，比如兩個月前發布的Conga，也經常會創建一些無效的cluster.conf文件，並且無法被必要的服務所解析。
下面是一個cluster.conf文件的例子。這個設置文件採用漂亮的XML格式，其內容非常直接。首先，我們對集群進行命名，我們將這個集群稱作"Web.1".
先跳過fence daemon選項，下一個部分就是集群主體的設置內容。你需要在clusternodes部分定義兩個節點。設置文件將同時存放在兩個節點上，這樣這兩個節點就都知道彼此的情況。
集群內的每個節點都聲明其阻絕方式的名稱是獨一無二的。在clusternames結束標簽下面，我們看到fencedevice部分定義了每個節點如何阻絕其他節點的方式。使用一個支持IPMI(智能平台管理介面)的伺服器是最好的方式，而且其設置也是相當簡單。你只要將IPMI的地點以及登錄方式告訴IP就可以了。為了避免在cluster.conf中留下密碼，你可以將它指向一個由根所擁有的腳本並由這個腳本來返回密碼。
我們還要指出的是我們在設置中定義了兩個節點。這是必須的，因為通常來說，除非大部分節點都同意自己的狀態，否則集群無法達到"Quorate"狀態。如果只有兩個節點的話，沒有肯定多數，因此這種方式讓集群只能在兩個節點下工作，而不能只在只有一個節點的情況下工作。這是設置基本集群的必要方式。
在每個節點上運行"service cman start"，系統應該可以開始正常運作。你可以檢查"clustat"或"cman nodes"來確認節點是否良好運行。如果有哪個必要的部分沒有啟動，那麼集群將不會顯示"Quorate"狀態。
GFS設置
首先，我們需要設置CLVM，這樣我們才可以通過GFS使用LVM.激活CLVM只要在lvm.conf中設定"locking type=3"就可以了。
然後，就像平常一樣創建一個LVM卷組和卷，但是使用的是共享的塊設備。如果你使用的是DRBD，你將有可能使用/dev/drbd0.我創建了一個物理卷，然後創建一個名為vg01的卷組，然後創建一個名為web1的邏輯卷，這個卷在：/dev/vg01/web1.
最後，我們需要創建文件系統：
gfs_mkfs -t web1：mygfs -p lock_dlm -j 2 /dev/vg01/web1
-t中給定的名稱必須是集群的名稱，然後後面是你給這個文件系統所起的名字。只有web1集群的成員才可以載入這個文件系統。然後，設定分布式鎖管理器的鎖鑰類型，指明你需要兩份journal(因為這是一個雙節點集群)。如果你預計未來要增加更多的節點，那麼你需要在這時設定足夠高的journal數量。
總結
我們現在可以開始使用這個文件系統了。在兩個節點上啟動"clvmd"和"gfs"服務。現在你就可以通過"-t gfs"來將類型指定為GFS，從而載入文件系統。
在開始啟動之前，一定要設定好cman，clvmd和gfs服務。你最好能熟悉clustat和gfs_tool命令，因為在系統出現問題的時候，你可以用這些命令來查找問題所在。
不要指望GFS能很快。如果有一個節點在進行大量的寫入操作的話，那麼在訪問文件系統的時候出現停頓是很正常的。對於一個數據讀取操作比數據寫入操作多得多的Web集群來說，這倒不是什麼問題。如果出現明顯延遲，那麼首先要檢查一下所有組件的狀況，然後評估正在寫入的數據。防止延遲現象的最常見措施就是確保HTTP對話中的數據不是寫入GFS卷。
『貳』 分布式文件系統為整個企業網路上的文件系統提供了一個什麼結構
答：1、單機文件系統 用於操作系統和應用程序的本地存儲。 2、網路文件系統（簡稱：NAS） 基於現有乙太網架構，實現不同伺服器之間傳統文件系統數據共享。 3、集群文件系統 在共享存儲基礎上，通過集群鎖，實現不同伺服器能夠共用一個傳統文件系統。...
『叄』 如何區分分布式/集群/並行文件系統
分布式文件系統、集群文件系統、並行文件系統，這三種概念很容易混淆，實際中大家也經常不加區分地使用。總是有人問起這三者的區別和聯系，其實它們之間在概念上的確有交叉重疊的地方，但是也存在顯著不同之處。 分布式文件系統 自然地，分布式是重點，它是相對與本地文件系統而言的。分布式文件系統通常指C/S架構或網路文件系統，用戶數據沒有直接連接到本地主機，而是存儲在遠程存儲伺服器上。NFS/CIFS是最為常見的分布式文件系統，這就是我們說的NAS系統。分布式文件系統中，存儲伺服器的節點數可能是1個(如傳統NAS)，也可以有多個(如集群NAS)。對於單個節點的分布式文件系統來說，存在單點故障和性能瓶頸問題。除了NAS以外，典型的分布式文件系統還有AFS，以及下面將要介紹的集群文件系統(如Lustre, GlusterFS, PVFS2等)。 集群文件系統 集群主要分為高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和負載均衡集群LBC(Load Balancing Cluster)。集群文件系統是指協同多個節點提供高性能、高可用或負載均衡的文件系統，它是分布式文件系統的一個子集，消除了單點故障和性能瓶問題。對於客戶端來說集群是透明的，它看到是一個單一的全局命名空間，用戶文件訪問請求被分散到所有集群上進行處理。此外，可擴展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系統追求的目標。在元數據管理方面，可以採用專用的伺服器，也可以採用伺服器集群，或者採用完全對等分布的無專用元數據伺服器架構。目前典型的集群文件系統有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。 並行文件系統 這種文件系統能夠支持並行應用，比如MPI。在並行文件系統環境下，所有客戶端可以在同一時間並發讀寫同一個文件。並發讀，大部分文件系統都能夠實現。並發寫實現起來要復雜許多，既要保證數據一致性，又要最大限度提高並行性，因此在鎖機制方面需要特別設計，如細粒度的位元組鎖。通常SAN共享文件系統都是並行文件系統，如GPFS、StorNext、GFS、BWFS，集群文件系統大多也是並行文件系統，如Lustre, Panasas等。如何區分？區分這三者的重點是分布式、集群、並行三個前綴關鍵字。簡單來說，非本地直連的、通過網路連接的，這種為分布式文件系統；分布式文件系統中，伺服器節點由多個組成的，這種為集群文件系統；支持並行應用(如MPI)的，這種為並行文件系統。在上面所舉的例子中也可以看出，這三個概念之間具有重疊之處，比如Lustre，它既是分布式文件系統，也是集群和並行文件系統。但是，它們也有不同之處。集群文件系統是分布式文件系統，但反之則不成立，比如NAS、AFS。SAN文件系統是並行文件系統，但可能不是集群文件系統，如StorNext。GFS、HDFS之類，它們是集群文件系統，但可能不是並行文件系統。實際中，三者概念搞理清後，分析清楚文件系統的特徵，應該還是容易正確地為其劃分類別的。
『肆』 isilon 集群存儲採用什麼文件系統
集群文件系統的選擇有很多種，但是要想把每種系統的優劣性能都弄清楚，是需要花費不少時間和精力的。我們在此為大家介紹一些常用的集群文件系統，讓讀者朋友對此有一個了解，在選擇上有一個參考。 集群文件系統基礎架構有些讀者也許希望裝配一組可以並行訪問同一個文件系統的伺服器，而另一些讀者可能想復制存儲器並提供並行訪問和冗餘。有兩種方法可以實現多伺服器訪問同一個磁碟，一種方法是讓那些伺服器都可以看到那個磁碟，另一種方法則是通過復制。 共享磁碟結構在光纖通道SAN和iSCSI領域是最常見的結構。配置存儲系統相當簡單，這樣多個伺服器就可以看到同一個邏輯塊設備或LUN，但是如果沒有群集文件系統，那麼當多個伺服器同時想使用那個邏輯塊設備時就會出現混亂。 這個問題與使用群集文件系統有關，我們將在下文中詳細介紹。 一般而言，共享磁碟系統有個弱點，那就是存儲系統。但是情況也並非總是如此，因為利用現在的技術是很難理解共享盤的概念的。 SAN、NAS設備和基於Linux系統的商品硬體可以將所有的基礎磁碟實時復制到另一個存儲節點，從而提供一個模擬共享盤環境。基礎模塊設備被復制之後，那些節點就可以訪問相同的數據，也可以運行同一個群集文件系統了，但是這種復制超出了傳統共享盤的定義。 相反，不共享才是共享盤的問題所在。連接著不同存儲設備的節點會在每個模塊被寫入數據時將變化通知給主伺服器。 現在，不共享架構仍存在於Hadoop那樣的文件系統之中，那些文件系統可以在許多節點故意建立多個數據副本，從而提高性能和冗餘。而且，在不同存儲設備或節點之間利用自己的存儲設備進行復制的群集也可以做到不共享。 集群文件系統設計選擇正如我們所說的，你不能通過多個伺服器訪問同一個模塊設備。你聽說過文件系統鎖定，因此普通的文件系統並不能實現這一點就有些奇怪了。 在文件系統級別上，文件系統本身會將文件鎖定以保證數據不會出錯。但是在操作系統級別上，文件系統啟動程序完全可以訪問基礎模塊設備，它們可以在基層模塊設備之間自由的漫遊。大部分文件系統都會認為它們被分配了一個模塊設備，而且那個模塊設備也只是它們自己所有。 為了解決這個問題，集群文件系統採用了一種並行控制機制。有些集群文件系統將把元數據保存在共享設備的一個分區里，另一些集群文件系統則會使用集中式元數據伺服器來保存元數據。 不管採用哪種方案，集群中的所有節點都可以看到文件系統的狀態，從而保證安全的並行訪問。然而，如果你想保證系統的高利用率和消除單點故障問題，那麼採用集中式元數據伺服器的解決方案就要略遜一籌了。 另一個注意事項：集群文件系統要求在節點發生故障時迅速做出反應。如果某個節點寫入錯誤數據或由於某種原因停止關於元數據變化的通信，其他節點必須能夠將它隔離出去。隔離可以通過多種方式來實現，最常用的方法是利用斷電管理來實現。健康的節點可以在發現問題時第一時間關閉另一個節點電源（STONITH）以保全數據。集群文件系統詞典GFS：全局文件系統 GFS是應用最廣泛的集群文件系統。它是由紅帽公司開發出來的，允許所有集群節點並行訪問。元數據通常會保存在共享存儲設備或復制存儲設備的一個分區里。 OCFS:甲骨文集群文件系統 從概念上來說，OCFS與GFS非常相似，現在OCFS 2已經被應用於Linux系統之中。 VMFS:VMware的虛擬計算機文件系統 VMFS是ESX伺服器用來允許多個伺服器訪問同一個共享存儲設備的集群文件系統。這樣就可以實現虛擬機在不同伺服器之間的無縫遷移，因為源伺服器和目標伺服器都可以訪問同一個存儲設備。日誌是分布式的，ESX伺服器之間也不會出現單節點故障。 Lustre：Sun的集群分布式文件系統。 Lustre是專門用於包含數千個節點的大型集群的分布式文件系統。Lustre已經支持Linux系統，但是高速計算環境之外的應用程序是有限的。 Hadoop:一個象谷歌那樣使用的分布式文件系統。 這不是一個集群文件系統，但是卻是一個分布式文件系統。我們將Hadoop收錄進來是因為它的應用越來越廣泛，而且利用Hadoop的存儲架構設計決策的組合很多。但是默認配置下，你會在3個不同的節點上擁有3個數據副本。一旦數據發生變化，每個數據副本都會更新，因此，從某種意義上來說，它也可以被看做是集群文件系統。然而，Hadoop存在一個故障點隱患，即跟蹤記錄所有文件系統級數據的命名節點。 做出最好選擇有太多選擇並不是壞事。你可以根據執行目標選擇使用合適的集群文件系統以及存儲架構。 只要有計劃地使用，所有這些文件系統都可以發揮出應有的作用。
,
『伍』 在雲計算系統在採用集群文件系統的優勢有哪些
1、單機文件系統
用於操作系統和應用程序的本地存儲。
2、網路文件系統（簡稱：NAS）
基於現有乙太網架構，實現不同伺服器之間傳統文件系統數據共享。
3、集群文件系統
在共享存儲基礎上，通過集群鎖，實現不同伺服器能夠共用一個傳統文件系統。
4、分布式文件系統
在傳統文件系統上，通過額外模塊實現數據跨伺服器分布，並且自身集成raid保護功能，可以保證多台伺服器同時訪問、修改同一個文件系統。性能優越，擴展性很好，成本低廉。
『陸』 vmware的windows2003群集共享磁碟數據無法同步的問題
虛擬磁碟共享只解決了兩個虛擬機可以同時訪問同一塊虛擬磁碟的問題。
而文件不同步，這個文件系統層面的東西。相信樓主用的單機的文件系統(EXT3,FAT32,NTFS之類的)，不是集群文件系統，(Cluster
File
System，例如Symantec的CFS，SUN的CFS，VMWARE
的VMFS)，並不支持多個機器同時訪問一個文件系統。
物理機使用共享存儲，也是一樣的。如果要想同時訪問共享設備，那麼必須使用集群文件系統或者直接訪問裸設備。
例如，MSCS，它就只支持Active/Passive模式，也就是說，同一個文件系統只能在一個節點上使用。
而Symantec(Veritas)
Cluter
File
System和Cluster
Volume
Manager，則可以同時在多個節點上同時使用，支持Active/Active模式，同樣的例子還有Oracle
RAC，同一個資料庫在多個節點上同時訪問
『柒』 Windows系統之間的文件共享是採用什麼協議的
Windows系統之間的文件共享用的是NetBIOS，但NetBIOS不是協議，是介面。
伺服器信息塊（SMB）協議是一種IBM協議，用於在計算機間共享文件、列印機、串口等。SMB 協議可以用在網際網路的TCP/IP協議之上，也可以用在其它網路協議如IPX和NetBEUI 之上。
在一個網路環境中，伺服器可以給客戶端提供文件系統和文件資源的服務。客戶端在訪問伺服器端的文件資源時，必須先想伺服器端發送請求，並得到伺服器的許可。
但是由於設計上的原因，Windows 系統無法正確處理畸形SMB請求，本地/遠程攻擊者可利用此缺陷進行拒絕服務攻擊，甚至能夠以系統許可權在目標系統上執行任意指令。
(7)共享存儲集群文件系統擴展閱讀：
在網路環境下，通過FTP實現了在不同操作系統的主機之間相互傳輸文件，從使用角度看，共享文件系統幾乎不用你考慮網路傳輸和訪問的細節，完全可以像訪問本地文件一樣訪問網路上其它伺服器文件系統上的文件。這可以在一定程度上解決開始提的問題，即為集群中的多台實際伺服器共享同一台物理存儲設備。
剛才提到的同一台物理存儲設備可以是獨立的一台伺服器如圖片伺服器，也可以是集群中某台實際伺服器的磁碟。
『捌』 iscsi共享存儲的簡單配置和應用
1、環境介紹
SCSI（Small Computer System Interface）是塊數據傳輸協議，在存儲行業廣泛應用，是存儲設備最基本的標准協議。從根本上說，iSCSI協議是一種利用IP網路來傳輸潛伏時間短的SCSI數據塊的方法，ISCSI使用 乙太網 協議傳送SCSI命令、響應和數據。ISCSI可以用我們已經熟悉和每天都在使用的乙太網來構建IP存儲區域網。通過這種方法，ISCSI克服了直接連接存儲的局限性，使我們可以跨不同 伺服器 共享存儲資源，並可以在不停機狀態下擴充存儲容量。
所需軟體與軟體結構
CentOS 將 tgt 的軟體名稱定義為 scsi-target-utils ，因此你得要使用 yum 去安裝他才行。至於用來作為 initiator 的軟體則是使用 linux-iscsi 的項目，該項目所提供的軟體名稱則為 iscsi-initiator-utils 。所以，總的來說，你需要的軟體有：
scsi-target-utils：用來將 Linux 系統模擬成為 iSCSI target 的功能；
iscsi-initiator-utils：掛載來自 target 的磁碟到 Linux 本機上。
那麼 scsi-target-utils 主要提供哪些檔案呢？基本上有底下幾個比較重要需要注意的：
/etc/tgt/targets.conf：主要配置文件，設定要分享的磁碟格式與哪幾顆；
/usr/sbin/tgt-admin：在線查詢、刪除 target 等功能的設定工具；
/usr/sbin/tgt-setup-lun：建立 target 以及設定分享的磁碟與可使用的
客戶端等工具軟體。
/usr/sbin/tgtadm：手動直接管理的管理員工具 (可使用配置文件取代)；
/usr/sbin/tgtd：主要提供 iSCSI target 服務的主程序；
/usr/sbin/tgtimg：建置預計分享的映像文件裝置的工具 (以映像文件模擬磁碟)；
這次的實驗結構
（sdx1、sdy1是物理的磁碟通過lun連接到target虛擬的共享塊，在客戶端掛載這個塊。這里我們添加一塊硬碟sdb，創建sdb1（400m）和sdb2（500m））
2、server端配置
添加一塊磁碟後
復查一下
安裝target並加入開機自啟動
yum install -y target*
systemctl start target
systemctl enable target
配置target的ctl將sdb1和sdb2共享出去
（一）、block關聯磁碟
（二）、創建target
（三）、創建lun關聯block和target
至此伺服器端就配置完了，詳細的配置可以到/etc/target/saveconfig.json修改
3、client端配置
（一）、安裝iscsi*
軟體包 iscsi-initiator-utils-6.2.0.873-29.el7.x86_64
軟體包 iscsi-initiator-utils-iscsiuio-6.2.0.873-29.el7.x86_64
[root@200 ~]# yum install -y iscsi*
（二）、加入開機自啟
[root@200 ~]# systemctl restart iscsid.service
[root@200 ~]# systemctl enable iscsid.service
（三）、做一個發現的操作，發現伺服器共享的target名字是什麼
（四）、查看發現的條目
（五）、修改客戶端的acl並登錄
註：這個自動載入過來的磁碟重啟之後是自動載入過來的
4、客戶端掛載iscsi的盤
格式化sdb和sdc
創建掛載點並掛載
[root@200 ~]# mkdir /sdb
[root@200 ~]# mkdir /sdc
註：如果需要實時同步的話需要使用gfs集群文件系統
5、總結
（一）、增加iscsi存儲
(1)發現iscsi存儲:iscsiadm
-m discovery -t st -p ISCSI_IP
(2)查看iscsi發現記錄:iscsiadm
-m node
(3)登錄iscsi存儲:iscsiadm
-m node -T LUN_NAME -p ISCSI_IP -l
(4)開機自動:
iscsiadm -m node –T LUN_NAME -p ISCSI_IP --op
update -n node.startup -v
automatic
（二）、刪除iscsi存儲
(1)登出iscsi存儲
iscsiadm -m node -T LUN_NAME -p ISCSI_IP -u
(2)對出iscsi所有登錄
iscsiadm -m node --logoutall=all
(3)刪除iscsi發現記錄:iscsiadm
-m node -o delete -T LUN_NAME -p ISCSI_IP
『玖』 iSCSI不是經常提及是做共享存儲的嗎，到底怎麼做的啊我2台win2k3都掛了iSCSI磁碟，但數據不同步。
所謂iSCSI共享存儲協議，是指一個iSCSI設備可以被多台伺服器共享，而不是指一個卷可被共享。你還是要在openiler上做兩個卷，分別用iscsi initiator掛載在兩台伺服器上。
而集群文件系統，就是指多台伺服器共享一個卷。因為集群文件系統可以讓多台伺服器共同讀寫一個卷，並且不同伺服器看到該卷中的數據都是同步的。而直接掛載，就會出現你所說的現象，兩台伺服器看到的數據不同步。