gfslinux

Ⅰ 如何查詢linux 分區是gfs格式

Linux下查看當前內核系統支持的文件系統：
一般都在
/lib/moles/kernl-version/kernel/fs/
目錄下包含了當前內核版本支持的文件系統：
ls
/lib/moles/kernl-version/kernel/fs/
1、mount
用掛載命令查看當前分區掛載的格式、類型
2、查看/etc/fstab掛載文件系統腳本：
less
/etc/fstab文件
3、使用df
-T
查看掛載的文件系統類型：
df
-T
-h

Ⅱ 如何利用Linux和GFS打造集群存儲

負載均衡是一項困難的任務。我們經常需要通過NFS(網路文件系統)或其他機制來為數據提供中心地址，從而共享文件系統。雖然你的安全機制可能可以讓你免於Web伺服器節點的故障，但是你仍然需要通過中央存儲節點來共享數據。
通過GFS(全局文件系統)——Linux的一個免費集群文件系統——你可以創建一個不需要依賴其他伺服器的真正穩定的集群。在這篇文章中，我們將展示如何正確地設置GFS.
從概念上來說，一個集群文件系統可以允許多個操作系統載入同一個文件系統並可以在同一時間內向同一文件系統寫入數據。現在有許多集群文件系統，包括Sun的Lustre，Oracle的OCFS(Oracle集群文件系統)，以及Linux的GFS.
有許多方法可以讓一個塊設備同時被多個伺服器所使用。你可以分區出一個對多個伺服器都可視的SAN(存儲區域網)LUN(邏輯單元號)，設置好相應的iSCSI(互聯網小型計算機系統介面)，或使用DRBD(分布式復制塊設備)在兩台伺服器之間復制一個分區。在使用DRBD的時候，你將需要在主/主節點中設置好DRBD以使用GFS.
GFS要求
運行GFS意味著你在運行一個集群。目前為止，運行GFS的最簡單的手段就是使用Red Hat Cluster Suite(RHCS：Red Hat集群套件)。這個套件在CentOS中就有。此外，還需要下面這些包：cman——集群管理器;lvm2-cluster——使LVM(邏輯卷管理器)可以支持集群的CLVM(集群邏輯卷管理器)包;kmod-gfs——GFS內核模塊;最後是gfs-utils.
集群管理器(cman)包含必要的工具，比如分布式鎖管理器。除非你希望花時間來確認各種不同的分發版本是如何採用cman的，否則我們強烈推薦使用CentOS或RHEL.同時，你還將獲得RH(Red Hat)所維護的各種最新版本的集群服務，此外你還可以獲得一個比較穩定的環境。
Fencing(阻絕)機制是絕對必要的。一些指導性文章建議將阻絕模式設定成"手動"，因為阻絕設置有可能比較復雜。阻絕意味在集群中進行隔離，或馬上中斷某些危險節點的運作。如果集群無法阻絕某個發生故障的節點，那麼你的GFS將會出現很多問題，因此不要跳過這個步驟。
創建集群設置
你可以通過/etc/cluster/裡面的cluster.conf完成大部分的集群設置。我不建議使用各種集群管理應用程序來創建這個設置文件。即使是完全支持的RHEL應用程序，比如兩個月前發布的Conga，也經常會創建一些無效的cluster.conf文件，並且無法被必要的服務所解析。
下面是一個cluster.conf文件的例子。這個設置文件採用漂亮的XML格式，其內容非常直接。首先，我們對集群進行命名，我們將這個集群稱作"Web.1".
先跳過fence daemon選項，下一個部分就是集群主體的設置內容。你需要在clusternodes部分定義兩個節點。設置文件將同時存放在兩個節點上，這樣這兩個節點就都知道彼此的情況。
集群內的每個節點都聲明其阻絕方式的名稱是獨一無二的。在clusternames結束標簽下面，我們看到fencedevice部分定義了每個節點如何阻絕其他節點的方式。使用一個支持IPMI(智能平台管理介面)的伺服器是最好的方式，而且其設置也是相當簡單。你只要將IPMI的地點以及登錄方式告訴IP就可以了。為了避免在cluster.conf中留下密碼，你可以將它指向一個由根所擁有的腳本並由這個腳本來返回密碼。
我們還要指出的是我們在設置中定義了兩個節點。這是必須的，因為通常來說，除非大部分節點都同意自己的狀態，否則集群無法達到"Quorate"狀態。如果只有兩個節點的話，沒有肯定多數，因此這種方式讓集群只能在兩個節點下工作，而不能只在只有一個節點的情況下工作。這是設置基本集群的必要方式。
在每個節點上運行"service cman start"，系統應該可以開始正常運作。你可以檢查"clustat"或"cman nodes"來確認節點是否良好運行。如果有哪個必要的部分沒有啟動，那麼集群將不會顯示"Quorate"狀態。
GFS設置
首先，我們需要設置CLVM，這樣我們才可以通過GFS使用LVM.激活CLVM只要在lvm.conf中設定"locking type=3"就可以了。
然後，就像平常一樣創建一個LVM卷組和卷，但是使用的是共享的塊設備。如果你使用的是DRBD，你將有可能使用/dev/drbd0.我創建了一個物理卷，然後創建一個名為vg01的卷組，然後創建一個名為web1的邏輯卷，這個卷在：/dev/vg01/web1.
最後，我們需要創建文件系統：
gfs_mkfs -t web1：mygfs -p lock_dlm -j 2 /dev/vg01/web1
-t中給定的名稱必須是集群的名稱，然後後面是你給這個文件系統所起的名字。只有web1集群的成員才可以載入這個文件系統。然後，設定分布式鎖管理器的鎖鑰類型，指明你需要兩份journal(因為這是一個雙節點集群)。如果你預計未來要增加更多的節點，那麼你需要在這時設定足夠高的journal數量。
總結
我們現在可以開始使用這個文件系統了。在兩個節點上啟動"clvmd"和"gfs"服務。現在你就可以通過"-t gfs"來將類型指定為GFS，從而載入文件系統。
在開始啟動之前，一定要設定好cman，clvmd和gfs服務。你最好能熟悉clustat和gfs_tool命令，因為在系統出現問題的時候，你可以用這些命令來查找問題所在。
不要指望GFS能很快。如果有一個節點在進行大量的寫入操作的話，那麼在訪問文件系統的時候出現停頓是很正常的。對於一個數據讀取操作比數據寫入操作多得多的Web集群來說，這倒不是什麼問題。如果出現明顯延遲，那麼首先要檢查一下所有組件的狀況，然後評估正在寫入的數據。防止延遲現象的最常見措施就是確保HTTP對話中的數據不是寫入GFS卷。

Ⅲ 怎麼用gfs-Linux系統管理

GFS的精彩在於它採用了多種方法，從多個角度，使用不同的容錯措施來確保整個系統的可靠性。
2.1.1 系統架構
GFS的系統架構如圖2-1[1]所示。GFS將整個系統的節點分為三類角色：Client（客戶端）、Master（主伺服器）和Chunk Server（數據塊伺服器）。Client是GFS提供給應用程序的訪問介面，它是一組專用介面，不遵守POSIX規范，以庫文件的形式提供。應用程序直接調用這些庫函數，並與該庫鏈接在一起。Master是GFS的管理節點，在邏輯上只有一個，它保存系統的元數據，負責整個文件系統的管理，是GFS文件系統中的「大腦」。Chunk Server負責具體的存儲工作。數據以文件的形式存儲在Chunk Server上，Chunk Server的個數可以有多個，它的數目直接決定了GFS的規模。GFS將文件按照固定大小進行分塊，默認是64MB，每一塊稱為一個Chunk（數據塊），每個Chunk都有一個對應的索引號（Index）。

Ⅳ linux怎麼格式化gfs文件系統

GFS文件系統為分布式結構，它是一個高度容錯網路文件系統，主要chunkserver由一個master（主）和眾多chunkserver（大塊設備）構成的，體系結構如下圖：

GFS文件系統的工作過程：
客戶端使用固定大小的塊將應用程序指定的文件名和位元組偏移轉換成文件的一個塊索引，向master（主）發送包含文件名和塊索引的請求；
master收到客戶端發來的請求，master向塊伺服器發出指示，同時時刻監控眾多chunkserver的狀態。Chunkserver緩存master從客戶端收到的文件名和塊索引等信息。
master通過和chunkserver的交互，向客戶端發送chunk-handle和副本位置。其中文件被分成若干個塊，而每個塊都是由一個不變的，全局唯一的64位的chunk-handle標識。Handle是由master在塊創建時分配的。而出於安全性考慮，每一個文件塊都要被復制到多個chunkserver上，一般默認3個副本；
客戶端向其中的一個副本發出請求，請求指定了chunk handle（chunkserver以chunk handle標識chunk）和塊內的一個位元組區間。
客戶端從chunkserver獲得塊數據，任務完成。

Ⅳ gfs採用了哪些容錯措施來確保整個系統的可靠性

GFS的精彩在於它採用了多種方法，從多個角度，使用不同的容錯措施來確保整個系統的可靠性。
2.1.1 系統架構
GFS的系統架構如圖2-1[1]所示。GFS將整個系統的節點分為三類角色：Client（客戶端）、Master（主伺服器）和Chunk Server（數據塊伺服器）。Client是GFS提供給應用程序的訪問介面，它是一組專用介面，不遵守POSIX規范，以庫文件的形式提供。應用程序直接調用這些庫函數，並與該庫鏈接在一起。Master是GFS的管理節點，在邏輯上只有一個，它保存系統的元數據，負責整個文件系統的管理，是GFS文件系統中的「大腦」。Chunk Server負責具體的存儲工作。數據以文件的形式存儲在Chunk Server上，Chunk Server的個數可以有多個，它的數目直接決定了GFS的規模。GFS將文件按照固定大小進行分塊，默認是64MB，每一塊稱為一個Chunk（數據塊），每個Chunk都有一個對應的索引號（Index）。

客戶端在訪問GFS時，首先訪問Master節點，獲取將要與之進行交互的Chunk Server信息，然後直接訪問這些Chunk Server完成數據存取。GFS的這種設計方法實現了控制流和數據流的分離。Client與Master之間只有控制流，而無數據流，這樣就極大地降低了Master的負載，使之不成為系統性能的一個瓶頸。Client與Chunk Server之間直接傳輸數據流，同時由於文件被分成多個Chunk進行分布式存儲，Client可以同時訪問多個Chunk Server，從而使得整個系統的I/O高度並行，系統整體性能得到提高。

相對於傳統的分布式文件系統，GFS針對Google應用的特點從多個方面進行了簡化，從而在一定規模下達到成本、可靠性和性能的最佳平衡。具體來說，它具有以下幾個特點。
1．採用中心伺服器模式
GFS採用中心伺服器模式來管理整個文件系統，可以大大簡化設計，從而降低實現難度。Master管理了分布式文件系統中的所有元數據。文件劃分為Chunk進行存儲，對於Master來說，每個Chunk Server只是一個存儲空間。Client發起的所有操作都需要先通過Master才能執行。這樣做有許多好處，增加新的Chunk Server是一件十分容易的事情，Chunk Server只需要注冊到Master上即可，Chunk Server之間無任何關系。如果採用完全對等的、無中心的模式，那麼如何將Chunk Server的更新信息通知到每一個Chunk Server，會是設計的一個難點，而這也將在一定程度上影響系統的擴展性。Master維護了一個統一的命名空間，同時掌握整個系統內Chunk Server的情況，據此可以實現整個系統范圍內數據存儲的負載均衡。由於只有一個中心伺服器，元數據的一致性問題自然解決。當然，中心伺服器模式也帶來一些固有的缺點，比如極易成為整個系統的瓶頸等。GFS採用多種機制來避免Master成為系統性能和可靠性上的瓶頸，如盡量控制元數據的規模、對Master進行遠程備份、控制信息和數據分流等。
2．不緩存數據
緩存（Cache）機制是提升文件系統性能的一個重要手段，通用文件系統為了提高性能，一般需要實現復雜的緩存機制。GFS文件系統根據應用的特點，沒有實現緩存，這是從必要性和可行性兩方面考慮的。從必要性上講，客戶端大部分是流式順序讀寫，並不存在大量的重復讀寫，緩存這部分數據對系統整體性能的提高作用不大；而對於Chunk Server，由於GFS的數據在Chunk Server上以文件的形式存儲，如果對某塊數據讀取頻繁，本地的文件系統自然會將其緩存。從可行性上講，如何維護緩存與實際數據之間的一致性是一個極其復雜的問題，在GFS中各個Chunk Server的穩定性都無法確保，加之網路等多種不確定因素，一致性問題尤為復雜。此外由於讀取的數據量巨大，以當前的內存容量無法完全緩存。對於存儲在Master中的元數據，GFS採取了緩存策略，GFS中Client發起的所有操作都需要先經過Master。Master需要對其元數據進行頻繁操作，為了提高操作的效率，Master的元數據都是直接保存在內存中進行操作。同時採用相應的壓縮機制降低元數據佔用空間的大小，提高內存的利用率。
3．在用戶態下實現
文件系統作為操作系統的重要組成部分，其實現通常位於操作系統底層。以Linux為例，無論是本地文件系統如Ext3文件系統，還是分布式文件系統如Lustre等，都是在內核態實現的。在內核態實現文件系統，可以更好地和操作系統本身結合，向上提供兼容的POSIX介面。然而，GFS卻選擇在用戶態下實現，主要基於以下考慮。
在用戶態下實現，直接利用操作系統提供的POSIX編程介面就可以存取數據，無需了解操作系統的內部實現機制和介面，從而降低了實現的難度，並提高了通用性。


POSIX介面提供的功能更為豐富，在實現過程中可以利用更多的特性，而不像內核編程那樣受限。
用戶態下有多種調試工具，而在內核態中調試相對比較困難。
用戶態下，Master和Chunk Server都以進程的方式運行，單個進程不會影響到整個操作系統，從而可以對其進行充分優化。在內核態下，如果不能很 好地掌握其特性，效率不但不會高，甚至還會影響到整個系統運行的穩定性。
用戶態下，GFS和操作系統運行在不同的空間，兩者耦合性降低，從而方便GFS自身和內核的單獨升級。


4．只提供專用介面
通常的分布式文件系統一般都會提供一組與POSIX規范兼容的介面。其優點是應用程序可以通過操作系統的統一介面來透明地訪問文件系統，而不需要重新編譯程序。GFS在設計之初，是完全面向Google的應用的，採用了專用的文件系統訪問介面。介面以庫文件的形式提供，應用程序與庫文件一起編譯，Google應用程序在代碼中通過調用這些庫文件的API，完成對GFS文件系統的訪問。採用專用介面有以下好處。


降低了實現的難度。通常與POSIX兼容的介面需要在操作系統內核一級實現，而GFS是在應用層實現的。
採用專用介面可以根據應用的特點對應用提供一些特殊支持，如支持多個文件並發追加的介面等。
專用介面直接和Client、Master、Chunk Server交互，減少了操作系統之間上下文的切換，降低了復雜度，提高了效率。

Ⅵ linux 分布式系統都有哪些

常見的分布式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。
GFS（Google File System）
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節，但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。

HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch，後者是一個開源的網路搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用，是Google開創其帝國的重要基石。

Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高，C++編寫的代碼，支持Fuse，並且沒有單點故障依賴， 於是下載安裝， 由於 ceph 使用 btrfs 文件系統， 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了，它基於的btrfs本身就不成熟，它的官方網站上也明確指出不要把ceph用在生產環境中。

Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的，具備高可用性的集群文件系統，它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統，可以支持超過10000個節點，數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域，例如HP SFS產品等。

Ⅶ RedHat Linux 系統支持的文件類型有哪些

linux 常見的文件系統有 ext2、ext3、ext4、fat(msdos)、vfat、nfs、iso9660（光碟的文件系統）、proc（Linux 內存中的虛擬文件系統）、gfs（Linux 中的 global file system，全局文件系統）、jfs （帶日誌的文件系統）等等，新版本基本都用ext3，原因如下

帶日誌的文件系統（ext3、ext4）擁有較強的穩定性，主要體現在出錯時可以恢復。

使用帶日誌的文件系統，文件系統會使用一個叫做「兩階段提交」的方式進行磁碟操作，當進行磁碟操作時，文件系統進行以下操作：

文件系統將准備執行的事務的具體內容寫入日誌
文件系統進行操作
操作成功後，將事務的具體內容從日誌刪除
這樣做的好處是，當事務執行的時候如果出現意外（如斷電或磁碟故障），可以通過查詢日誌進行恢復操作。缺點是會喪失一定的性能（額外的日誌讀寫操作）。

Ⅷ Linux GFS和Google GFS的區別

BigTable是一個key/value分布式資料庫，而GFS主要是一個分布式文件系統。bigTable存儲結構化數據，GFS存儲的是非結構化數據。另外BigTable的數據是存儲在GFS上的。