linuxgpfs
❶ 誰來關注下一代linux文件系統發展趨勢
GNU/Linux在支持文件系統創新方面已經取得了極大的成功，目前已支持超過50種文件系統，毫無疑問，這一成功與Linux一向的開源策略是密不可分的。隨著數據的爆炸式增長，存儲行業已經發生了翻天覆地的變化，文件系統如何才能緊跟時代步伐，滿足越來越高要求的存儲需要呢？
硬碟的成本/容量曲線趨勢繼續遵守著名的摩爾定律，與此同時，我們也看到固態硬碟增長勢頭喜人，它因消除了機械硬碟固有的性能限製得到了廠商和消費者的重視，虛擬化也在改變存儲架構設計，應用程序也開始向基於FC的HTTP存儲協議轉移。
存儲容量幾乎每年以40%的速度遞增，現在市場上已經可以看到容量為2TB的機械硬碟，但它們的性能卻沒有按比例提高，固態硬碟的出現解決了傳統機械硬碟的許多弊病，因此未來幾年勢必會引發一場存儲革命，文件系統也需要為存儲革命做好准備，未來的文件系統必需解決擴展，並行處理和滿足新工作負載類型方面的問題。
POSIX API標准制約了創新
IDE和SCSI已經逐漸被SAS取代，終於超越了6Gbps的門檻，Infiniband和10GbE通過遠程直接內容訪問（Remote Direct Memory Access ，RDMA）和TCP卸載引擎提高了網路I/O，iSCSI大有取代FC SAN的趨勢，和傳統的使用NFS和CIFS協議應用程序不同，基於Internet的程序通常是使用HTTP/HTTPS訪問地理分散的存儲。
我們已經使用POSIX API訪問文件系統的歷史已經長達30年，它是一個標准，但它也是弱點，是它遏制了創新，應用程序開發人員需要新的API標准執行對象存儲和key-value存儲。
諸如卷管理，全局命名空間，壓縮，加密，克隆/快照，重復數據刪除，RAID和遠程站點復制技術都應該由文件系統實現，由於歷史原因，這些功能都是在文件系統之外實現的，因此效率低下，復雜程度較高。
文件系統不應局限於在內核空間實現
關於內核空間和用戶空間性能問題的爭論應該歇歇了，上下文切換不再是什麼大問題，因為堆棧和網路中的其它部分造成的延遲才是真正的限制因素。在用戶空間中實現的新興文件系統應該受到重視。原來大家都認為底層組件，如磁碟設備驅動和磁碟文件系統應該駐留在內核中，但現在是時候讓大部分代碼在用戶空間中實現了。例如，Hadoop和GlusterFS就是完全在用戶空間中實現的。有關Hadoop的使用可參考51CTO之前發布的使用Linux 和Hadoop進行分布式計算一文。
變革和創新
1、適合於直接附加存儲（Direct Attached Storag，DAS）的文件系統
Linux文件系統Ext3是迄今為止最穩定的Linux文件系統，但現在是時候考慮Ext4（內核2.6.31或更高才支持）了，因為它解決了諸如文件和目錄大小限制的局限性，基於延伸區（extent）分配機制能夠有效地存儲大文件，更快地執行fsck（文件系統檢查）和日誌校驗和檢查，但Ext4隻是一個暫時的解決方案。
Linux社區希望Linux支持ZFS和Btrfs（B-tree文件系統），Btrfs將類似ZFS的功能引入到Linux內核中，Btrfs不僅僅是一個磁碟文件系統，它還具有軟RAID管理，卷管理，克隆/快照和壓縮功能，它支持跨多塊磁碟動態增大或收縮卷。
Btrfs RAID可以從一個故障陣列快速重構，其速度比硬體RAID控制器還快，因為它只重新條帶化使用了的數據塊，執行快照需要的空間和時間也更少，Btrfs的目標是取代Linux默認文件系統Ext4，來自Oracle的Chris Mason是該項目的主要貢獻者。
2、網路文件系統（NFS）
NFS於1995年推出，NFS v3是目前應用最廣泛的NAS協議，所有伺服器操作系統（除微軟Windows外）和存儲廠商都支持它，2000年發布的NFS v4在許多方面都做了改進，但沒有取得廣泛應用。NFS v4.1（pNFS）應該會出現轉機，因為它帶來了人們迫切需要的並行I/O架構，並為低延遲高帶寬I/O增加了RDMA支持。
這是NFS的一個重大進步，允許用戶轉移到可橫向擴展的架構，但它的設計是基於一個統一的元數據伺服器，這可能會限制擴展能力，並且存在一個潛在的單點故障，因此要想成為主流應用尚需時日，這期間需要解決NFS v3/4的擴展性問題，通過在集群文件系統上集成NFS，利用虛擬IP和循環DNS技術，可以構建一個可擴展的NAS解決方案。
3、集群/分布式文件系統
集群或分布式文件系統允許跨多個存儲伺服器使用一個全局命名空間，並實現了智能分散I/O和數據，以克服NFS（和CIFS）的擴展性限制，每個廠商都有他們自己的內部協議，但對於應用程序是透明的，因為共享存儲是通過標準的POSIX介面訪問的。
這樣的文件系統有Oracle Lustre，IBM GPFS和GlusterFS，它們之間的主要區別是處理元數據的方式有所不同，Lustre使用的是中央控制元數據伺服器，GPFS使用的是分布式元數據伺服器模型，GlusterFS使用的是無元數據模型。在選擇集群文件系統時，關鍵就是要了解元數據的處理方式。
另一個不同點是Lustre和GPFS是在內核中實現的，GlusterFS是在用戶空間實現的，這些集群文件系統都實現了前面談到的關鍵存儲堆棧功能，它們都可以擴展到PB級存儲容量。
4、分布式對象存儲/key-value存儲
許多現代應用程序需要簡單對象API訪問諸如get/put，get/put屬性和lock/unlock這樣成對出現的數據，對象訪問允許將內存和磁碟看作是通過序列化的信息持久化塊。
大多數數據處理功能（如XML解析，哈希表，全文檢索等）都開始轉向更高級的應用程序庫，對象存儲API也適合構建NoSQL規模的資料庫。很多Web 2.0應用正在逐漸轉向Cassendra等NoSQL式存儲，比如前日的Digg和Twitter。
目前對象存儲還沒有標准化，雖然WebDAV，Hadoop，Apache Cassandra和Amazon S3都遵循這個模型，如果是構建一個新應用程序，它們也是很好的選擇，但在未標准化之前，POSIX API將是必需的。（參考閱讀：詳解NoSQL資料庫Apache Cassandra的配置）
小結
❷ 2台linux 共享fc盤可以同時讀寫嗎
可以，比如使用gpfs文件系統
❸ 當前主流的分布式文件系統有哪些
目前幾個主流的分布式文件系統除gpfs外，還有pvfs、lustre、panfs、googlefs等。
1.pvfs(parallel
virtual
file
system)項目是clemson大學為了運行linux集群而創建的一個開源項目,目前pvfs還存在以下不足：
1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;
2）對數據的存儲缺乏容錯機制:當某一i/o節點無法工作時，數據將出現不可用的情況;
3）靜態配置:對pvfs的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。
2.lustre文件系統是一個基於對象存儲的分布式文件系統，此項目於1999年在carnegie
mellon
university啟動，lustre也是一個開源項目。它只有兩個元數據管理節點,同pvfs類似,當系統達到一定的規模之後，管理節點會成為lustre系統中的瓶頸。
3.panfs(panasas
file
system)是panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.googlefs(google
file
system)是google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統，gpfs的主要優點有以下三點：
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理，這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.
❹ linux gpfs 是免費的嗎
方案一：通過移除 GPFS 問題節點來恢復
方案描述：
如果集群中有節點的硬體或者軟體發生嚴重問題時，我們可以先把該節點從整個集群中移除掉，這樣集群中就沒有這個壞掉的節點，我們可以通過「mmgetstate – a」得到所有的節點都是「active」的狀態。
方案流程 :
我們要從集群中移除掉壞掉的節點，就要改變記錄整個 GPFS 集群配置信息的文件，把壞掉節點的信息刪除，使 GPFS 集群中都沒有壞掉節點的信息，這樣這個壞掉節點就能夠刪除掉了。如下圖所示，我們可以看到圖中，本來三個節點的 GPFS 集群中，第三個節點壞了，我們把該問題節點移除後就成為一個只包含兩個健康節點的集群。
❺ HPC服務是干什麼的
Linux HPC 服務
服務介紹
IBM 在世界 500 強的超級計算機中排名第一，而且 500 台中有 215 台是由 IBM 完成。IBM 發明了包括並行處理、對稱多處理機和群集等技術，並通過它們始終保持著在業界的領先水平。IBM Linux 群集方案是由基於 IBM PC 伺服器整合而成的，另外還有組成高速互連光纖和乙太網絡的 OEM 設備，它的優勢在於很強的並行計算和工作調度。
IBM 基於Linux 群集的服務包括：
1. Linux HPC 規劃設計服務
2. Linux HPC 安裝服務
3. Linux HPC CSM 安裝服務
4. Linux HPC GPFS 安裝服務
服務內容
1 Linux HPC 規劃設計服務
此服務將建立在對客戶應用的充分了解基礎之上，針對客戶現有的 IT 基礎設施的現狀，提出與現有設施結合最緊密的實施方案。
基於客戶的要求，提出 Linux 群集的規模設計，提出計算結點、管理節點、路由器以及其它設備的最佳安裝位置和配置方案的規劃
根據客戶應用軟體的要求，提出對管理節點系統資源劃分，以及計算結點所安裝系統包的規劃。
根據客戶現有系統網路情況，提出群集內部網路、外部網路和管理網路地址規劃。
根據客戶應用對群集作業調度的要求，提出測試規劃。
通過提供以上規劃設計服務，使得系統滿足客戶對群集並行能力和作業調度的需求。客戶可以通過這項服務，獲得整個群集最大能力的發揮。
2 Linux HPC 實施服務
* 系統硬體就位、連線、上電。
* 安裝群集內部各節點的操作系統。
* 實現網路資源的劃分。
* 提供更多的 Linux 的配置和客戶化；
* 現場與客戶現場的系統管理員的技術交流；
* 關鍵時刻，現場解決問題；
* 提供性能測試和調整；
* 群集安裝服務的整體項目管理
此服務的目的就是：將客戶購買的所有 IBM PC 伺服器和各第三方產品硬體安裝就位，硬體連接完畢；根據對群集資源的規劃，將整個群集操作系統安裝完畢。
通過安裝高性能群集，客戶可以實現高度的並行運算速度，以及可擴展性和可管理性很強的群集結構。而且它的性價比將是對客戶的最大吸引力。
3 Linux HPC CSM 安裝服務
IBM 群集系統管理軟體（以下簡稱CSM）的目的是提供對群集系統的廣泛管理能力。
CSM 提供多種有用的功能可以對群集系統進行單點控制。
CSM 提供的主要功能有：
* 資源監控及操作
* 遠程硬體控制
* 遠程命令執行
* 配置文件管理
* 並行網路安裝
4 Linux GPFS 安裝服務
IBM 的通用並行文件系統（以下簡稱GPFS）允許用戶可以共享對文件的訪問.
UNIX 文件系統的很多功能也被 GPFS 所支持。
GPFS 可以為並行或者串列的應用程序提供文件系統服務。
當建立群集系統時，GPFS 可以提供一些優勢。我們總結如下：
1. 提高系統性能
2. 確保配置以及文件的一致性
3. 高可恢復性以及增強的數據可靠性
4. 增強的系統靈活性
5. 簡單的管理
客戶收益
通過添加更多的 Linux 節點，該系統的並行計算能力可以垂直擴展。
它是一個經濟高效的解決方案，用相對較低的成本獲得千兆量級的浮點運算速度。
利用了對稱多處理能力，適用於並行計算的任務，如生命科學或模擬等。
❻ linux與unix有哪些相同或不同點
不同點如下：
1、版本不同
Linux是一個Unix克隆版，由Linus Torvalds從頭開始編寫，並得到了網路上一個鬆散的黑客團隊的幫助。它旨在實現POSIX合規性。Linux只是一個內核。所有Linux發行版都包括GUI系統+。
2、文件系統不同
Linux默認支持並使用ext3或ext4文件系統。UNIX附帶了各種文件系統，如jfs，gpfs（AIX），jfs，gpfs（HP-UX），jfs，gpfs（Solaris）。
(6)linuxgpfs擴展閱讀：
系統管理工具
1、UNIX在HP-UX上附帶了自己的工具，例如SAM。
2、Suse Linux附帶Yast
3、Redhat Linux附帶了自己的gui工具redhat-config- *。
但是，編輯文本配置文件和鍵入命令是UNIX和Linux下sys管理工作的最常用選項。
❼ linux怎麼查看gpfs版本
GPFS
安裝
3.1
、建立集群
3.1.1
、創建集群文件系統
node1
mmcrcluster -n /tmp/gpfs_node -p node1 -s node2 -r /usr/bin/ssh -R /usr/bin/scp
命令顯示：
mmcrcluster: Processing node 1
mmcrcluster: Processing node2
mmcrcluster: Command successfully completed
mmcrcluster: Propagating the cluster configuration data to all affected nodes.
This is an
asynchronous process.
3.1.2
、顯示集群文件系統
mmlscluster
GPFS cluster information
========================
GPFS cluster name:
node1
GPFS cluster id:
13882348004399855353
GPFS UID domain:
node1
Remote shell command:
/usr/bin/ssh
Remote file command:
/usr/bin/scp
GPFS cluster configuration servers:
-----------------------------------
Primary server:
node1
Secondary server:
Node
Daemon node name
IP address
Admin node name
Designation
1
node1
10.3.164.24
node1
quorum-manager
2
node2
10.3.164.25
node2
quorum-manager
3.2
、創建
NSD
3.2.
、使用
mmcrnsd
創建
NSD
mmcrnsd -F /tmp/gpfs_disk -v yes
命令顯示
:
mmcrnsd: Processing disk hdb
mmcrnsd: Propagating the cluster configuration data to all
affected nodes.
This is an asynchronous process.
3.2.2
、顯示
NSD
mmlsnsd
–
m
Disk name
NSD volume ID
Device
Node name
Remarks
-------------------------------------------------------------------------------
gpfs1nsd
C0A801F54A9B3732
/dev/hdb
node1
primary node
gpfs1nsd
C0A801F54A9B3732
/dev/hdb
node2
3.3
、啟動
GPFS
文件系統
mmstartup
–
a
Mon Aug 31 10:37:48 CST 2009: mmstartup: Starting GPFS ...
3.4
、查看
GPFS
文件系統狀態
mmgetstate -a
Node number
Node name
GPFS state
------------------------------------------
1
node1
active
2
node2
active
3.5
、建立文件系統
#mkdir /gpfs
建立掛載點
#./bin/mmcrfs /gpfs gpfsdev -F /tmp/gpfs_disk -A yes -B 1024K -v yes
命令顯示：
The following disks of gpfsdev will be formatted on node node1:
gpfs1nsd: size 2241856 KB
Formatting file system ...
Disks up to size 2 GB can be added to storage pool 'system'.
Creating Inode File
Creating Allocation Maps
Clearing Inode Allocation Map
Clearing Block Allocation Map
Completed creation of file system /dev/gpfsdev.
mmcrfs: Propagating the cluster configuration data to all
affected nodes.
This is an asynchronous process.
3.6
、檢查文件系統
#cat /etc/fstab
………………………
/dev/gpfsdev
/gpfs
gpfs
rw,mtime,atime,dev=gpfsdev,autostart 0 0
Df-g
/dev/hdb
/gpfs
❽ 多伺服器並行問題！
硬體：高性能主機系統，包括多台主機、高速專用互聯網路（如infiniband40G或120G）、高速san存儲網（如8G）
軟體：linux系統或ibm aix、hp ux等，並行文件系統，如gpfs；運算環境，如c/c++、fortran等，函數庫如工程和科學庫、數學庫等，及這些函數庫的並行版本。
最後你還得編寫你的list集合的並行程序。
❾ 誰能提供一個IBM 的GPFS Base 3.5或4.1 Linux 64位安裝包
在線軟體倉庫裡面搜索過了嗎？是redhat版本的還是deb 版本的？redhat使用yum search 關鍵字 搜 索 deb 使用 sudo apt-get search 關鍵字 如果找不到更新軟體倉庫地址源，經驗不足敬請諒解