linuxgpfs
❶ 谁来关注下一代linux文件系统发展趋势
GNU/Linux在支持文件系统创新方面已经取得了极大的成功，目前已支持超过50种文件系统，毫无疑问，这一成功与Linux一向的开源策略是密不可分的。随着数据的爆炸式增长，存储行业已经发生了翻天覆地的变化，文件系统如何才能紧跟时代步伐，满足越来越高要求的存储需要呢？
硬盘的成本/容量曲线趋势继续遵守着名的摩尔定律，与此同时，我们也看到固态硬盘增长势头喜人，它因消除了机械硬盘固有的性能限制得到了厂商和消费者的重视，虚拟化也在改变存储架构设计，应用程序也开始向基于FC的HTTP存储协议转移。
存储容量几乎每年以40%的速度递增，现在市场上已经可以看到容量为2TB的机械硬盘，但它们的性能却没有按比例提高，固态硬盘的出现解决了传统机械硬盘的许多弊病，因此未来几年势必会引发一场存储革命，文件系统也需要为存储革命做好准备，未来的文件系统必需解决扩展，并行处理和满足新工作负载类型方面的问题。
POSIX API标准制约了创新
IDE和SCSI已经逐渐被SAS取代，终于超越了6Gbps的门槛，Infiniband和10GbE通过远程直接内容访问（Remote Direct Memory Access ，RDMA）和TCP卸载引擎提高了网络I/O，iSCSI大有取代FC SAN的趋势，和传统的使用NFS和CIFS协议应用程序不同，基于Internet的程序通常是使用HTTP/HTTPS访问地理分散的存储。
我们已经使用POSIX API访问文件系统的历史已经长达30年，它是一个标准，但它也是弱点，是它遏制了创新，应用程序开发人员需要新的API标准执行对象存储和key-value存储。
诸如卷管理，全局命名空间，压缩，加密，克隆/快照，重复数据删除，RAID和远程站点复制技术都应该由文件系统实现，由于历史原因，这些功能都是在文件系统之外实现的，因此效率低下，复杂程度较高。
文件系统不应局限于在内核空间实现
关于内核空间和用户空间性能问题的争论应该歇歇了，上下文切换不再是什么大问题，因为堆栈和网络中的其它部分造成的延迟才是真正的限制因素。在用户空间中实现的新兴文件系统应该受到重视。原来大家都认为底层组件，如磁盘设备驱动和磁盘文件系统应该驻留在内核中，但现在是时候让大部分代码在用户空间中实现了。例如，Hadoop和GlusterFS就是完全在用户空间中实现的。有关Hadoop的使用可参考51CTO之前发布的使用Linux 和Hadoop进行分布式计算一文。
变革和创新
1、适合于直接附加存储（Direct Attached Storag，DAS）的文件系统
Linux文件系统Ext3是迄今为止最稳定的Linux文件系统，但现在是时候考虑Ext4（内核2.6.31或更高才支持）了，因为它解决了诸如文件和目录大小限制的局限性，基于延伸区（extent）分配机制能够有效地存储大文件，更快地执行fsck（文件系统检查）和日志校验和检查，但Ext4只是一个暂时的解决方案。
Linux社区希望Linux支持ZFS和Btrfs（B-tree文件系统），Btrfs将类似ZFS的功能引入到Linux内核中，Btrfs不仅仅是一个磁盘文件系统，它还具有软RAID管理，卷管理，克隆/快照和压缩功能，它支持跨多块磁盘动态增大或收缩卷。
Btrfs RAID可以从一个故障阵列快速重构，其速度比硬件RAID控制器还快，因为它只重新条带化使用了的数据块，执行快照需要的空间和时间也更少，Btrfs的目标是取代Linux默认文件系统Ext4，来自Oracle的Chris Mason是该项目的主要贡献者。
2、网络文件系统（NFS）
NFS于1995年推出，NFS v3是目前应用最广泛的NAS协议，所有服务器操作系统（除微软Windows外）和存储厂商都支持它，2000年发布的NFS v4在许多方面都做了改进，但没有取得广泛应用。NFS v4.1（pNFS）应该会出现转机，因为它带来了人们迫切需要的并行I/O架构，并为低延迟高带宽I/O增加了RDMA支持。
这是NFS的一个重大进步，允许用户转移到可横向扩展的架构，但它的设计是基于一个统一的元数据服务器，这可能会限制扩展能力，并且存在一个潜在的单点故障，因此要想成为主流应用尚需时日，这期间需要解决NFS v3/4的扩展性问题，通过在集群文件系统上集成NFS，利用虚拟IP和循环DNS技术，可以构建一个可扩展的NAS解决方案。
3、集群/分布式文件系统
集群或分布式文件系统允许跨多个存储服务器使用一个全局命名空间，并实现了智能分散I/O和数据，以克服NFS（和CIFS）的扩展性限制，每个厂商都有他们自己的内部协议，但对于应用程序是透明的，因为共享存储是通过标准的POSIX接口访问的。
这样的文件系统有Oracle Lustre，IBM GPFS和GlusterFS，它们之间的主要区别是处理元数据的方式有所不同，Lustre使用的是中央控制元数据服务器，GPFS使用的是分布式元数据服务器模型，GlusterFS使用的是无元数据模型。在选择集群文件系统时，关键就是要了解元数据的处理方式。
另一个不同点是Lustre和GPFS是在内核中实现的，GlusterFS是在用户空间实现的，这些集群文件系统都实现了前面谈到的关键存储堆栈功能，它们都可以扩展到PB级存储容量。
4、分布式对象存储/key-value存储
许多现代应用程序需要简单对象API访问诸如get/put，get/put属性和lock/unlock这样成对出现的数据，对象访问允许将内存和磁盘看作是通过序列化的信息持久化块。
大多数数据处理功能（如XML解析，哈希表，全文检索等）都开始转向更高级的应用程序库，对象存储API也适合构建NoSQL规模的数据库。很多Web 2.0应用正在逐渐转向Cassendra等NoSQL式存储，比如前日的Digg和Twitter。
目前对象存储还没有标准化，虽然WebDAV，Hadoop，Apache Cassandra和Amazon S3都遵循这个模型，如果是构建一个新应用程序，它们也是很好的选择，但在未标准化之前，POSIX API将是必需的。（参考阅读：详解NoSQL数据库Apache Cassandra的配置）
小结
❷ 2台linux 共享fc盘可以同时读写吗
可以，比如使用gpfs文件系统
❸ 当前主流的分布式文件系统有哪些
目前几个主流的分布式文件系统除gpfs外，还有pvfs、lustre、panfs、googlefs等。
1.pvfs(parallel
virtual
file
system)项目是clemson大学为了运行linux集群而创建的一个开源项目,目前pvfs还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一i/o节点无法工作时，数据将出现不可用的情况;
3）静态配置:对pvfs的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2.lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在carnegie
mellon
university启动，lustre也是一个开源项目。它只有两个元数据管理节点,同pvfs类似,当系统达到一定的规模之后，管理节点会成为lustre系统中的瓶颈。
3.panfs(panasas
file
system)是panasas公司用于管理自己的集群存储系统的分布式文件系统。
4.googlefs(google
file
system)是google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5.相对其它的文件系统，gpfs的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.
❹ linux gpfs 是免费的吗
方案一：通过移除 GPFS 问题节点来恢复
方案描述：
如果集群中有节点的硬件或者软件发生严重问题时，我们可以先把该节点从整个集群中移除掉，这样集群中就没有这个坏掉的节点，我们可以通过“mmgetstate – a”得到所有的节点都是“active”的状态。
方案流程 :
我们要从集群中移除掉坏掉的节点，就要改变记录整个 GPFS 集群配置信息的文件，把坏掉节点的信息删除，使 GPFS 集群中都没有坏掉节点的信息，这样这个坏掉节点就能够删除掉了。如下图所示，我们可以看到图中，本来三个节点的 GPFS 集群中，第三个节点坏了，我们把该问题节点移除后就成为一个只包含两个健康节点的集群。
❺ HPC服务是干什么的
Linux HPC 服务
服务介绍
IBM 在世界 500 强的超级计算机中排名第一，而且 500 台中有 215 台是由 IBM 完成。IBM 发明了包括并行处理、对称多处理机和群集等技术，并通过它们始终保持着在业界的领先水平。IBM Linux 群集方案是由基于 IBM PC 服务器整合而成的，另外还有组成高速互连光纤和以太网络的 OEM 设备，它的优势在于很强的并行计算和工作调度。
IBM 基于Linux 群集的服务包括：
1. Linux HPC 规划设计服务
2. Linux HPC 安装服务
3. Linux HPC CSM 安装服务
4. Linux HPC GPFS 安装服务
服务内容
1 Linux HPC 规划设计服务
此服务将建立在对客户应用的充分了解基础之上，针对客户现有的 IT 基础设施的现状，提出与现有设施结合最紧密的实施方案。
基于客户的要求，提出 Linux 群集的规模设计，提出计算结点、管理节点、路由器以及其它设备的最佳安装位置和配置方案的规划
根据客户应用软件的要求，提出对管理节点系统资源划分，以及计算结点所安装系统包的规划。
根据客户现有系统网络情况，提出群集内部网络、外部网络和管理网络地址规划。
根据客户应用对群集作业调度的要求，提出测试规划。
通过提供以上规划设计服务，使得系统满足客户对群集并行能力和作业调度的需求。客户可以通过这项服务，获得整个群集最大能力的发挥。
2 Linux HPC 实施服务
* 系统硬件就位、连线、上电。
* 安装群集内部各节点的操作系统。
* 实现网络资源的划分。
* 提供更多的 Linux 的配置和客户化；
* 现场与客户现场的系统管理员的技术交流；
* 关键时刻，现场解决问题；
* 提供性能测试和调整；
* 群集安装服务的整体项目管理
此服务的目的就是：将客户购买的所有 IBM PC 服务器和各第三方产品硬件安装就位，硬件连接完毕；根据对群集资源的规划，将整个群集操作系统安装完毕。
通过安装高性能群集，客户可以实现高度的并行运算速度，以及可扩展性和可管理性很强的群集结构。而且它的性价比将是对客户的最大吸引力。
3 Linux HPC CSM 安装服务
IBM 群集系统管理软件（以下简称CSM）的目的是提供对群集系统的广泛管理能力。
CSM 提供多种有用的功能可以对群集系统进行单点控制。
CSM 提供的主要功能有：
* 资源监控及操作
* 远程硬件控制
* 远程命令执行
* 配置文件管理
* 并行网络安装
4 Linux GPFS 安装服务
IBM 的通用并行文件系统（以下简称GPFS）允许用户可以共享对文件的访问.
UNIX 文件系统的很多功能也被 GPFS 所支持。
GPFS 可以为并行或者串行的应用程序提供文件系统服务。
当建立群集系统时，GPFS 可以提供一些优势。我们总结如下：
1. 提高系统性能
2. 确保配置以及文件的一致性
3. 高可恢复性以及增强的数据可靠性
4. 增强的系统灵活性
5. 简单的管理
客户收益
通过添加更多的 Linux 节点，该系统的并行计算能力可以垂直扩展。
它是一个经济高效的解决方案，用相对较低的成本获得千兆量级的浮点运算速度。
利用了对称多处理能力，适用于并行计算的任务，如生命科学或模拟等。
❻ linux与unix有哪些相同或不同点
不同点如下：
1、版本不同
Linux是一个Unix克隆版，由Linus Torvalds从头开始编写，并得到了网络上一个松散的黑客团队的帮助。它旨在实现POSIX合规性。Linux只是一个内核。所有Linux发行版都包括GUI系统+。
2、文件系统不同
Linux默认支持并使用ext3或ext4文件系统。UNIX附带了各种文件系统，如jfs，gpfs（AIX），jfs，gpfs（HP-UX），jfs，gpfs（Solaris）。
(6)linuxgpfs扩展阅读：
系统管理工具
1、UNIX在HP-UX上附带了自己的工具，例如SAM。
2、Suse Linux附带Yast
3、Redhat Linux附带了自己的gui工具redhat-config- *。
但是，编辑文本配置文件和键入命令是UNIX和Linux下sys管理工作的最常用选项。
❼ linux怎么查看gpfs版本
GPFS
安装
3.1
、建立集群
3.1.1
、创建集群文件系统
node1
mmcrcluster -n /tmp/gpfs_node -p node1 -s node2 -r /usr/bin/ssh -R /usr/bin/scp
命令显示：
mmcrcluster: Processing node 1
mmcrcluster: Processing node2
mmcrcluster: Command successfully completed
mmcrcluster: Propagating the cluster configuration data to all affected nodes.
This is an
asynchronous process.
3.1.2
、显示集群文件系统
mmlscluster
GPFS cluster information
========================
GPFS cluster name:
node1
GPFS cluster id:
13882348004399855353
GPFS UID domain:
node1
Remote shell command:
/usr/bin/ssh
Remote file command:
/usr/bin/scp
GPFS cluster configuration servers:
-----------------------------------
Primary server:
node1
Secondary server:
Node
Daemon node name
IP address
Admin node name
Designation
1
node1
10.3.164.24
node1
quorum-manager
2
node2
10.3.164.25
node2
quorum-manager
3.2
、创建
NSD
3.2.
、使用
mmcrnsd
创建
NSD
mmcrnsd -F /tmp/gpfs_disk -v yes
命令显示
:
mmcrnsd: Processing disk hdb
mmcrnsd: Propagating the cluster configuration data to all
affected nodes.
This is an asynchronous process.
3.2.2
、显示
NSD
mmlsnsd
–
m
Disk name
NSD volume ID
Device
Node name
Remarks
-------------------------------------------------------------------------------
gpfs1nsd
C0A801F54A9B3732
/dev/hdb
node1
primary node
gpfs1nsd
C0A801F54A9B3732
/dev/hdb
node2
3.3
、启动
GPFS
文件系统
mmstartup
–
a
Mon Aug 31 10:37:48 CST 2009: mmstartup: Starting GPFS ...
3.4
、查看
GPFS
文件系统状态
mmgetstate -a
Node number
Node name
GPFS state
------------------------------------------
1
node1
active
2
node2
active
3.5
、建立文件系统
#mkdir /gpfs
建立挂载点
#./bin/mmcrfs /gpfs gpfsdev -F /tmp/gpfs_disk -A yes -B 1024K -v yes
命令显示：
The following disks of gpfsdev will be formatted on node node1:
gpfs1nsd: size 2241856 KB
Formatting file system ...
Disks up to size 2 GB can be added to storage pool 'system'.
Creating Inode File
Creating Allocation Maps
Clearing Inode Allocation Map
Clearing Block Allocation Map
Completed creation of file system /dev/gpfsdev.
mmcrfs: Propagating the cluster configuration data to all
affected nodes.
This is an asynchronous process.
3.6
、检查文件系统
#cat /etc/fstab
………………………
/dev/gpfsdev
/gpfs
gpfs
rw,mtime,atime,dev=gpfsdev,autostart 0 0
Df-g
/dev/hdb
/gpfs
❽ 多服务器并行问题！
硬件：高性能主机系统，包括多台主机、高速专用互联网络（如infiniband40G或120G）、高速san存储网（如8G）
软件：linux系统或ibm aix、hp ux等，并行文件系统，如gpfs；运算环境，如c/c++、fortran等，函数库如工程和科学库、数学库等，及这些函数库的并行版本。
最后你还得编写你的list集合的并行程序。
❾ 谁能提供一个IBM 的GPFS Base 3.5或4.1 Linux 64位安装包
在线软件仓库里面搜索过了吗？是redhat版本的还是deb 版本的？redhat使用yum search 关键字 搜 索 deb 使用 sudo apt-get search 关键字 如果找不到更新软件仓库地址源，经验不足敬请谅解