共享存储集群文件系统
负载均衡是一项困难的任务。我们经常需要通过NFS(网络文件系统)或其他机制来为数据提供中心地址，从而共享文件系统。虽然你的安全机制可能可以让你免于Web服务器节点的故障，但是你仍然需要通过中央存储节点来共享数据。
通过GFS(全局文件系统)——Linux的一个免费集群文件系统——你可以创建一个不需要依赖其他服务器的真正稳定的集群。在这篇文章中，我们将展示如何正确地设置GFS.
从概念上来说，一个集群文件系统可以允许多个操作系统载入同一个文件系统并可以在同一时间内向同一文件系统写入数据。现在有许多集群文件系统，包括Sun的Lustre，Oracle的OCFS(Oracle集群文件系统)，以及Linux的GFS.
有许多方法可以让一个块设备同时被多个服务器所使用。你可以分区出一个对多个服务器都可视的SAN(存储局域网)LUN(逻辑单元号)，设置好相应的iSCSI(互联网小型计算机系统接口)，或使用DRBD(分布式复制块设备)在两台服务器之间复制一个分区。在使用DRBD的时候，你将需要在主/主节点中设置好DRBD以使用GFS.
GFS要求
运行GFS意味着你在运行一个集群。目前为止，运行GFS的最简单的手段就是使用Red Hat Cluster Suite(RHCS：Red Hat集群套件)。这个套件在CentOS中就有。此外，还需要下面这些包：cman——集群管理器;lvm2-cluster——使LVM(逻辑卷管理器)可以支持集群的CLVM(集群逻辑卷管理器)包;kmod-gfs——GFS内核模块;最后是gfs-utils.
集群管理器(cman)包含必要的工具，比如分布式锁管理器。除非你希望花时间来确认各种不同的分发版本是如何采用cman的，否则我们强烈推荐使用CentOS或RHEL.同时，你还将获得RH(Red Hat)所维护的各种最新版本的集群服务，此外你还可以获得一个比较稳定的环境。
Fencing(阻绝)机制是绝对必要的。一些指导性文章建议将阻绝模式设定成"手动"，因为阻绝设置有可能比较复杂。阻绝意味在集群中进行隔离，或马上中断某些危险节点的运作。如果集群无法阻绝某个发生故障的节点，那么你的GFS将会出现很多问题，因此不要跳过这个步骤。
创建集群设置
你可以通过/etc/cluster/里面的cluster.conf完成大部分的集群设置。我不建议使用各种集群管理应用程序来创建这个设置文件。即使是完全支持的RHEL应用程序，比如两个月前发布的Conga，也经常会创建一些无效的cluster.conf文件，并且无法被必要的服务所解析。
下面是一个cluster.conf文件的例子。这个设置文件采用漂亮的XML格式，其内容非常直接。首先，我们对集群进行命名，我们将这个集群称作"Web.1".
先跳过fence daemon选项，下一个部分就是集群主体的设置内容。你需要在clusternodes部分定义两个节点。设置文件将同时存放在两个节点上，这样这两个节点就都知道彼此的情况。
集群内的每个节点都声明其阻绝方式的名称是独一无二的。在clusternames结束标签下面，我们看到fencedevice部分定义了每个节点如何阻绝其他节点的方式。使用一个支持IPMI(智能平台管理接口)的服务器是最好的方式，而且其设置也是相当简单。你只要将IPMI的地点以及登录方式告诉IP就可以了。为了避免在cluster.conf中留下密码，你可以将它指向一个由根所拥有的脚本并由这个脚本来返回密码。
我们还要指出的是我们在设置中定义了两个节点。这是必须的，因为通常来说，除非大部分节点都同意自己的状态，否则集群无法达到"Quorate"状态。如果只有两个节点的话，没有肯定多数，因此这种方式让集群只能在两个节点下工作，而不能只在只有一个节点的情况下工作。这是设置基本集群的必要方式。
在每个节点上运行"service cman start"，系统应该可以开始正常运作。你可以检查"clustat"或"cman nodes"来确认节点是否良好运行。如果有哪个必要的部分没有启动，那么集群将不会显示"Quorate"状态。
GFS设置
首先，我们需要设置CLVM，这样我们才可以通过GFS使用LVM.激活CLVM只要在lvm.conf中设定"locking type=3"就可以了。
然后，就像平常一样创建一个LVM卷组和卷，但是使用的是共享的块设备。如果你使用的是DRBD，你将有可能使用/dev/drbd0.我创建了一个物理卷，然后创建一个名为vg01的卷组，然后创建一个名为web1的逻辑卷，这个卷在：/dev/vg01/web1.
最后，我们需要创建文件系统：
gfs_mkfs -t web1：mygfs -p lock_dlm -j 2 /dev/vg01/web1
-t中给定的名称必须是集群的名称，然后后面是你给这个文件系统所起的名字。只有web1集群的成员才可以载入这个文件系统。然后，设定分布式锁管理器的锁钥类型，指明你需要两份journal(因为这是一个双节点集群)。如果你预计未来要增加更多的节点，那么你需要在这时设定足够高的journal数量。
总结
我们现在可以开始使用这个文件系统了。在两个节点上启动"clvmd"和"gfs"服务。现在你就可以通过"-t gfs"来将类型指定为GFS，从而载入文件系统。
在开始启动之前，一定要设定好cman，clvmd和gfs服务。你最好能熟悉clustat和gfs_tool命令，因为在系统出现问题的时候，你可以用这些命令来查找问题所在。
不要指望GFS能很快。如果有一个节点在进行大量的写入操作的话，那么在访问文件系统的时候出现停顿是很正常的。对于一个数据读取操作比数据写入操作多得多的Web集群来说，这倒不是什么问题。如果出现明显延迟，那么首先要检查一下所有组件的状况，然后评估正在写入的数据。防止延迟现象的最常见措施就是确保HTTP对话中的数据不是写入GFS卷。
‘贰’ 分布式文件系统为整个企业网络上的文件系统提供了一个什么结构
答：1、单机文件系统 用于操作系统和应用程序的本地存储。 2、网络文件系统（简称：NAS） 基于现有以太网架构，实现不同服务器之间传统文件系统数据共享。 3、集群文件系统 在共享存储基础上，通过集群锁，实现不同服务器能够共用一个传统文件系统。...
‘叁’ 如何区分分布式/集群/并行文件系统
分布式文件系统、集群文件系统、并行文件系统，这三种概念很容易混淆，实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系，其实它们之间在概念上的确有交叉重叠的地方，但是也存在显着不同之处。 分布式文件系统 自然地，分布式是重点，它是相对与本地文件系统而言的。分布式文件系统通常指C/S架构或网络文件系统，用户数据没有直接连接到本地主机，而是存储在远程存储服务器上。NFS/CIFS是最为常见的分布式文件系统，这就是我们说的NAS系统。分布式文件系统中，存储服务器的节点数可能是1个(如传统NAS)，也可以有多个(如集群NAS)。对于单个节点的分布式文件系统来说，存在单点故障和性能瓶颈问题。除了NAS以外，典型的分布式文件系统还有AFS，以及下面将要介绍的集群文件系统(如Lustre, GlusterFS, PVFS2等)。 集群文件系统 集群主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统，它是分布式文件系统的一个子集，消除了单点故障和性能瓶问题。对于客户端来说集群是透明的，它看到是一个单一的全局命名空间，用户文件访问请求被分散到所有集群上进行处理。此外，可扩展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系统追求的目标。在元数据管理方面，可以采用专用的服务器，也可以采用服务器集群，或者采用完全对等分布的无专用元数据服务器架构。目前典型的集群文件系统有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。 并行文件系统 这种文件系统能够支持并行应用，比如MPI。在并行文件系统环境下，所有客户端可以在同一时间并发读写同一个文件。并发读，大部分文件系统都能够实现。并发写实现起来要复杂许多，既要保证数据一致性，又要最大限度提高并行性，因此在锁机制方面需要特别设计，如细粒度的字节锁。通常SAN共享文件系统都是并行文件系统，如GPFS、StorNext、GFS、BWFS，集群文件系统大多也是并行文件系统，如Lustre, Panasas等。如何区分？区分这三者的重点是分布式、集群、并行三个前缀关键字。简单来说，非本地直连的、通过网络连接的，这种为分布式文件系统；分布式文件系统中，服务器节点由多个组成的，这种为集群文件系统；支持并行应用(如MPI)的，这种为并行文件系统。在上面所举的例子中也可以看出，这三个概念之间具有重叠之处，比如Lustre，它既是分布式文件系统，也是集群和并行文件系统。但是，它们也有不同之处。集群文件系统是分布式文件系统，但反之则不成立，比如NAS、AFS。SAN文件系统是并行文件系统，但可能不是集群文件系统，如StorNext。GFS、HDFS之类，它们是集群文件系统，但可能不是并行文件系统。实际中，三者概念搞理清后，分析清楚文件系统的特征，应该还是容易正确地为其划分类别的。
‘肆’ isilon 集群存储采用什么文件系统
集群文件系统的选择有很多种，但是要想把每种系统的优劣性能都弄清楚，是需要花费不少时间和精力的。我们在此为大家介绍一些常用的集群文件系统，让读者朋友对此有一个了解，在选择上有一个参考。 集群文件系统基础架构有些读者也许希望装配一组可以并行访问同一个文件系统的服务器，而另一些读者可能想复制存储器并提供并行访问和冗余。有两种方法可以实现多服务器访问同一个磁盘，一种方法是让那些服务器都可以看到那个磁盘，另一种方法则是通过复制。 共享磁盘结构在光纤通道SAN和iSCSI领域是最常见的结构。配置存储系统相当简单，这样多个服务器就可以看到同一个逻辑块设备或LUN，但是如果没有群集文件系统，那么当多个服务器同时想使用那个逻辑块设备时就会出现混乱。 这个问题与使用群集文件系统有关，我们将在下文中详细介绍。 一般而言，共享磁盘系统有个弱点，那就是存储系统。但是情况也并非总是如此，因为利用现在的技术是很难理解共享盘的概念的。 SAN、NAS设备和基于Linux系统的商品硬件可以将所有的基础磁盘实时复制到另一个存储节点，从而提供一个模拟共享盘环境。基础模块设备被复制之后，那些节点就可以访问相同的数据，也可以运行同一个群集文件系统了，但是这种复制超出了传统共享盘的定义。 相反，不共享才是共享盘的问题所在。连接着不同存储设备的节点会在每个模块被写入数据时将变化通知给主服务器。 现在，不共享架构仍存在于Hadoop那样的文件系统之中，那些文件系统可以在许多节点故意建立多个数据副本，从而提高性能和冗余。而且，在不同存储设备或节点之间利用自己的存储设备进行复制的群集也可以做到不共享。 集群文件系统设计选择正如我们所说的，你不能通过多个服务器访问同一个模块设备。你听说过文件系统锁定，因此普通的文件系统并不能实现这一点就有些奇怪了。 在文件系统级别上，文件系统本身会将文件锁定以保证数据不会出错。但是在操作系统级别上，文件系统启动程序完全可以访问基础模块设备，它们可以在基层模块设备之间自由的漫游。大部分文件系统都会认为它们被分配了一个模块设备，而且那个模块设备也只是它们自己所有。 为了解决这个问题，集群文件系统采用了一种并行控制机制。有些集群文件系统将把元数据保存在共享设备的一个分区里，另一些集群文件系统则会使用集中式元数据服务器来保存元数据。 不管采用哪种方案，集群中的所有节点都可以看到文件系统的状态，从而保证安全的并行访问。然而，如果你想保证系统的高利用率和消除单点故障问题，那么采用集中式元数据服务器的解决方案就要略逊一筹了。 另一个注意事项：集群文件系统要求在节点发生故障时迅速做出反应。如果某个节点写入错误数据或由于某种原因停止关于元数据变化的通信，其他节点必须能够将它隔离出去。隔离可以通过多种方式来实现，最常用的方法是利用断电管理来实现。健康的节点可以在发现问题时第一时间关闭另一个节点电源（STONITH）以保全数据。集群文件系统词典GFS：全局文件系统 GFS是应用最广泛的集群文件系统。它是由红帽公司开发出来的，允许所有集群节点并行访问。元数据通常会保存在共享存储设备或复制存储设备的一个分区里。 OCFS:甲骨文集群文件系统 从概念上来说，OCFS与GFS非常相似，现在OCFS 2已经被应用于Linux系统之中。 VMFS:VMware的虚拟计算机文件系统 VMFS是ESX服务器用来允许多个服务器访问同一个共享存储设备的集群文件系统。这样就可以实现虚拟机在不同服务器之间的无缝迁移，因为源服务器和目标服务器都可以访问同一个存储设备。日志是分布式的，ESX服务器之间也不会出现单节点故障。 Lustre：Sun的集群分布式文件系统。 Lustre是专门用于包含数千个节点的大型集群的分布式文件系统。Lustre已经支持Linux系统，但是高速计算环境之外的应用程序是有限的。 Hadoop:一个象谷歌那样使用的分布式文件系统。 这不是一个集群文件系统，但是却是一个分布式文件系统。我们将Hadoop收录进来是因为它的应用越来越广泛，而且利用Hadoop的存储架构设计决策的组合很多。但是默认配置下，你会在3个不同的节点上拥有3个数据副本。一旦数据发生变化，每个数据副本都会更新，因此，从某种意义上来说，它也可以被看做是集群文件系统。然而，Hadoop存在一个故障点隐患，即跟踪记录所有文件系统级数据的命名节点。 做出最好选择有太多选择并不是坏事。你可以根据执行目标选择使用合适的集群文件系统以及存储架构。 只要有计划地使用，所有这些文件系统都可以发挥出应有的作用。
,
‘伍’ 在云计算系统在采用集群文件系统的优势有哪些
1、单机文件系统
用于操作系统和应用程序的本地存储。
2、网络文件系统（简称：NAS）
基于现有以太网架构，实现不同服务器之间传统文件系统数据共享。
3、集群文件系统
在共享存储基础上，通过集群锁，实现不同服务器能够共用一个传统文件系统。
4、分布式文件系统
在传统文件系统上，通过额外模块实现数据跨服务器分布，并且自身集成raid保护功能，可以保证多台服务器同时访问、修改同一个文件系统。性能优越，扩展性很好，成本低廉。
‘陆’ vmware的windows2003群集共享磁盘数据无法同步的问题
虚拟磁盘共享只解决了两个虚拟机可以同时访问同一块虚拟磁盘的问题。
而文件不同步，这个文件系统层面的东西。相信楼主用的单机的文件系统(EXT3,FAT32,NTFS之类的)，不是集群文件系统，(Cluster
File
System，例如Symantec的CFS，SUN的CFS，VMWARE
的VMFS)，并不支持多个机器同时访问一个文件系统。
物理机使用共享存储，也是一样的。如果要想同时访问共享设备，那么必须使用集群文件系统或者直接访问裸设备。
例如，MSCS，它就只支持Active/Passive模式，也就是说，同一个文件系统只能在一个节点上使用。
而Symantec(Veritas)
Cluter
File
System和Cluster
Volume
Manager，则可以同时在多个节点上同时使用，支持Active/Active模式，同样的例子还有Oracle
RAC，同一个数据库在多个节点上同时访问
‘柒’ Windows系统之间的文件共享是采用什么协议的
Windows系统之间的文件共享用的是NetBIOS，但NetBIOS不是协议，是接口。
服务器信息块（SMB）协议是一种IBM协议，用于在计算机间共享文件、打印机、串口等。SMB 协议可以用在因特网的TCP/IP协议之上，也可以用在其它网络协议如IPX和NetBEUI 之上。
在一个网络环境中，服务器可以给客户端提供文件系统和文件资源的服务。客户端在访问服务器端的文件资源时，必须先想服务器端发送请求，并得到服务器的许可。
但是由于设计上的原因，Windows 系统无法正确处理畸形SMB请求，本地/远程攻击者可利用此缺陷进行拒绝服务攻击，甚至能够以系统权限在目标系统上执行任意指令。
(7)共享存储集群文件系统扩展阅读：
在网络环境下，通过FTP实现了在不同操作系统的主机之间相互传输文件，从使用角度看，共享文件系统几乎不用你考虑网络传输和访问的细节，完全可以像访问本地文件一样访问网络上其它服务器文件系统上的文件。这可以在一定程度上解决开始提的问题，即为集群中的多台实际服务器共享同一台物理存储设备。
刚才提到的同一台物理存储设备可以是独立的一台服务器如图片服务器，也可以是集群中某台实际服务器的磁盘。
‘捌’ iscsi共享存储的简单配置和应用
1、环境介绍
SCSI（Small Computer System Interface）是块数据传输协议，在存储行业广泛应用，是存储设备最基本的标准协议。从根本上说，iSCSI协议是一种利用IP网络来传输潜伏时间短的SCSI数据块的方法，ISCSI使用 以太网 协议传送SCSI命令、响应和数据。ISCSI可以用我们已经熟悉和每天都在使用的以太网来构建IP存储局域网。通过这种方法，ISCSI克服了直接连接存储的局限性，使我们可以跨不同 服务器 共享存储资源，并可以在不停机状态下扩充存储容量。
所需软件与软件结构
CentOS 将 tgt 的软件名称定义为 scsi-target-utils ，因此你得要使用 yum 去安装他才行。至于用来作为 initiator 的软件则是使用 linux-iscsi 的项目，该项目所提供的软件名称则为 iscsi-initiator-utils 。所以，总的来说，你需要的软件有：
scsi-target-utils：用来将 Linux 系统仿真成为 iSCSI target 的功能；
iscsi-initiator-utils：挂载来自 target 的磁盘到 Linux 本机上。
那么 scsi-target-utils 主要提供哪些档案呢？基本上有底下几个比较重要需要注意的：
/etc/tgt/targets.conf：主要配置文件，设定要分享的磁盘格式与哪几颗；
/usr/sbin/tgt-admin：在线查询、删除 target 等功能的设定工具；
/usr/sbin/tgt-setup-lun：建立 target 以及设定分享的磁盘与可使用的
客户端等工具软件。
/usr/sbin/tgtadm：手动直接管理的管理员工具 (可使用配置文件取代)；
/usr/sbin/tgtd：主要提供 iSCSI target 服务的主程序；
/usr/sbin/tgtimg：建置预计分享的映像文件装置的工具 (以映像文件仿真磁盘)；
这次的实验结构
（sdx1、sdy1是物理的磁盘通过lun连接到target虚拟的共享块，在客户端挂载这个块。这里我们添加一块硬盘sdb，创建sdb1（400m）和sdb2（500m））
2、server端配置
添加一块磁盘后
复查一下
安装target并加入开机自启动
yum install -y target*
systemctl start target
systemctl enable target
配置target的ctl将sdb1和sdb2共享出去
（一）、block关联磁盘
（二）、创建target
（三）、创建lun关联block和target
至此服务器端就配置完了，详细的配置可以到/etc/target/saveconfig.json修改
3、client端配置
（一）、安装iscsi*
软件包 iscsi-initiator-utils-6.2.0.873-29.el7.x86_64
软件包 iscsi-initiator-utils-iscsiuio-6.2.0.873-29.el7.x86_64
[root@200 ~]# yum install -y iscsi*
（二）、加入开机自启
[root@200 ~]# systemctl restart iscsid.service
[root@200 ~]# systemctl enable iscsid.service
（三）、做一个发现的操作，发现服务器共享的target名字是什么
（四）、查看发现的条目
（五）、修改客户端的acl并登录
注：这个自动加载过来的磁盘重启之后是自动加载过来的
4、客户端挂载iscsi的盘
格式化sdb和sdc
创建挂载点并挂载
[root@200 ~]# mkdir /sdb
[root@200 ~]# mkdir /sdc
注：如果需要实时同步的话需要使用gfs集群文件系统
5、总结
（一）、增加iscsi存储
(1)发现iscsi存储:iscsiadm
-m discovery -t st -p ISCSI_IP
(2)查看iscsi发现记录:iscsiadm
-m node
(3)登录iscsi存储:iscsiadm
-m node -T LUN_NAME -p ISCSI_IP -l
(4)开机自动:
iscsiadm -m node –T LUN_NAME -p ISCSI_IP --op
update -n node.startup -v
automatic
（二）、删除iscsi存储
(1)登出iscsi存储
iscsiadm -m node -T LUN_NAME -p ISCSI_IP -u
(2)对出iscsi所有登录
iscsiadm -m node --logoutall=all
(3)删除iscsi发现记录:iscsiadm
-m node -o delete -T LUN_NAME -p ISCSI_IP
‘玖’ iSCSI不是经常提及是做共享存储的吗，到底怎么做的啊我2台win2k3都挂了iSCSI磁盘，但数据不同步。
所谓iSCSI共享存储协议，是指一个iSCSI设备可以被多台服务器共享，而不是指一个卷可被共享。你还是要在openiler上做两个卷，分别用iscsi initiator挂载在两台服务器上。
而集群文件系统，就是指多台服务器共享一个卷。因为集群文件系统可以让多台服务器共同读写一个卷，并且不同服务器看到该卷中的数据都是同步的。而直接挂载，就会出现你所说的现象，两台服务器看到的数据不同步。