运维高级linux共享存储
Ⅰ linux内核如何勾选共享内存
所谓共享内存就是使得多个进程可以访问同一块内存空间,是最快的可用IPC形式。是针对其他通信机制运行效率较低而设计的。往往与其它通信机制,如信号量结合使用,来达到进程间的同步及互斥。其他进程能把同一段共享内存段“连接到”他们自己的地址空间里去。所有进程都能访问共享内存中的地址。如果一个进程向这段共享内存写了数据,所做的改动会即时被有访问同一段共享内存的其他进程看到。共享内存的使用大大降低了在大规模数据处理过程中内存的消耗,但是共享内存的使用中有很多的陷阱,一不注意就很容易导致程序崩溃。
1.超过共享内存的大小限制?
在一个linux服务器上,共享内存的总体大小是有限制的,这个大小通过SHMMAX参数来定义(以字节为单位),您可以通过执行以下命令来确定 SHMMAX 的值:
# cat /proc/sys/kernel/shmmax
如果机器上创建的共享内存的总共大小超出了这个限制,在程序中使用标准错误perror可能会出现以下的信息:
unable to attach to shared memory
>解决方法:
1、设置 SHMMAX
SHMMAX 的默认值是 32MB 。一般使用下列方法之一种将 SHMMAX 参数设为 2GB :
通过直接更改 /proc 文件系统,你不需重新启动机器就可以改变 SHMMAX 的默认设置。我使用的方法是将以下命令放入 />etc/rc.local 启动文件中:
echo "2147483648" > /proc/sys/kernel/shmmax
您还可以使用 sysctl 命令来更改 SHMMAX 的值:sysctl -w kernel.shmmax=2147483648
最后,通过将该内核参数插入到 /etc/sysctl.conf 启动文件中,您可以使这种更改永久有效:echo "kernel.shmmax=2147483648" >> /etc/sysctl.conf
2、设置 SHMMNI
Ⅱ linux共享内存的优点缺点
共享内存块提供了在任意数量的进程之间进行高效双向通信的机制。每个使用者都可以读取写入数据,但是所有程序之间必须达成并遵守一定的协议,以防止诸如在读取信息之前覆写内存空间等竞争状态的出现。不幸的是,Linux无法严格保证提供对共享内存块的独占访问,甚至是在您通过使用IPC_PRIVATE创建新的共享内存块的时候也不能保证访问的独占性。 同时,多个使用共享内存块的进程之间必须协调使用同一个键值。
Ⅲ linux 怎么 挂载共享存储
#mount -t nfs -o rw,sync,noatime ip地址 /open/tmp /mnt/tmp
Ⅳ 多台linux共享存储用什么文件格式
http://blog.csdn.net/do2jiang/article/details/5136921
看这个你就明白了。
我觉得你还是改用 nfs 应该会好很多吧。这个不要求文件系统,本身是一个文件级的存储共享服务。用 ext234 ,还是reiserfs 还是 btrfs 都可以,只要服务器支持就行(当然在你的 windows 服务器上要用 NTFS)。Windows 下面应该有 NFS 的支持程序,不然用 samba 应该也可以。果断把这个存储服务器改 Linux 吧……
Ⅳ 一般来说,在linux中使用共享内存的流程应该怎样
可以使用samba协议。Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件,由服务器及客户端程序构成。SMB是一种在局域网上共享文件和打印机的一种通信协议,它为局域网内的不同计算机之间提供文件及打印机等资源的共享服务。具体配置步骤如下:
步骤1:安装samba
sudo apt-get install samba samba-common-bin
步骤2:新建共享目录并设置权限
sudo mkdir /home/share
sudo chmod 777 /home/share
步骤3:修改配置文件
sudo nano /etc/samba/smb.conf
在smb.conf最后添加:
[share]
path = /home/share
browseable = yes
writable = yes
comment = smb share test
public = no#yes无需密码 no需要密码
步骤4:添加远程访问用户
sudo useradd smbuser
sudo smbpasswd -a smbuser
步骤5:重新启动服务
sudo service samba restart
对于windows操作系统,在资源管理器里输入\\Linux的IP地址,会提示输入上述步骤设置的用户名和密码,输入正确后即可访问分享内容。
Ⅵ 0基础入门Linux 运维,应该首先掌握哪些知识
Linux学习流程,小伙伴可做参考:
一、Linux运维基础核心知识原理、入门实战与进阶提高
计算机硬件、组成原理、操作系统基础、Linux起源、核心介绍及Linux安装实战入门
Xshell远程网络连接Linux、基础优化、远程连接网络基础、Xshell连接故障排错、核心基础命令讲解
Linux系统核心通配符体系、三剑客(grep,sed,awk)核心正则表达式精讲及企业级案例实战模拟精讲
Bash核心符号、快捷键、通配符详解
Linux目录、FHS\挂载、文件属性、核心目录精讲
Linux文件及目录管理核心知识和命令精讲(第二关)
Linux企业级基础优化(工作中可直接使用)
Linux文件及目录权限精讲及多个企业案例模拟
Linux重要核心命令回顾与深入精讲(第三关)
二、Linux运维高级核心基础知识提高精讲
Linux定时任务概念、分类、语法、规范、安全、流程企业案例实战精讲
Linux用户和组核心知识和命令管理超细精讲
Linux磁盘、RAID、文件系统核心知识及管理超细精讲,将命令和知识与N多企业案例结合
Linux三剑客之sed、awk深度超过企业级标准讲解
Bash Shell编程基础入门实战
计算机网络互联基础、进阶精讲
Linux网络知识、 核心基础命令讲解及结合原理、命令排查企业级案例实战详解
三、期中50台集群实战项目
rsync数据同步服务实战及企业级集群备份服务器搭建
中大规模网站集群批量管理ansible批量自动化管理集群(深入)
中小规模网站集群共享存储inotify/sersync实时备份复制项目实战精讲
中小规模网站集群共享存储项目NFS实战精讲
中小规模网站集群批量管理传统SSH项目实战精讲
Linux集群全网备份项目案例精讲
http/https协议/www服务核心基础与进阶讲解
企业级反向代理、负载均衡nginx项目多个案例实战
企业级负载均衡keeyalived高可用项目实战
企业级Web服务Nginx实战
LNMP环境超企业级标准优
化企业级监控工具ZABBIX全面实战详解
四、Shell编程企业级实战全面精讲
五、200-1000台集群实战项目进阶
使用CentOS7.4系统实战大规模集群网络服务、CentOS7.4技术核心知识与实战安装应用
Kickstart和Cobbler无人值守批量装机、千台规模时间服务器集群方案,VPN服务实战、企业级JAVA服务
Tomcat及集群架构案例实战、Lvs负载均衡集群/Keepalived管理LVS集群
KVM虚拟化企业级实战、Openstack云计算企业级实战、Docker容器企业级实战
企业阿里云云计算集群实战精讲
使用CentOS7.4系统实战大规模集群NOSQL数据库实践
memcached原理及部署/作为缓存及session会话共享
Redis分布式缓存集群Mongodb核心及集群精讲
MySQL企业级入门级进阶
MySQL企业级中级进阶
MySQL企业级高级进阶
使用CentOS7.4系统实战大规模集群关系数据库MySQL实践精讲
使用CentOS7.4系统实战大规模集群企业级代码版本管理、发布、自动化发布
版本管理系统Git、SVN企业级实战及多个案例
Jenkins企业级自动化代码发布实战
企业运维IDC机房、带宽、CDN、云服务维护知识精讲
六、Python自动化基础入门实践
Ⅶ linux redhat6.3两台机器共用一块存储盘
可以使用NFS(网络文件系统)来实现。
一、NFS服务简介
NFS 是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。
NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于操作系统,容许不同硬件及操作系统的系统共同进行文件的分享。
NFS在文件传送或信息传送过程中依赖于RPC协议。RPC,远程过程调用 (Remote Procere Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的,但NFS却能让我们通过网络进行资料的分享,这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务,不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系:NFS是一个文件系统,而RPC是负责负责信息的传输。
下面是5.6的步骤,6.3和这步骤差不多了。
二、系统环境
系统平台:CentOS release 5.6 (Final)
NFS Server IP:192.168.1.108
防火墙已关闭/iptables: Firewall is not running.
SELINUX=disabled
三、安装NFS服务
NFS的安装是非常简单的,只需要两个软件包即可,而且在通常情况下,是作为系统的默认包安装的。
nfs-utils-* :包括基本的NFS命令与监控程序
portmap-* :支持安全NFS RPC服务的连接
1、查看系统是否已安装NFS
系统默认已安装了nfs-utils portmap 两个软件包。
2、如果当前系统中没有安装NFS所需的软件包,需要手工进行安装。nfs-utils 和portmap 两个包的安装文件在系统光盘中都会有。
# mount /dev/cdrom /mnt/cdrom/
# cd /mnt/cdrom/CentOS/
# rpm -ivh portmap-4.0-65.2.2.1.i386.rpm
# rpm -ivh nfs-utils-1.0.9-50.el5.i386.rpm
# rpm -q nfs-utils portmap
四、NFS系统守护进程
nfsd:它是基本的NFS守护进程,主要功能是管理客户端是否能够登录服务器;
mountd:它是RPC安装守护进程,主要功能是管理NFS的文件系统。当客户端顺利通过nfsd登录NFS服务器后,在使用NFS服务所提供的文件前,还必须通过文件使用权限的验证。它会读取NFS的配置文件/etc/exports来对比客户端权限。
portmap:主要功能是进行端口映射工作。当客户端尝试连接并使用RPC服务器提供的服务(如NFS服务)时,portmap会将所管理的与服务对应的端口提供给客户端,从而使客户可以通过该端口向服务器请求服务。
五、NFS服务器的配置
NFS服务器的配置相对比较简单,只需要在相应的配置文件中进行设置,然后启动NFS服务器即可。
NFS的常用目录
/etc/exports NFS服务的主要配置文件
/usr/sbin/exportfs NFS服务的管理命令
/usr/sbin/showmount 客户端的查看命令
/var/lib/nfs/etab 记录NFS分享出来的目录的完整权限设定值
/var/lib/nfs/xtab 记录曾经登录过的客户端信息
NFS服务的配置文件为 /etc/exports,这个文件是NFS的主要配置文件,不过系统并没有默认值,所以这个文件不一定会存在,可能要使用vim手动建立,然后在文件里面写入配置内容。
/etc/exports文件内容格式:
<输出目录> [客户端1 选项(访问权限,用户映射,其他)] [客户端2 选项(访问权限,用户映射,其他)]
a. 输出目录:
输出目录是指NFS系统中需要共享给客户机使用的目录;
b. 客户端:
客户端是指网络中可以访问这个NFS输出目录的计算机
客户端常用的指定方式
指定ip地址的主机:192.168.0.200
指定子网中的所有主机:192.168.0.0/24 192.168.0.0/255.255.255.0
指定域名的主机:david.bsmart.cn
指定域中的所有主机:*.bsmart.cn
所有主机:*
c. 选项:
选项用来设置输出目录的访问权限、用户映射等。
NFS主要有3类选项:
访问权限选项
设置输出目录只读:ro
设置输出目录读写:rw
用户映射选项
all_squash:将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody);
no_all_squash:与all_squash取反(默认设置);
root_squash:将root用户及所属组都映射为匿名用户或用户组(默认设置);
no_root_squash:与rootsquash取反;
anonuid=xxx:将远程访问的所有用户都映射为匿名用户,并指定该用户为本地用户(UID=xxx);
anongid=xxx:将远程访问的所有用户组都映射为匿名用户组账户,并指定该匿名用户组账户为本地用户组账户(GID=xxx);
其它选项
secure:限制客户端只能从小于1024的tcp/ip端口连接nfs服务器(默认设置);
insecure:允许客户端从大于1024的tcp/ip端口连接服务器;
sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性;
async:将数据先保存在内存缓冲区中,必要时才写入磁盘;
wdelay:检查是否有相关的写操作,如果有则将这些写操作一起执行,这样可以提高效率(默认设置);
no_wdelay:若有写操作则立即执行,应与sync配合使用;
subtree:若输出目录是一个子目录,则nfs服务器将检查其父目录的权限(默认设置);
no_subtree:即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率;
六、NFS服务器的启动与停止
在对exports文件进行了正确的配置后,就可以启动NFS服务器了。
1、启动NFS服务器
为了使NFS服务器能正常工作,需要启动portmap和nfs两个服务,并且portmap一定要先于nfs启动。
# service portmap start
# service nfs start
2、查询NFS服务器状态
# service portmap status
# service nfs status
3、停止NFS服务器
要停止NFS运行时,需要先停止nfs服务再停止portmap服务,对于系统中有其他服务(如NIS)需要使用时,不需要停止portmap服务
# service nfs stop
# service portmap stop
4、设置NFS服务器的自动启动状态
对于实际的应用系统,每次启动LINUX系统后都手工启动nfs服务器是不现实的,需要设置系统在指定的运行级别自动启动portmap和nfs服务。
# chkconfig --list portmap
# chkconfig --list nfs
设置portmap和nfs服务在系统运行级别3和5自动启动。
# chkconfig --level 35 portmap on
# chkconfig --level 35 nfs on
七、实例
1、将NFS Server 的/home/david/ 共享给192.168.1.0/24网段,权限读写。
服务器端文件详细如下:
# vi /etc/exports
/home/david 192.168.1.0/24(rw)
2、重启portmap 和nfs 服务
# service portmap restart
# service nfs restart
# exportfs
3、服务器端使用showmount命令查询NFS的共享状态
# showmount -e//默认查看自己共享的服务,前提是要DNS能解析自己,不然容易报错
# showmount -a//显示已经与客户端连接上的目录信息
4、客户端使用showmount命令查询NFS的共享状态
# showmount -e NFS服务器IP
5、客户端挂载NFS服务器中的共享目录
命令格式
# mount NFS服务器IP:共享目录 本地挂载点目录
# mount 192.168.1.108:/home/david/ /tmp/david/
# mount |grep nfs
挂载成功。
查看文件是否和服务器端一致。
6、NFS的共享权限和访问控制
现在我们在/tmp/david/ 里面建立一个文件,看看权限是什么
# touch 20130103
这里出现Permission denied,是因为NFS 服务器端共享的目录本身的写权限没有开放给其他用户,在服务器端打开该权限。
# chmod 777 -R /home/david/
再次在客户端/tmp/david/ 里面建立一个文件
我用root 用户建立的文件,变成了nfsnobody 用户。
NFS有很多默认的参数,打开/var/lib/nfs/etab 查看分享出来的/home/david/ 完整权限设定值。
# cat /var/lib/nfs/etab
默认就有sync,wdelay,hide 等等,no_root_squash 是让root保持权限,root_squash 是把root映射成nobody,no_all_squash 不让所有用户保持在挂载目录中的权限。所以,root建立的文件所有者是nfsnobody。
下面我们使用普通用户挂载、写入文件测试。
# su - david
$ cd /tmp/david/
$ touch 2013david
普通用户写入文件时就是自己的名字,这也就保证了服务器的安全性。
关于权限的分析
1. 客户端连接时候,对普通用户的检查
a. 如果明确设定了普通用户被压缩的身份,那么此时客户端用户的身份转换为指定用户;
b. 如果NFS server上面有同名用户,那么此时客户端登录账户的身份转换为NFS server上面的同名用户;
c. 如果没有明确指定,也没有同名用户,那么此时 用户身份被压缩成nfsnobody;
2. 客户端连接的时候,对root的检查
a. 如果设置no_root_squash,那么此时root用户的身份被压缩为NFS server上面的root;
b. 如果设置了all_squash、anonuid、anongid,此时root 身份被压缩为指定用户;
c. 如果没有明确指定,此时root用户被压缩为nfsnobody;
d. 如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody,如果设置了anonuid、anongid将被压缩到所指定的用户与组;
7、卸载已挂载的NFS共享目录
# umount /tmp/david/
八、启动自动挂载nfs文件系统
格式:
<server>:</remote/export> </local/directory> nfs < options> 0 0
# vi /etc/fstab
保存退出,重启系统。
查看/home/david 有没有自动挂载。
自动挂载成功。
九、相关命令
1、exportfs
如果我们在启动了NFS之后又修改了/etc/exports,是不是还要重新启动nfs呢?这个时候我们就可以用exportfs 命令来使改动立刻生效,该命令格式如下:
# exportfs [-aruv]
-a 全部挂载或卸载 /etc/exports中的内容
-r 重新读取/etc/exports 中的信息 ,并同步更新/etc/exports、/var/lib/nfs/xtab
-u 卸载单一目录(和-a一起使用为卸载所有/etc/exports文件中的目录)
-v 在export的时候,将详细的信息输出到屏幕上。
具体例子:
# exportfs -au 卸载所有共享目录
# exportfs -rv 重新共享所有目录并输出详细信息
2、nfsstat
查看NFS的运行状态,对于调整NFS的运行有很大帮助。
3、rpcinfo
查看rpc执行信息,可以用于检测rpc运行情况的工具,利用rpcinfo -p 可以查看出RPC开启的端口所提供的程序有哪些。
4、showmount
-a 显示已经于客户端连接上的目录信息
-e IP或者hostname 显示此IP地址分享出来的目录
5、netstat
可以查看出nfs服务开启的端口,其中nfs 开启的是2049,portmap 开启的是111,其余则是rpc开启的。
最后注意两点,虽然通过权限设置可以让普通用户访问,但是挂载的时候默认情况下只有root可以去挂载,普通用户可以执行sudo。
NFS server 关机的时候一点要确保NFS服务关闭,没有客户端处于连接状态!通过showmount -a 可以查看,如果有的话用kill killall pkill 来结束,(-9 强制结束)
Ⅷ linux服务器装了oracle,共享存储是什么意思简单举个例子说明下
共享存储主要用于RAC架构下的
单节点数据库,如果实例宕机了,如果一个业务、在实例上面,那么这个业务就中断了。这个时候系统就不具有可用性了,那么这个时候单节点的可用性是很差的。
RAC不能够解决在数据的安全,尽管有多个实例,但是只有一份数据文件,这样只要数据文件损坏了,那么整个数据库就损坏了。