linux的grid
① linux下常用的分布式文件系统有哪些
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
GFS(Google File System)
--------------------------------------
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。
下面分布式文件系统都是类 GFS的产品。
HDFS
--------------------------------------
Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapRece算法的一种开源应用,是Google开创其帝国的重要基石。
Ceph
---------------------------------------
是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。
说 ceph 性能最高,C++编写的代码,支持Fuse,并且没有单点故障依赖, 于是下载安装, 由于 ceph 使用 btrfs 文件系统, 而btrfs 文件系统需要 Linux 2.6.34 以上的内核才支持。
可是ceph太不成熟了,它基于的btrfs本身就不成熟,它的官方网站上也明确指出不要把ceph用在生产环境中。
Lustre
---------------------------------------
Lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护的。
该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数据量存储系统。
目前Lustre已经运用在一些领域,例如HP SFS产品等。
② 在linux下安装0racle10g的艰难之旅
在linux下安装oracle是一件令前雹人生畏的事情 其复杂程度远远超过安装linux操作系统本身 如果能够进行成功的安装oracle 那么同时也就顺便掌握了linux一些技术 本文介绍在redhat linux 下安装oracle g 的方法 在这里说明一 Oracle g的g是grid 的缩孙悔销写 意为网格 目前较为前沿的网络计算技术
Oracle g 对软硬件的要求都非常的高 所以要玩转的话的花不少银子 首先来看看它对硬件的要求:内存 兆(建议 G) cpu 主频 G以上 硬盘转速 转以上(建议使用scsi硬盘) 依此条件 我看买台服务器才行 其次是软件要求:在oracle 官方的文档里 对于x 系列支持的操作系统只有 种(radhat ES/AS (x ) redhat ES/AS (x ) unitedlinux (x ) ) 如果只有redhat 也是可以安装的 不过要麻烦一点点 当然oracle g需要更多的软件模块才能进行安装 这些软件模块我将在后面逐一说明 在本例中 使用RedHat ES (x )作为操作平台 并且安装了xwindow
接下来 我们检查是否符合oracle g 的安装要求 以表格的形式列出 首先是硬件情况 以root登录系统 并且启动x window 如果用下表命令输出的值大于或等于建议值 请检查项目 命令/方法 建议值
内存 #grep MemTotal /proc/meminfo MB
交换分区 #grep SwapTotal /proc/meminfo GB
则游/tmp目录空闲区 #df –k /tmp MB
硬盘空闲空间 #df k GB
继续往下 检查软件需求 对redhat ES (x ) 需要如下的软件包:
&# ; Gnu gcc package gcc or 更高
下面的包也必须被安装:
·make ·binutils ·openmotif ·setarch ·pat db ·pat gcc ·pat gcc c++ ·pat libstdc++ ·pat libstdc++ devel
为了保证系统满足需求 执行下面的步骤检查安装的linux版本和安装的套件
检查项目 命令/方法 建议值
Linux 版本 #cat /etc/issue ES
已安装的包 #rpm q package_name 安装所需包(上表所列)
到这里我们已经全面的检查了安装oracle g所要求的软硬件环境 接着我们就要为安装创建组和用户
下面的组和用户必须存在
The oinstall group (the oracle inventory group) The dba group (the OSDBA group) The oracle user (the oracle owner)
如果上面的组和用户不存在 用下面的步骤创建它们
( )先查看这些组和用户是否存在:
#grep oinstall /etc/group
#grep dba /etc/group
( )创建安装oracle 所需的组和用户
#groupadd oinstall
#groupadd dba
#useradd –g oinstall –G dba oracle
检查一下oracle 是否属于组 oinstall 和 dba (#id oracle) 再给oracle 设置一个用户口令 #passwd oracle 输入两次密码
创建安装所需的目录 /u /app/oracle (the oracle base directory) /u /oradata (an optional default directory ) 用下表的命令形式创建它 然后改变它的目录权限
创建目录 更改权限
#mkdir –p /u /app/oracle #chown –R oracle:Oinstall /u /app/oracle /u /oradata
#mkdir –p /u /oradata #chmod –R /u /app/oracle /u /oradata
配置内核参数 下表是oracle 推荐的内核参数值 请参考
Parameter Value File semmsl semmns semopm semmni /proc/sys/kernel/sem shmall /proc/sys/kernel/shmall shmmax Half the size of physical memory /proc/sys/kernel/shmmax shmmni /proc/sys/kernel/shmmni file max /proc/sys/fs/file max ip_local_port_range /proc/sys/net/ipv /ip_local_port_range
确保当前的参数值大于或等于上表所列 那么怎样查看这些参数值呢?用命令 #/ *** in/sysctl –a | grep <参数名> 例如查看semmsl 用 #/ *** in/sysctl a | grep sem 余下的与此类似 逐个察看这些参数值 如果参数值不满足要求 就需要修改它们 请完成下面这些步骤
a 用文本编辑器 创建或者编辑/etc/nf文件 添加或修改如下的行
kernel shmall = kernel shmmax = kernel shmmni = kernel sem = fs file max = net ipv ip_local_port_range =
b 改变当前内核参数的值 用命令 #/ *** in/sysctl –p 来实现
为了提高在linux系统上运行软件的性能 必须对oracle用户设置下列shell 限定
Shell Limit Item in nf Hard Limit Maximum number of open file descriptors nofile Maximum number of processes available to a single user nproc
现在创建这些限定:
加入下面的行到文件/etc/security/nf
* soft nproc * hard nproc * soft nofile * hard nofile
加入下面的行到文件/etc/pam d/login 假如它不存在的话
session required /lib/security/pam_limits so
根据oracle 用户的默认shell 对默认 shell start up文件作如下改变 如果是Bourne Bash or Korn shell 修改环境变量/etc/profile文件如下:
if [ $USER = oracle ]; then if [ $SHELL = /bin/ksh ]; then ulimit p ulimit n else ulimit u n fi fi 如果是c shell 则环境变量文件 /etc/csh login的修改值如下: if ( $USER == oracle ) then limit maxproc limit descriptors endif
接下来挂接光盘 #mount /dev/cdrom /mnt/cdrom
以oracle 用户名登录系统 配置oracle 用户的环境 以oracle 帐号用安装器来安装oracle 但是开始运行安装器之前 还得设定oracle用户的环境变量 因此必须:
●设置shell startup文件的umask 为
●设置DISPLAY ORACLE_BASE and ORACLE_SID 的环境变量 下面这些步骤是对这些环境变量进行设置的方法:
开启一个终端会话
确认xwindow 能正常显示 #xhost +
改变用户为oracle $ su – oracle
检查oracle用户的默认shell $echo $SHELL
用文本编辑器修改oracle用户的环境变量
●bash shell on redhat
$vi bash_profile
●c shell
%vi login
把下面的行插入上面编辑的文件中
umask
保存文件并退出
运行shell开始脚本:
●Bash shell on Red Hat $ / profile
●C shell % source / login
设置环境变量
●Bash shell
$ ORACLE_BASE=/u /app/oracle
$ ORACLE_SID=sales
$ export ORACLE_BASE ORACLE_SID
●c shell
% setenv ORACLE_BASE /u /app/oracle
% setenv ORACLE_SID sales
确认ORACLE_HOME and TNS_ADMIN 的环境变量不被用户设置
●Bash shell
$ unset ORACLE_HOME
$ unset TNS_ADMIN
●c shell
% unsetenv ORACLE_HOME
% unsetenv TNS_ADMIN
再检验一下上面设定的环境变量是否正确
$ umask
$ env | more
lishixin/Article/program/Oracle/201311/17635