linux访问存储
NAS是英文“Network Attached Storage”的缩写, 中文意思是“网络附加存储”。按字面简单说就是连接在网络上, 具备资料存储功能的装置，因此也称为“网络存储器”或者“网络磁盘阵列”。 从结构上讲，NAS是功能单一的精简型电脑，因此在架构上不像个人电脑那么复杂，在外观上就像家电产品，只需电源与简单的控制钮，NAS是一种专业的网络文件存储及文件备份设备，它是基于LAN（局域网）的，按照TCP/IP协议进行通信，以文件的I/O（输入/输出）方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享，比如NT、UNIX等平台的共享。一个NAS系统包括处理器，文件服务管理模块和多个硬盘驱动器(用于数据的存储)。 NAS 可以应用在任何的网络环境当中。主服务器和客户端可以非常方便地在NAS上存取任意格式的文件，包括SMB格式（Windows）NFS格式(Unix, Linux)和CIFS（Common Internet File System）格式等等。典型的NAS的网络结构
‘贰’ 怎样用linux命令行访问AmazonS3云存储
在Ubuntu或者Debian上安装s3cm $ sudo apt-get install s3cmd 在Fedora上安装s3cmd $ sudo yum install s3cmd 在CentOS或者RHEL上安装s3cm $ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done 先从官方站点上下载rpm包，然后手工安装。64位CentOS或RHEL 6，用以下命令： $ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm 配置s3cmd 第一次运行s3cmd需要运行下面的命令做配置： $ s3cmd –configure 它将会问你一系列问题： AWS S3的访问密钥和安全密钥 对AWS S3双向传输的加密密码和加密数据 为加密数据设定GPG程序的路径（例如，/usr/bin/gpg）
‘叁’ Linux操作系统文件访问权限详解
一直以root登陆使用linux的人来说很少有权限被拒这种概念，但某些时候又深受权限拒绝困扰。
知道为什么很多程序中需要使用getuid()，setuid()？为什么以普通权限登陆的用户不能进入/root，为什么在/目录下执行ls -l后可以显示root的信息，但ls /root -al却是权限不够？为什么有些文件夹可以继续创建文件，但就是不能ls？等等，相信看了此文就能明白。
主要是学习笔记，不足之处请指正。
CentOS 5.4 [testc@xxx opt]$ uname -a Linux xxx 2.6.18-164.el5xen #1 SMP Thu Sep 3 04：47：32 EDT 2009 i686 i686 i386 GNU/Linux
一、口令文件1，格式存储文件/etc/passwd，格式如下：root：x：0：0：root：/root：/bin/bash aaa：x：501：501：bj， bj， 8111111，136000111：/home/aaa：/bin/bash用户名：加密密码：用户ID：组ID：注释：工作目录：shell：
默认情况是第一行的格式;注释字段可以自行修改，用逗号隔开，如第二行格式，这主要是给finger命令使用时可解析。
可以vi /etc/passwd修改，但为了保证其格式的正确性，请用vipw命令编译此文件。
sh-3.2# finger aaa Login： aaa Name： bj Directory： /home/aaa Shell： /bin/bash Office： bj， 8111111 Home Phone： 136000111 Never logged in. No mail. No Plan.
2，编程实例
/*getpwnam_pwuid.c*/ #include #include #include
int main(void)
{ //struct passwd *pwd = getpwnam("aaa");struct passwd *pwd = getpwuid(501);if(pwd == NULL)
{ printf("err.\n");return 1;}
printf("name：%s\n"， pwd->pw_name);printf("passwd：%s\n"， pwd->pw_passwd);printf("description：%s\n"， pwd->pw_gecos);printf("uid：%d\n"， pwd->pw_uid);printf("gid：%d\n"， pwd->pw_gid);printf("dir：%s\n"， pwd->pw_dir);printf("shell：%s\n"， pwd->pw_shell);
return 0;}
sh-3.2# gcc getpwnam_pwuid.c -o app sh-3.2# ./app name：aaa passwd：x description：bj， bj， 8111111，136000111 uid：501 gid：501 dir：/home/aaa shell：/bin/bash
二、组文件1，格式存储文件/etc/group，格式如下root：x：0：root bin：x：1：root，bin，daemon aaa：x：501：组名：加密密码：组ID：指向的各用户名
2，改变文件uid和gid.
sh-3.2# pwd /root/study sh-3.2# ls -al -rw-r——r—— 1 root root 397 10-11 03：23 test.c
chgrp 改变所属组ID，当然只有root权限才可以修改。
sh-3.2# chgrp aaa test.c sh-3.2# ls -al -rw-r——r—— 1 root aaa 397 10-11 03：23 test.c
这个aaa就是新组名，其在/etc/group中，可以通过adser aaa自行添加sh-3.2# cat /etc/group root：x：0：root bin：x：1：root，bin，daemon daemon：x：2：root，bin，daemon.
gdm：x：42：sabayon：x：86：plmtest：x：500：aaa：x：501：
chown 改变用户ID或组ID sh-3.2# chown aaa：aaa test.c sh-3.2# ls -al -rw-r——r—— 1 aaa aaa 397 10-11 03：23 test.c
3，编程实例
/*getgrnam.c*/ #include #include
int main(int argc， char *argv[])
{ if(argv[1] == NULL)
{ printf("input error.\n");return 1;}
struct group *gp = getgrnam(argv[1]);if(gp == NULL)
{ printf("err.\n");return 1;}
printf("name：%s\n"， gp->gr_name);printf("psswd：%s\n"， gp->gr_passwd);printf("gid：%d\n"， gp->gr_gid);
int i;for(i = 0; gp->gr_mem[i] != NULL; i++)
{ printf("group name：%s\n"， gp->gr_mem[i]);}
return 0;}
sh-3.2# gcc getgrnam.c -o app sh-3.2# ./app bin name：bin psswd：x gid：1 group name：root group name：bin group name：daemon 4，文件权限不细讲了sh-3.2# ls -al总计 483984 drwxr-x—— 13 root root 4096 02-22 00：01 . drwxr-xr-x 32 root root 4096 02-21 21：15 ……
-rw-r——r—— 1 root root 464023491 10-25 22：33 3.3.005-080425.tgz -rw—— 1 root root 9346 02-21 23：16 .bash_history -rw-r——r—— 1 root root 24 2007-01-06 .bash_logout -rw-r——r—— 1 root root 191 2007-01-06 .bash_profile -rw-r——r—— 1 root root 176 2007-01-06 .bashrc drwxrwxrwx 10 1000 users 4096 08-23 20：16 cflow-1.3 -rw-r——r—— 1 root root 759691 08-23 20：13 cflow.tar.gz -rw-r——r—— 1 root root 100 2007-01-06 .cshrc -rwxr-xr-x 1 root root 582 11-11 21：48 delete_M.sh -rw-r——r—— 1 root root 2518 11-11 20：25 .dir_colors
主要是最左边一列：drwxr-x——10个字符，最左边是文件类型，-默认为普通文件;d：目录文件;l符号链接……
后面9个，3个一组共三组，分别表示所属用户uid的权限;所属组或者附属组gid的权限;其它权限。
三个字符分别是读、写、执行权限读4，写2， 执行1
所以chmod 777 test.c，提升到读、写、执行权限。
5，组权限操作实例此节演示相同组的成员之间共享资源，即不同uid但相同gid的用户共享同一组的资源。
为了方便起见，我同时开了两个终端。
"sh-3.2#"以root权限登陆的shell /bin/sh "[testa@xxx root]"以testa用户登陆的shell
注：下文提到的“用户”是指/etc/passwd里定义的通过终端登陆的用户(此文即以下增加的三个账号名)。
sh-3.2# useradd testa sh-3.2# useradd testb sh-3.2# useradd testc
sh-3.2# tail -f /etc/passwd -n 4 sabayon：x：86：86：Sabayon user：/home/sabayon：/sbin/nologin testa：x：500：500：：/home/testa：/bin/bash testb：x：501：501：：/home/testb：/bin/bash testc：x：502：502：：/home/testc：/bin/bash
再开一个终端登陆testa，之前那个终端保持。
sh-3.2# su testa [testa@xxx root]$ id uid=500(testa) gid=500(testa) groups=500(testa)
[testa@xxx home]$ ls -al总计 28 drwxr-xr-x 5 root root 4096 02-21 22：52 . drwxr-xr-x 32 root root 4096 02-21 21：15 ……
drwx—— 3 testa testa 4096 02-21 22：56 testa drwx—— 3 testb testb 4096 02-21 22：48 testb drwx—— 3 testc testc 4096 02-21 22：52 testc
[testa@xxx home]$ cd testb bash： cd： testb： 权限不够
通过root修改testb目录权限为770，即当前uid或者gid相同的用户均有读写执行权限。
sh-3.2# cd /home/ sh-3.2# chmod 770 testb
[testa@xxx home]$ ls -al总计 28 drwxr-xr-x 5 root root 4096 02-21 22：52 . drwxr-xr-x 32 root root 4096 02-21 21：15 ……
drwx—— 3 testa testa 4096 02-21 22：56 testa drwxrwx—— 3 testb testb 4096 02-21 22：48 testb (here modify)
drwx—— 3 testc testc 4096 02-21 22：52 testc
[testa@xxx home]$ cd testb bash： cd： testb： 权限不够[testa@xxx root]$ id uid=500(testa) gid=500(testa) groups=500(testa)
此时虽然开放了testb的所属组权限，但用户testa的gid=500(testa) groups=500(testa)，它还不属于testb组。
下面修改testa的gid为testb(或者增加其附属组groups值为testb)
sh-3.2# usermod -G testb testa (增加用户testa的附属组testb)
sh-3.2# id testa uid=500(testa) gid=500(testa) groups=500(testa)，501(testb)
此时testa终端需要重新登下，使刚才更改生效[testa@xxx root]$ exit exit [root@xxx ~]# su testa [testa@xxx root]$ id uid=500(testa) gid=500(testa) groups=500(testa)，501(testb)
[testa@xxx root]$ cd /home/ [testa@xxx home]$ ls -al总计 28 drwxr-xr-x 5 root root 4096 02-21 22：52 . drwxr-xr-x 32 root root 4096 02-21 21：15 ……
drwx—— 3 testa testa 4096 02-21 22：56 testa drwxrwx—— 3 testb testb 4096 02-21 22：48 testb drwx—— 3 testc testc 4096 02-21 22：52 testc [testa@xxx home]$ cd testb [testa@xxx testb]$ pwd /home/testb
以上是增加了用户testa的附属组testb，使其对于属于testb组的资源有了访问权限。
下面再使用newgrp切换用户testa的gid.
[testa@xxx testb]$ id uid=500(testa) gid=500(testa) groups=500(testa)，501(testb)
[testa@xxx testb]$ newgrp testb [testa@xxx testb]$ id uid=500(testa) gid=501(testb) groups=500(testa)，501(testb)
此时testa用户的gid已改为501(testb)。
组之前的关系在文件/etc/group sh-3.2# tail -f /etc/group -n 4 sabayon：x：86：testa：x：500：testb：x：501：testa (最后一列：组内用户列表。即组testb里包含testa，testa属于testb组，大概就这意思吧……)
testc：x：502：
虽然知道控制组关系的文件，但不能直接修改些文件，否则执行newgrp时会出现"抱歉"错误提示。
当然root用户权限是无限制的，它访问文件时不需要进行权限检查。
三、相关系统调用getuid();getgid();int setuid(uid_t uid);int setgid(gid_t gid);
只有超级用户或者需要设置的uid和当前用户的uid一致才可以设置，否则返回-1，置errno = EPERM， errno可以通过strerror()翻译。
其它：[testa@xxx home]$ su testa [testa@xxx home]$ sudo touch aa
testa is not in the sudoers file. This incident will be reported.
以root权限vim /etc/sudoers增加testa ALL=(ALL) ALL
参考：APUE2E，1.8， 4.4， 8.11
‘肆’ 如何使用Linux命令行访问Amazon S3云存储
在linux上安装s3cmd
在Ubuntu或者Debian上安装s3cm
$ sudo apt-get install s3cmd
在Fedora上安装s3cmd
$ sudo yum install s3cmd
在CentOS或者RHEL上安装s3cm
$ s3cmd put –acl-public 4.png s3://dev99
4.png -> s3://dev99/4.png [1 of 1]
30778 of 30778 100% in 8s 3.34 kB/s done
先从官方站点上下载rpm包，然后手工安装。64位CentOS或RHEL 6，用以下命令：
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm
配置s3cmd
第一次运行s3cmd需要运行下面的命令做配置：
$ s3cmd –configure
它将会问你一系列问题：
AWS S3的访问密钥和安全密钥
对AWS S3双向传输的加密密码和加密数据
为加密数据设定GPG程序的路径（例如，/usr/bin/gpg）
是否使用https协议
如果使用http代理，设定名字和端口
配置将以保存普通文本格式保存在 ~/.s3cfg.
s3cmd的基本用法
在你的账户中列出所有现有的bucket：
$ s3cmd ls
2011-05-28 22:30 s3://mybucket1
2011-05-29 00:14 s3://mybucket2
建立新的bucket:
$ s3cmd mb s3://dev99
Bucket ’s3://dev99/’ created
上传文件到现有的bucket:
$ s3cmd put 1.png 2.png 3.png s3://dev99
1.png -> s3://dev99/1.png [1 of 3]
26261 of 26261 100% in 5s 4.33 kB/s done
2.png -> s3://dev99/2.png [2 of 3]
201430 of 201430 100% in 2s 98.05 kB/s done
3.png -> s3://dev99/3.png [3 of 3]
46630 of 46630 100% in 0s 56.62 kB/s done
上传文件的默认访问权限是私有的(private)，就是只有你自己可以访问，使用正确的访问和安全密码即可。
上传公开访问权限的文件到现有bucket：
$ s3cmd put --acl-public 4.png s3://dev99
4.png -> s3://dev99/4.png [1 of 1]
30778 of 30778 100% in 8s 3.34 kB/s done
Public URL of the object is: http://dev99.s3.amazonaws.com/4.png
如果上传的文件授予公开访问权限，任何人在浏览器中都可以通过http://dev99.s3.amazonaws.com/4.png 访问。
查看一个现有bucket的内容：
$ s3cmd ls s3://dev99
2013-06-02 02:52 26261 s3://dev99/1.png
2013-06-02 02:52 201430 s3://dev99/2.png
2013-06-02 02:52 46630 s3://dev99/3.png
2013-06-02 02:56 30778 s3://dev99/4.png
下载现有bucket包含的文件（例如所有的.png文件）：
$ s3cmd get s3://dev99/*.png
s3://dev99/1.png -> ./1.png [1 of 4]
26261 of 26261 100% in 0s 39.39 kB/s done
s3://dev99/2.png -> ./2.png [2 of 4]
201430 of 201430 100% in 7s 24.64 kB/s done
s3://dev99/3.png -> ./3.png [3 of 4]
46630 of 46630 100% in 1s 39.34 kB/s done
s3://dev99/4.png -> ./4.png [4 of 4]
30778 of 30778 100% in 0s 97.01 kB/s done
删除现有bucket中的文件：
$ s3cmd del s3://dev99/*.png
File s3://dev99/1.png deleted
File s3://dev99/2.png deleted
File s3://dev99/3.png deleted
File s3://dev99/4.png deleted
获取现有bucket的信息，包括存储位置和访问控制列表(ACL):
$ s3cmd info s3://dev99
s3://dev99/ (bucket):
Location: us-east-1
ACL: dan.nanni: READ
ACL: dan.nanni: WRITE
ACL: dan.nanni: READ_ACP
ACL: dan.nanni: WRITE_ACP
在上传到现有的bucket之前，加密文件：
$ s3cmd -e put encrypt.png s3://dev99
/tmp/tmpfile-pzT1zV3kLZlxDwqA0kwy -> s3://dev99/encrypt.png [1 of 1]
196890 of 196890 100% in 1s 99.51 kB/s done
当用s3cmd下载一个加密过的文件时，它会自动检测加密并在下载过程解密，因此下载和访问加密文件时，就像通常所做的一样：
$ s3cmd get s3://dev99/encrypt.png
s3://dev99/encrypt.png -> ./encrypt.png [1 of 1]
196890 of 196890 100% in 1s 131.29 kB/s done
删除现有的bucket:
$ s3cmd rb s3://dev99
Bucket ’s3://dev99/’ removed
注意，你不能删除一个非空的bucket.
‘伍’ linux连接共享存储区命令是什么
linux客户端：iscsi
#yum -y install iscsi*
发现iscsi存储
#iscsiadm -m discovery --type sendtargets --portal 192.168.1.200:3260
192.168.1.200:3260,1 iqn.2001-04.com.example:storage.disk2.sys1.xyz
建立连接
#iscsiadm -m node -T iqn.2001-04.com.example:storage.disk2.sys1.xyz -p 192.168.1.200:3260 -l
删除连接（所有）
iscsiadm -m node -U all
nfs：
mount 10.168.55.185:/alidata/www /alidata/www
‘陆’ Linux存储管理方式
这种方式中，将用户程序的地址空间，注意，是 用户程序的地址空间 分为若干个固定大小的区域，成为“页”或“页面”。我们可以知道，这也页其实是不存在的，只是一种划分内存空间的方法。也就是说，这种方式将用户的程序 “肢解” 了，分成很多个小的部分，每个部分称为一个“页”。
将逻辑地址的前n位作为页号，后面32-n位作为页内偏移量。
由于进程的最后一页经常装不满一个块，从而形成了不可利用的碎片，称之为 “页内碎片” 。
作用：实现页号到物理号的地址映射。
页表是记录逻辑空间（虚拟内存）中每一页在内存中对应的物理块号。但并非每一页逻辑空间都会实际对应着一个物理块，只有实际驻留在物理内存空间中的页才会对应着物理块。
系统会为每一个进程建立一张页表，页表是需要一直驻留在物理内存中的（多级页表除外），另外页表的起址和长度存放在 PCB（Process Control Block）进程控制结构体中。
可以在页表的表项中设置相关的权限控制字段，例如设置存取控制字段，用于保护该存储块的读写；若存取控制字段为2位，则可以设置读/写、只读和只执行等存取方式。
物理块是实实在在存在于内存中的：
由于执行频率高，要求效率比较高，需要使用硬件实现。
在系统中设置一个 页表寄存器(PTR) ,其中存放页表在内存的起始地址和页表的长度。平时进程未执行的时候，页表的起始地址和页表长度放在本进程的PCB中。当调度程序调度到某个进程的时候，才将这两个数据装入 页表寄存器 。
变换过程：
快表的变换机构
为了提高地址变换速度，可在地址变换机构中增设一个具有并行查询能力的特殊高速缓冲寄存器，又称为"联想寄存器"或者“快表”。俗称TLB。
快表与页表的功能类似，其实就是将一部分页表存到 CPU 内部的高速缓冲存储器 Cache。CPU 寻址时先到快表查询相应的页表项形成物理地址，如果查询不到，则到内存中查询，并将对应页表项调入到快表中。但，如果快表的存储空间已满，则需要通过算法找到一个暂时不再需要的页表项，将它换出内存。
由于成本的关系，快表不可能做得很大，通常只存放 16~512 个页表项，这对中、小型作业来说，已有可能把全部页表项放在快表中；但对于大型作业而言，则只能将其一部分页表项放入其中。由于对程序和数据的访问往往带有局限性，因此，据统计，从快表中能找到所需页表项的概率可达 90% 以上。这样，由于增加了地址变换机构而造成的速度损失可减少到 10% 以下，达到了可接受的程度。
我们可以采用这样两个方法来解决这一问题：
① 对于页表所需的内存空间，可采用离散分配方式，以解决难以找到一块连续的大内存空间的问题；
② 只将当前需要的部分页表项调入内存，其余的页表项仍驻留在磁盘上，需要时再调入。
二级页表的页表项：
过程：
在采用两级页表结构的情况下，对于正在运行的进程，必须将其外层页表调入内存，而对于内页表则只需调入一页或几页。为了表征某页的页表是否已经调入内存，还应在外层页表项中增设一个状态位 S，其值若为 0，表示该页表分页不在内存中，否则说明其分页已调入内存。进程运行时，地址变换机构根据逻辑地址中的 P1去查找外层页表；若所找到的页表项中的状态位为 0，则产生一个中断信号，请求 OS 将该页表分页调入内存。
多级页表和二级页表类似。多级页表和二级页表是为了节省物理内存空间。使得页表可以在内存中离散存储。（单级页表为了随机访问必须连续存储，如果虚拟内存空间很大，就需要很多页表项，就需要很大的连续内存空间，但是多级页表不需要。）
为什么引入分段存储管理？
引入效果：
它将用户程序的地址空间分为若干个大小不同的的段，每个段可以定义一组完整的信息。
段号表示段名，每个段都从0开始编址，并且采用一段连续的地址空间。
在该地址结构中，允许一个作业最长有64K个段，每个段的最大长度为64KB。
在分段式存储管理系统中，为每一个分段分配一个连续的分区。进程的各个段，可以离散地装入内存中不同的分区中。
作用：实现从逻辑地址到物理内存区的映射。
为了保证程序能够正常运行，就必须能够从物理内存中找出每个逻辑段所对应的位置。为此在系统中会为每一个进程建立一张 段表 。每个段在表中有一个表项，其中记录了该段在内存中的起始地址和段的长度。一般将段表保存在内存中。
在配置了段表之后，执行的过程可以通过查找段表，找到每一个段所对应的内存区。
为了实现进程从逻辑地址到物理地址的变换功能，在系统设置了段表寄存器，用于存放段表的起始地址和段表长度TL。
在进行地址变换时，系统将逻辑地址中的段号与段表长度TL 进行比较。若 S > TL，表示段号太大，是访问越界，于是产生越界中断信号。若未越界，则根据段表的始址和该段的段号，计算出该段对应段表项的位置，从中读出该段在内存的起始地址。然后，再检查段内地址 d 是否超过该段的段长 SL。若超过，即 d>SL，同样发出越界中断信号。若未越界，则将该段的基址 d 与段内地址相加，即可得到要访问的内存。
分页和分段系统相似之处：两者都采用离散分配方式，且都是通过地址映射机构实现地址变换。
但在概念上两者完全不同，主要表现在下述三个方面：
分页系统以页面作为内存分配的基本单位，能有效地提高内存利用率，而分段系统以段作为内存分配的基本单位，它能够更好地满足用户多方面的需要。
段页式地址结构由段号、段内页号及页内地址三部分所组成
段页式系统的基本原理是分段和分页原理的结合，即先将用户程序分成若干个段，再把每个段分成若干个页，并为每一个段赋予一个段名。如下图展示了一个作业地址空间的结构。该作业有三个段：主程序段、子程序段和数据段；页面大小为 4 KB：
在段页式系统中，为了实现从逻辑地址到物理地址的变换，系统中需要同时配置段表和页表。段表的内容与分段系统略有不同，它不再是内存始址和段长，而是页表始址和页表长度。下图展示出了利用段表和页表进行从用户地址空间到物理(内存)空间的映射。
在段页式系统中，为了便于实现地址变换，须配置一个段表寄存器，其中存放段表始址和段长 TL。进行地址变换时，首先利用段号 S，将它与段长 TL 进行比较。若 S < TL，表示未越界，于是利用段表始址和段号来求出该段所对应的段表项在段表中的位置，从中得到该段的页表始址，并利用逻辑地址中的段内页号 P 来获得对应页的页表项位置，从中读出该贝所在的物理块号 b，再利用块号 b 和页内地址来构成物理地址。
在段页式系统中，为了获得一条指令或数据，须三次访问内存。第一次访问是访问内存中的段表，从中取得页表始址；第二次访问是访问内存中的页表，从中取出该页所在的物理块号，并将该块号与页内地址一起形成指令或数据的物理地址；第三次访问才是真正从第二次访问所得的地址中取出指令或数据。
显然，这使访问内存的次数增加了近两倍。为了提高执行速度，在地址变换机构中增设一个高速缓冲寄存器。每次访问它时，都须同时利用段号和页号去检索高速缓存，若找到匹配的表项，便可从中得到相应页的物理块号，用来与页内地址一起形成物理地址：若未找到匹配表项，则仍需第三次访问内存。
参考链接：