w2012存儲多路徑功能
『壹』 emc 存儲多路徑軟體怎麼才能跟lun一一對應
可通過emcpower display dev=all查看系統識別到磁碟在存儲中LUN Name，從而對應存儲中的LUN。
『貳』 Windows Server 2012 的多路徑 I/O支持使用以下哪些功能
面向高可用性的多路徑支持
Windows Server® 2008 包括許多將運行
Windows 伺服器級操作系統的計算機與存儲區域網路 (SAN) 設備連接起來的增強功能。
集成的多路徑 I/O (MPIO) 支持是為基於 Windows 的伺服器與 SAN
連接提供高可用性的眾多增強功能之一。Microsoft MPIO 體系結構通過建立到存儲陣列的多個會話或連接，支持
iSCSI、光纖通道和串列連接的存儲 (SAS) SAN 連接。
『叄』 存儲多路徑是個什麼意思
機身儲存是電子數碼產品或設備（如手機、MP3、電腦等）本身所帶的內部存儲介質，由存儲晶元直接安裝在儀器或是設備內部，以支撐機器的正常運行，用於暫時存放運算數據，以及與外部存儲器交換的數據。目前主流的機身儲存容量有8GB、16GB、和32GB。運行內存是指手機運行程序時的內存，也叫RAM（簡稱運存）。用電腦比較的話手機的運行內存就是電腦的內存，是不可以作為儲存數據的介質的。目前智能手機運行內存一般為1GB、2GB或3GB。
『肆』 AIX連接IBM存儲，多路徑軟體常用命令
AIX連接IBM存儲，多路徑軟體常用命令一：查看存儲盤的路徑1、
查看MPIO的存儲盤的路徑#
lspath
(適用於所有存儲的MPIO路徑查詢）#
mpio_get_config
-Av
(適用於DS3K/DS4K的MPIO路徑查詢）2、
查看RDAC存儲盤的路徑#
fget_config
-Av
(適用於DS3K/DS4K的RDAC路徑查詢）3、
查看SDDPCM存儲盤的路徑#
pcmpath
query
device
(適用於DS6K/DS8K和v7000的SDDPCM路徑查詢)#pcmpath
query
adapter
檢查
SDDPCM
適配器狀態#pcmpath
query
wwpn
檢查
SDDPCM
已知的
FC
適配器
WWPN#pcmpath
query
version
檢查
SDDPCM
級別#lspath
檢查是否啟用了所有磁碟路徑4、
查看當前操作系統自帶的支持IBM存儲的多路徑軟體#
manage_disk_drivers5、
將DS4700默認的多路徑軟體更改成RDAC#
manage_disk_drivers
-d
DS4700
-o
AIX_fcparray
『伍』 linux 多路徑存儲是怎麼回事
Linux下HDS存儲多路徑查看
在Redhat下確定需要劃分的存儲空間。在本例中需要進行劃分的空間是從HDS AMS2000上劃分到伺服器的多路徑存儲空間。其中sddlmad為ycdb1上需要進行劃分的空間，sddlmah為ycdb2上需要進行劃分的空間。具體如下：
查看環境
# rpm -qa|grep device-mapper
device-mapper-event-1.02.32-1.el5
device-mapper-multipath-0.4.7-30.el5
device-mapper-1.02.32-1.el5
# rpm -qa|grep lvm2 lvm2-2.02.46-8.el5
查看空間
#fdisk -l
Disk /dev/sddlmad: 184.2 GB, 184236900352 bytes 255 heads, 63 sectors/track, 22398 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes
Disk /dev/sddlmah: 184.2 GB, 184236900352 bytes
255 heads, 63 sectors/track, 22398 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes
查看存儲
#cd /opt/DynamicLinkManager/bin/
#./dlnkmgr view -lu
Proct : AMS
SerialNumber : 83041424 LUs : 8
iLU HDevName Device PathID Status
0000 sddlmaa /dev/sdb 000000 Online
/dev/sdj 000008 Online
/dev/sdr 000016 Online
/dev/sdz 000017 Online
0001 sddlmab /dev/sdc 000001 Online
/dev/sdk 000009 Online
/dev/sds 000018 Online
/dev/sdaa 000019 Online
0002 sddlmac /dev/sdd 000002 Online
/dev/sdl 000010 Online
/dev/sdt 000020 Online
/dev/sdab 000021 Online
0003 sddlmad /dev/sde 000003 Online
/dev/sdm 000011 Online
/dev/s 000022 Online
/dev/sdac 000023 Online
0004 sddlmae /dev/sdf 000004 Online
/dev/sdn 000012 Online
/dev/sdv 000024 Online
/dev/sdad 000025 Online
0005 sddlmaf /dev/sdg 000005 Online
/dev/sdo 000013 Online
/dev/sdw 000026 Online
/dev/sdae 000027 Online
0006 sddlmag /dev/sdh 000006 Online
/dev/sdp 000014 Online
/dev/sdx 000028 Online
/dev/sdaf 000029 Online
0007 sddlmah /dev/sdi 000007 Online
/dev/sdq 000015 Online
/dev/sdy 000030 Online
/dev/sdag 000031 Online
##############################################################
4. lvm.conf的修改
為了能夠正確的使用LVM，需要修改其過濾器：
#cd /etc/lvm #vi lvm.conf
# By default we accept every block device
# filter = [ "a/.*/" ]
filter = [ "a|sddlm[a-p][a-p]|.*|","r|dev/sd|" ]
例：
[root@bsrunbak etc]# ls -l lvm*
[root@bsrunbak etc]# cd lvm
[root@bsrunbak lvm]# ls
archive backup cache lvm.conf
[root@bsrunbak lvm]# more lvm.conf
[root@bsrunbak lvm]# pvs
Last login: Fri Jul 10 11:17:21 2015 from 172.17.99.198
[root@bsrunserver1 ~]#
[root@bsrunserver1 ~]#
[root@bsrunserver1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 30G 8.8G 20G 32% /
tmpfs 95G 606M 94G 1% /dev/shm
/dev/sda2 194M 33M 151M 18% /boot
/dev/sda1 200M 260K 200M 1% /boot/efi
/dev/mapper/datavg-oraclelv
50G 31G 17G 65% /oracle
172.16.110.25:/Tbackup
690G 553G 102G 85% /Tbackup
/dev/mapper/tmpvg-oradatalv
345G 254G 74G 78% /oradata
/dev/mapper/datavg-lvodc
5.0G 665M 4.1G 14% /odc
[root@bsrunserver1 ~]# pvs
PV VG Fmt Attr PSize PFree
/dev/sda5 datavg lvm2 a-- 208.06g 153.06g
/dev/sddlmba tmpvg lvm2 a-- 200.00g 49.99g
/dev/sddlmbb tmpvg lvm2 a-- 200.00g 0
[root@bsrunserver1 ~]# cd /etc/lvm
[root@bsrunserver1 lvm]# more lvm.conf
# Don't have more than one filter line active at once: only one gets
used.
# Run vgscan after you change this parameter to ensure that
# the cache file gets regenerated (see below).
# If it doesn't do what you expect, check the output of 'vgscan -vvvv'.
# By default we accept every block device:
# filter = [ "a/.*/" ]
# Exclude the cdrom drive
# filter = [ "r|/dev/cdrom|" ]
# When testing I like to work with just loopback devices:
# filter = [ "a/loop/", "r/.*/" ]
# Or maybe all loops and ide drives except hdc:
# filter =[ "a|loop|", "r|/dev/hdc|", "a|/dev/ide|", "r|.*|" ]
# Use anchors if you want to be really specific
# filter = [ "a|^/dev/hda8$|", "r/.*/" ]
filter = [ "a|/dev/sddlm.*|", "a|^/dev/sda5$|", "r|.*|" ]
[root@bsrunserver1 lvm]# df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/sda4 30963708 9178396 20212448 32% /
tmpfs 99105596 620228 98485368 1% /dev/shm
/dev/sda2 198337 33546 154551 18% /boot
/dev/sda1 204580 260 204320 1% /boot/efi
/dev/mapper/datavg-oraclelv
51606140 31486984 17497716 65% /oracle
172.16.110.25:/Tbackup
722486368 579049760 106736448 85% /Tbackup
/dev/mapper/tmpvg-oradatalv
361243236 266027580 76865576 78% /oradata
/dev/mapper/datavg-lvodc
5160576 680684 4217748 14% /odc
[root@bsrunserver1 lvm]#
You have new mail in /var/spool/mail/root
[root@bsrunserver1 lvm]#
[root@bsrunserver1 lvm]# pvs
PV VG Fmt Attr PSize PFree
/dev/sda5 datavg lvm2 a-- 208.06g 153.06g
/dev/sddlmba tmpvg lvm2 a-- 200.00g 49.99g
/dev/sddlmbb tmpvg lvm2 a-- 200.00g 0
[root@bsrunserver1 lvm]#
進入文件：
[root@bsrunbak lvm]# cd /opt/D*/bin
or
[root@bsrunbak bin]# pwd
/opt/DynamicLinkManager/bin
顯示HDS存儲卷：
[root@bsrunbak lvm]# ./dlnkmgr view -lu
『陸』 yum安裝多路徑
一、什麼是多路徑
普通的電腦主機都是一個硬碟掛接到一個匯流排上，這里是一對一的關系。而到了有光纖組成的SAN環境，或者由iSCSI組成的IPSAN環境，由於主機和存儲通過了光纖交換機或者多塊網卡及IP來連接，這樣的話，就構成了多對多的關系。也就是說，主機到存儲可以有多條路徑可以選擇。主機到存儲之間的IO由多條路好寬徑可以選擇。每個主機到所對應的存儲可以經過幾條不同的路徑，如果是同時使用的話，I/O流量如何分配？其中一條路徑壞掉了，如何處理？還有在操作系統的角度來看，每條路徑，操作系統會認為是友嘩亮一個實際存在的物理盤，但實際上只是通向同一個物理盤的不同路徑而已，這樣是在使用的時候，就給用戶帶來了困惑。多路徑軟體就是為了解決上面的問題應運而生的。
多路徑的主要功能就是和存儲設備一起配合實現如下功能：
1.故障的切換和恢復
2.IO流量的負載均衡
3.磁碟的虛擬化
由於多路徑軟體是需要和存儲在一起配合使用的，不同的廠商基於不同的操作系統，都提供了不同的版本。並且有的廠商，軟體和硬體也不是一起賣的，如果要使用多路徑軟體的話，可能還需要向廠商購買license才行。比如EMC公司基於linux下的多路徑軟體，就需要單獨的購買license。好在， RedHat和Suse的2.6的內核中都自帶了免費的多路徑軟體包，並且可以免費使用，同時也是一個比較通用的包，可以支持大多數存儲廠商的設備，即使是一些不是出名的廠商，通過對配置文件進行稍作修改，也是可以支持並運行的很好的。
二、Linux下multipath介紹，需要以下工具包：
在CentOS 5中，最小安裝系統時multipath已經被安裝，查看multipath是否安裝如下：
1、device-mapper-multipath：即multipath-tools。主要提供multipathd和multipath等工具和 multipath.conf等配置文件。這些工具通過device mapper的ioctr的介面創建和配置multipath設備（調用device-mapper的用戶空間庫。創建的多路徑設備會在/dev /mapper中）。
2、 device-mapper：主要包括兩大部分：內核部分和用戶部分。內核部分主要由device mapper核心（dm.ko）和一些target driver（md-multipath.ko）。核心完成設備的映射，而target根據映射關系和自身特點具體處理從mappered device 下來的i/o。同時，在核心部分，提供了一個介面，用戶通過ioctr可和內核部分通信，以指導內核驅動的行為，比如如何創建mappered device，這些divece的屬性等。linux device mapper的用戶空間部分主要包括device-mapper這個包。其中包括dmsetup工具和一些幫助創建和配置mappered device的庫。這些庫主要抽象，封裝了與ioctr通信的介面，以便方便創建蘆者和配置mappered device。multipath-tool的程序中就需要調用這些庫。
3、dm-multipath.ko和dm.ko：dm.ko是device mapper驅動。它是實現multipath的基礎。dm-multipath其實是dm的一個target驅動。
4、scsi_id： 包含在udev程序包中，可以在multipath.conf中配置該程序來獲取scsi設備的序號。通過序號，便可以判斷多個路徑對應了同一設備。這個是多路徑實現的關鍵。scsi_id是通過sg驅動，向設備發送EVPD page80或page83 的inquery命令來查詢scsi設備的標識。但一些設備並不支持EVPD 的inquery命令，所以他們無法被用來生成multipath設備。但可以改寫scsi_id，為不能提供scsi設備標識的設備虛擬一個標識符，並輸出到標准輸出。multipath程序在創建multipath設備時，會調用scsi_id，從其標准輸出中獲得該設備的scsi id。在改寫時，需要修改scsi_id程序的返回值為0。因為在multipath程序中，會檢查該直來確定scsi id是否已經成功得到。
三、multipath在CentOS 5中的基本配置過程：
1、安裝和載入多路徑軟體包
# yum –y install device-mapper device-mapper-multipath
# chkconfig –level 2345 multipathd on #設置成開機自啟動multipathd
# lsmod |grep dm_multipath #來檢查安裝是否正常
如果模塊沒有載入成功請使用下列命初始化DM，或重啟系統
---Use the following commands to initialize and start DM for the first time:
# modprobe dm-multipath
# modprobe dm-round-robin
# service multipathd start
# multipath –v2
2、配置multipath：
Multipath的配置文件是/etc/multipath.conf , 如需要multipath正常工作只需要如下配置即可：(如果需要更加詳細的配置，請看本文後續的介紹)
blacklist {
devnode "^sda"
}
defaults {
user_friendly_names yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
}
# vi /etc/multipath.conf
3、multipath基本操作命令
# /etc/init.d/multipathd start #開啟mulitipath服務
# multipath -F #刪除現有路徑
# multipath -v2 #格式化路徑
# multipath -ll #查看多路徑
如果配置正確的話就會在/dev/mapper/目錄下多出mpath0、mpath1等之類設備。
用fdisk -l命令可以看到多路徑軟體創建的磁碟，如下圖中的/dev/dm-[0-3]
4、multipath磁碟的基本操作
要對多路徑軟體生成的磁碟進行操作直接操作/dev/mapper/目錄下的磁碟就行.
在對多路徑軟體生成的磁碟進行分區之前最好運行一下pvcreate命令:
# pvcreate /dev/mapper/mpath0
# fdisk /dev/mapper/mpath0
用fdisk對多路徑軟體生成的磁碟進行分區保存時會有一個報錯,此報錯不用理會。
fdisk對多路徑軟體生成的磁碟進行分區之後，所生成的磁碟分區並沒有馬上添加到/dev/目錄下，此時我們要重啟IPSAN或者FCSAN的驅動，如果是用iscsi-initiator來連接IPSAN的重啟ISCSI服務就可以發現所生成的磁碟分區了
# service iscsi restart
# ls -l /dev/mapper/
如上圖中的mpath0p1和mpath1p1就是我們對multipath磁碟進行的分區
# mkfs.ext3 /dev/mapper/mpath0p1 #對mpath1p1分區格式化成ext3文件系統
# mount /dev/mapper/mpath0p1 /ipsan/ #掛載mpath1p1分區
四、multipath的高有配置
以上都是用multipath的默認配置來完成multipath的配置，比如映射設備的名稱，multipath負載均衡的方法都是默認設置。那有沒有按照我們自己定義的方法來配置multipath呢，當可以。
1、multipath.conf文件的配置
接下來的工作就是要編輯/etc/multipath.conf的配置文件
multipath.conf主要包括blacklist、multipaths、devices三部份的配置
blacklist配置
blacklist {
devnode "^sda"
}
Multipaths部分配置multipaths和devices兩部份的配置。
multipaths {
multipath {
wwid **************** #此值multipath -v3可以看到
alias iscsi-dm0 #映射後的別名,可以隨便取
path_grouping_policy multibus #路徑組策略
path_checker tur #決定路徑狀態的方法
path_selector "round-robin 0" #選擇那條路徑進行下一個IO操作的方法
}
}
Devices部分配置
devices {
device {
vendor "iSCSI-Enterprise" #廠商名稱
proct "Virtual disk" #產品型號
path_grouping_policy multibus #默認的路徑組策略
getuid_callout "/sbin/scsi_id -g -u -s /block/%n" #獲得唯一設備號使用的默認程序
prio_callout "/sbin/acs_prio_alua %d" #獲取有限級數值使用的默認程序
path_checker readsector0 #決定路徑狀態的方法
path_selector "round-robin 0" #選擇那條路徑進行下一個IO操作的方法
failback immediate #故障恢復的模式
no_path_retry queue #在disable queue之前系統嘗試使用失效路徑的次數的數值
rr_min_io 100 #在當前的用戶組中，在切換到另外一條路徑之前的IO請求的數目
}
}
如下是一個完整的配置文件
blacklist {
devnode "^sda"
}
defaults {
user_friendly_names no
}
multipaths {
multipath {
wwid
alias iscsi-dm0
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid
alias iscsi-dm1
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid
alias iscsi-dm2
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid
alias iscsi-dm3
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
}
devices {
device {
vendor "iSCSI-Enterprise"
proct "Virtual disk"
path_grouping_policy multibus
getuid_callout "/sbin/scsi_id -g -u -s /block/%n"
path_checker readsector0
path_selector "round-robin 0"
}
}
獲取wwid的方法：
(1)默認情況下，將使用 /var/lib/multipath/bindings 內的配置設定具體每個多路徑設備名，如果在/etc/multipath.conf中有設定各wwid 別名，別名會覆蓋此設定。
(2)# multipath -v3命令查找
2、負載均衡測試
使用dd命令來對設備進行寫操作，並同時通過iostat來查看I／0狀態，命令及輸出如下：
# dd if=/dev/zero of=/dev/mapper/iscsi-dm1p1
開啟另外一個終端用以下命令查看IO情況
# iostat 10 10
通過上述輸出，我們看到，在對/dev/mapper/iscsi-dm1p1讀寫時，實際上是通過對/dev/md-1包含的當前active的所有設備，即/dev/sde1,/dev/shl這2條路徑來完成對實際的LUN的寫過程。
3、路徑切換測試
首先，我們拔掉伺服器上一根網線，經過不到10秒，我們看到：MPIO成功地從上述「失敗」的路徑/dev/sel切換到了另外一條路徑/dev/sdh1上。
-----------------------------------
©著作權歸作者所有：來自51作者rtking的原創作品，請聯系作者獲取轉載授權，否則將追究法律責任
LINUX下多路徑（multi-path）介紹及使
『柒』 multipath多路徑，Linux系統底層存儲擴容了，如何擴大文件系統
linux伺服器通過multipath多路徑連接到共享存儲，那麼當文件系統空間不足的時候，有幾種方式可以擴展文件系統的大小：
1、pv不變，原lun存儲擴大容量，擴大lv，擴大文件系統
2、新增pv，加入到vg中，擴大lv，擴大文件系統
下文是針對場景1的情況下如何操作（但是個人建議採取新建pv的方式2進行）：
Environment
If you have this specific scenario, you can use the following steps:
Note: if these lv's are part of a clustered vg, steps 1 and 2 need to be performed on all nodes. 注意：集群模式下步驟1和步驟2兩個節點都需要執行。
1) Update block devices
Note: This step needs to be run against any sd devices mapping to that lun. When using multipath, there will be more than one. 通過multipath -ll命令查看每個聚合卷對應的路徑。
2) Update multipath device
例子：
3) Resize the physical volume, which will also resize the volume group
4) Resize your logical volume (the below command takes all available space in the vg)
5) Resize your filesystem
6) Verify vg, lv and filesystem extension has worked appropriately
模擬存儲端擴容testlv增加
查看客戶端多路徑情況
客戶端更新存儲
更新聚合設備
更新pv空間
更新lv空間
更新文件系統空間
『捌』 Multipath 多路徑配置實踐心得
配置存儲時一定會遇到 multipath 多路徑的問題，不同的廠商比如 EMC PowerPath，Veritas VxDMP 等都有獨立的多路徑軟體，而多路徑軟體的功能也很清晰主要用於IO流量負載均衡和故障切換恢復等。在 Linux 環境中 device-mapper-multipath 是一個免費的通用型多路徑管理軟體，其配置文件也非常簡單，主要通過修改 /etc/multipath.conf 來調整。文章提供了《HPE 3PAR Red Hat Enterprise Linux和 Oracle Linux 實施指南》，也分享了自己配置 multipath 的實踐過程，希望對大家有參考價值。
2017年05月04日 - 初稿
閱讀原文 - https://wsgzao.github.io/post/multipath/
擴展閱讀
multipath - https://access.redhat.com/labsinfo/multipathhelper
[原]紅旗上使用multipath復合多條路徑 - http://www.linuxfly.org/post/513/
<iframe src="https://www.slideshare.net/slideshow/embed_code/key/MKQJhstxnv4JFy" width="479" height="511" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" style="border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;" allowfullscreen> </iframe> <div style="margin-bottom:5px"> </div>
普通的電腦主機都是一個硬碟掛接到一個匯流排上，這里是一對一的關系。而到了有光纖組成的SAN環境，由於主機和存儲通過了光纖交換機連接，這樣的話，就構成了多對多的關系。也就是說，主機到存儲可以有多條路徑可以選擇。主機到存儲之間的IO由多條路徑可以選擇。
既然，每個主機到所對應的存儲可以經過幾條不同的路徑，如果是同時使用的話，I/O流量如何分配？其中一條路徑壞掉了，如何處理？還有在操作系統的角度來看，每條路徑，操作系統會認為是一個實際存在的物理盤，但實際上只是通向同一個物理盤的不同路徑而已，這樣是在使用的時候，就給用戶帶來了困惑。多路徑軟體就是為了解決上面的問題應運而生的，多路徑的主要功能就是和存儲設備一起配合實現如下功能：
由於多路徑軟體是需要和存儲在一起配合使用的，不同的廠商基於不同的操作系統，都提供了不同的版本。並且有的廠商，軟體和硬體也不是一起賣的，如果要使用多路徑軟體的話，可能還需要向廠商購買license才行。比如EMC公司基於Linux下的多路徑軟體，就需要單獨的購買license。其中，EMC提供的就是PowerPath，HDS提供的就是HDLM，Veritas提供的就是VxDMP。當然，使用系統自帶的免費多路徑軟體包，同時也是一個比較通用的包，可以支持大多數存儲廠商的設備，即使是一些不是出名的廠商，通過對配置文件進行稍作修改，也是可以支持並運行的很好。
比較重要的一點還是聽從原廠工程師的建議根據實際的業務和存儲策略使用合適的多路徑軟體。