測試塊存儲

A. LINUX下如何用DD命令來測試存儲的讀寫性能

通常就是 計算讀寫一定大小的塊耗費的時間 ，本身有速度輸出
基本的測試如下
磁碟讀速度
sync;time dd if=[mountpoint] of=/dev/null bs=4096k count=2000
測試數據大小為：4096k×2000
磁碟寫速度
sync;time dd if=/dev/zero of=[mountpoint] bs=4096k count=2000
測試數據大小為：4096k×2000
[mountpoint]替換為你實際的掛載點
以上都是測試 2000個 4M塊的速度 可以通過改變 bs大小來分析不同級別塊的性能

可以通過寫更詳細的腳本來實現更詳細的輸出

B. 如何測試雲硬碟

問題

UOS公有雲開放以來，一些用戶反應用dd命令測試出來的1TB雲硬碟的吞吐率(MBPS)只有128MB/s，而不是我們SLA保證的170MB /s ，這是為什麼？下面我會簡單介紹如何測試硬碟，RAID，SAN，SSD，雲硬碟等，然後再來回答上面的問題。

測試前提

我們在進行測試時，都會分清楚:

測試對象：要區分硬碟、SSD、RAID、SAN、雲硬碟等，因為它們有不同的特點
測試指標：IOPS和MBPS(吞吐率)，下面會具體闡述
測試工具：Linux下常用Fio、dd工具, Windows下常用IOMeter,
測試參數: IO大小，定址空間，隊列深度，讀寫模式，隨機/順序模式
測試方法：也就是測試步驟。
測試是為了對比，所以需要定性和定量。在宣布自己的測試結果時，需要說明這次測試的工具、參數、方法，以便於比較。

存儲系統模型

為了更好的測試，我們需要先了解存儲系統，塊存儲系統本質是一個排隊模型，我們可以拿銀行作為比喻。還記得你去銀行辦事時的流程嗎？

去前台取單號
等待排在你之前的人辦完業務
輪到你去某個櫃台
櫃台職員幫你辦完手續1
櫃台職員幫你辦完手續2
櫃台職員幫你辦完手續3
辦完業務，從櫃台離開
如何評估銀行的效率呢：

服務時間 = 手續1 + 手續2 + 手續3
響應時間 = 服務時間 + 等待時間
性能 = 單位時間內處理業務數量
那銀行如何提高效率呢:

增加櫃台數
降低服務時間
因此，排隊系統或存儲系統的優化方法是

增加並行度
降低服務時間
硬碟測試

硬碟原理

我們應該如何測試SATA/SAS硬碟呢？首先需要了解磁碟的構造，並了解磁碟的工作方式：

每個硬碟都有一個磁頭(相當於銀行的櫃台)，硬碟的工作方式是：

收到IO請求，得到地址和數據大小
移動磁頭(定址)
找到相應的磁軌(定址)
讀取數據
傳輸數據
則磁碟的隨機IO服務時間:

服務時間 = 尋道時間 + 旋轉時間 + 傳輸時間

對於10000轉速的SATA硬碟來說，一般尋道時間是7 ms，旋轉時間是3 ms, 64KB的傳輸時間是 0.8 ms， 則SATA硬碟每秒可以進行隨機IO操作是 1000/(7 + 3 + 0.8) = 93，所以我們估算SATA硬碟64KB隨機寫的IOPS是93。一般的硬碟廠商都會標明順序讀寫的MBPS。

我們在列出IOPS時，需要說明IO大小，定址空間，讀寫模式，順序/隨機，隊列深度。我們一般常用的IO大小是4KB，這是因為文件系統常用的塊大小是4KB。

使用dd測試硬碟

雖然硬碟的性能是可以估算出來的，但是怎麼才能讓應用獲得這些性能呢？對於測試工具來說，就是如何得到IOPS和MBPS峰值。我們先用dd測試一下SATA硬碟的MBPS(吞吐量)。

#dd if=/dev/zero of=/dev/sdd bs=4k count=300000 oflag=direct
記錄了300000+0 的讀入 記錄了300000+0 的寫出 1228800000位元組(1.2 GB)已復制，17.958 秒，68.4 MB/秒
#iostat -x sdd 5 10
...
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdd 0.00 0.00 0.00 16794.80 0.00 134358.40 8.00 0.79 0.05 0.05 78.82
...
為什麼這塊硬碟的MBPS只有68MB/s? 這是因為磁碟利用率是78%，沒有到達95%以上，還有部分時間是空閑的。當dd在前一個IO響應之後，在准備發起下一個IO時，SATA硬碟是空閑的。那麼如何才能提高利用率，讓磁碟不空閑呢？只有一個辦法，那就是增加硬碟的隊列深度。相對於CPU來說，硬碟屬於慢速設備，所有操作系統會有給每個硬碟分配一個專門的隊列用於緩沖IO請求。

隊列深度

什麼是磁碟的隊列深度？

在某個時刻,有N個inflight的IO請求,包括在隊列中的IO請求、磁碟正在處理的IO請求。N就是隊列深度。
加大硬碟隊列深度就是讓硬碟不斷工作，減少硬碟的空閑時間。

加大隊列深度 -> 提高利用率 -> 獲得IOPS和MBPS峰值 -> 注意響應時間在可接受的范圍內
增加隊列深度的辦法有很多

使用非同步IO，同時發起多個IO請求，相當於隊列中有多個IO請求
多線程發起同步IO請求，相當於隊列中有多個IO請求
增大應用IO大小，到達底層之後，會變成多個IO請求，相當於隊列中有多個IO請求 隊列深度增加了。
隊列深度增加了，IO在隊列的等待時間也會增加，導致IO響應時間變大，這需要權衡。讓我們通過增加IO大小來增加dd的隊列深度，看有沒有效果：

dd if=/dev/zero of=/dev/sdd bs=2M count=1000 oflag=direct
記錄了1000+0 的讀入 記錄了1000+0 的寫出 2097152000位元組(2.1 GB)已復制，10.6663 秒，197 MB/秒
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdd 0.00 0.00 0.00 380.60 0.00 389734.40 1024.00 2.39 6.28 2.56 97.42
可以看到2MB的IO到達底層之後，會變成多個512KB的IO，平均隊列長度為2.39，這個硬碟的利用率是97%，MBPS達到了197MB/s。(為什麼會變成512KB的IO，你可以去使用Google去查一下內核參數 max_sectors_kb的意義和使用方法 )

也就是說增加隊列深度，是可以測試出硬碟的峰值的。

使用fio測試硬碟

現在，我們來測試下SATA硬碟的4KB隨機寫的IOPS。因為我的環境是Linux，所以我使用FIO來測試。

$fio -ioengine=lio -bs=4k -direct=1 -thread -rw=randwrite -size=1000G -filename=/dev/vdb \
-name="EBS 4K randwrite test" -iodepth=64 -runtime=60
簡單介紹fio的參數

ioengine: 負載引擎，我們一般使用lio，發起非同步IO請求。
bs: IO大小
direct: 直寫，繞過操作系統Cache。因為我們測試的是硬碟，而不是操作系統的Cache，所以設置為1。
rw: 讀寫模式，有順序寫write、順序讀read、隨機寫randwrite、隨機讀randread等。
size: 定址空間，IO會落在 [0, size)這個區間的硬碟空間上。這是一個可以影響IOPS的參數。一般設置為硬碟的大小。
filename: 測試對象
iodepth: 隊列深度，只有使用lio時才有意義。這是一個可以影響IOPS的參數。
runtime: 測試時長
下面我們做兩次測試，分別 iodepth = 1和iodepth = 4的情況。下面是iodepth = 1的測試結果。

上圖中藍色方框裡面的是測出的IOPS 230, 綠色方框裡面是每個IO請求的平均響應時間，大約是4.3ms。黃色方框表示95%的IO請求的響應時間是小於等於 9.920 ms。橙色方框表示該硬碟的利用率已經達到了98.58%。

下面是 iodepth = 4 的測試:

我們發現這次測試的IOPS沒有提高，反而IO平均響應時間變大了，是17ms。

為什麼這里提高隊列深度沒有作用呢，原因當隊列深度為1時，硬碟的利用率已經達到了98%，說明硬碟已經沒有多少空閑時間可以壓榨了。而且響應時間為 4ms。 對於SATA硬碟，當增加隊列深度時，並不會增加IOPS，只會增加響應時間。這是因為硬碟只有一個磁頭，並行度是1， 所以當IO請求隊列變長時，每個IO請求的等待時間都會變長，導致響應時間也變長。

這是以前用IOMeter測試一塊SATA硬碟的4K隨機寫性能，可以看到IOPS不會隨著隊列深度的增加而增加，反而是平均響應時間在倍增。

隊列深度 IOPS 平均響應時間
1 332.931525 3.002217
2 333.985074 5.986528
4 332.594653 12.025060
8 336.568012 23.766359
16 329.785606 48.513477
32 332.054590 96.353934
64 331.041063 193.200815
128 331.309109 385.163111
256 327.442963 774.401781
定址空間對IOPS的影響

我們繼續測試SATA硬碟，前面我們提到定址空間參數也會對IOPS產生影響，下面我們就測試當size=1GB時的情況。

我們發現，當設置size=1GB時，IOPS會顯著提高到568，IO平均響應時間會降到7ms(隊列深度為4)。這是因為當定址空間為1GB時，磁頭需要移動的距離變小了，每次IO請求的服務時間就降低了，這就是空間局部性原理。假如我們測試的RAID卡或者是磁碟陣列(SAN)，它們可能會用Cache把這1GB的數據全部緩存，極大降低了IO請求的服務時間(內存的寫操作比硬碟的寫操作快很1000倍)。所以設置定址空間為1GB的意義不大，因為我們是要測試硬碟的全盤性能，而不是Cache的性能。

硬碟優化

硬碟廠商提高硬碟性能的方法主要是降低服務時間(延遲)：

提高轉速(降低旋轉時間和傳輸時間)
增加Cache(降低寫延遲，但不會提高IOPS)
提高單磁軌密度(變相提高傳輸時間)
RAID測試

RAID0/RAID5/RAID6的多塊磁碟可以同時服務，其實就是提高並行度，這樣極大提高了性能(相當於銀行有多個櫃台)。

以前測試過12塊RAID0，100GB的定址空間，4KB隨機寫，逐步提高隊列深度，IOPS會提高，因為它有12塊磁碟(12個磁頭同時工作)，並行度是12。

隊列深度 IOPS 平均響應時間
1 1215.995842 0.820917
2 4657.061317 0.428420
4 5369.326970 0.744060
8 5377.387303 1.486629
16 5487.911660 2.914048
32 5470.972663 5.846616
64 5520.234015 11.585251
128 5542.739816 23.085843
256 5513.994611 46.401606
RAID卡廠商優化的方法也是降低服務時間：

使用大內存Cache
使用IO處理器，降低XOR操作的延遲。
使用更大帶寬的硬碟介面


SAN測試

對於低端磁碟陣列，使用單機IOmeter就可以測試出它的IOPS和MBPS的峰值，但是對於高端磁碟陣列，就需要多機並行測試才能得到IOPS和MBPS的峰值(IOmeter支持多機並行測試)。下圖是紀念照。

磁碟陣列廠商通過以下手段降低服務時間：

更快的存儲網路，比如FC和IB，延時更低。
讀寫Cache。寫數據到Cache之後就馬上返回，不需要落盤。 而且磁碟陣列有更多的控制器和硬碟，大大提高了並行度。
現在的存儲廠商會找SPC幫忙測試自己的磁碟陣列產品(或全快閃記憶體陣列)， 並給SPC支付費用，這就是赤裸裸的標准壟斷。國內也有做存儲系統測試的，假如你要測試磁碟陣列，可以找NSTC (廣告時間)。

SSD測試

SSD的延時很低，並行度很高(多個nand塊同時工作)，缺點是壽命和GC造成的響應時間不穩定。

推薦用IOMeter進行測試，使用大隊列深度，並進行長時間測試，這樣可以測試出SSD的真實性能。

下圖是storagereview對一些SSD硬碟做的4KB隨機寫的長時間測試，可以看出有些SSD硬碟的最大響應時間很不穩定，會飆高到幾百ms，這是不可接受的。

雲硬碟測試

我們通過兩方面來提高雲硬碟的性能的：

降低延遲(使用SSD，使用萬兆網路，優化代碼，減少瓶頸)
提高並行度(數據分片，同時使用整個集群的所有SSD)
在Linux下測試雲硬碟

在Linux下，你可以使用FIO來測試
操作系統：Ubuntu 14.04
CPU： 2
Memory: 2GB
雲硬碟大小： 1TB(SLA: 6000 IOPS, 170MB/s吞吐率 )
安裝fio：

#sudo apt-get install fio
再次介紹一下FIO的測試參數：

ioengine: 負載引擎，我們一般使用lio，發起非同步IO請求。
bs: IO大小
direct: 直寫，繞過操作系統Cache。因為我們測試的是硬碟，而不是操作系統的Cache，所以設置為1。
rw: 讀寫模式，有順序寫write、順序讀read、隨機寫randwrite、隨機讀randread等。
size: 定址空間，IO會落在 [0, size)這個區間的硬碟空間上。這是一個可以影響IOPS的參數。一般設置為硬碟的大小。
filename: 測試對象
iodepth: 隊列深度，只有使用lio時才有意義。這是一個可以影響IOPS的參數。
runtime: 測試時長
4K隨機寫測試

我們首先進行4K隨機寫測試，測試參數和測試結果如下所示：

#fio -ioengine=lio -bs=4k -direct=1 -thread -rw=randwrite -size=100G -filename=/dev/vdb \
-name="EBS 4KB randwrite test" -iodepth=32 -runtime=60

藍色方框表示IOPS是5900，在正常的誤差范圍內。綠色方框表示IO請求的平均響應時間為5.42ms， 黃色方框表示95%的IO請求的響應時間是小於等於 6.24 ms的。

4K隨機讀測試

我們再來進行4K隨機讀測試，測試參數和測試結果如下所示：

#fio -ioengine=lio -bs=4k -direct=1 -thread -rw=randread -size=100G -filename=/dev/vdb \
-name="EBS 4KB randread test" -iodepth=8 -runtime=60

512KB順序寫測試

最後我們來測試512KB順序寫，看看雲硬碟的最大MBPS(吞吐率)是多少，測試參數和測試結果如下所示：

#fio -ioengine=lio -bs=512k -direct=1 -thread -rw=write -size=100G -filename=/dev/vdb \
-name="EBS 512KB seqwrite test" -iodepth=64 -runtime=60

藍色方框表示MBPS為174226KB/s，約為170MB/s。
使用dd測試吞吐率

其實使用dd命令也可以測試出170MB/s的吞吐率，不過需要設置一下內核參數，詳細介紹在 128MB/s VS 170MB/s 章節中。
在Windows下測試雲硬碟

在Windows下，我們一般使用IOMeter測試磁碟的性能，IOMeter不僅功能強大，而且很專業，是測試磁碟性能的首選工具。
IOMeter是圖形化界面(濃濃的MFC框架的味道)，非常方便操作，下面我將使用IOMeter測試我們UOS上1TB的雲硬碟。
操作系統：Window Server 2012 R2 64
CPU： 4
Memory: 8GB
雲硬碟大小： 1TB
當你把雲硬碟掛載到Windows主機之後，你還需要在windows操作系統裡面設置硬碟為聯機狀態。

4K隨機寫測試

打開IOMeter(你需要先下載)，你會看到IOMeter的主界面。在右邊，你回發現4個worker(數量和CPU個數相同)，因為我們現在只需要1個worker，所以你需要把其他3個worker移除掉。現在讓我們來測試硬碟的4K隨機寫，我們選擇好硬碟(Red Hat VirtIO 0001)，設置定址空間(Maximum Disk Size)為50GB(每個硬碟扇區大小是512B，所以一共是 50*1024*1024*1024/512 = 104857600)，設置隊列深度(Outstanding I/Os)為64。

然後在測試集中選擇」4KiB ALIGNED; 0% Read; 100% random(4KB對齊，100%隨機寫操作)」 測試

然後設置測試時間，我們設置測試時長為60秒，測試之前的預熱時間為10秒(IOMeter會發起負載，但是不統計這段時間的結果)。

在最後測試之前，你可以設置查看實時結果，設置實時結果的更新頻率是5秒鍾。最後點擊綠色旗子開始測試。

在測試過程中，我們可以看到實時的測試結果，當前的IOPS是6042，平均IO請求響應時間是10.56ms，這個測試還需要跑38秒，這個測試輪回只有這個測試。

我們可以看到IOMeter自動化程度很高，極大解放測試人員的勞動力，而且可以導出CSV格式的測試結果。
順序讀寫測試

我們再按照上面的步驟，進行了順序讀/寫測試。下面是測試結果：
IO大小 讀寫模式 隊列深度 MBPS
順序寫吞吐測試 512KB 順序寫 64 164.07 MB/s
順序讀吞吐測試 256KB 順序讀 64 179.32 MB/s
雲硬碟的響應時間

當前雲硬碟寫操作的主要延遲是

網路傳輸
多副本，寫三份(數據強一致性)
三份數據都落盤(數據持久化)之後，才返回
IO處理邏輯
我們當前主要是優化IO處理邏輯，並沒有去優化2和3，這是因為我們是把用戶數據的安全性放在第一位。

128MB/s VS 170MB/s

回到最開始的問題 「為什麼使用dd命令測試雲硬碟只有128MB/s」， 這是因為目前雲硬碟在處理超大IO請求時的延遲比SSD高(我們會不斷進行優化)，現在我們有兩種方法來獲得更高的MBPS：

設置max_sectors_kb為256 (系統默認為512)，降低延遲
使用fio來測試，加大隊列深度
通過設置max_sectors_kb這個參數，使用dd也可以測出170MB/s的吞吐量

root@ustack:~# cat /sys/block/vdb/queue/max_sectors_kb
512
root@ustack:~# echo "256" > /sys/block/vdb/queue/max_sectors_kb
root@ustack:~#
root@ustack:~# dd if=/dev/zero of=/dev/vdb bs=32M count=40 oflag=direct
40+0 records in
40+0 records out
1342177280 bytes (1.3 GB) copied, 7.51685 s, 179 MB/s
root@ustack:~#
同時查看IO請求的延遲：

root@ustack:~# iostat -x vdb 5 100
...
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vdb 0.00 0.00 0.00 688.00 0.00 176128.00 512.00 54.59 93.47 0.00 93.47 1.40 96.56
下面是使用fio工具的測試結果，也可以得到170MB/s的吞吐率。

不可測試的指標

IOPS和MBPS是用戶可以使用工具測試的指標，雲硬碟還有一些用戶不可測量的指標

數據一致性
數據持久性
數據可用性
這些指標我們只能通過根據系統架構和約束條件計算得到，然後轉告給用戶。這些指標衡量著公有雲廠商的良心，有機會會專門進行介紹。

總結

上面介紹了一下測試工具和一些觀點，希望對你有所幫助。

測試需要定性和定量
了解存儲模型可以幫助你更好的進行測試
增加隊列深度可以有效測試出IOPS和MBPS的峰值

C. 存儲器的測試

存儲器測試的目的是確認在存儲設備中的每一個存儲位置都在工作。換一句話說，如果你把數50存儲在一個具體的地址，你希望可以找到存儲在那裡的那個數，直到另一個數寫入。任何存儲器測試的基本方法是，往存儲器寫入一些數據，然後根據內存設備的地址，校驗讀回的數據。如果所有讀回的數據和那些寫入的數據是一樣的，那麼就可以說存儲設備通過了測試。只有通過認真選擇的一組數據你才可以確信通過的結果是有意義的。
當然，像剛才描述的有儲器的測試不可避免地具有破壞性。在內存測試過程中，你必須覆蓋它原先的內容。因為重寫非易失性存儲器內容通常來說是不可行的，這一部分描述的測試通常只適用於RAM 的測試。 一，普通的存儲器問題
在學習具體的測試演算法之前，你應該了解可能遇到的各種存儲器問題。在軟體工程師中一個普遍的誤解是，大部分的存儲器問題發生在晶元的內部。盡管這類問題一度是一個主要的問題，但是它們在日益減少。存儲設備的製造商們對於每一個批量的晶元都進行了各種產品後期測試。因此，即使某一個批量有問題，其中某個壞晶元進人到你的系統的可能性是微乎其微的。
你可能遇到的一種類型的存儲晶元問題是災難性的失效。這通常是在加工好之後晶元受到物理或者是電子損傷造成的。災難性失效是少見的，通常影響晶元中的大部分。因為一大片區域受到影響，所以災難性的失效當然可以被合適的測試演算法檢測到。
存儲器出問題比較普遍的原因是電路板故障。典型的電路板故障有：
（1）在處理器與存儲設備之間的連線問題
（2）無存儲器晶元
（3）存儲器晶元的不正確插人
二，測試策略
最好有三個獨立的測試：數據匯流排的測試、地址匯流排的測試以及設備的測試。前面兩個測試針對電子連線的問題以及晶元的不正確插入；第三個測試更傾向於檢測晶元的有無以及災難性失效。作為一個意外的結果，設備的測試也可以發現控制匯流排的問題，盡管它不能提供關於問題來源的有用信息。
執行這三個測試的順序是重要的。正確的順序是：首先進行數據匯流排測試，接著是地址匯流排測試，最後是設備測試。那是因為地址匯流排測試假設數據匯流排在正常工作，除非數據匯流排和地址匯流排已知是正常的，否則設備測試便毫無意義。如果任何測試失敗，你都應該和一個硬體工程師一起確定問題的來源。通過查看測試失敗處的數據值或者地址，應該能夠迅速地找出電路板上的問題。
1，數據匯流排測試
我們首先要測試的就是數據匯流排。我們需要確定任何由處理器放置在數據匯流排上的值都被另一端的存儲設備正確接收。最明顯的測試方法就是寫人所有可能的數據值並且驗證存儲設備成功地存儲了每一個。然而，那並不是最有效率的測試方法。一個更快的測試方法是一次測試匯流排上的一位。如果每一個數據上可被設置成為 0 和1，而不受其他數據位的影響，那麼數據匯流排就通過了測試。
2，地址匯流排測試
在確認數據匯流排工作正常之後，你應該接著測試地址匯流排。記住地址匯流排的問題將導致存儲器位置的重疊。有很多可能重疊的地址。然而，不必要測試每一個可能的組合。你應該努力在測試過程中分離每一個地址位。你只需要確認每一個地址線的管腳都可以被設置成0和 1，而不影響其他的管腳。
3，設備測試
一旦你知道地址和數據匯流排是正確的，那麼就有必要測試存儲設備本身的完整性。要確認的是設備中的每一位都能夠保持住0和 1。這個測試實現起來十分簡單，但是它花費的時間比執行前面兩項測試花費的總時間還要長。
對於一個完整的設備測試，你必須訪問（讀和寫）每一個存儲位置兩次。你可以自由地選擇任何數據作為第一步測試的數據，只要在進行第二步測試的時候把這個值求反即可。因為存在沒有存儲器晶元的可能性，所以最好選擇一組隨著地址變化（但是不等於地址）的數。優化措施
市場上並不缺少提高數據存儲效率的新技術，然而這些新技術絕大多數都是關注備份和存檔的，而非主存儲。但是，當企業開始進行主存儲數據縮減時，對他們來說，了解主存儲優化所要求的必要條件十分重要。
主存儲，常常被稱為1級存儲，其特徵是存儲活躍數據――即經常被存取並要求高性能、低時延和高可用性的數據。主存儲一般用於支持關鍵任務應用，如資料庫、電子郵件和交易處理。大多數關鍵應用具有隨機的數據取存模式和不同的取存要求，但它們都生成機構用來運營它們的業務的大量的數據。因此，機構製作數據的許多份拷貝，復制數據供分布使用，庫存數據，然後為安全保存備份和存檔數據。
絕大多數數據是起源於主數據。隨著數據存在的時間增加，它們通常被遷移到二級和三級存儲保存。因此，如果機構可以減少主數據存儲佔用空間，將能夠在數據生命期中利用這些節省下來的容量和費用。換句話說，更少的主存儲佔用空間意味著更少的數據復制、庫存、存檔和備份。
試圖減少主存儲佔用空間存儲管理人員可以考慮兩種減少數據的方法：實時壓縮和數據去重。
直到不久前，由於性能問題，數據壓縮一直沒有在主存儲應用中得到廣泛應用。然而，Storwize等廠商提供利用實時、隨機存取壓縮/解壓技術將數據佔用空間壓縮15:1的解決方案。更高的壓縮率和實時性能使壓縮解決方案成為主存儲數據縮減的可行的選擇。
在備份應用中廣泛採用的數據去重技術也在被應用到主存儲。目前為止，數據去重面臨著一大挑戰，即數據去重處理是離線處理。這是因為確定數量可能多達數百萬的文件中的多餘的數據塊需要大量的時間和存儲處理器做大量的工作，因此非常活躍的數據可能受到影響。當前，推出數據去重技術的主要廠商包括NetApp、Data Domain和OcarinaNetworks。 一、零性能影響
與備份或存檔存儲不同，活躍數據集的性能比能夠用某種形式的數據縮減技術節省的存儲容量更為關鍵。因此，選擇的數據縮減技術必須不影響到性能。它必須有效和簡單；它必須等價於「撥動一個開關，就消耗更少的存儲」。
活躍存儲縮減解決方案只在需要去重的數據達到非活躍狀態時才為活躍存儲去重。換句話說，這意味著實際上只對不再被存取但仍保存在活躍存儲池中的文件――近活躍存儲級――進行去重。
去重技術通過建議只對輕I/O工作負載去重來避免性能瓶頸。因此，IT基礎設施的關鍵組件的存儲沒有得到優化。資料庫排在關鍵組件清單之首。由於它們是1級存儲和極其活躍的組件並且幾乎始終被排除在輕工作負載之外，去重處理從來不分析它們。因此，它們在主存儲中占據的空間沒有得到優化。
另一方面，實時壓縮系統實時壓縮所有流經壓縮系統的數據。這導致節省存儲容量之外的意外好處：存儲性能的提高。當所有數據都被壓縮時，每個I/O請求提交的數據量都有效地增加，硬碟空間增加了，每次寫和讀操作都變得效率更高。
實際結果是佔用的硬碟容量減少，總體存儲性能顯著提高。
主存儲去重的第二個好處是所有數據都被減少，這實現了包括資料庫在內的所有數據的容量節省。盡管Oracle環境的實時數據壓縮可能造成一些性能問題，但迄今為止的測試表明性能提高了。
另一個問題是對存儲控制器本身的性能影響。人們要求今天的存儲控制器除了做伺服硬碟外，還要做很多事情，包括管理不同的協議，執行復制和管理快照。再向這些功能增加另一個功能可能會超出控制器的承受能力――即使它能夠處理額外的工作負載，它仍增加了一個存儲管理人員必須意識到可能成為潛在I/O瓶頸的過程。將壓縮工作交給外部專用設備去做，從性能問題中消除了一個變數，而且不會給存儲控制器造成一點影響。
二、高可用性
許多關注二級存儲的數據縮減解決方案不是高可用的。這是由於它們必須立即恢復的備份或存檔數據不像一級存儲中那樣關鍵。但是，甚至在二級存儲中，這種概念也逐漸不再時興，高可用性被作為一種選擇添加到許多二級存儲系統中。
可是，高可用性在主存儲中並不是可選的選項。從數據縮減格式(被去重或被壓縮)中讀取數據的能力必須存在。在數據縮減解決方案中(其中去重被集成到存儲陣列中)，冗餘性是幾乎總是高可用的存儲陣列的必然結果。
在配件市場去重系統中，解決方案的一個組件以數據的原始格式向客戶機提供去重的數據。這個組件就叫做讀出器(reader)。讀出器也必須是高可用的，並且是無縫地高可用的。一些解決方案具有在發生故障時在標准伺服器上載入讀出器的能力。這類解決方案經常被用在近活躍的或更合適的存檔數據上;它們不太適合非常活躍的數據集。
多數聯機壓縮系統被插入系統中和網路上，放置(邏輯上)在交換機與存儲之間。因此，它們由於網路基礎設施級上幾乎總是設計具有的高可用性而取得冗餘性。沿著這些路徑插入聯機專用設備實現了不需要IT管理人員付出額外努力的無縫的故障切換；它利用了已經在網路上所做的工作。
三、節省空間
部署這些解決方案之一必須帶來顯著的容量節省。如果減少佔用容量的主存儲導致低於標準的用戶性能，它沒有價值。
主數據不具有備份數據通常具有的高冗餘存儲模式。這直接影響到總體容量節省。這里也有兩種實現主數據縮減的方法：數據去重和壓縮。
數據去重技術尋找近活躍文件中的冗餘數據，而能取得什麼水平的數據縮減將取決於環境。在具有高冗餘水平的環境中，數據去重可以帶來顯著的ROI(投資回報)，而另一些環境只能取得10%到20%的縮減。
壓縮對所有可用數據都有效，並且它在可以為高冗餘數據節省更多的存儲容量的同時，還為主存儲應用常見的更隨機的數據模式始終帶來更高的節省。
實際上，數據模式冗餘度越高，去重帶來的空間節省就越大。數據模式越隨機，壓縮帶來的空間節省就越高。
四、獨立於應用
真正的好處可能來自所有跨數據類型(不管產生這些數據是什麼應用或數據有多活躍)的數據縮減。雖然實際的縮減率根據去重數據的水平或數據的壓縮率的不同而不同，但所有數據都必須合格。
當涉及存檔或備份時，應用特有的數據縮減具有明確的價值，並且有時間為這類數據集定製縮減過程。但是對於活躍數據集，應用的特殊性將造成性能瓶頸，不會帶來顯著的容量縮減的好處。
五、獨立於存儲
在混合的廠商IT基礎設施中，跨所有平台使用同樣的數據縮減工具的能力不僅將進一步增加數據縮減的ROI好處，而且還簡化了部署和管理。每一個存儲平台使用一種不同的數據縮減方法將需要進行大量的培訓，並造成管理級上的混亂。
六、互補
在完成上述所有優化主存儲的工作後，當到了備份主存儲時，最好讓數據保持優化的格式(被壓縮或去重)。如果數據在備份之前必須擴展恢復為原始格式，這將是浪費資源。
為備份擴展數據集將需要：
使用存儲處理器或外部讀出器資源解壓數據;
擴展網路資源以把數據傳送給備份目標；
把額外的資源分配給保存備份數據的備份存儲設備。

D. PL/SQL中測試存儲過程,如何立即輸出DBMS_OUTPUT的語句。

要想立即輸出就把過程分開一個一個調用。
這樣一起調用的匿名塊，肯定要等程序執行完才一起輸出。