雲存儲測試

1. 網盤存儲需要測試哪些要點，如文件同步備份恢復共享需要測試什麼

用電腦管家工具箱的最近文檔就可以
打開這個功能後，可以直接查到最近30天內打開的所有文檔
然後還可以用手機小程序，查看和傳輸文檔，隨時隨地查看文件。

2. 為什麼雲存儲不能實時偵測

摘要 親，因為是不支持實時偵測的，系統就不帶這個功能的

3. 如何對比測試雲伺服器的性能

選定雲伺服器廠商後，你可以對具體的雲伺服器產品技術規格進行對比，看是否滿足現有以及未來發展的業務需求。因為雲計算對於雲伺服器本身的結構靈活性、計算密度、存儲容量等都有要求的。所以得慎重選擇。不過天互數據是不錯的選擇。

4. 雲主機，雲存儲，雲伺服器，需要提供商找我啊，我這邊全國多個節點，集群分布式的，可以免費測試幾天，加ID

嗯，測試效果確實不錯，不愧是國內的第一雲主機，以後幫你推薦，加你ID了

5. 喬安雲存儲檢測為什麼剛7秒鍾呢

組成檢測為什麼剛幾秒鍾呢？因為他那個固定時間就是七秒，如果你只是單獨點擊的話，就執行

6. 七牛雲存儲測試域名顯示cname解析正確，但是還是等待cname，怎麼解決

不要著急！如果七牛雲測試域名顯示檢測cname已經正確，但是還是等待cname的這個情況，是可以解決的！因為控制台默認使用114dns伺服器進行cname記錄檢測，當dns伺服器存在波動或者新增/變更解析有延遲的情況下會提示等待cname，不影響訪問的情況下可以忽略該報錯，無視就行，重新訪問。

7. 聯想個人雲存儲A1評測：容量大不限速，這才是最具性價比的高速「網盤」

如今每個人可能都擁有一個網路雲盤，雲存儲概念的興起方便了我們在不同的設備端共享文件，提升了各行各業的工作效率，但是伴隨方便的同時數據安全卻令人擔憂。時至今日，網路雲盤已經成為家庭或個人不可或缺的工具，為了更好的保護消費者的數據，私有雲存儲產品孕育而生。

個人雲存儲A1是聯想剛剛發布的產品，雖然稱之為「雲」，實際上數據是保存在本地，而文件分享也會通過私有通道在不同平台傳播，相比網路雲存儲來說當然更讓人放心；其次，目前大多數網路雲盤為了盈利都需要花錢開通會員才能滿速進行文件下載/上傳，而聯想個人雲存儲A1的傳輸速度只受你的網路環境影響。

外觀設計：經典的多立克柱典雅大氣

聯想個人雲存儲A1與上一代產品基本保持了相同的設計，A1整體上是橢圓形的柱體，採用立式放置節約了家庭空間。A1的外殼採用了多立克柱設計，垂直的棱條不僅加強了A1外殼的硬度，同時也讓A1顯得更加精緻。

體驗總結

總體上來說聯想個人雲存儲A1使用起來非常簡單，就算是NAS領域的小白用戶也能輕松上手，而且A1的應用與功能也能完全滿足普通用戶的需求。如果你是一位喜歡拍照、拍視頻的用戶，聯想個人雲存儲A1就可以作為你的手機擴展空間，保存你的照片與視頻；如果你是一位電影愛好者，A1也可以成為你的私人影庫，只要網路環境允許本地播放順暢無卡頓。

對於現在的網路雲盤來說，本地的個人雲盤具有太多優勢，不用再花錢購買會員換來下載速度，也不用擔心數據放在網路雲盤上不安全。而在個人雲盤中，聯想個人雲存儲A1就是一款非常不錯的產品，如果你受夠了網盤那些限速、會員收費機制，那麼就換一個聯想個人雲存儲A1吧！

8. 雲計算測試方向的如何進行測試。雲測試的測試方法是什麼

您指的是測試雲，還是您做一個雲計算的平台如何測試！平台測試很簡單，就搭建一個測試平台，模擬用戶對網路，對資源，對硬體的需求，按照軟體進行測試！其他繼續提問！繼續回答！呵呵

9. 如何測試雲硬碟

問題

UOS公有雲開放以來，一些用戶反應用dd命令測試出來的1TB雲硬碟的吞吐率(MBPS)只有128MB/s，而不是我們SLA保證的170MB /s ，這是為什麼？下面我會簡單介紹如何測試硬碟，RAID，SAN，SSD，雲硬碟等，然後再來回答上面的問題。

測試前提

我們在進行測試時，都會分清楚:

測試對象：要區分硬碟、SSD、RAID、SAN、雲硬碟等，因為它們有不同的特點
測試指標：IOPS和MBPS(吞吐率)，下面會具體闡述
測試工具：Linux下常用Fio、dd工具, Windows下常用IOMeter,
測試參數: IO大小，定址空間，隊列深度，讀寫模式，隨機/順序模式
測試方法：也就是測試步驟。
測試是為了對比，所以需要定性和定量。在宣布自己的測試結果時，需要說明這次測試的工具、參數、方法，以便於比較。

存儲系統模型

為了更好的測試，我們需要先了解存儲系統，塊存儲系統本質是一個排隊模型，我們可以拿銀行作為比喻。還記得你去銀行辦事時的流程嗎？

去前台取單號
等待排在你之前的人辦完業務
輪到你去某個櫃台
櫃台職員幫你辦完手續1
櫃台職員幫你辦完手續2
櫃台職員幫你辦完手續3
辦完業務，從櫃台離開
如何評估銀行的效率呢：

服務時間 = 手續1 + 手續2 + 手續3
響應時間 = 服務時間 + 等待時間
性能 = 單位時間內處理業務數量
那銀行如何提高效率呢:

增加櫃台數
降低服務時間
因此，排隊系統或存儲系統的優化方法是

增加並行度
降低服務時間
硬碟測試

硬碟原理

我們應該如何測試SATA/SAS硬碟呢？首先需要了解磁碟的構造，並了解磁碟的工作方式：

每個硬碟都有一個磁頭(相當於銀行的櫃台)，硬碟的工作方式是：

收到IO請求，得到地址和數據大小
移動磁頭(定址)
找到相應的磁軌(定址)
讀取數據
傳輸數據
則磁碟的隨機IO服務時間:

服務時間 = 尋道時間 + 旋轉時間 + 傳輸時間

對於10000轉速的SATA硬碟來說，一般尋道時間是7 ms，旋轉時間是3 ms, 64KB的傳輸時間是 0.8 ms， 則SATA硬碟每秒可以進行隨機IO操作是 1000/(7 + 3 + 0.8) = 93，所以我們估算SATA硬碟64KB隨機寫的IOPS是93。一般的硬碟廠商都會標明順序讀寫的MBPS。

我們在列出IOPS時，需要說明IO大小，定址空間，讀寫模式，順序/隨機，隊列深度。我們一般常用的IO大小是4KB，這是因為文件系統常用的塊大小是4KB。

使用dd測試硬碟

雖然硬碟的性能是可以估算出來的，但是怎麼才能讓應用獲得這些性能呢？對於測試工具來說，就是如何得到IOPS和MBPS峰值。我們先用dd測試一下SATA硬碟的MBPS(吞吐量)。

#dd if=/dev/zero of=/dev/sdd bs=4k count=300000 oflag=direct
記錄了300000+0 的讀入 記錄了300000+0 的寫出 1228800000位元組(1.2 GB)已復制，17.958 秒，68.4 MB/秒
#iostat -x sdd 5 10
...
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdd 0.00 0.00 0.00 16794.80 0.00 134358.40 8.00 0.79 0.05 0.05 78.82
...
為什麼這塊硬碟的MBPS只有68MB/s? 這是因為磁碟利用率是78%，沒有到達95%以上，還有部分時間是空閑的。當dd在前一個IO響應之後，在准備發起下一個IO時，SATA硬碟是空閑的。那麼如何才能提高利用率，讓磁碟不空閑呢？只有一個辦法，那就是增加硬碟的隊列深度。相對於CPU來說，硬碟屬於慢速設備，所有操作系統會有給每個硬碟分配一個專門的隊列用於緩沖IO請求。

隊列深度

什麼是磁碟的隊列深度？

在某個時刻,有N個inflight的IO請求,包括在隊列中的IO請求、磁碟正在處理的IO請求。N就是隊列深度。
加大硬碟隊列深度就是讓硬碟不斷工作，減少硬碟的空閑時間。

加大隊列深度 -> 提高利用率 -> 獲得IOPS和MBPS峰值 -> 注意響應時間在可接受的范圍內
增加隊列深度的辦法有很多

使用非同步IO，同時發起多個IO請求，相當於隊列中有多個IO請求
多線程發起同步IO請求，相當於隊列中有多個IO請求
增大應用IO大小，到達底層之後，會變成多個IO請求，相當於隊列中有多個IO請求 隊列深度增加了。
隊列深度增加了，IO在隊列的等待時間也會增加，導致IO響應時間變大，這需要權衡。讓我們通過增加IO大小來增加dd的隊列深度，看有沒有效果：

dd if=/dev/zero of=/dev/sdd bs=2M count=1000 oflag=direct
記錄了1000+0 的讀入 記錄了1000+0 的寫出 2097152000位元組(2.1 GB)已復制，10.6663 秒，197 MB/秒
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sdd 0.00 0.00 0.00 380.60 0.00 389734.40 1024.00 2.39 6.28 2.56 97.42
可以看到2MB的IO到達底層之後，會變成多個512KB的IO，平均隊列長度為2.39，這個硬碟的利用率是97%，MBPS達到了197MB/s。(為什麼會變成512KB的IO，你可以去使用Google去查一下內核參數 max_sectors_kb的意義和使用方法 )

也就是說增加隊列深度，是可以測試出硬碟的峰值的。

使用fio測試硬碟

現在，我們來測試下SATA硬碟的4KB隨機寫的IOPS。因為我的環境是Linux，所以我使用FIO來測試。

$fio -ioengine=lio -bs=4k -direct=1 -thread -rw=randwrite -size=1000G -filename=/dev/vdb \
-name="EBS 4K randwrite test" -iodepth=64 -runtime=60
簡單介紹fio的參數

ioengine: 負載引擎，我們一般使用lio，發起非同步IO請求。
bs: IO大小
direct: 直寫，繞過操作系統Cache。因為我們測試的是硬碟，而不是操作系統的Cache，所以設置為1。
rw: 讀寫模式，有順序寫write、順序讀read、隨機寫randwrite、隨機讀randread等。
size: 定址空間，IO會落在 [0, size)這個區間的硬碟空間上。這是一個可以影響IOPS的參數。一般設置為硬碟的大小。
filename: 測試對象
iodepth: 隊列深度，只有使用lio時才有意義。這是一個可以影響IOPS的參數。
runtime: 測試時長
下面我們做兩次測試，分別 iodepth = 1和iodepth = 4的情況。下面是iodepth = 1的測試結果。

上圖中藍色方框裡面的是測出的IOPS 230, 綠色方框裡面是每個IO請求的平均響應時間，大約是4.3ms。黃色方框表示95%的IO請求的響應時間是小於等於 9.920 ms。橙色方框表示該硬碟的利用率已經達到了98.58%。

下面是 iodepth = 4 的測試:

我們發現這次測試的IOPS沒有提高，反而IO平均響應時間變大了，是17ms。

為什麼這里提高隊列深度沒有作用呢，原因當隊列深度為1時，硬碟的利用率已經達到了98%，說明硬碟已經沒有多少空閑時間可以壓榨了。而且響應時間為 4ms。 對於SATA硬碟，當增加隊列深度時，並不會增加IOPS，只會增加響應時間。這是因為硬碟只有一個磁頭，並行度是1， 所以當IO請求隊列變長時，每個IO請求的等待時間都會變長，導致響應時間也變長。

這是以前用IOMeter測試一塊SATA硬碟的4K隨機寫性能，可以看到IOPS不會隨著隊列深度的增加而增加，反而是平均響應時間在倍增。

隊列深度 IOPS 平均響應時間
1 332.931525 3.002217
2 333.985074 5.986528
4 332.594653 12.025060
8 336.568012 23.766359
16 329.785606 48.513477
32 332.054590 96.353934
64 331.041063 193.200815
128 331.309109 385.163111
256 327.442963 774.401781
定址空間對IOPS的影響

我們繼續測試SATA硬碟，前面我們提到定址空間參數也會對IOPS產生影響，下面我們就測試當size=1GB時的情況。

我們發現，當設置size=1GB時，IOPS會顯著提高到568，IO平均響應時間會降到7ms(隊列深度為4)。這是因為當定址空間為1GB時，磁頭需要移動的距離變小了，每次IO請求的服務時間就降低了，這就是空間局部性原理。假如我們測試的RAID卡或者是磁碟陣列(SAN)，它們可能會用Cache把這1GB的數據全部緩存，極大降低了IO請求的服務時間(內存的寫操作比硬碟的寫操作快很1000倍)。所以設置定址空間為1GB的意義不大，因為我們是要測試硬碟的全盤性能，而不是Cache的性能。

硬碟優化

硬碟廠商提高硬碟性能的方法主要是降低服務時間(延遲)：

提高轉速(降低旋轉時間和傳輸時間)
增加Cache(降低寫延遲，但不會提高IOPS)
提高單磁軌密度(變相提高傳輸時間)
RAID測試

RAID0/RAID5/RAID6的多塊磁碟可以同時服務，其實就是提高並行度，這樣極大提高了性能(相當於銀行有多個櫃台)。

以前測試過12塊RAID0，100GB的定址空間，4KB隨機寫，逐步提高隊列深度，IOPS會提高，因為它有12塊磁碟(12個磁頭同時工作)，並行度是12。

隊列深度 IOPS 平均響應時間
1 1215.995842 0.820917
2 4657.061317 0.428420
4 5369.326970 0.744060
8 5377.387303 1.486629
16 5487.911660 2.914048
32 5470.972663 5.846616
64 5520.234015 11.585251
128 5542.739816 23.085843
256 5513.994611 46.401606
RAID卡廠商優化的方法也是降低服務時間：

使用大內存Cache
使用IO處理器，降低XOR操作的延遲。
使用更大帶寬的硬碟介面


SAN測試

對於低端磁碟陣列，使用單機IOmeter就可以測試出它的IOPS和MBPS的峰值，但是對於高端磁碟陣列，就需要多機並行測試才能得到IOPS和MBPS的峰值(IOmeter支持多機並行測試)。下圖是紀念照。

磁碟陣列廠商通過以下手段降低服務時間：

更快的存儲網路，比如FC和IB，延時更低。
讀寫Cache。寫數據到Cache之後就馬上返回，不需要落盤。 而且磁碟陣列有更多的控制器和硬碟，大大提高了並行度。
現在的存儲廠商會找SPC幫忙測試自己的磁碟陣列產品(或全快閃記憶體陣列)， 並給SPC支付費用，這就是赤裸裸的標准壟斷。國內也有做存儲系統測試的，假如你要測試磁碟陣列，可以找NSTC (廣告時間)。

SSD測試

SSD的延時很低，並行度很高(多個nand塊同時工作)，缺點是壽命和GC造成的響應時間不穩定。

推薦用IOMeter進行測試，使用大隊列深度，並進行長時間測試，這樣可以測試出SSD的真實性能。

下圖是storagereview對一些SSD硬碟做的4KB隨機寫的長時間測試，可以看出有些SSD硬碟的最大響應時間很不穩定，會飆高到幾百ms，這是不可接受的。

雲硬碟測試

我們通過兩方面來提高雲硬碟的性能的：

降低延遲(使用SSD，使用萬兆網路，優化代碼，減少瓶頸)
提高並行度(數據分片，同時使用整個集群的所有SSD)
在Linux下測試雲硬碟

在Linux下，你可以使用FIO來測試
操作系統：Ubuntu 14.04
CPU： 2
Memory: 2GB
雲硬碟大小： 1TB(SLA: 6000 IOPS, 170MB/s吞吐率 )
安裝fio：

#sudo apt-get install fio
再次介紹一下FIO的測試參數：

ioengine: 負載引擎，我們一般使用lio，發起非同步IO請求。
bs: IO大小
direct: 直寫，繞過操作系統Cache。因為我們測試的是硬碟，而不是操作系統的Cache，所以設置為1。
rw: 讀寫模式，有順序寫write、順序讀read、隨機寫randwrite、隨機讀randread等。
size: 定址空間，IO會落在 [0, size)這個區間的硬碟空間上。這是一個可以影響IOPS的參數。一般設置為硬碟的大小。
filename: 測試對象
iodepth: 隊列深度，只有使用lio時才有意義。這是一個可以影響IOPS的參數。
runtime: 測試時長
4K隨機寫測試

我們首先進行4K隨機寫測試，測試參數和測試結果如下所示：

#fio -ioengine=lio -bs=4k -direct=1 -thread -rw=randwrite -size=100G -filename=/dev/vdb \
-name="EBS 4KB randwrite test" -iodepth=32 -runtime=60

藍色方框表示IOPS是5900，在正常的誤差范圍內。綠色方框表示IO請求的平均響應時間為5.42ms， 黃色方框表示95%的IO請求的響應時間是小於等於 6.24 ms的。

4K隨機讀測試

我們再來進行4K隨機讀測試，測試參數和測試結果如下所示：

#fio -ioengine=lio -bs=4k -direct=1 -thread -rw=randread -size=100G -filename=/dev/vdb \
-name="EBS 4KB randread test" -iodepth=8 -runtime=60

512KB順序寫測試

最後我們來測試512KB順序寫，看看雲硬碟的最大MBPS(吞吐率)是多少，測試參數和測試結果如下所示：

#fio -ioengine=lio -bs=512k -direct=1 -thread -rw=write -size=100G -filename=/dev/vdb \
-name="EBS 512KB seqwrite test" -iodepth=64 -runtime=60

藍色方框表示MBPS為174226KB/s，約為170MB/s。
使用dd測試吞吐率

其實使用dd命令也可以測試出170MB/s的吞吐率，不過需要設置一下內核參數，詳細介紹在 128MB/s VS 170MB/s 章節中。
在Windows下測試雲硬碟

在Windows下，我們一般使用IOMeter測試磁碟的性能，IOMeter不僅功能強大，而且很專業，是測試磁碟性能的首選工具。
IOMeter是圖形化界面(濃濃的MFC框架的味道)，非常方便操作，下面我將使用IOMeter測試我們UOS上1TB的雲硬碟。
操作系統：Window Server 2012 R2 64
CPU： 4
Memory: 8GB
雲硬碟大小： 1TB
當你把雲硬碟掛載到Windows主機之後，你還需要在windows操作系統裡面設置硬碟為聯機狀態。

4K隨機寫測試

打開IOMeter(你需要先下載)，你會看到IOMeter的主界面。在右邊，你回發現4個worker(數量和CPU個數相同)，因為我們現在只需要1個worker，所以你需要把其他3個worker移除掉。現在讓我們來測試硬碟的4K隨機寫，我們選擇好硬碟(Red Hat VirtIO 0001)，設置定址空間(Maximum Disk Size)為50GB(每個硬碟扇區大小是512B，所以一共是 50*1024*1024*1024/512 = 104857600)，設置隊列深度(Outstanding I/Os)為64。

然後在測試集中選擇」4KiB ALIGNED; 0% Read; 100% random(4KB對齊，100%隨機寫操作)」 測試

然後設置測試時間，我們設置測試時長為60秒，測試之前的預熱時間為10秒(IOMeter會發起負載，但是不統計這段時間的結果)。

在最後測試之前，你可以設置查看實時結果，設置實時結果的更新頻率是5秒鍾。最後點擊綠色旗子開始測試。

在測試過程中，我們可以看到實時的測試結果，當前的IOPS是6042，平均IO請求響應時間是10.56ms，這個測試還需要跑38秒，這個測試輪回只有這個測試。

我們可以看到IOMeter自動化程度很高，極大解放測試人員的勞動力，而且可以導出CSV格式的測試結果。
順序讀寫測試

我們再按照上面的步驟，進行了順序讀/寫測試。下面是測試結果：
IO大小 讀寫模式 隊列深度 MBPS
順序寫吞吐測試 512KB 順序寫 64 164.07 MB/s
順序讀吞吐測試 256KB 順序讀 64 179.32 MB/s
雲硬碟的響應時間

當前雲硬碟寫操作的主要延遲是

網路傳輸
多副本，寫三份(數據強一致性)
三份數據都落盤(數據持久化)之後，才返回
IO處理邏輯
我們當前主要是優化IO處理邏輯，並沒有去優化2和3，這是因為我們是把用戶數據的安全性放在第一位。

128MB/s VS 170MB/s

回到最開始的問題 「為什麼使用dd命令測試雲硬碟只有128MB/s」， 這是因為目前雲硬碟在處理超大IO請求時的延遲比SSD高(我們會不斷進行優化)，現在我們有兩種方法來獲得更高的MBPS：

設置max_sectors_kb為256 (系統默認為512)，降低延遲
使用fio來測試，加大隊列深度
通過設置max_sectors_kb這個參數，使用dd也可以測出170MB/s的吞吐量

root@ustack:~# cat /sys/block/vdb/queue/max_sectors_kb
512
root@ustack:~# echo "256" > /sys/block/vdb/queue/max_sectors_kb
root@ustack:~#
root@ustack:~# dd if=/dev/zero of=/dev/vdb bs=32M count=40 oflag=direct
40+0 records in
40+0 records out
1342177280 bytes (1.3 GB) copied, 7.51685 s, 179 MB/s
root@ustack:~#
同時查看IO請求的延遲：

root@ustack:~# iostat -x vdb 5 100
...
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vdb 0.00 0.00 0.00 688.00 0.00 176128.00 512.00 54.59 93.47 0.00 93.47 1.40 96.56
下面是使用fio工具的測試結果，也可以得到170MB/s的吞吐率。

不可測試的指標

IOPS和MBPS是用戶可以使用工具測試的指標，雲硬碟還有一些用戶不可測量的指標

數據一致性
數據持久性
數據可用性
這些指標我們只能通過根據系統架構和約束條件計算得到，然後轉告給用戶。這些指標衡量著公有雲廠商的良心，有機會會專門進行介紹。

總結

上面介紹了一下測試工具和一些觀點，希望對你有所幫助。

測試需要定性和定量
了解存儲模型可以幫助你更好的進行測試
增加隊列深度可以有效測試出IOPS和MBPS的峰值

10. 雲存儲的測試方案怎麼寫

1.上傳文件存儲到雲端
2.從雲端下載該文件
3.打開該文件
測試包括電腦系統、雲存儲客戶端、瀏覽器版本，上傳文件的類型，文件大小，分角色操作
你可以參考下夠快雲存儲，以他們為例測試
希望能幫到你