存儲劃卷
① 雲存儲的核心技術:虛擬化存儲,究竟虛擬是怎樣實現的
虛擬化改變了計算機使用存儲的方式。就像物理機器抽象成虛擬機(VM:Virtual Machine)一樣,物理存儲設備也被抽象成虛擬磁碟(Virtual Disk)。今天我們就來聊聊虛擬化存儲(Storage Virtualization)技術,究竟虛擬磁碟是怎樣實現的?
虛擬磁碟的實現
我們知道,伺服器擴展存儲的手段主要有直連存儲(DAS)、存儲區域網路(SAN)和網路附加存儲(NAS)這三種類型。那麼哪種存儲類型可以用來實現虛擬磁碟呢?
在虛擬化環境中,類似VMWare這樣的虛擬機管理程序hypervisor,要同時給很多VM分配存儲空間。這個過程中,我們需要先把物理存儲資源重新劃分成虛擬磁碟,然後再分配給VM。
顯然我們不能用DAS方式把物理磁碟直連到VM上,如果這樣,需要的物理磁碟就太多了。SAN是以邏輯單元(LUN:Logic Unit)的形式提供存儲資源,但是虛擬環境中VM的數量是很大的,而且倫的數量不足以支持這么多虛擬磁碟。
更重要的是,虛擬磁碟是為大量VM共享的,由於VM需要隨時創建、刪除或遷移,所以需要在遷移VM時共享存儲空間,只有原始數據不會丟失。DAS還是SAN,都不適合共享存儲。
考慮到資源分配以及共享的問題,虛擬機管理程序以NAS的方式實現虛擬磁碟。VMware通常使用VMFS(虛擬機文件系統)或NFS協議實現虛擬磁碟,VMFS文件系統是專門針對虛擬機環境協議。
每一個虛擬機的數據實際上是一堆文件,及最重要的文件的虛擬磁碟文件(VMDK文件),也有交換分區文件(VSWP文件,等價交換),非易失性存儲器(NVRAM的文件相當於BIOS),等等。每個VM對虛擬磁碟的IO操作實際上是對虛擬磁碟文件的讀寫操作。
設計、施工、和虛擬伺服器環境和優化,允許多個虛擬機訪問集成的集群存儲池,從而大大提高了資源的利用率。使用和實現資源共享,管理員可以直接從更高的效率和存儲利用率中獲益。
那麼我們如何在雲計算中使用虛擬磁碟呢?
實例存儲
最主要的一種使用虛擬磁碟的方式就是實例存儲,每個VM都是虛擬機的一個實例,虛擬機管理程序在每個實例中提供一個模擬硬體環境,它包括CPU、內存和磁碟。這樣,虛擬磁碟就是虛擬機實例的一部分,就像物質世界。刪除VM後,虛擬磁碟也將被刪除。
在這個實例存儲模型中,虛擬磁碟與虛擬機之間的存儲關系,事實上,它是DAS存儲。但是虛擬磁碟的底層實現,我們說,它是以NAS的方式實現的。虛擬機管理程序的作用是存儲VM層的存儲模型,這是從實施協議分離(VMFS或NFS)的虛擬機的低層。
VMFS協議實現了存儲資源的虛擬化,再分配各VMs
卷存儲
實例存儲有它的限制,開發人員通常希望分離實例數據,例如OS和安裝的一些伺服器應用程序和用戶數據,這樣重建VM的時候可以保留用戶的數據。
這個需求衍生出另外一種存儲模型:卷存儲。卷是存儲的主要單元,相當於虛擬磁碟分區。它不是虛擬機實例的一部分,它可以被認為是虛擬機的外部存儲設備。
該卷可以從一個VM卸載,然後附加到另一個VM。通過這種方式,我們實現了實例數據與用戶數據的分離。OpenStack的煤渣是一個體積存儲的實現。
除了實例存儲和卷存儲之外,最後我們還提到另一種特殊的虛擬存儲:對象存儲。
對象存儲
很多雲應用需要在不同的VM之間共享數據,它常常需要跨越多個數據中心,而對象存儲可以解決這個問題。在前一篇文章中的雲計算IaaS管理平台的基本功能是什麼?》中曾經提到過對象存儲。
在對象存儲模型中,數據存儲在存儲段(bucket)中,桶也可以被稱為「水桶」,因為它字面意思。我們可以用硬碟來類推,對象像一個文件,而存儲段就像一個文件夾(或目錄)。可以通過統一資源標識符(URI:統一資源標識符)找到對象和存儲段。
對象存儲的核心設計思想實際上是虛擬化,它是文件的物理存儲位置,如卷、目錄、磁碟等,虛擬化是木桶,它將文件虛擬化為對象。對於應用層,簡化了對數據訪問的訪問,屏蔽了底層存儲技術的異構性和復雜性。
對象存儲模型
NAS與對象存儲各有所長
當然你也許會問,NAS存儲技術也是一個可以解決數據共享的問題嗎?由於對象存儲的大小和成本優勢,許多雲環境使用對象存儲而不是NAS。
因為對象存儲將跨多個節點傳播,最新數據並不總是可用的 因此,對象存儲的數據一致性不強。如果有強一致性的要求,然後你可以使用NAS。目前,在雲計算環境中,NAS和對象存儲是共存的。
和NAS一樣,對象存儲也是軟體體系結構,而不是硬體體系結構。應用程序通過REST API直接訪問對象存儲。公共對象存儲包括:Amazon S3和OpenStack的Swift。
結語
在實際的雲平台應用中,我們需要根據自己的實際情況來合理運用不同的虛擬化存儲技術。
對於非結構化的靜態數據文件,如音視頻、圖片等,我們一般使用對象存儲。
對於系統鏡像以及應用程序,我們需要使用雲主機實例存儲或者卷存儲。
對於應用產生的動態數據,我們一般還需要利用雲資料庫來對數據進行管理。
② DELL的3200存儲劃分一個卷,兩個WINDOWS伺服器同時掛載讀寫可以么
MD3200是Dell新出的直連存儲,6GB的SAS介面。
二台伺服器各配一塊SAS HBA卡,同時連接共享存儲。
雙機熱備有很多實現方法,比如微軟、Pluswell、Rose HA等等,至於具體步驟無法提供。可以找供應商幫助實施。
先用Dell的存儲管理工具,將櫃子分配給主機,然後配置Windows Cluster
Windows Cluster 配置相對比較簡單,請參考以下文章
http://technet.microsoft.com/zh-cn/library/cc758783(WS.10).aspx
③ 文件存儲空間管理
上篇文章介紹了文件的物理結構並介紹了文件分配的三種方式——連續分配、鏈接分配和索引分配。
本文介紹操作系統對文件存儲空間的管理。
本文內容
存儲空間的劃分: 將物理磁碟劃分為一個個文件卷(邏輯卷、邏輯盤) 。
在存儲空間初始化時,需要將各個文件卷劃分為目錄區、文件區。
有些系統支持超大型文件,可支持由多個物理磁碟組成一個文件卷。
空閑表法:即用一張表記錄磁碟中空閑的盤塊。空閑表的表項由 空閑盤的起始塊號 和 空閑盤塊數 組成。如下圖所示
如何分配磁碟塊:與內存管理中的動態分區分配類似,為一個文件分配連續的存儲空間。同樣可以採用 首次適應演算法、最佳適應演算法、最壞適應演算法,臨近適應演算法 來決定要為文件分配哪些區間。
空閑表法適用於連續分配方式。
例如,如果新創建的文件請求3個塊,按照首次適用演算法,從10號塊開始有5個連續的塊可以滿足需求,所以把10、11、12三個塊分配給文件,分配後的空閑盤塊表如下
這里以回收區前後都是空閑區為例,磁碟是第一幅圖的狀態,如果回收21、22號磁碟塊,那麼回收後的空閑盤塊表如下圖所示。
空閑鏈表法分為兩種: 空閑盤塊鏈和空閑盤區鏈
下圖分別表示空閑盤塊鏈和空閑盤區鏈。
操作系統保存著 鏈頭、鏈尾指針。
如何分配:如過某文件申請K個盤塊,則從鏈頭開始依次摘下K個盤塊分配,並修改空閑鏈的鏈頭指針。
如何回收:回收的盤塊依次掛到鏈尾,並修改空閑鏈的鏈尾指針。
下圖表示分配了3個盤塊
從上面可以看出,空閑盤塊法適用於 離散分配 的物理結構。為文件分配多個盤塊時可能要重復多次操作。
操作系統保存著 鏈頭、鏈尾指針 。
如何分配:若某文件申請K個盤塊,由於空閑盤區鏈將連續的盤塊組成一個盤區,所以若某個盤區大小滿足可以實現一次分配,同樣可以採用首次適用、最佳適用等演算法,從鏈頭開始檢索,按照一定的規則找到一個大小符合要求的空閑盤區分配給文件。若沒有合適的連續空閑塊,也可以將不同的盤區的盤同時分配給一個文件,同樣分配後也需要修改相應的指針鏈和盤區大小等數據。
如何回收:若回收區和某個空閑盤區相鄰,則需要將回收區合並到空閑盤區中。若回收區沒有和任何空閑區相鄰,將回收區作為一個單獨的一個空閑盤區掛到鏈尾。同樣也需要修改鏈表指針和盤區大小等信息。
下圖表示按照首次適用演算法分配3個盤區
從上面可以看出,空閑盤區鏈對 離散分配、連續分配 都適用。為一個文件分配多個盤塊時 效率更高 。
位示圖:磁碟內存被劃分為一個個磁碟塊,可以用二進制位對應一個盤塊。「0」代表盤塊空閑,「1」代表盤塊已分配。位示圖一般用連續的「字」來表示,下圖中一個字的字長是16位,字中的每一位對應一個盤塊。因此可以用(字型大小,位號)對應一個盤塊號。
如何分配:若文件需要K個塊,①順序掃描位示圖,找到K個相鄰或不相鄰的「0」;②根據字型大小、位號算出對應的盤塊號,將相應的盤塊分配給文件;③將相應的位設置為「1」。
如何回收:①根據回收的盤塊號計算出對應的字型大小、位號;②將相應的二進制位設置為「0」。
從上面可以看出:位示圖法對 連續分配和離散分配 都適用。
空閑表法、空閑鏈表法不適用大型文件系統,因為空閑表或空閑聯保可能過大。UNIX系統中採用了 成組鏈接法 對磁碟空閑塊進行管理。這是將上述兩種方法相結合的而形成的一種空閑管理方法。
文件卷的目錄區中專門用一個磁碟塊作為 超級塊 ,當系統啟動時需要將 超級塊讀入內存 。並且要保證與外存中的「超過塊」的數據一致。
內存的分配過程:分配過程是從棧頂取出一空閑盤塊號,將與之對應的盤塊分配給用戶,然後將棧頂指針下移一格,若該盤塊號已是棧底(即第一個盤塊),這是當前棧中最後一個可分配的盤塊號。由於在該盤塊號所對應的盤塊中記有下一組可用的盤塊號,因此,不能直接將它分配掉,需要將它記錄的下一組信息保存下來,所以比須調用磁碟讀過程,將棧底盤塊號所對應盤塊的內容讀入棧中,作為新的盤塊號棧的內容,並把原棧底對應的盤塊分配出去(其中的有用數據已讀入棧中)。然後,再分配一相應的緩沖區(作為該盤塊的緩沖區)。最後,把棧中的空閑盤塊數減1 並返回。
下面舉例說明
如果此時新建一個文件需要一個磁碟塊,那麼此時第一組有100個空閑塊,所以是足夠分配的,將棧頂的盤塊號即201號盤塊對應的盤塊分配出去,如下圖
如果此時又創建一個新的文件,需要99個磁碟塊,就需要將剩下的99個盤塊全部分配出去,但是此時300號盤塊記錄了下一組信息,如果分配出去,信息就是丟失,所以需要將300號盤塊從外存(磁碟)讀入內存,將300號盤塊記錄的信息,寫入空閑盤塊號棧,然後才能將這99塊空閑塊分配出去。具體過程如下圖所示
內存的回收過程:在系統回收空閑盤塊時,須調用盤塊回收過程進行回收。它是將回收盤塊的盤塊號記入空閑盤塊號棧的頂部,並執行空閑盤塊數加 1 操作。當棧中空閑盤塊號數目已達 100 時,表示棧已滿,便將現有棧中的100 個盤塊號記入新回收的盤塊中,再將其盤塊號作為新棧底。
以分配的第一個圖為例,201盤塊被分配出去了,如果此刻有個文件被刪除了,其佔用的盤塊是199號,系統需要回收這個盤塊,發現此時空閑盤塊號棧中記錄空閑塊數為99,直接將盤塊號記錄棧頂,將空閑盤塊數加1即可。
如果此時又有一個文件被刪除了,其佔用的盤塊是190,此時空閑盤塊號數已經達到100了,就需要將現在空閑盤塊棧中信息記入新回收的塊中。
④ U盤可以分成啟動盤和存儲盤兩個不同格式的分區嗎
可以(但有條件)
需要對U盤進行重新量產,而量產時,可對U盤進行分區(盤),第一個,就是引導盤,什麼格式無所謂,剩餘的空間做為第二個區(盤),是普通的,什麼格式也無所謂
也可以這樣量產,第一個區為光碟。第二個為普通盤。注意:光碟為只讀,裡面的東西是不被感染病毒和刪除的。
前面說的這些,要看你的量產工具,並不是所有U盤的量產工具都可以。你先查看一下你U盤的主控晶元,再找你晶元相關的量產工具,如果你的量產工具支持,那就可以,如果不支持,就不可以。
注意:量產有風險,搞不好,你的U盤就壞了。
為什麼說是盤,因為量產過後,你的U盤接入電腦後,會出現兩個U盤。當然其實還是它自己。
聽說有的還有量產成多個盤,但我沒見過。
=========================
另:你可以在WIN下分區
因為U盤也是一個獨立的磁碟。WIN可以給它分區,分區後,雖是一個盤,但在電腦中卻可以看到兩個盤符。當然你也可以給它做不同的分區格式。
這樣分區後,你的引導盤,可能就不可用了。不過,你可以自己修改分區參數達到目的。用diskgen就可以修改分區參數。只是我不懂分區參數這一塊。需要你自己參悟了。
因為在做U盤引導時,工具一般都會把U盤分區成為一個區。而當你手動分成2個區時,可能就破壞了前面做的引導參數,所以才需要你自己修改