當前位置:首頁 » 存儲配置 » 分塊存儲技術

分塊存儲技術

發布時間: 2023-06-09 17:37:45

㈠ 什麼是雲存儲技術

雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是指通過集群應用、網格技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就需要配置大量的存儲設備,那麼雲計算系統就轉變成為一個雲存儲系統,所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。

雲存儲的兩個層面

雲存儲的兩個層面是作為雲計算支撐的存儲計算,主要涉及分布式存儲(如分布式文件系統、IPSAN、數據同步、復制)、數據存儲(如重復數據刪除、數據壓縮、數據編碼)和數據保護(如RAID、CDP、快照、備份與容災)等技術領域,如圖8-30所示,這在第6章中已有所介紹。和雲安全技術一樣,雲存儲技術也需要利用現有的所有存儲技術針對雲計算三層架構的各個環節採用適當的存儲技術,才能取得最佳效果,例如,對應不同需求,有時應該使用資料庫技術但有時卻應該使用LDAP技術,有些性能要求高的系統不能使用SAN或NAS,需直接使用基於RPC或Socket技術的並發文件系統,有些應用使用SAN成本太高等,這里不再做深入介紹。如圖8-31所示是一個採用NetApp FAS、思科 UCS和 VMWare vShpere 4技術打造的存儲系統,對上述兩種雲存儲技術和應用都有促進作用。雲存儲架構

分為兩類:一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。

傳統的系統利用緊耦合對稱架構,這種架構的設計旨在解決HPC(高性能計算、超級運算)問題,現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構,集中元數據和控制操作,這種架構並不非常適合高性能HPC,但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下:

緊耦合對稱(TCS)架構

構建TCS系統是為了解決單一文件性能所面臨的挑戰,這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲,因為它們需要的單一文件I/O操作要比單一設備的I/O操作多得多。業內對此的回應是創建利用TCS架構的產品,很多節點同時伴隨著分布式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能。這種解決方案對於單文件吞吐量問題很有效,幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進,需要一定程度的技術經驗才能安裝和使用。

鬆弛耦合非對稱(LCA)架構

LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作,而是利用一個數據路徑之外的中央元數據控制伺服器。集中控制提供了很多好處,允許進行新層次的擴展:

● 存儲節點可以將重點放在提供讀寫服務的要求上,而不需要來自網路節點的確認信息。

● 節點可以利用不同的商品硬體CPU和存儲配置,而且仍然在雲存儲中發揮作用。

● 用戶可以通過利用硬體性能或虛擬化實例來調整雲存儲。

● 消除節點之間共享的大量狀態開銷也可以消除用戶計算機互聯的需要,如光纖通道或infiniband,從而進一步降低成本。

● 異構硬體的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲,同時還能提供永久的數據可用性。

● 擁有集中元數據意味著,存儲節點可以旋轉地進行深層次應用程序歸檔,而且在控制節點上,元數據經常都是可用的。

㈡ REID是什麼

你說的REID我實不知是什麼。。。。。但是我想你應該是想了解什麼是RAID吧!就是磁碟陣列!RAID(是Rendant Array of Independent Disk的縮寫)
它是1988年由美國加州大學Berkeley分校的DavidPatterson教授等人提出來的磁碟冗餘技術。從那時起,磁碟陣列技術發展得很快,並逐步走向成熟。現在已基本得到公認的有下面八種系列。。。。。
1.RAID0(0級盤陣列)
RAID0又稱數據分塊,即把數據分布在多個盤上,沒有容錯措施。其容量和數據傳輸率是單機容量的N倍,N為構成盤陣列的磁碟機的總數,I/O傳輸速率高,但平均無故障時間MTTF(MeanTimeToFailure)只有單台磁碟機的N分之一,因此零級盤陣列的可靠性最差。
2.RAID1(1級盤陣列)
RAID1又稱鏡像(Mirror)盤,採用鏡像容錯來提高可靠性。即每一個工作盤都有一個鏡像盤,每次寫數據時必須同時寫入鏡像盤,讀數據時只從工作盤讀出。一旦工作盤發生故障立即轉入鏡像盤,從鏡像盤中讀出數據,然後由系統再恢復工作盤正確數據。因此這種方式數據可以重構,但工作盤和鏡像盤必須保持一一對應關系。這種盤陣列可靠性很高,但其有效容量減小到總容量一半以下。因此RAID1常用於對出錯率要求極嚴的應用場合,如財政、金融等領域。
3.RAID2(2級盤陣列)
RAID2又稱位交叉,它採用漢明碼作盤錯檢驗,無需在每個扇區之後進行CRC(CyclicReDundancycheck)檢驗。漢明碼是一種(n,k)線性分組碼,n為碼字的長度,k為數據的位數,r為用於檢驗的位數,故有:n=2r-1r=n-k
因此按位交叉存取最有利於作漢明碼檢驗。這種盤適於大數據的讀寫。但冗餘信息開銷還是太大,阻止了這類盤的廣泛應用。
4.RAID3(3級盤陣列)
RAID3為單盤容錯並行傳輸陣列盤。它的特點是將檢驗盤減小為一個(RAID2校驗盤為多個,DAID1檢驗盤為1比1),數據以位或位元組的方式存於各盤(分散記錄在組內相同扇區號的各個磁碟機上)。它的優點是整個陣列的帶寬可以充分利用,使批量數據傳輸時間減小;其缺點是每次讀寫要牽動整個組,每次只能完成一次I/O。
5.RAID4(4級盤陣列)
RAID4是一種可獨立地對組內各盤進行讀寫的陣列。其校驗盤也只有一個。
RAID4和RAID3的區別是:RAID3是按位或按位元組交叉存取,而RAID4是按塊(扇區)存取,可以單獨地對某個盤進行操作,它無需象RAID3那樣,那怕每一次小I/O操作也要涉及全組,只需涉及組中兩台磁碟機(一台數據盤,一台檢驗盤)即可。從而提高了小量數據的I/O速率。
6.RAID5(5級盤陣列)
RAID5是一種旋轉奇偶校驗獨立存取的陣列。它和RAID1、2、3、4各盤陣列的不同點,是它沒有固定的校驗盤,而是按某種規則把其冗餘的奇偶校驗信息均勻地分布在陣列所屬的所有磁碟上。於是在同一台磁碟機上既有數據信息也有校驗信息。這一改變解決了爭用校驗盤的問題,因此DAID5內允許在同一組內並發進行多個寫操作。所以RAID5即適於大數據量的操作,也適於各種事務處理。它是一種快速,大容量和容錯分布合理的磁碟陣列。
7.RAID6(6級盤陣列)
RAID6是一種雙維奇偶校驗獨立存取的磁碟陣列。它的冗餘的檢、糾錯信息均勻分布在所有磁碟上,而數據仍以大小可變的塊以交叉方式存於各盤。這類盤陣列可容許雙盤出錯。
8.RAID7(7級盤陣列)
RAID7是在RAID6的基礎上,採用了cache技術,它使得傳輸率和響應速度都有較大的提高。Cache是一種高速緩沖存儲器,即數據在寫入磁碟陣列以前,先寫入cache中。一般採用cache分塊大小和磁碟陣列中數據分塊大小相同,即一塊cache分塊對應一塊磁碟分塊。在寫入時將數據分別寫入兩個獨立的cache,這樣即使其中有一個cache出故障,數據也不會丟失。寫操作將直接在cache級響應,然後再轉到磁碟陣列。數據從cache寫到磁碟陣列時,同一磁軌的數據將在一次操作中完成,避免了不少塊數據多次寫的問題,提高了速度。在讀出時,主機也是直接從cache中讀出,而不是從陣列盤上讀取,減少與磁碟讀操作次數,這樣比較充分地利用了磁碟帶寬。
這樣cache和磁碟陣列技術的結合,彌補了磁碟陣列的不足(如分塊寫請求響應差等缺陷),從而使整個系統以高效、快速、大容量、高可靠以及靈活、方便的存儲系統提供給用戶,從而滿足了當前的技術發展的需要,尤其是多媒體系統的需要。
解析磁碟陣列的關鍵技術
存儲技術在計算機技術中受到廣泛關注,伺服器存儲技術更是業界關心的熱點。一談到伺服器存儲技術,人們幾乎立刻與SCSI(Small Computer Systems Interface)技術聯系在一起。盡管廉價的IDE硬碟在性能、容量等關鍵技術指標上已經大大地提高,可以滿足甚至超過原有的伺服器存儲設備的需求。但由於Internet的普及與高速發展,網路伺服器的規模也變得越來越大。同時,Internet不僅對網路伺服器本身,也對伺服器存儲技術提出了苛刻要求。無止境的市場需求促使伺服器存儲技術飛速發展。而磁碟陣列是伺服器存儲技術中比較成熟的一種,也是在市場上比較多見的大容量外設之一。
在高端,傳統的存儲模式無論在規模上,還是安全上,或是性能上,都無法滿足特殊應用日益膨脹的存儲需求。諸如存儲區域網(SAN)等新的技術或應用方案不斷涌現,新的存儲體系結構和解決方案層出不窮,伺服器存儲技術由直接連接存儲(DAS)向存儲網路技術(NAS)方面擴展。在中低端,隨著硬體技術的不斷發展,在強大市場需求的推動下,本地化的、基於直接連接的磁碟陣列存儲技術,在速度、性能、存儲能力等方面不斷地邁上新台階。並且,為了滿足用戶對存儲數據的安全、存取速度和超大的存儲容量的需求,磁碟陣列存儲技術也從講求技術創新、重視系統優化,以技術方案為主導的技術推動期逐漸進入了強調工業標准、著眼市場規模,以成熟產品為主導的產品普及期。
回顧磁碟陣列的發展歷程,一直和SCSI技術的發展緊密關聯,一些廠商推出的專有技術,如IBM的SSA(Serial Storage Architecture)技術等,由於兼容性和升級能力不盡如人意,在市場上的影響都遠不及SCSI技術廣泛。由於SCSI技術兼容性好,市場需求旺盛,使得SCSI技術發展很快。從最原始5MB/s傳輸速度的SCSI-1,一直發展到現在LVD介面的160MB/s傳輸速度的Ultra 160 SCSI,320MB/s傳輸速度的Ultra 320 SCSI介面也將在2001年出現(見表1)。從當前市場看,Ultra 3 SCSI技術和RAID(Rendant Array of Inexpensive Disks)技術還應是磁碟陣列存儲的主流技術。
SCSI技術
SCSI本身是為小型機(區別於微機而言)定製的存儲介面,SCSI協議的Version 1 版本也僅規定了5MB/s傳輸速度的SCSI-1的匯流排類型、介面定義、電纜規格等技術標准。隨著技術的發展,SCSI協議的Version 2版本作了較大修訂,遵循SCSI-2協議的16位數據帶寬,高主頻的SCSI存儲設備陸續出現並成為市場的主流產品,也使得SCSI技術牢牢地佔據了伺服器的存儲市場。SCSI-3協議則增加了能滿足特殊設備協議所需要的命令集,使得SCSI協議既適應傳統的並行傳輸設備,又能適應最新出現的一些串列設備的通訊需要,如光纖通道協議(FCP)、串列存儲協議(SSP)、串列匯流排協議等。漸漸地,「小型機」的概念開始弱化,「高性能計算機」和「伺服器」的概念在人們的心目中得到強化,SCSI一度成為用戶從硬體上來區分「伺服器」和PC機的一種標准。
通常情況下,用戶對SCSI匯流排的關心放在硬體上,不同的SCSI的工作模式意味著有不同的最大傳輸速度。如40MB/s的Ultra SCSI、160MB/s的Ultra 3 SCSI等等。但最大傳輸速度並不代表設備正常工作時所能達到的平均訪問速度,也不意味著不同SCSI工作模式之間的訪問速度存在著必然的「倍數」關系。SCSI控制器的實際訪問速度與SCSI硬碟型號、技術參數,以及傳輸電纜長度、抗干擾能力等因素關系密切。提高SCSI匯流排效率必須關注SCSI設備端的配置和傳輸線纜的規范和質量。可以看出,Ultra 3模式下獲得的實際訪問速度還不到Ultra Wide模式下實際訪問速度的2倍。
一般說來,選用高速的SCSI硬碟、適當增加SCSI通道上連接硬碟數、優化應用對磁碟數據的訪問方式等,可以大幅度提高SCSI匯流排的實際傳輸速度。尤其需要說明的是,在同樣條件下,不同的磁碟訪問方式下獲得的SCSI匯流排實際傳輸速度可以相差幾十倍,對應用的優化是獲得高速存儲訪問時必須關注的重點,而這卻常常被一些用戶所忽視。按4KB數據塊隨機訪問6塊SCSI硬碟時,SCSI匯流排的實際訪問速度為2.74MB/s,SCSI匯流排的工作效率僅為匯流排帶寬的1.7%;在完全不變的條件下,按256KB的數據塊對硬碟進行順序讀寫,SCSI匯流排的實際訪問速度為141.2MB/s,SCSI匯流排的工作效率高達匯流排帶寬的88%。
隨著傳輸速度的提高,信號傳輸過程中的信號衰減和干擾問題顯得越來越突出,終結器在一定程度上可以起到降低信號波反射,改善信號質量的作用。同時,LVD(Low-Voltage Differential)技術的應用也越來越多。LVD工作模式是和SE(Single-Ended)模式相對應的,它可以很好地抵抗傳輸干擾,延長信號的傳輸距離。同時,Ultra 2 SCSI和Ultra 3 SCSI模式也通過採用專用的雙絞型SCSI電纜來提高信號傳輸的質量。
在磁碟陣列的概念中,大容量硬碟並不是指單個硬碟容量大,而是指將單個硬碟通過RAID技術,按RAID 級別組合成更大容量的硬碟。所以在磁碟陣列技術中,RAID技術是比較關鍵的,同時,根據所選用的RAID級別的不同,得到的「大硬碟」的功能也有不同。
RAID是一項非常成熟的技術,但由於其價格比較昂貴,配置也不方便,缺少相對專業的技術人員,所以應用並不十分普及。據統計,全世界75%的伺服器系統目前沒有配置RAID。由於伺服器存儲需求對數據安全性、擴展性等方面的要求越來越高,RAID市場的開發潛力巨大。RAID技術是一種工業標准,各廠商對RAID級別的定義也不盡相同。目前對RAID級別的定義可以獲得業界廣泛認同的只有4種,RAID 0、RAID 1、RAID 0+1和RAID 5。
RAID 0是無數據冗餘的存儲空間條帶化,具有低成本、極高讀寫性能、高存儲空間利用率的RAID級別,適用於Video / Audio信號存儲、臨時文件的轉儲等對速度要求極其嚴格的特殊應用。但由於沒有數據冗餘,其安全性大大降低,構成陣列的任何一塊硬碟損壞都將帶來數據災難性的損失。所以,在RAID 0中配置4塊以上的硬碟,對於一般應用來說是不明智的。
RAID 1是兩塊硬碟數據完全鏡像,安全性好,技術簡單,管理方便,讀寫性能均好。但其無法擴展(單塊硬碟容量),數據空間浪費大,嚴格意義上說,不應稱之為「陣列」。
RAID 0+1綜合了RAID 0和RAID 1的特點,獨立磁碟配置成RAID 0,兩套完整的RAID 0互相鏡像。它的讀寫性能出色,安全性高,但構建陣列的成本投入大,數據空間利用率低,不能稱之為經濟高效的方案。
RAID 5是目前應用最廣泛的RAID技術。各塊獨立硬碟進行條帶化分割,相同的條帶區進行奇偶校驗(異或運算),校驗數據平均分布在每塊硬碟上。以n塊硬碟構建的RAID 5陣列可以有n-1塊硬碟的容量,存儲空間利用率非常高(見圖6)。任何一塊硬碟上數據丟失,均可以通過校驗數據推算出來。它和RAID 3最大的區別在於校驗數據是否平均分布到各塊硬碟上。RAID 5具有數據安全、讀寫速度快,空間利用率高等優點,應用非常廣泛,但不足之處是1塊硬碟出現故障以後,整個系統的性能大大降低。
對於RAID 1、RAID 0+1、RAID 5陣列,配合熱插拔(也稱熱可替換)技術,可以實現數據的在線恢復,即當RAID陣列中的任何一塊硬碟損壞時,不需要用戶關機或停止應用服務,就可以更換故障硬碟,修復系統,恢復數據,對實現HA(High Availability)高可用系統具有重要意義。
各廠商還在不斷推出各種RAID級別和標准。例如更高安全性的,從RAID控制器開始鏡像的RAID;更快讀寫速度的,為構成RAID的每塊硬碟配置CPU和Cache的RAID等等,但都不普及。用IDE硬碟構建RAID的技術是新出現的一個技術方向,對市場影響也較大,其突出優點就是構建RAID陣列非常廉價。目前IDE RAID可以支持RAID 0、RAID 1和RAID 0+1三個級別,最多支持4塊IDE硬碟。由於受IDE設備擴展性的限制,同時,也由於IDE設備也缺乏熱可替換的技術支持的原因,IDE RAID的應用還不多。
總之,發展是永恆的主題,在伺服器存儲技術領域也不例外。一方面,一些巨頭廠商嘗試推出新的概念或標准,來領導伺服器及存儲技術的發展方向,較有代表性的如Intel力推的IA-64架構及存儲概念;另一方面,致力於存儲的專業廠商以現有技術和工業標准為基礎,推動SCSI、RAID、Fibre Channel等基於現有存儲技術和方案快速更新和發展。在市場經濟條件下,檢驗技術發展的唯一標準是市場的認同。市場呼喚好的技術,而新的技術必須起到推動市場向前發展作用時才能被廣泛接受和承認。隨著高性能計算機市場的發展,高性能比、高可靠性、高安全性的存儲新技術也會不斷涌現。
現在市場上的磁碟陣列產品有很多,用戶在選擇磁碟陣列產品的過程中,也要根據自己的需求來進行選擇,現在列舉幾個磁碟陣列產品,同時也為需要磁碟陣列產品的用戶提供一些選擇。表2列出了幾種磁碟陣列的主要技術指標。

㈢ 伺服器百問百答:伺服器的磁碟陣列技術是什麼

RAID磁碟陣列介紹

RAID,為Rendant Arrays of Independent Disks的簡稱,中文為廉價冗餘磁碟陣列。在1987年由美國柏克萊大學提出
RAID(Rendant Arrayof Inexpensive Disks)理論,作為高性能的存儲系統,巳經得到了越來越廣泛的應用。RAID的級別
從RAID概念的提出到現在,巳經發展了多個級別,有明確標准級別分別是0、1、2、3、4、5等。但是最常用的是0、1、3、5四
個級別。其他還有6、7、10、30、50等。RAID為使用者降低了成本、增加了執行效率,並提供了系統運行的穩定性。

RAID 磁碟陣列簡單的碼神解釋,就是將多台硬碟透過RAID Controller(分Hardware,Software )結合成虛擬單台大容量的硬
盤使用,其特色是多台硬碟同時讀取速度加快及提供容錯性Fault Tolerant,所以RAID是當成平時主要訪問Dat
a的Storage不是Backup Solution。

在RAID磁碟陣列有一基本概念稱為EDAP ( Extended Data Availability and Protection ) ,其強調擴充性及容錯機制
, 也是各家廠商如: Mylex,IBM,HP,Compaq,Adaptec, Infortrend等訴求的重點,包括在不須停機情況下可處理 以下動
作:
RAID 磁碟陣列支持自動檢測故障硬碟。
RAID 磁碟陣列支持重建硬碟壞軌的資料。
RAID 磁碟陣列支持不須停機的硬碟備援 Hot Spare。
RAID 磁碟陣列支持不須停機的硬碟替換 Hot Swap。
RAID 磁碟陣列支持擴充硬碟容量等。

該站正在升級中滲模攔,不便之處請諒解
RAID磁碟陣列級別
NRAID:
硬碟連續使用。NRAID意思是不使用RAID功能。它使用硬碟的總容量組成邏輯碟(不使用條塊讀寫)。換句話說,它
生成的邏輯碟容量就是物理碟容量的總和。此外,NRAID不提供資料的備余。
JBOD:
JBOD的含意是控制器將機器上每顆硬碟都當作單獨的硬碟處理,因此每顆硬碟都被當作單顆獨立的邏輯碟使用。此
外,JBOD並不提供資料備余的功能。
RAID0:RAID0 - Disk Stripping without parity (常用)
又稱數據分塊,即把數據分成若干相等大小的小塊,並把它們寫到陣列上不同的硬碟上,這種技術又稱「Stripping」
(即將數據條帶化),這種把數據分布在多個盤上,在讀寫時是以並行的方式對各硬碟同時進行操作。從理論上講,其容量和
數據傳輸率是單個硬碟的N倍。N為構成RAID0的硬碟總數。當然,若陣列控制器有多個硬碟通道時,對多個通道上的硬碟進行
RAID0操作,I/O性能會更高。因此常用於圖象,視頻等領域,RAID0 I/O傳輸率較高,但平均故障時間MTTF只有單盤的N分之
一,因此RAID0可靠性最差。
RAID1:RAID 1 - Disk Mirroring(較常用)
又稱鏡像。即每個工作盤都有一個鏡像盤,每次寫數據時必須同時寫入鏡像盤,讀數據時只從工作盤讀出,一旦工作盤
發生故障立即轉入鏡像盤,從鏡像盤中讀出數據。當更換故障盤後,數據可以重構,恢復工作盤正確數據,這種陣列可靠性很
高,但其有效容量減小到總容量一半以下,因此RAID1常用於對容錯要求極嚴的應用場合,如財政、金融等領域。
RAID (0+1):
結合了RAID0和RAID 1 —條塊化讀寫的同時使用鏡像操作。RAID (0+1)允許多個硬碟損壞,因為它完全使用硬碟
來實現資料備余。如果有超過兩個硬碟做RAID 1,系統會自動實現RAID (0+1)。
RAID2:
又稱位交叉,它採用漢明碼作盤錯校驗,採用按位交叉存取,運用於大數據的讀寫,但冗餘信息開銷太大(校驗盤為
多個),已被淘汰。
RAID3:RAID 3 - Parallel Disk Array
為單盤容錯並行傳輸。即採用Stripping技術將數據分塊,對這些塊進行異或校驗,校驗數據寫到最後一個硬碟上。它
的特點是有一個盤為校驗盤,數據以位或位元組的方式存於各盤(分散記錄在組內相同扇區的各個硬碟上)。當一個硬碟發生故
障,除故障盤外,寫操作將繼續對數據盤和校驗盤進行操作。而讀操作是通過對叢胡剩餘數據盤和校驗盤的異或計算重構故障盤上
應有的數據來進行的。RAID3的優點是並行I/O傳輸和單盤容錯,具有很高可靠性。缺點:每次讀寫要牽動整個組,每次只能完
成一次I/O。
RAID4:
與RAID3相似,區別是:RAID3是按位或位元組交叉存取,而RAID4是按塊(扇區)存取,可以單獨地對某個盤進行操作,
無須像RAID3那樣,哪怕每一次小I/O操作也要涉及全組,只需涉及組中兩塊硬碟(一塊數據盤,一塊校驗盤)即可,從而提高
了小量數據I/O速度。缺點:對於隨機分散的小數據量I/O,固定的校驗盤又成為I/O瓶頸,例如:事務處理。作兩個很小的寫
操作,一個寫在drive2的stripe1 上,一個寫在drive3的stripe2上,它們都要往校驗盤上寫,所以發生爭用校驗盤的問題。
RAID5:RAID 5 - Striping with floating parity drive(最常用)
是一種旋轉奇偶校驗獨立存取的陣列方式,它與RAID3,RAID4不同的是沒有固定的校驗盤,而是按某種規則把奇偶校
驗信息均勻地分布在陣列所屬的硬碟上,所以在每塊硬碟上,既有數據信息也有校驗信息。這一改變解決了爭用校驗盤的問
題,使得在同一組內並發進行多個寫操作。所以RAID5即適用於大數據量的操作,也適用於各種事務處理,它是一種快速、大
容量和容錯分布合理的磁碟陣列。當有N塊陣列盤時,用戶空間為N-1塊盤容量。 RAID3、RAID5中,在一塊硬碟發生故障後,
RAID組從ONLINE變為DEGRADED方式,但I/O讀寫不受影響,直到故障盤恢復。但如果DEGRADED狀態下,又有第二塊盤故障,整
個RAID組的數據將丟失。

㈣ 海量空間數據存儲

(一)空間數據存儲技術

隨著地理信息系統的發展,空間資料庫技術也得到了很大的發展,並出現了很多新的空間資料庫技術(黃釗等,2003),其中應用最廣的就是用關系資料庫管理系統(RDBMS)來管理空間數據。

用關系資料庫管理系統來管理空間數據,主要解決存儲在關系資料庫中的空間數據與應用程序之間的數據介面問題,即空間資料庫引擎(SpatialDatabase Engine)(熊麗華等,2004)。更確切地說,空間資料庫技術是解決空間數據對象中幾何屬性在關系資料庫中的存取問題,其主要任務是:

(1)用關系資料庫存儲管理空間數據;

(2)從資料庫中讀取空間數據,並轉換為GIS應用程序能夠接收和使用的格式;

(3)將GIS應用程序中的空間數據導入資料庫,交給關系資料庫管理。

空間資料庫中數據存儲主要有三種模式:拓撲關系數據存儲模式、Oracle Spatial模式和ArcSDE模式。拓撲關系數據存儲模式將空間數據存在文件中,而將屬性數據存在資料庫系統中,二者以一個關鍵字相連。這樣分離存儲的方式由於存在數據的管理和維護困難、數據訪問速度慢、多用戶數據並發共享沖突等問題而不適用於大型空間資料庫的建設。而OracleSpatial實際上只是在原來的資料庫模型上進行了空間數據模型的擴展,實現的是「點、線、面」等簡單要素的存儲和檢索,所以它並不能存儲數據之間復雜的拓撲關系,也不能建立一個空間幾何網路。ArcSDE解決了這些問題,並利用空間索引機制來提高查詢速度,利用長事務和版本機制來實現多用戶同時操縱同一類型數據,利用特殊的表結構來實現空間數據和屬性數據的無縫集成等(熊麗華等,2004)。

ArcSDE是ESRI公司開發的一個中間件產品,所謂中間件是一個軟體,它允許應用元素通過網路連接進行互操作,屏蔽其下的通訊協議、系統結構、操作系統、資料庫和其他應用服務。中間件位於客戶機/伺服器的操作系統之上,管理計算資源和網路通訊,並營造出一個相對穩定的高層應用環境,使開發人員可以集中精力於系統的上層開發,而不用過多考慮系統分布式環境下的移植性和通訊能力。因此,中間件能無縫地連入應用開發環境中,應用程序可以很容易地定位和共享中間件提供的應用邏輯和數據,易於系統集成。在分布式的網路環境下,客戶端的應用程序如果要訪問網路上某個伺服器的信息,而伺服器可能運行在不同於客戶端的操作系統和資料庫系統中。此時,客戶機的應用程序中負責尋找數據的部分只需要訪問一個數據訪問中間件,由該中間件完成網路中數據或服務的查找,然後將查找的信息返回給客戶端(萬定生等,2003)。因此,本系統實現空間資料庫存儲的基本思想就是利用ArcSDE實現各類空間數據的存儲。

目前,空間數據存儲技術已比較成熟,出現了許多類似ArcSDE功能的中間件產品,這些軟體基本上都能實現空間數據的資料庫存儲與管理,但對於海量空間數據的存儲,各種軟體性能差別較大。隨著數據量的增長,計算機在分析處理上會產生很多問題,比如數據不可能一次完全被讀入計算機的內存中進行處理。單純依賴於硬體技術,並不能滿足持續增長的數據的處理要求。因此需要在軟體上找到處理海量數據的策略,並最終通過軟硬體的結合完成對海量數據的處理。在海量數據存儲問題上,許多專家從不同側面進行過研究,Lindstrom在地形簡化中使用了外存模型(Out-of-core)技術;鍾正採用了基於數據分塊、動態調用的策略;汪國平等人在研究使用高速網路進行三維海量地形數據的實時交互瀏覽中,採用了分塊、多解析度模板建立模型等方法。這些技術、方法已經在各自系統上進行了研究和實現。本系統採用的ArcSDE軟體基本上也是採用分塊模型的方法,具體存儲和操作不需要用戶過多了解,已經由ArcSDE軟體實現。因此,對海量數據的存儲管理,更需要從數據的組織方式等方面進行設計。塔里木河流域生態環境動態監測系統採集了大量的遙感影像、正射影像等柵格結構的數據,這些數據具有很大的數據量,為適應流域空間基礎設施的管理需要,採取一種新的方式來管理、分發這些海量數據以適應各部門的快速瀏覽和管理需要。

(二)影像金字塔結構

影像資料庫的組織是影像資料庫效率的關鍵,為了獲得高效率的存取速度,在數據的組織上使用了金字塔數據結構和網格分塊數據結構。該技術主導思想如下:

(1)將資料庫中使用到的紋理處理成為大小一致的紋理塊;

(2)為每塊紋理生成5個細節等級的紋理,分別為0、1、2、3、4,其中1級紋理通過0級紋理1/4壓縮得到,2級紋理通過1級紋理1/4壓縮得到,…,以此類推;

(3)在顯示每個塊數據之前,根據顯示比例的大小,並以此決定該使用那一級的紋理;

(4)在內存中建立紋理緩沖池,使用LRU演算法進行紋理塊的調度,確保使用頻率高的紋理調度次數盡可能少。

(三)影像數據壓縮

影像數據壓縮有無損壓縮和有損壓縮兩個方法,具體採取哪種壓縮方法需根據具體情況確定。對於像元值很重要的數據,如分類數據、分析數據等採用無損壓縮(即LZ77演算法),否則採用有損壓縮(即JPEG演算法)。通過對影像數據的壓縮,一方面可以節約存儲空間,另一方面可以加快影像的讀取和顯示速度。影像數據的壓縮一般與構建金字塔同時進行,在構建影像金字塔過程中自動完成數據的壓縮。

㈤ 網路操作系統與網路結構

網路操作系統與網路結構

操作系統概述

單機操作系統l作為計算機和用戶之間的介面,是為用戶提供計算機資源的手段;由一些程序模塊組成,管理和控制計算機系統中的硬體及軟體資源;

合理地組織計算機工作流程,以便有效地利用這些資源為用戶提供一個功能強、使用方便的工作環境;

只為本地用戶服務,不能滿足網路環境的要求;網路操作系統l網路操作系統l屏蔽本地資源與網路資源的差異;

作為網路用戶和計算機網路的介面;

管理計算機的硬體和軟體資源,如網卡、網路列印機、大容量外存等;

為用戶提供文件共享、列印共享等各種網路服務;

完成網路的共享資源管理、網路的安全管理;

網路操作系統的定義:「利用區域網底層所提供的數據傳輸功能,為網路用戶提供區域網共享資源管理服務和其他網路服務功能的區域網系統軟體」;網路操作系統的特徵 l與硬體無關l廣域網連接l支持多客戶端和多用戶l網路管理l系統容錯l安全性和存取控制網路操作系統的服務功能l文件服務l列印服務l資料庫服務l通信服務

信息服務

目錄服務

網路管理服務Internet/Intranet服務網路系統的結構及相關概念

計算機網路有兩種基本的網路結構類型:對等網路;基於伺服器的網路;

從資源的分配和管理的角度來看,對等網路和基於伺服器的網路最大的差異就在於共享網路資源是分散到網路的所有計算機上,還是使用集中的網路伺服器。

l對等網路採用分散管理的結構;基於伺服器的網路採用集中管理的結構。對等網路 l網路上的計算機平等地進行通信。每一台計算機都負責提供自己的資源(文件、目錄、應用程序、列印機、數據機或傳真卡等),供網路上的其他計算機使用。

每一台計算機還負責維護自己資源的安全性。

對等網路的優點 l對等網路的結構簡單,網路中對硬體的需求比較低。由於對等網路中的資源被分布到許多計算機中,因此不需要高端伺服器,節省了網路成本。針對網路用戶較少的網路,對等網路很容易安裝和管理。

每一台機器都可以對本機的資源進行管理,如設置網路上其他用戶可以訪問的本地資源,以及設置訪問密碼等。管理網路的工作人員被分配給每台計算機的用戶。

對等網路並不需要使用網路操作系統,只要每台計算機安裝有支持對等連網功能的操作系統,就可以實現對等網路。

支持對等網路的操作系統有Windows 95/98、Windows NT Workstation/2000 Professional等。

對等網路的缺點

用戶計算機的性能會受影響

網路的安全性無法保證

備份困難基於伺服器的網路

使用一台高性能的計算機(伺服器)用於存儲共享資源,並向用戶計算機分發文件和信息。

網路資源由伺服器集中管理,伺服器控制數據、列印機以及客戶機需要訪問的其他資源,當客戶機或工作站需要使用共享資源時,可以向伺服器發出請求,要求伺服器提供服務。基於伺服器網路的優點

易於實現資源的管理和備份l具有良好的安全性

l具有較好的性能l可靠性較高網路伺服器的種類 l

文件伺服器l文件伺服器主要提供共享的硬碟來存儲數據和應用程序,以便向客戶機分發這些資源。當一台客戶機需要使用文件伺服器上的資源時,客戶機首先將所需的文件復制到客戶機本地,然後再對這些資源進行處理。在伺服器上,不進行應用程序的處理,所有任務都在客戶機本地進行。

應用伺服器l在客戶機和應用伺服器上都運行有應用程序。客戶機運行本地的程序,向伺服器發出服務請求,要求伺服器對某個數據進行處理,而伺服器會將處理後的信息返送給客戶機。通過這種方法,客戶機幾乎不處理信息,所有任務都由伺服器處理。

資料庫伺服器: 其他類型的伺服器;

郵件伺服器。

郵件伺服器專為處理客戶機的電子郵件需要而建立,為客戶機提供發送和接收電子郵件的環境。Web伺服器Web伺服器廣泛應用於Internet和Intranet,用戶通過客戶機上的瀏覽器應用程序,瀏覽Web伺服器上的信息。

通信伺服器

通信伺服器為處理遠程用戶撥號入網而建立。為安全起見,通信伺服器應用程序通常放置在單獨的伺服器上。

視頻伺服器l視頻伺服器可以提供視頻點播業務,同時支持多個視頻流的單播或廣播。伺服器技術

多處理器技術

匯流排能力

內存

磁碟介面技術

容錯技術

磁碟陣列技術

熱插撥技術

雙機熱備份

伺服器狀態監視多處理器技術

l中央處理器(CPU)是決定伺服器性能好壞的重要因素之一。雖然伺服器對其他組件的性能要求也很高,但處理器對於決定伺服器的性能仍然是很重要的。伺服器可以使用一個處理器或多個處理器運行l多處理器技術的類型l非對稱多處理器AMP;

對稱多處理器SMP;

對多處理器的選擇l根據使用的網路操作系統;l根據伺服器所完成的功能;lCPU的種類Intel、AMD、Cyrix等匯流排和內存l伺服器需要內部的高速匯流排來完成各種任務。l匯流排是計算機系統中的數據傳送的「主幹線路」,CPU、內存和其他的設備組件都連接到匯流排上。在某一時刻,伺服器可能將大量的數據從磁碟傳送到網卡、處理器、系統內存,並在處理完數據後將其傳送回磁碟。

內存分為三種l非奇偶校驗RAMl奇偶校驗RAMl帶有錯誤檢查和更正(ECC)的RAM 磁碟介面技術 l計算機系統基本上採用兩種硬碟介面,即EIDE(Enhanced Integrated Drive Electronics)和SCSI(Small Computer Systems Interface)。

SCSI系列標准:

SCSI-1

SCSI-1是最基本的SCSI技術規范,它使用8位的數據帶寬,以大約5Mbps的速度將數據讀出或寫入硬碟。由於SCSI技術的不斷發展,使得SCSI-1基本上不再使用了。

SCSI-2

SCSI-2擴展了SCSI技術規范,而且向SCSI添加了許多特性,還允許更快的SCSI連接。另外,SCSI-2 大大提高了不同SCSI設備製造商之間的SCSI兼容性。lFAST-SCSIlFAST-SCSI使用了基本的SCSI-2技術規范,將SCSI匯流排的數據傳輸速度從5Mbps增加到10Mbps。FAST-SCSI也被稱為「Fast NARROW-SCSI」。磁碟介面技術lSCSI系列標准lWIDE-SCSIlWIDE-SCSI也是基於SCSI-2的技術,WIDE-SCSI將SCSI-2從8位增加到16位或32位的數據帶寬。使用16位的WIDE-SCSI最高可以達到20Mbps。

Ultra-SCSIlUltra-SCSI也被稱為「SCSI-3」,它將SCSI匯流排的數據傳輸速度增加到20Mbps。使用8位的匯流排時,Ultra-SCSI可以達到20Mbps的速度。使用16位匯流排時,速度可以提高到40Mbps。

Ultra2-SCSI

Ultra2-SCSI是SCSI標準的另一個發展,Ultra2-SCSI 使Ultra-SCSI 性能再次提高。Ultra2-SCSI 系統使用16位的匯流排,速度可達到80Mbps。

Ultra3-SCSIlUltra3-SCSI使得Ultra2-SCSI 的性能再一次提高,達到了160Mbps的速度。SCSI系列標准l容錯是指在硬體或軟體出現故障時,仍能完成處理和運算,不降低系統性能,即用冗餘的資源使計算機具有容忍故障的能力,容錯技術可分為:

軟體容錯 採用多處理器和具有容錯功能的操作系統來實現容錯。

硬體容錯 由於硬體成本不斷下降,而軟體成本不斷升高,因此硬體容錯技術的應用越來越普遍。

硬體容錯系統應具有的特性為:

使用雙匯流排體系結構,確保系統的某一部分發生故障時仍能運行,不降低系統性能;l冗餘CPU、內存、通信子系統、磁碟、電源等,確保這些關鍵部件的可靠性;

自動故障檢測,以及故障部件的隔離和更換。磁碟陣列技術

磁碟陣列(Disk Array)是由一個硬碟控制器來控制多個硬碟的相互連接,使多個硬碟的讀寫同步,以減少錯誤,提高效率和可靠性的技術。

lRAID(Rendant Array of Inexpensive Disks)表示的是廉價磁碟冗餘陣列,是磁碟陣列技術標准,RAID採用冗餘的硬碟來對信息進行冗餘保存,從而提高磁碟系統的可靠性。如果某個硬碟發生故障,則可以通過保存在其他硬碟上的冗餘信息恢復故障硬碟的信息。 RAID技術1.RAID 0 oRAID 0採用數據分割技術,將所有硬碟構成一個磁碟陣列,可以同時對多個硬碟進行讀寫操作;oRAID 0陣列將數據分成多個數據塊,並將數據分塊分布在兩個或更多的硬碟上。 oRAID 0陣列中的一個驅動器出錯將會導致所有硬碟上的數據全部丟失,因此可靠性最差。 RAID技術2.RAID 1 oRAID 1不採用將數據分塊存儲在多個硬碟上的方法,而是採用磁碟鏡像技術。o使用兩個硬碟,並且將一個硬碟的內容同步復制到另一個硬碟上。如果其中一個硬碟出現故障,另一個硬碟將繼續正常工作。 oRAID 1的可靠性較高,但硬碟的使用效率較低。 RAID技術3.RAID 3oRAID 3採用數據交錯存儲技術。RAID 3在多個數據磁碟上分塊分布數據,然後對各個數據磁碟上存儲的所有數據使用異或操作,以產生一個校驗數據(ECC數據),並將這個數據存儲到一個校驗硬碟(ECC硬碟)。如果其中一個存儲數據的硬碟發生故障,導致數據出錯或丟失,那麼RAID 3先讀出其餘硬碟上的數據,再讀出ECC硬碟上的校驗數據,就可以恢復出錯或丟失的數據。 RAID技術4.RAID 5oRAID 5對RAID3技術進行了改進,除了保持分塊存儲數據的功能外,RAID 5將校驗數據存放在所有的硬碟中。oRAID 5的優點是不必依賴一個ECC驅動器來進行所有寫操作,所有硬碟都共享ECC工作,因此RAlD 5的性能要比RAID 3稍高一些,如果任何一個硬碟出現故障,可以將其替換,且數據也能夠恢復。oRAID5能夠將三至三十二個硬碟組合到一個陣列中。其他伺服器技術

熱插撥技術

大多數伺服器都支持熱插撥技術的組件(熱插撥硬碟、熱插撥電源和熱插撥風扇等),它們可以在系統保持運行的同時被替換。l雙機熱備份l

雙機熱備份是指在系統使用兩台或多台伺服器,其中一台主用,另外一台備用,而且這些伺服器都處於正常運行狀態,如果主用伺服器發生故障,則可自動啟動備用伺服器。

伺服器狀態監視 l大多數伺服器可以監視內部組件,並預先發出可能會出現問題的警告。高端的伺服器通常可以監視以下情況:

風扇的轉動、系統電壓、內存錯誤、磁碟錯誤、內部溫度、機箱被打開等。典型的網路操作系統

早期的網路操作系統具有簡單的文件服務和某些安全性特性。隨著用戶要求的增加,現代網路操作系統提供了更為廣泛的服務。

目前,常用的網路操作系統有:Novell 公司的NetWare;

Microsoft的Windows NT/2000;l帶有網路功能的UNIX。

Windows NT和Windows 2000

1983年11月,Microsoft第一個Windows產品——Windows 1.0;l1987年12月,Windows 2.0,其在技術上已有了明顯的進步,允許同時執行多個程序,利用微處理器中的保護模式,突破了DOS中的640KB內存的限制 ;l1990年5月,Windows 3.0,對Windows 2.0進行了改進;

1992年5月,工作組網路Windows for Workgroup 3.1;Windows NT和Windows 2000l1993年5月,Windows NT 3.1,與DOS脫離,採用了很多新技術,但對硬體資源要求較高; l1994年9月,Windows NT 3.5,對NT 3.1進行了改進,降低了對硬體資源的要求,增加了與UNIX和NetWare等的連接和集成;

1996年7月,Windows NT 4.0,在性能、易用性與可管理性以及支持Internet/Intranet方面,有了重大的改進;

2000年,Windows 2000,適用於個人和企業對操作系統的各種需要;

2001年,Window XP。Windows NT的特性 l體系結構的獨立性;

多處理器支持;

多線程的多任務;

大量的內存空間;

集中化的用戶環境文件;

遠程訪問服務;

基於域和工作組的管理功能;

容錯與多驅動器陣列(RAID)支持;Windows 2000 產品系列 lWindows 2000 ProfessionallWindows 2000 Professional是Microsoft在Windows NT Workstation 4.0基礎上發展起來的客戶端的操作系統,不僅繼承了NT Workstation 4.0的穩定性和可靠性等優點,而且還擁有了更好的用戶界面、支持即插即用、管理起來也更加方便,而且具有更高級別的安全性和更好的性能。Windows 2000產品系列lWindows 2000 Serverl用來支持文件和列印、應用程序、Web以及通信服務功能的多任務操作系統。

提供可擴展、基於Internet標准、與操作系統緊密結合的活動目錄服務,方便了網路資源的管理和查找。

提供了Web和Internet服務,為客戶在商業上採用Web技術提供了便利條件,它能適應從簡單的Web站點到Web應用及視頻點播等流媒體服務的各種需要。l支持4GB的物理內存和兩路SMP對稱多處理系統,並包含了活動目錄、COM+、公共密鑰設施、智能鏡像(ntellimirror)和Terminal服務等特性,它適合於中小型規模企業作為應用分發、Web伺服器、工作組和分支辦公室的伺服器操作系統。Windows 2000產品系列lWindows 2000 Advanced Serverl部門和應用伺服器,比Windows 2000 Server提供了更多的網路功能和Internet服務;支持四路SMP和64GB物理內存;

集成了可伸縮集群服務,是資料庫應用、高可用集群和為大型系統和應用的可伸縮性提供負載平衡服務的理想平台。Windows 2000 Server產品系列lWindows 2000 Datacenter ServerlDatacenter Server是功能性最強的伺服器操作系統。l支持16路SMP和64GB的物理內存。lWindows 2000 Datacenter Server提供了集群和負載平衡服務兩個基本特徵服務,適合於大規模數據倉庫、計量經濟學分析、大規模科學和工程計算、事務處理、大規模的ISP等應用。 NetWare操作系統 lNetWare操作系統的發展起源於1981年,Novell公司首次提出了LAN文件伺服器的概念;

1983年,基於Motorola MC68000 (操作系統為CP/M)的網路操作系統Novell SHARE-NET。 1984年, NetWare 1.0,以MS-DOS為環境的網路操作系統。

1985年,Advanced NetWare 1.X,增加了多任務處理功能,完善了低層協議,並支持基於不同網卡的結點互連;

1986年,Advanced NetWare 2.0,擴充了虛擬內存工作方式,並且內存定址突破640KB;NetWare操作系統

1987年, NetWare 2.1,在Netware文件伺服器增加了系統容錯機制(SFT),包括熱修復、磁碟鏡像和磁碟雙工等特性;

1990年, NetWare 3.1,在網路整體性能、系統的可靠性、網路管理 和應用開發平台等方面予以增強;

1993年, NetWare 4.0,在3.11的基礎上,增加了目錄服務和磁碟文件壓縮功能,具有良好的可靠性、易用性、可縮放性和靈活性。

1998年9月,NetWare 5,更大程度地支持並加強了Internet/Intranet以及資料庫的應用與服務。

NetWare操作系統的結構 lIPX(Internet Packet eXchange)作為網路層的分組交換協議,提供分組定址和選擇路由功能,但不保證可靠到達,相當於數據報功能。IPX是Netware結構中關鍵部分,是工作站和文件伺服器相互通信的協議,是較高層SPX和NetBIOS的基礎。lSPX(Sequenced Packet eXchange)是NetWare的運輸層協議,它與TCP/IP協議組中的TCP協議類似,以面向連接的通信方式工作,向上提供簡單卻功能很強的服務。它可以保證信息流按序、可靠地傳送。NetWare操作系統的結構 oNetWare核心協議NCP(NetWare Core Protocol)在用戶發送請求給伺服器的遠端文件服務過程中執行。文件服務過程所產生的相應信息送回給用戶。在NCP的基礎上形成了文件和網路所有的服務。利用這些服務,可以構成各種功能的應用程序。NCP支持使用虛電路和數據報兩種網路應用接入介面。oNCP的主要功能是:服務連接維護、目錄維護、文件維護、數據訪問同步、保密庫維護、網路維護、列印維護、軟體拷貝保護、計費服務和隊列管理服務。

Netware的特點

具有多任務、多用戶的功能,工作站軟體所佔內存較小,支持多種區域網硬體,保護了已有硬體投資;NetWare使用開放性協議技術OPT(Open Protocol Technology),允許各種協議的結合,使各類工作站可與公共伺服器通信;NetWare高效的硬碟存取管理技術消除了伺服器的瓶頸。Netware文件伺服器具有五種安全性措施:注冊口令、受託者權、目錄權、文件屬性和文件伺服器安全性。這些安全性措施可以單獨使用,也可以混合使用。Netware的系統容錯技術

三級容錯l第一級針對硬碟表面介質出故障而設計,採用雙重目錄、文件夾、磁碟熱修復等;

第二級針對硬碟故障而設計,採用硬碟鏡像方法;

第三級提供文件伺服器鏡像的功能;

UNIX操作系統

UNIX不是網路操作系統,但由於它能支持通信功能,並提供一些大型伺服器的操作系統的功能,因此也可把它作為網路操作系統;

在20世紀80年代,UNIX是用於小型計算機的操作系統,以替代一些專用操作系統。在這些系統中,UNIX作為一種多用戶操作系統運行,應用軟體和數據集中在一起,經過不斷的發展,UNIX已成為可移植的操作系統,能運行在范圍廣闊的各種計算機上,包括大型主機和巨型計算機,從而大大擴大了應用范圍。 UNIX操作系統的結構
UNIX內核

UNIX內核的功能是完成底層與硬體相關的功能,控制著計算機的資源,並且將這些資源分配給正在計算機上運行的應用程序。

ShelllShell的作用是解釋來自用戶和應用的命令,使計算機資源的管理更加容易和高效。Shell程序與用戶進行交互,使用戶能夠運行程序、拷貝文件、登錄或退出系統以及完成一些其它的任務。Shell程序可以顯示簡單的命令行提示游標,或者顯示一個有圖標與窗口的圖形用戶界面(X-Windows)。Shell程序與在UNIX上運行的應用程序一起利用內核提供的服務,對文件與外圍設備進行管理。由於Shell程序與硬體無關,因此更容易移植,UNIX可具有多種 Shell。o實用程序與應用n實用程序處於Shell的外層,提供了大部分的可執行程序,而用戶的應用程序在實用程序之上。嚴格來講,實用程序和應用程序是屬於同一性質的,但實用程序大多是為了幫助操作系統執行作業以及幫助程序員開發軟體。由於UNIX具有很多的實用程序,使UNIX實際上成為和硬體獨立的操作系統,適用於開發范圍甚廣的各種應用。UNIX操作系統的結構 UNIX操作系統的功能特性

UNIX是一個多用戶、多任務操作系統;

UNIX具有良好的用戶界面;

UNIX的設備獨立性;l具有很好的可移植性;l可以直接支持網路功能;l可靠的系統安全。關於Linux操作系統

UNIX操作系統一個很大的缺點就是UNIX價格昂貴,Linux是一個自由軟體,它對各廠家的UNIX造成了巨大的沖擊。

Linux是一套免費使用和自由傳播的類UNIX操作系統,它主要用於基於Intel x86系列CPU的計算機上。這個系統是由全世界各地的成千上萬的程序員設計和實現的。其目的是建立不受任何商品化軟體的版權制約的、全世界都能自由使用的UNIX兼容產品。

㈥ 360安全雲盤

現在的360企業雲盤是改名叫做360安全雲盤了,它主要是為企業用戶提供雲文件管理服務,所以在安全性方面比關閉了的360雲盤是有了提高,數據安全更加有保障。360企業雲盤是採用分塊加密存儲技術來保障數據的安全,但是我更傾向於億方雲企業網盤,它除了分塊加密,還是碎片化存儲,文件在存儲過程中打碎成數以萬計的碎片分別存儲到不同的雲伺服器里,更不容易被泄露。

㈦ 一個文件如何被分塊存儲在磁碟上

數據存儲在硬碟的時候都以簇位單位簇的配置Windows9x/Me系統中常用的文件簇通常為FAT16或者FAT32格式比如一個256M的硬碟空間可以有數種配置簇的方式:簇大小=4KB:256MB/4KB=655356個簇簇大小=8KB:256MB/8KB=32768個簇簇大小=16KB:256MB/16KB=16384個簇簇大小=32KB:256MB/32KB=8192個簇對於WindowsNT/2000/XP特有的NTFS文件系統來說,雖然也是採用簇方式來存儲數據,但它卻和FAT16/FAT32有著明顯的不同。當分區空間大於2GB的時候,無論硬碟有多大,簇的大小一律維持在4KB。由於簇容量小,所以無論存儲何種類型的文件都不會浪費太多的硬碟空間,這也使得整個硬碟的空間利用率得到了極大的提高。

㈧ 什麼是資料庫分表技術

1 基本思想之什麼是分庫分表?
從字面上簡單理解,就是把原本存儲於一個庫的數據分塊存儲到多個庫上,把原本存儲於一個表的數據分塊存儲到多個表上。
2 基本思想之為什麼要分庫分表?

資料庫中的數據量不一定是可控的,在未進行分庫分表的情況下,隨著時間和業務的發展,庫中的表會越來越多,表中的數據量也會越來越大,相應地,數據操作,增刪改查的開銷也會越來越大;另外,由於無法進行分布式式部署,而一台伺服器的資源(CPU、磁碟、內存、IO等)是有限的,最終資料庫所能承載的數據量、數據處理能力都將遭遇瓶頸。
3 分庫分表的實施策略。

分庫分表有垂直切分和水平切分兩種。
3.1 何謂垂直切分,即將表按照功能模塊、關系密切程度劃分出來,部署到不同的庫上。例如,我們會建立定義資料庫workDB、商品資料庫payDB、用戶資料庫userDB、日誌資料庫logDB等,分別用於存儲項目數據定義表、商品定義表、用戶數據表、日誌數據表等。
3.2 何謂水平切分,當一個表中的數據量過大時,我們可以把該表的數據按照某種規則,例如userID散列,進行劃分,然後存儲到多個結構相同的表,和不同的庫上。例如,我們的userDB中的用戶數據表中,每一個表的數據量都很大,就可以把userDB切分為結構相同的多個userDB:part0DB、part1DB等,再將userDB上的用戶數據表userTable,切分為很多userTable:userTable0、userTable1等,然後將這些表按照一定的規則存儲到多個userDB上。
3.3 應該使用哪一種方式來實施資料庫分庫分表,這要看資料庫中數據量的瓶頸所在,並綜合項目的業務類型進行考慮。
如果資料庫是因為表太多而造成海量數據,並且項目的各項業務邏輯劃分清晰、低耦合,那麼規則簡單明了、容易實施的垂直切分必是首選。
而如果資料庫中的表並不多,但單表的數據量很大、或數據熱度很高,這種情況之下就應該選擇水平切分,水平切分比垂直切分要復雜一些,它將原本邏輯上屬於一體的數據進行了物理分割,除了在分割時要對分割的粒度做好評估,考慮數據平均和負載平均,後期也將對項目人員及應用程序產生額外的數據管理負擔。
在現實項目中,往往是這兩種情況兼而有之,這就需要做出權衡,甚至既需要垂直切分,又需要水平切分。我們的游戲項目便綜合使用了垂直與水平切分,我們首先對資料庫進行垂直切分,然後,再針對一部分表,通常是用戶數據表,進行水平切分。
4 分庫分表存在的問題。

4.1 事務問題。
在執行分庫分表之後,由於數據存儲到了不同的庫上,資料庫事務管理出現了困難。如果依賴資料庫本身的分布式事務管理功能去執行事務,將付出高昂的性能代價;如果由應用程序去協助控制,形成程序邏輯上的事務,又會造成編程方面的負擔。
4.2 跨庫跨表的join問題。
在執行了分庫分表之後,難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上,這時,表的關聯操作將受到限制,我們無法join位於不同分庫的表,也無法join分表粒度不同的表,結果原本一次查詢能夠完成的業務,可能需要多次查詢才能完成。
4.3 額外的數據管理負擔和數據運算壓力。
額外的數據管理負擔,最顯而易見的就是數據的定位問題和數據的增刪改查的重復執行問題,這些都可以通過應用程序解決,但必然引起額外的邏輯運算,例如,對於一個記錄用戶成績的用戶數據表userTable,業務要求查出成績最好的100位,在進行分表之前,只需一個order by語句就可以搞定,但是在進行分表之後,將需要n個order by語句,分別查出每一個分表的前100名用戶數據,然後再對這些數據進行合並計算,才能得出結果。
上述整理於互聯網

熱點內容
python3graphics 發布:2025-02-05 21:36:57 瀏覽:511
為什麼英雄聯盟一個伺服器進不去 發布:2025-02-05 21:36:12 瀏覽:182
伺服器搭建網站開發教材 發布:2025-02-05 21:31:57 瀏覽:567
pythonrose 發布:2025-02-05 21:31:46 瀏覽:923
php數組從小到大排序 發布:2025-02-05 21:26:01 瀏覽:324
單片機存儲器擴展 發布:2025-02-05 21:17:35 瀏覽:966
sqler圖 發布:2025-02-05 21:10:58 瀏覽:630
網路編程android 發布:2025-02-05 21:05:49 瀏覽:346
python時間毫秒數 發布:2025-02-05 20:51:32 瀏覽:331
clash安卓如何切換節點 發布:2025-02-05 20:48:20 瀏覽:890