集群nas存儲
① 弱弱的問一下:NAS與雲存儲是一回事嗎,雲存儲與普通的網盤或郵箱有什麼區別和優勢呢
其實雲存儲和普通的網盤或者郵箱是不同的概念
把網盤就說成雲存儲的,顯得雲存儲的概念狹隘了
雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是指通過集群應用、網格技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就需要配置大量的存儲設備,那麼雲計算系統就轉變成為一個雲存儲系統,所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。 (摘自網路)
網盤和郵箱也是有區別的
網盤可以分為企業網盤和個人網盤,
企業網盤適用於企業內部的員工,整合起來能夠達到一個協同辦公,統一管理的一個工作平台
個人網盤適用的就是個人了,像是一個移動的U盤,數據保存到「雲端」,可以通過郵箱或者是外鏈分享文件,存儲自己的文件
郵箱就是另一個概念了哈
還有就是你的第一個問題,
NAS 是一種採用直接與網路介質相連的特殊設備實現數據存儲的機制。由於這些設備都分配有 IP 地址,所以客戶機通過充當數據網關的伺服器可以對其進行存取訪問,甚至在某些情況下,不需要任何中間介質客戶機也可以直接訪問這些設備。
第一,NAS適用於那些需要通過網路將文件數據傳送到多台客戶機上的用戶。NAS設備在數據必須長距離傳送的環境中可以很好地發揮作用。
第二,NAS設備非常易於部署。可以使NAS主機、客戶機和其他設備廣泛分布在整個企業的網路環境中。NAS可以提供可靠的文件級數據整合,因為文件鎖定是由設備自身來處理的。
第三,NAS應用於高效的文件共享任務中,例如UNIX中的NFS和Windows NT中的CIFS,其中基於網路的文件級鎖定提供了高級並發訪問保護的功能。 (摘自網路)
雲存儲的話,沒有那麼多限制,是一項新興的技術,初期投入相比於傳統的存儲價格貴點,但是它的優勢在於後期的擴容優勢,能夠利用軟體進行統一的管理。
② 描述對象存儲,與文件存儲,塊存儲的區別
描述對象存儲,與文件存儲,塊存儲的區別, MaxLeap數據存儲和文件存儲的區別?
先說說塊存儲吧,典型代表--SAN。對於用戶來說,SAN好比是一塊大磁碟,用戶可以根據需要隨意將SAN格式化成想要的文件系統來使用。SAN在網路中通過iSCSI(IPSAN)協議連接,屬block及存儲,但可擴展性較差。
再說說文件集存儲,典型代表--NAS。對於用戶來說,NAS好比是一個共享文件夾,文件系統已經存在,用戶可以直接將自己的數據存放在NAS上。NAS以文件為傳輸協議,開銷很大,不利於在高性能集群中使用。
而所謂對象存儲,就是每個數據對應著一個唯一的id,在面向對象存儲中,不再有類似文件系統的目錄層級結構,完全扁平化存儲,即可以根據對象的id直接定位到數據的位置,這一點類似SAN,而每個數據對象即包含元數據又包括存儲數據,含有文件的概念,這一點類似NAS。除此之外,用戶不必關系數據對象的安全性,數據恢復,自動負載平衡等等問題,這些均由對象存儲系統自身完成。而且,面向對象存儲還解決了SAN面臨的有限擴充和NAS傳輸性能開銷大問題,能夠實現海量數據存儲。
塊儲存,對象存儲,文件存儲的區別和聯系
通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。
1. 塊存儲:DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。
應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。
b) SAN(Storage Area Neork): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。
應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。
2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Neork Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。
它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。
3. 對象存儲:
總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
3.1 對象
一個對象實際就是文件的數據和一組屬性信息的組合。
3.2 對象存儲設備(OSD)
OSD具有一定的智能,它有自己的CPU、內存、網路和磁碟系統。
OSD提供三個主要功能:包括數據存儲和安全訪問
(1)數據存儲 (2)智能分布 (3)每個對象元數據的管理
3.3 元數據伺服器(Metadata Server , MDS)
MDS控制Client與OSD對象的交互,主要提供以下幾個功能:
(1) 對象存儲訪問
允許Client直接訪問對象,OSD接收到請求時先驗證該能力,再訪問。
(2) 文件和目錄訪問管理
MDS在存儲系統上構建一個文件結構,限額控制、包括目錄、文件的創建、訪問控制等
(3) Client Cache 一致性
為提高性能,在對象存儲系統設計時通常支持Client的Cache。因此帶來了Cache一致性的問題,當Cache文件發生改變時,將通知Client刷新Cache,以防Cache不一致引發的問題。
對象存儲:
一個文件包含了屬性(術語叫matadata元數據,例如該文件的大小、修改時間、存儲路徑等)以及內容(簡稱數據)。
以往的文件系統,存儲過程將文件按文件系統的最小塊來打散,再寫進硬碟,過程中沒有區分元數據(metadata)和數據。而在每個塊最後才會告知下一個塊的地址,因此只能一個一個讀,速度慢。
而對象存儲則將元數據獨立出來,控制節點叫元數據伺服器(伺服器+對象存儲管理軟體),裡面主要存儲對象的屬性(主要是對象的數據被打散存放到了那幾台分布式伺服器中的信息),而其他負責存儲數據的分布式伺服器叫做OSD,主要負責存儲文件的數據部分。當用戶訪問對象時,會先訪問元數據伺服器,元數據伺服器只負責反饋對象存儲在那些OSD。假設反饋文件A存儲在B,C,D三台OSD,那麼用戶就會再次訪問三台OSD伺服器去讀取數據。
這時三台OSD同時對外傳輸數據,因此傳輸的速度就加快了。OSD伺服器數量越多,這種讀寫速度的提升就越大。
另一方面,對象存儲軟體有專門的文件系統,所以OSD對外又相當於文件伺服器,那麼就不存在文件共享方面的困難了,也解決了文件共享方面的問題。
因此對象存儲的出現,很好的結合了塊存儲與文件存儲的優點。
為什麼還要使用塊存儲和文件存儲:
1.有一類應用是需要存儲直接裸盤映射的,比如資料庫。因為資料庫需要存儲裸盤映射給自己後,再根據自己的資料庫文件系統來對了裸盤進行格式化,因此不能採用其他已經被格式化為某種文件系統的存儲。此類更適合塊存儲。
2.對象存儲的成本比普通的文件存儲還是較高,需要購買專門的對象存儲軟體以及大容量硬碟。如果對數據量要求不是海量,只是為了作文件共享的時候,直接用文件存儲的形式就好了,性價比高。
有對象存儲了為什麼還要有文件存儲和塊存儲?
目前而言,三種存儲方式不能說誰更好,針對場景不同,不同存儲能發揮的功效也不同。對象存儲主要運用在文件歸檔,雲服務,備份,視頻應用等;塊存儲主要應用在資料庫、中間件、雲桌面等;文件存儲主要應用在文件共享,影視非編等。元核雲三種存儲方式都支持,可以進行自由選擇。
有塊 存儲 文件存儲 為什麼 還要 對象存儲
塊存儲是傳統存儲模式,對象存儲是新提出的概念,比傳統存儲更具優勢。
描述NFS存儲與iSCSI存儲的區別
先說說塊存儲吧,典型代表--SAN。對於用戶來說,SAN好比是一塊大磁碟,用戶可以根據需要隨意將SAN格式化成想要的文件系統來使用。SAN在網路中通過iSCSI(IPSAN)協議連接,屬block及存儲,但可擴展性較差。 再說說文件集存儲,典型代表--NAS。
集群NAS和對象存儲的區別
如果是集群NAS用的硬碟大都是Serial Attached SCSI 就是SAS,當然SATA也是可以的,SATA廉價!你的數據是如果非結構的可以用NAS,如果是結構化的數據那就是用對象存儲吧!好好看一看塊訪問、對象訪問和文件訪問吧!
對象存儲oss和redis的區別
為了支持雲服務,MySQL的備份做了極大地改進,比如Global Transaction Identifiers (GTIDs). GTIDs可以輕松地跟蹤和比較master和slave伺服器之間的進度狀態。
在2013年4月,Oracle發布了針對Hadoop的MySQL Applier。Nokia首先將MySQL應用於大數據環境中,包括集中的Hadoop集群等等。
ps中的文件存儲和文件存儲為?
如果你打開的JPG圖片只是單純的調色,沒有添加圖層的話 你點存儲 是直接就存儲了的,如果你添加圖層或者文字層的話,就只能用存儲為了。 存儲只能存儲為打開文件的格式,一旦你添加圖層了,就必須變成PSD格式,或者存儲為JPG了
a *** 裸設備和文件存儲的區別
1. unix/linux ls -al|grep db2
2. 如果從 lv 的名字上看不出來…… 就連上資料庫,然後看錶空間容器
③ hadoop集群的存儲架構一般適宜採用das,nas,san或其他什麼架構
數據局部性(data locality):這是Hadoop的主要特性,指的是直接在存儲數據的節點上做CPU密集型計算。顯然,SAN/NAS不適用於任何形式的CPU密集型計算。
RAID:SAN/NAS採用RAID磁碟陣列進行存儲,而Hadoop框架通過復本來確保數據的可靠性和容錯性。
DAS採用JBOD磁碟數組進行存儲,如果Hadoop節點的內置存儲容量較小,可以採用DAS做擴展。如果只是想通過Hadoop做數據歸檔,沒有計算,好吧,SAN/NAS是個選擇。
④ 集群NAS和對象存儲的區別
集群NAS性能和擴展性好,但價格較高,一般運行在一個數據中心內。所以適合客戶自建數據中心內需要高帶寬、大容量的業務。如高性能計算、流媒體等。
對象存儲擴展性好,價格較低,但性能一般,可以跨中心運行,所以適合在公有雲環境中作為一類存儲服務來提供,或者適合大型客戶在自建私有雲環境中提供多租戶的大容量存儲服務,目前看到的對象存儲的部署級別都是在PB級起步。此外由於對象存儲對讀訪問的支持要好於寫訪問,因此對象存儲更適合於「冷數據「的存放。
同時需要指出,兩類技術會有重疊之處,例如有些分布式文件系統可以同時支持集群NAS和對象存儲。而現在有些較為先進的對象存儲產品也開始支持集群NAS功能,以實現和用戶已有應用的集成。
從長遠來看,兩類技術都將會有用武之地。由於對象存儲處於一個上升的生命周期,可以預見會有更多對性能不太敏感的業務遷移到對象存儲。
⑤ 集群存儲的集群存儲相對傳統NAS和SAN的優勢
傳統的SAN與NAS分別提供的是數據塊與文件兩個不同級別的存儲服務,集群存儲也分為提供數據塊與文件兩個不同級別存儲服務的集群存儲系統。
集群存儲的優勢主要體現在提高並行或分區I/O的整體性能,特別是工作流、讀密集型以及大型文件的訪問,通過採用更低成本的伺服器來降低整體成本。
SAN系統具有很高的性能,但是構建和維護起來很復雜。由於數據塊和網路需求的原因,SAN系統也很難擴容。NAS系統的構建和維護雖然比較簡單,但是由於其聚合設備(又叫做NAS頭)是其架構上的瓶頸,造成其性能很有限。集群存儲提供了SAN和NAS結構的優點。在大多數使用集群存儲的案例中,隨著存儲系統的擴容,性能也隨之提升。一個大的集群存儲的性能往往勝過一個SAN系統,但是價格也會更高。集群存儲系統像NAS系統一樣易於構建、操作和擴容。大多數集群存儲系統沒有傳統NAS系統的固有瓶頸。
集群存儲有兩種實現方式:一種是硬體基礎架構加上軟體,典型代表是SAN架構+IBM GPFS;另一種是專用集群存儲,典型代表是Isilon、NetApp GX以及Panasas,其中NetApp GX是構建在NAS基礎架構之上的,但是通過操作系統實現集群存儲。從這個角度講,集群存儲與SAN或NAS不存在競爭關系,是實現不同存儲需求的解決方案。」
集群存儲和NAS的概念是在文件系統層面上的,而SAN是在LUN層面上的,集群存儲可以利用SAN環境實現。因此,集群存儲與SAN解決的問題不同。如果一定要比較這兩者的優缺點的話,可以說SAN做到的是多個伺服器節點可以同時看到SAN環境中的同一個LUN,還不能做到多伺服器節點間的文件級共享。
集群存儲在性能、可靠性及擴展性等多個方面都遠遠優於 NAS。
⑥ 集群NAS與集群文件系統的區別
Veritas的CFS,IBM的GPFS,這些屬於集群文件系統,就類似於windows下面常用的FAT或者NTFS一樣,是一種文件系統格式,只不過,集群文件系統可以讓多個計算節點同時讀寫同一個文件系統的分區
集群NAS,是採用了集群文件系統,多個NAS頭可以做性能和埠橫向擴展,共同對網路上的主機提供網路文件存儲服務的設備
⑦ 如何使用NFS和NAS解決虛擬伺服器存儲問題
然而,這樣的靈活性有一個條件:物理機能夠看到所有虛擬磁碟鏡像。這通常會導致存儲網路成為一個使用網路文件系統(NFS)和虛擬網路附屬存儲(NAS)集群的開放網路。
在傳統基於塊的存儲中,如iSCSI和光纖通道存儲區域網路(FC SAN),這意味著我們必須能夠分配和操作邏輯單元號(LUN),以便在遷移虛擬機時可以迅速重新分配LUN給其它物理機。這個操作不僅是在最初部署時很難執行,隨著環境越來越大和復雜,它也會很難執行。要為每個虛擬機分配一個LUN,然後還要能夠迅速地將它重新分配給其它物理主機,這對IT人士來說已然是一個越來越嚴重的問題。
在越來越多的環境里,IT管理員都開始使用更大的LUN來承載多個虛擬機。盡管這可以減輕分配多個LUN給多個虛擬機的重擔,但無法解決分區和LUN增長的問題。
NFS解決方案
現在,VMware支持通過NFS啟動部署虛擬機。通過可啟動的NFS載入(mount)部署虛擬機是解決這個問題的一個理想方法,而且也被越來越廣泛地接受。
NFS是一個客戶端或伺服器系統,允許用戶跨網路訪問文件,並能夠像操作本地文件目錄一樣操作這些遠程文件。它是通過輸出(exporting)和載入(mounting)兩個過程完成的。輸出過程是指NFS伺服器向遠程客戶端提供文件訪問的過程;載入過程是指文件系統對操作系統和用戶變為可用的過程。NFS主要用於Unix-to-Unix文件共享,即使你的所有虛擬機都是基於Windows的,你也可以選用NFS。盡管Windows無法引導NFS,但VMware將NFS建立在它的磁碟虛擬層,所以Windows無需引導NFS。
NFS工作站很容易創建和操作。每個物理伺服器都能看到所有的虛擬磁碟鏡像,而且VMotion等功能也更加容易操作。與iSCSI或FC SAN中的每個VMDK創建一個LUN不同,你可以在一個NFS卷中共置多個VMDK(VMware Virtual Disk)文件。因為VMDK只是文件,而不是真正的磁碟。為什麼使用NFSNFS讓存儲和VMware管理員的工作變得容易得多,而且在很多VMware環境下都不會有任何性能損失。除了一些例外的存儲廠商提供虛擬化解決方案以外,LUN管理對存儲和VMware管理員來說都很具有挑戰性。而有了NFS執行,與單個文件系統的交互讓VMware鏡像供應更加容易。
訪問控制通過內置NFS安全性被啟用後,可以向一組VMware管理員提供NFS文件系統。有了NFS,就不需要微操作每一個LUN了。例如,VMware鏡像在文件夾中可以根據應用類型進行分組,而且可以同時提供給一系列應用使用。
此外,訪問路徑是基於傳統的乙太網,這不僅節省了成本,也更加易於進行故障檢修。因為,大多數企業對於IP管理的了解要遠遠多於對FC管理的了解。
NFS有一個優點就是訪問簡易。所有ESX伺服器都可以連接到載入點(mount point),這使得VMotion的使用更加容易。在FC部署中,每個ESX伺服器都必須能夠看到所有其它ESX伺服器的LUN,這很不利於配置和管理。NFS是一項共享技術,所有共享訪問都是內置的。
NFS的另一優勢在於數據保護方面。盡管通過NFS提供的VMware鏡像無法使用VMware VCB,但Unix或Linux主機可以載入這些鏡像來進行備份。利用支持NDMP的備份軟體可以備份這些鏡像。通過Linux主機的方法可以訪問VMware鏡像,而且可以通過這種方法可以載入快照和備份卷。此外,你還可以綜合利用NFS主機的復制工具保障業務持續性和災難恢復,而不用購買VMware專門的復制工具。
說得直白一點,NFS不是唯一的協議,它也有不太適合的時候。例如,Microsoft Cluster Service必須有成組存取(block access),而且有些情況下就需要光纖通道。iSCSI有一些很獨特的功能,其中一個是它能夠直接分配一個LUN給一個子操作系統,而不用通過VMware磁碟虛擬層。這些獨特的功能可以快速地將特定的LUN轉移出VMware環境。
這個執行需要的不僅僅是一個標準的文件伺服器或NAS,因為除了保存用戶數據以外,它還是架構的一個關鍵部分。
利用虛擬NAS集群解決I/O問題
通過NAS集群虛擬化可以緩解某些物理存儲相關問題,如I/O限制。
隨著負荷的不斷增加,傳統的NAS無法有效地擴展升級。部署多個物理伺服器會迅速加重I/O帶寬的負擔,這樣的負荷比在多數文件伺服器環境中的負荷要大得多。要減輕I/O帶寬負擔,就必須部署更多的NAS,而這又會導致NAS蔓延。
這使得我們必須在滿足額外的NAS系統需求以解決文件服務需求的同時,還要讓這些NAS系統必須能處理虛擬伺服器環境不斷變化的I/O需求。有了單獨的NAS head,VMotion就很難適用了,唯一的其它選擇是購買更大的單一的NAS head。在VMware環境下,這樣的升級不是因為容量限制而進行的,而是為了提供更高的性能而升級。
下面,我們說說虛擬NAS集群。一個虛擬NAS集群代表著整個ESX環境的一個NAS對象,即使這個對象是多個NAS head。一個虛擬NAS集群是一系列NAS節點,這些節點是作為一個整體被管理的。性能或容量的升級就成為相互獨立的事了,I/O性能升級只是連接更多的節點到集群,而容量升級則是連接更多的磁碟,互不影響。
此外,虛擬NAS集群還可以為環境提供冗餘。如果集群的其中一個節點出錯,該節點的文件系統會自動轉向集群中的其它節點。這個功能可以保障數據訪問不受中斷,對於虛擬伺服器環境非常重要。因為,虛擬伺服器環境下的一個錯誤可能會導致幾十個虛擬機受到嚴重影響,多層冗餘對於這樣的環境就顯得尤為重要。
Global Files System
將虛擬伺服器從一台物理機遷移到另一台物理機是一項勢在必行的工作,它可以給數據中心帶來很大的靈活性。而數據中心的靈活性也正是客戶所尋求的。相關虛擬磁碟的遷移,尤其是從一個陣列到另一陣列或一個NAS head到另一NAS head的遷移,並不是不可能的任務,但是會非常耗費時間,並且會中斷服務。
而在虛擬NAS集群環境下,這就是一件非常簡單的工作,而且不會造成服務中斷。這進一步提高了虛擬環境的靈活性。例如,如果某台物理機中的好幾個虛擬機存在I/O帶寬需求高峰期,那麼你可以將其它虛擬機磁碟鏡像移開它們所在的節點來應對I/O高峰期。這個功能還可以用於虛擬NAS集群中的標准文件系統,因為它們可以根據需求進行重新分配。
虛擬NAS和FC
在VMware近期的白皮書中,基於FC的塊I/O仍是一個尚未成熟的I/O性能領導者。盡管有些NAS供應商會對這些結果存在爭議,但這並不影響我們對這二者的利用。
首先,不到萬不得已不要使用FC。現在市場上有兩種不同的產品。第一種是NAS供應商(如Network Appliance)為他們的NAS head提供的FC和iSCSI服務。NAS head必須在NAS文件系統中創建一個封裝的FC LUN。第二種是EMC和OnStor等公司提供的網關(Gateway)解決方案,這些解決方案允許本地FC訪問存儲系統。在EMC的解決方案中,這當然是一個通向Clarriion陣列的網關。OnStor允許你通過它們的NAS網關(NAS gateway)為你現有的存儲添加一個有Global Files System的虛擬NAS集群。