ceph對象存儲的特點
『壹』 對象存儲、文件存儲和塊存儲的區別是什麼
對象存儲、文件存儲和塊存儲的區別如下:
1、速度不同
塊存儲:低延遲(10ms),熱點突出;
文件存儲:不同技術各有不同;
對象存儲:100ms-1s,冷數據;
2、可分步性不同
塊存儲:異地不現實;
文件存儲:可分布式,但有瓶頸;
對象存儲:分步並發能力高;
3、文件大小不同
塊存儲:大小都可以,熱點突出;
文件存儲:適合大文件;
對象存儲:適合各種大小;
4、介面不同
塊存儲:Driver,kernel mole ;
文件存儲:POSIX;
對象存儲:Restful API ;
5、典型技術不同
塊存儲:SAN;
文件存儲: HDFS,GFS;
對象存儲:Swift,Amazon S3;
6、適合場景不同
塊存儲:銀行;
文件存儲:數據中心;
對象存儲:網路媒體文件存儲。
(1)ceph對象存儲的特點擴展閱讀:
對象存儲、文件存儲和塊存儲的聯系:
通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。
1. 塊存儲:DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。
應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。
應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。
2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。
它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。
3. 對象存儲:
總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
『貳』 如何基於 Ceph 構建高性能塊存儲服務
Ceph是一個分布式存儲系統,支持對象文件快介面,設計目標是:
• 所有組件橫向擴展
• 沒有單點故障
• 可以在普通廠商硬體使用
• 所有機制都能自我管理
• 開源
分布式存儲的應用場景相對於其存儲介面,現在流行分為三種:
1.對象存儲: 也就是通常意義的鍵值存儲,其介面就是簡單的GET,PUT,DEL和其他擴展,如七牛、又拍,Swift,S3等。
2.塊存儲: 這種介面通常以QEMUDriver或者KernelMole的方式存在,這種介面需要實現Linux的Block Device的介面或者QEMU提供的Block Driver介面,如Sheepdog,AWS的EBS,青雲的雲硬碟和阿里雲的盤古系統,還有Ceph的RDB(RDB是Ceph面向塊存儲的介面)。
3、文件存儲: 通常意義是支持POSIX介面,它跟傳統的文件系統如Ext4是一個類型的,但區別在於分布式存儲提供了並行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面),但是有時候又會把GFS,HDFS這種非POSIX介面的類文件存儲介面歸入此類。
提到存儲的種類就不得不提到另外一個話題:存儲不能做統一化嗎?因為必須要有多個不同的軟體棧去管理不同的存儲設備:SSD,SATA等。
Ceph就此提出了不同觀點,RADOS提供了基礎的存儲設備的管理、數據控制流訪問的管理,提供的是一個可靠持久的數據存儲平台,基於其上,我們可以實現多個不同的介面戶來實現面向不同需求的對接,比如對象存儲我們有一個單獨的庫實現去滿足不同的存儲需要,比如我們塊存儲是通過RDP來實現。
統一存儲並不意味著所有存儲都的同一個介面,同一個實現,同一個軟體棧,它其實只是使用了同一個設備管理的生命周期和數據訪問的有效控制,它提供了一個相對合理,非常適合運維的,利於成本,利於軟體可靠性控制的的機制去保證我們的存儲的可靠。
舉一個例子,大部分存儲廠商甚至網路廠商都有一個自己的核心軟體棧,如文件系內核。基於其上演化出各種不同的產品線。如果廠商要追求各個產品線的極致是不是就應該每個產品完全獨立來追求極致,但事實上一個核心的底層技術棧需要高質量的代碼、完備的測試和長期的使用。在Ceph這里,一個分布式系統的並發IO、分布式恢復、數據端到端校驗等等關鍵實現是唯一實現,成熟的系統系統在這些實現上需要經過一定量級和時間的考驗,這才是Ceph所謂的統一存儲,而不是其他的介面堆疊式開發。
【Ceph和其他開源分布式存儲、其他商用存儲的區別之處在哪?】
眾所周知,很多傳統廠商如日立、富士通等存儲大廠也採用了Ceph作為它們存儲硬體的載體,Ceph能提供企業級的存儲服務一定有它的優勢,才能讓傳統的存儲廠商棄而採用開源的存儲方案。
1、中心化系統我們認為它在數據控制系統方面做的較好,在遷移運維方面提供較好的實現,但卻有元數據的瓶頸。在訪問數據時需要經過元數據伺服器的查詢再去尋找相應的數據伺服器會在大規模擴展時遇到性能瓶頸問題。
2、全分布式系統雖然提供較好的數據訪問能力,能高效處理客戶端的LO請求,但是卻沒有提供一個非常好的數據控制的實現,比如故障處理能力不足,數據恢復的困難,如果跳出中心化的元數據存儲系統它沒辦法做到強一致性的數據恢復。
彈性的數據分布策略和物理拓撲輸入實現了高可用性和高持久性,Ceph的高性能重構還體現在利用CRush演算法對數進行約束,避免數據分布到所有的集群的一個節點上,利用Ceph設計並提供的一個由CRush演算法來支持一個高自由化的存儲集群的設計,實現高可靠性,高持久性,高性能。
『叄』 什麼是對象存儲
對象存儲,也叫做基於對象的存儲,是用來描述解決和處理離散單元的方法的通用術語,這些離散單元被稱作為對象。
存儲區域網(SAN)和網路附加存儲(NAS)是目前兩種主流網路存儲架構,而對象存儲(Object-based Storage)是一種新的網路存儲架構,基於對象存儲技術的設備就是對象存儲設備(Object-based Storage Device)簡稱OSD。1999年成立的全球網路存儲工業協會(SNIA)的對象存儲設備工作組發布了ANSI的X3T10標准。總體上來講,對象存儲綜合了NAS和SAN的優點,同時具有SAN的高速直接訪問和NAS的分布式數據共享等優勢,提供了具有高性能、高可靠性、跨平台以及安全的數據共享的存儲體系結構。
『肆』 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼
一、概念及區別
針對不同的應用場景,選擇的分布式存儲方案也會不同,因此有了對象存儲、塊存儲、文件系統存儲。這三者的主要區別在於它們的存儲介面:
1. 對象存儲:
也就是通常意義的鍵值存儲,其介面就是簡單的GET,PUT,DEL和其他擴展,
2. 塊存儲:
這種介面通常以QEMU Driver或者Kernel Mole的方式存在,這種介面需要實現Linux的BlockDevice的介面或者QEMU提供的BlockDriver介面,如Sheepdog,AWS的EBS,青雲的雲硬碟和阿里雲的盤古系統,還有Ceph的RBD(RBD是Ceph面向塊存儲的介面)
3. 文件存儲:
通常意義是支持POSIX介面,它跟傳統的文件系統如Ext4是一個類型的,但區別在於分布式存儲提供了並行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面),但是有時候又會把GFS,HDFS這種非POSIX介面的類文件存儲介面歸入此類。
二、IO特點
按照這三種介面和其應用場景,很容易了解這三種類型的IO特點,括弧里代表了它在非分布式情況下的對應:1. 對象存儲(鍵值資料庫):
介面簡單,一個對象我們可以看成一個文件,只能全寫全讀,通常以大文件為主,要求足夠的IO帶寬。
2. 塊存儲(硬碟):
它的IO特點與傳統的硬碟是一致的,一個硬碟應該是能面向通用需求的,即能應付大文件讀寫,也能處理好小文件讀寫。但是硬碟的特點是容量大,熱點明顯。因此塊存儲主要可以應付熱點問題。另外,塊存儲要求的延遲是最低的。
3. 文件存儲(文件系統):
支持文件存儲的介面的系統設計跟傳統本地文件系統如Ext4這種的特點和難點是一致的,它比塊存儲具有更豐富的介面,需要考慮目錄、文件屬性等支持,實現一個支持並行化的文件存儲應該是最困難的。但像HDFS、GFS這種自己定義標準的系統,可以通過根據實現來定義介面,會容易一點。
因此,這三種介面分別以非分布式情況下的鍵值資料庫、硬碟和文件系統的IO特點來對應即可。至於冷熱、快慢、大小文件而言更接近於業務。但是因為存儲系統是通用化實現,通常來說,需要盡量滿足各種需求,而介面定義已經一定意義上就砍去了一些需求,如對象存儲會以冷存儲更多,大文件為主。
『伍』 ceph分布式存儲為啥
Ceph是根據加州大學Santa Cruz分校的Sage Weil的博士論文所設計開發的新一代自由軟體分布式文件系統,其設計目標是良好的可擴展性(PB級別以上)、高性能及高可靠性。
Ceph其命名和UCSC(Ceph 的誕生地)的吉祥物有關,這個吉祥物是「Sammy」,一個香蕉色的蛞蝓,就是頭足類中無殼的軟體動物。這些有多觸角的頭足類動物,是對一個分布式文件系統高度並行的形象比喻。
其設計遵循了三個原則:數據與元數據的分離,動態的分布式的元數據管理,可靠統一的分布式對象存儲機制。本文將從Ceph的架構出發,綜合性的介紹Ceph分布式文件系統特點及其實現方式。
更多技術細節參考網頁鏈接
『陸』 對象存儲、文件存儲和塊存儲有什麼區別
對象存儲、文件存儲和塊存儲區別為:存儲設備不同、特點不同、缺點不同。
一、存儲設備不同
1、對象存儲:對象存儲的對應存儲設備為swift,鍵值存儲。
2、文件存儲:文件存儲的對應存儲設備為FTP、NFS伺服器。
3、塊存儲:塊存儲的對應存儲設備為cinder,硬碟。
二、特點不同
1、對象存儲:對象存儲的特點是具備塊存儲的高速以及文件存儲的共享等特性。
2、文件存儲:文件存儲的特點是一個大文件夾,大家都可以獲取文件。
3、塊存儲:塊存儲的特點是分區、格式化後,可以使用,與平常主機內置硬碟的方式完全無異。
三、缺點不同
1、對象存儲:對象存儲的缺點是不兼容多種模式並行。
2、文件存儲:文件存儲的缺點是傳輸速率低。
3、塊存儲:塊存儲的缺點是不能共享數據。
『柒』 Linux裡面ceph是什麼
Linux裡面ceph
Ceph是一個可靠地、自動重均衡、自動恢復的分布式存儲系統,根據場景劃分可以將Ceph分為三大塊,分別是對象存儲、塊設備存儲和文件系統服務。在虛擬化領域里,比較常用到的是Ceph的塊設備存儲,比如在OpenStack項目里,Ceph的塊設備存儲可以對接OpenStack的cinder後端存儲、Glance的鏡像存儲和虛擬機的數據存儲,比較直觀的是Ceph集群可以提供一個raw格式的塊存儲來作為虛擬機實例的硬碟。
Ceph相比其它存儲的優勢點在於它不單單是存儲,同時還充分利用了存儲節點上的計算能力,在存儲每一個數據時,都會通過計算得出該數據存儲的位置,盡量將數據分布均衡,同時由於Ceph的良好設計,採用了CRUSH演算法、HASH環等方法,使得它不存在傳統的單點故障的問題,且隨著規模的擴大性能並不會受到影響。
『捌』 CEPH和NFS什麼區別哪個更好
ceph是分布式存儲系統
NFS是文件存儲系統,無優劣的說法,主要看實際的使用場景。
ceph提供的類型更多,如塊、對象等,性能更好,NFS提供的文件系統單一,但是操作簡單。