對象存儲是如何存儲的
㈠ 什麼是對象存儲
對象存儲,也叫做基於對象的存儲,是用來描述解決和處理離散單元的方法的通用術語,這些離散單元被稱作為對象。
存儲區域網(SAN)和網路附加存儲(NAS)是目前兩種主流網路存儲架構,而對象存儲(Object-based Storage)是一種新的網路存儲架構,基於對象存儲技術的設備就是對象存儲設備(Object-based Storage Device)簡稱OSD。1999年成立的全球網路存儲工業協會(SNIA)的對象存儲設備工作組發布了ANSI的X3T10標准。總體上來講,對象存儲綜合了NAS和SAN的優點,同時具有SAN的高速直接訪問和NAS的分布式數據共享等優勢,提供了具有高性能、高可靠性、跨平台以及安全的數據共享的存儲體系結構。
㈡ 對象存儲是什麼對象存儲的基本定義
對象存儲是一種將數據作為對象進行管理的計算機數據存儲體系結構,與其他存儲體系結構(例如將數據作為文件層級管理的文件系統)以及將數據作為塊和扇區內的塊進行管理的塊存儲相對。每個對象通常包括數據本身,可變數量的元數據和全局獨立標識符。
對象存儲可以在多個級別實現,包括設備級別(對象存儲設備),系統級別和介面級別。在每種情況下,對象存儲都試圖實現其他存儲架構無法解決的功能,例如可以由應用程序直接編程的介面,可以再多個物理硬體實例的命名空間,以及數據管理功能,如數據復制和數據分發在對象級粒度。
相比於資料庫這種面向結構化數據存儲的技術,對象存儲主要面向存儲大量的非結構化數據。
(2)對象存儲是如何存儲的擴展閱讀:
對象存儲、文件存儲和塊存儲的區別如下:
1、速度不同
塊存儲:低延遲(10ms),熱點突出;
文件存儲:不同技術各有不同;
對象存儲:100ms-1s,冷數據;
2、可分步性不同
塊存儲:異地不現實;
文件存儲:可分布式,但有瓶頸;
對象存儲:分步並發能力高;
3、文件大小不同
塊存儲:大小都可以,熱點突出;
文件存儲:適合大文件;
對象存儲:適合各種大小;
4、介面不同
塊存儲:Driver,kernel mole ;
文件存儲:POSIX;
對象存儲:Restful API ;
5、典型技術不同
塊存儲:SAN;
文件存儲: HDFS,GFS;
對象存儲:Swift,Amazon S3;
6、適合場景不同
塊存儲:銀行;
文件存儲:數據中心;
對象存儲:網路媒體文件存儲。
㈢ 對象存儲、文件存儲和塊存儲有什麼區別
對象存儲、文件存儲和塊存儲區別為:存儲設備不同、特點不同、缺點不同。
一、存儲設備不同
1、對象存儲:對象存儲的對應存儲設備為swift,鍵值存儲。
2、文件存儲:文件存儲的對應存儲設備為FTP、NFS伺服器。
3、塊存儲:塊存儲的對應存儲設備為cinder,硬碟。
二、特點不同
1、對象存儲:對象存儲的特點是具備塊存儲的高速以及文件存儲的共享等特性。
2、文件存儲:文件存儲的特點是一個大文件夾,大家都可以獲取文件。
3、塊存儲:塊存儲的特點是分區、格式化後,可以使用,與平常主機內置硬碟的方式完全無異。
三、缺點不同
1、對象存儲:對象存儲的缺點是不兼容多種模式並行。
2、文件存儲:文件存儲的缺點是傳輸速率低。
3、塊存儲:塊存儲的缺點是不能共享數據。
㈣ 對象存儲系統的對象存儲系統組成
對象(Object)
包含了文件數據以及相關的屬性信息,可以進行自我管理
OSD(Object-based Storage Device)
一個智能設備,是Object的集合
文件系統
文件系統運行在客戶端上,將應用程序的文件系統請求傳輸到MDS和OSD上
元數據伺服器(Metadata Server,MDS)
系統提供元數據、Cache一致性等服務
網路連接
1. 對象(Object)
對象存儲的基本單元。每個Object是數據和數據屬性集的綜合體。數據屬性可以根據應用的需求進行設置,包括數據分布、服務質量等。在傳統的存儲中,塊設備要記錄每個存儲數據塊在設備上的位置。Object維護自己的屬性,從而簡化了存儲系統的管理任務,增加了靈活性。Object的大小可以不同,可以包含整個數據結構,如文件、資料庫表項等。
2、OSD(Object-based Storage Device)
每個OSD都是一個智能設備,具有自己的存儲介質、處理器、內存以及網路系統等,負責管理本地的Object,是對象存儲系統的核心。OSD同塊設備的不同不在於存儲介質,而在於兩者提供的訪問介面。
OSD的主要功能
數據存儲和安全訪問
OSD使用Object對所保存的數據進行管理。它將數據存放到磁碟的磁軌和扇區,將若干磁軌和扇區組合起來構成Object,並且通過此Object向外界提供對數據的訪問。每個Object同傳統的文件相似,使用同文件類似的訪問介面,包括Open、Read、Write等。但是兩者並不相同,每個Object可能包括若干個文件,也可能是某個文件的一部分,且是獨立於操作系統的。除了具體的用戶數據外,OSD還記錄了每個Object的屬性信息,主要是物理視圖信息。將這些信息放到OSD上,大大減輕了元數據伺服器的負擔,增強了整個存儲系統的並行訪問性能和可擴展性。
3、文件系統
文件系統對用戶的文件操作進行解釋,並在元數據伺服器和OSD間通信,完成所請求的操作。
現有的應用對數據的訪問大部分都是通過POSIX文件方式進行的,對象存儲系統提供給用戶的也是標準的POSIX文件訪問介面。
介面具有和通用文件系統相同的訪問方式,同時為了提高性能,也具有對數據的Cache功能和文件的條帶功能。
同時,文件系統必須維護不同客戶端上Cache的一致性,保證文件系統的數據一致
文件系統讀訪問實例:
客戶端應用發出讀請求;
文件系統向元數據伺服器發送請求,獲取要讀取的數據所在的OSD;
然後直接向每個OSD發送數據讀取請求;
OSD得到請求以後,判斷要讀取的Object,並根據此Object要求的認證方式,對客戶端進行認證,如果此客戶端得到授權,則將Object的數據返回給客戶端;
文件系統收到OSD返回的數據以後,讀操作完成。
4.元數據伺服器 (Metadata Server)
為客戶端提供元數據,主要是文件的邏輯視圖,包括文件與目錄的組織關系、每個文件所對應的OSD等。
在傳統的文件系統中,元數據由本機或者文件伺服器負責維護,每次對數據塊的操作都要獲取元數據。
在對象存儲系統中,由於每次操作只有一次對元數據的訪問,具體的數據傳輸都由OSD和客戶端通過直接連接進行,大大減少了元數據的操作,降低了元數據伺服器的負擔,從而為系統的擴展提供了可能性。
特點
客戶端採用Cache來緩存數據
當多個客戶端同時訪問某些數據時,MDS提供分布的鎖機制來確保Cache的一致性。
5. 網路連接
為客戶端提供認證
為了增強系統的安全性,MDS為客戶端提供認證方式。OSD將依據MDS的認證來決定是否為客戶端提供服務。
網路連接是對象存儲系統的重要組成部分。它將客戶端、MDS和OSD連接起來,構成了一個完整的系統。
㈤ 【ceph】對象存儲的目錄/文件夾概念
對象存儲(OSS)中文件夾的概念僅是一個邏輯概念,在通過API/SDK的方式設置文件夾的時候可以指定object對應的key值包括前面的目錄即可實現該功能。例如,定義object的key為abc/1.jpg就會在該bucket下創建一個abc的文件夾,而在文件夾下即會有一個1.jpg的文件。
對象存儲(OSS)中的文件夾其實是一個大小為0KB的空文件。因此,用戶創建一個key值為1/的object就會定義文件夾1;並且如果用戶創建文件abc/1.jpg,系統是不會創建abc/這個文件的,因此在刪除abc/1.jpg後將不會再存在abc這個文件夾。
由於對象存儲(OSS)採用的是分布式存儲的方式,object並不是根據文件夾進行物理存儲的。也就是說並不是一個文件夾下的所有的文件都會存儲在一起的。在後端存儲的過程中不同的文件夾的文件僅僅是key值的前綴不一樣。因此這種架構下就會導致無法很方便的統計某個文件夾下的匯總信息,如文件夾大小、文件夾PV數等。而想要遍歷某個文件夾下的所有的文件也需要首先通過ListObject介面獲取文件夾下的所有文件的key值(這里需要通過prefix指定文件夾),然後再進行操作。
在邏輯上「中國.mp4」將存放到目錄「videos」中
https://help.aliyun.com/knowledge_detail/39527.html
https://www.jianshu.com/p/4212d37c0e0f
㈥ 什麼是對象存儲
對象存儲是用來描述解決和處理離散單元的方法的通用術語。對象在一個層結構中不會再有層級結構,是以擴展元數據為特徵的。
㈦ 對象存儲、文件存儲和塊存儲的區別是什麼
對象存儲、文件存儲和塊存儲的區別如下:
1、速度不同
塊存儲:低延遲(10ms),熱點突出;
文件存儲:不同技術各有不同;
對象存儲:100ms-1s,冷數據;
2、可分步性不同
塊存儲:異地不現實;
文件存儲:可分布式,但有瓶頸;
對象存儲:分步並發能力高;
3、文件大小不同
塊存儲:大小都可以,熱點突出;
文件存儲:適合大文件;
對象存儲:適合各種大小;
4、介面不同
塊存儲:Driver,kernel mole ;
文件存儲:POSIX;
對象存儲:Restful API ;
5、典型技術不同
塊存儲:SAN;
文件存儲: HDFS,GFS;
對象存儲:Swift,Amazon S3;
6、適合場景不同
塊存儲:銀行;
文件存儲:數據中心;
對象存儲:網路媒體文件存儲。
(7)對象存儲是如何存儲的擴展閱讀:
對象存儲、文件存儲和塊存儲的聯系:
通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。
1. 塊存儲:DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。
應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。
應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。
2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。
它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。
3. 對象存儲:
總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)