文件分塊存儲

1. 一個文件如何被分塊存儲在磁碟上

數據存儲在硬碟的時候都以簇位單位簇的配置Windows9x/Me系統中常用的文件簇通常為FAT16或者FAT32格式比如一個256M的硬碟空間可以有數種配置簇的方式：簇大小＝4KB：256MB/4KB＝655356個簇簇大小＝8KB：256MB/8KB＝32768個簇簇大小＝16KB：256MB/16KB＝16384個簇簇大小＝32KB：256MB/32KB＝8192個簇對於WindowsNT/2000/XP特有的NTFS文件系統來說，雖然也是採用簇方式來存儲數據，但它卻和FAT16/FAT32有著明顯的不同。當分區空間大於2GB的時候，無論硬碟有多大，簇的大小一律維持在4KB。由於簇容量小，所以無論存儲何種類型的文件都不會浪費太多的硬碟空間，這也使得整個硬碟的空間利用率得到了極大的提高。

2. 對象存儲、文件存儲和塊存儲的區別是什麼

對象存儲、文件存儲和塊存儲的區別如下：

1、速度不同

塊存儲：低延遲（10ms），熱點突出；

文件存儲：不同技術各有不同；

對象存儲：100ms-1s，冷數據；

2、可分步性不同

塊存儲：異地不現實；

文件存儲：可分布式，但有瓶頸；

對象存儲：分步並發能力高；

3、文件大小不同

塊存儲：大小都可以，熱點突出；

文件存儲：適合大文件；

對象存儲：適合各種大小；

4、介面不同

塊存儲：Driver，kernel mole ；

文件存儲：POSIX；

對象存儲：Restful API ；

5、典型技術不同

塊存儲：SAN；

文件存儲： HDFS，GFS；

對象存儲：Swift，Amazon S3；

6、適合場景不同

塊存儲：銀行；

文件存儲：數據中心；

對象存儲：網路媒體文件存儲。

(2)文件分塊存儲擴展閱讀：

對象存儲、文件存儲和塊存儲的聯系：

通常來講，磁碟陣列都是基於Block塊的存儲，而所有的NAS產品都是文件級存儲。

1. 塊存儲：DAS SAN

a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式，每台伺服器有獨立的存儲設備，每台主機伺服器的存儲設備無法互通，需要跨主機存取資料室，必須經過相對復雜的設定，若主機分屬不同的操作系統，則更復雜。

應用：單一網路環境下且數據交換量不大，性能要求不高的環境，技術實現較早。

b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式，此系統會位於主機群的後端，它使用高速I/O聯接方式，如：SCSI,ESCON及Fibre-Channels.特點是，代價高、性能好。但是由於SAN系統的價格較高，且可擴展性較差，已不能滿足成千上萬個CPU規模的系統。

應用：對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲

通常NAS產品都是文件級存儲。

NAS(Network Attached Storage)：是一套網路存儲設備，通常直接連在網路上並提供資料存取服務，一套NAS儲存設備就如同一個提供數據文件服務的系統，特點是性價比高。

它採用NFS或CIFS命令集訪問數據，以文件為傳輸協議，可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統，但由於NAS的協議開銷高、帶寬低、延遲大，不利於在高性能集群中應用。

3. 對象存儲：

總體上講，對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。

核心是將數據通路(數據讀或寫)和控制通路(元數據)分離，並且基於對象存儲設備(OSD)，構建存儲系統，每個對象存儲設備具備一定的職能，能夠自動管理其上的數據分布。

對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)

3. 對象存儲、文件存儲和塊存儲有什麼區別

對象存儲、文件存儲和塊存儲區別為：存儲設備不同、特點不同、缺點不同。

一、存儲設備不同

1、對象存儲：對象存儲的對應存儲設備為swift，鍵值存儲。

2、文件存儲：文件存儲的對應存儲設備為FTP、NFS伺服器。

3、塊存儲：塊存儲的對應存儲設備為cinder，硬碟。

二、特點不同

1、對象存儲：對象存儲的特點是具備塊存儲的高速以及文件存儲的共享等特性。

2、文件存儲：文件存儲的特點是一個大文件夾，大家都可以獲取文件。

3、塊存儲：塊存儲的特點是分區、格式化後，可以使用，與平常主機內置硬碟的方式完全無異。

三、缺點不同

1、對象存儲：對象存儲的缺點是不兼容多種模式並行。

2、文件存儲：文件存儲的缺點是傳輸速率低。

3、塊存儲：塊存儲的缺點是不能共享數據。

4. 存儲服務分類：塊存儲、文件存儲、對象存儲

1、關於文件存儲
文件儲存最具代表性的NAS，對於大多數用戶來說，NAS就類似於一個共享文件夾，用戶可以直接將數據放在NAS上，用於傳輸。同時，NAS是通過網路達成儲存的目的，依附於TCP/IP網路協議棧，這也就是NAS存儲於上文的DAS和SAN存儲最大的不同點。
2、關於塊儲存
塊儲存我們可以將其看成裸盤，但是裸盤是不能被系統訪問，不過，可以格式化為你指定的文件系統Ext3，Ext4，NTFS，FAT32等形式，這樣便可以被系統訪問了。常見的塊儲存為DAS、FC-SAN、IP-SAN三種類型。同時，塊儲存也是哦我們最常見的一種儲存模式，比如pc硬碟、伺服器硬碟。
3、關於對象儲存
這種儲存方式還是比較新的，常見的對象儲存開源實現有Ceph的RADOS、Openstack的swift、AWS s3等;常見分布式文件系統有lustre、glusterfs、HDFS等。對象儲存可以將其看作一家高級餐廳代客停車，客戶需要車，你將鑰匙給到別人，換來一張收據。
總體來說，三種儲存方式，可從表面和本質著手，對象儲存支持restful介面，塊存儲的用戶是可以讀寫塊設備的軟體系統，例如傳統的文件系統、資料庫;文件存儲的用戶是自然人;對象存儲的用戶則是其它計算機軟體。

5. 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼

存儲設備不同：對象存儲的對應存儲設備為swift，鍵值存儲。文件存儲的對應存儲設備為FTP、NFS伺服器。塊存儲的對應存儲設備為cinder，硬碟。

特點不同：對象存儲的特點是具備塊存儲的高速以及文件存儲的共享等特性，文件存儲的特點是一個大文件夾，大家都可以獲取文件。塊存儲的特點是分區、格式化後，可以使用，與平常主機內置硬碟的方式完全無異。

塊存儲注意事項

要運行任何新的RAID+功能，陣列控制器都需要一個元數據基礎，看起來很像文件系統那樣。以重復數據刪除為例來說，陣列必須將數據分解成4K到1MB的塊，解算出哪些塊存儲的是同樣的數據，然後構建一個指針列表將LUN邏輯塊地址映射到所儲存的塊。

自動分層要求更多的元數據，因為系統必須跟蹤數據塊的邏輯塊地址，而這些數據塊分處在不同的存儲類型上的不同的RAID集中。除了要解算出哪些是必須升級到更快的存儲層的熱數據和哪些是必須降級的冷數據外，系統還必須收集訪問頻率元數據。

6. 分布式塊存儲和 分布式文件存儲有是什麼區別

分布式塊存儲和 分布式文件存儲有是什麼區別

分布式文件系統（dfs）和分布式資料庫都支持存入，取出和刪除。但是分布式文件系統比較暴力，可以當做key/value的存取。分布式資料庫涉及精煉的數據，傳統的分布式關系型資料庫會定義數據元組的schema，存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS（未開源），HDFS（Hadoop distributed file system）。分布式資料庫現在出名的有Hbase，oceanbase。其中Hbase是基於HDFS，而oceanbase是自己內部實現的分布式文件系統，在此也可以說分布式資料庫以分布式文件系統做基礎存儲。

分布式存儲是什麼？選擇什麼樣的分布式存儲更好？

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平台、計算、網路和存儲系統的無縫集成，構建了雲計算基礎設施即服務的一站式解決方案，為用戶提供了一個高度簡化的一站式基礎設施雲平台。這不僅使得業務部署上線從周縮短到天，而且與企業應用軟體、中間件及資料庫軟體完全解耦，能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能

MongoDB 適合做分布式圖片文件存儲么？

如果硬體上捨得投入(比如N台32GB起的大內存機),gridfs很合適海量小文件, 不過兩台機我覺得還不如把靜態文件這塊外包給第三方雲存儲

軟體定義存儲和 分布式存儲的區別

軟體定義存儲其實是個偽命題，你可以看下冬瓜哥的一篇文章。你也可以這么理解，分布式存儲就是軟體定義存儲的一種方式。

集中式存儲和分布式存儲有什麼區談好別

分布式 存儲就是DAS ，就是伺服器裡面放著硬碟，多台伺服器的話就是分布式存儲，數據分散，不易於管理。
集中存儲就是 NAS,SAN，將伺服器和硬碟分開，數據都存放NAS設備中，NAS設備再級聯磁碟陣列，然後多個伺服器對這個NAS設備進行訪問，操作，集中數據管理，提高利用率，解放伺服器！

分布式存儲與軟體定義存儲的區別？

分布式存儲是一種存儲的方式，其「分布式」的理念是軟體定義存儲的基礎，從概念上來說，軟體定義存儲的范圍更大，除了存儲之外，還包括管理、計算、網路介面等相關概念。或者說，分布式存儲就是一種鏈接方式，而軟體定義存儲就是類似元核雲存儲、華為等企業所研發的軟體產品。

統一存儲和融合存儲以及分布式存儲的區別

統一存儲具體概念：
統一存儲，實質上是一個可以支持基於文件的網路附加存儲（NAS）以及基於數據塊的SAN的網路化的存儲架構。由於其支持不同的存儲協議為主機系統提供數據存儲，因此也被稱為多協議存儲。
基本簡介：
統一存儲（有時也稱網路統一存儲或者NUS）是一個能在單一設備上運行和管理文件和應用程序的存儲系統。為此，統一存儲系統在一個單一存儲平台上整合基於文件和基於塊的訪問，支持基於光纖通道的SAN、基於IP的SAN（iSCSI）和NAS（網路附加存儲）。
工作方式：
既然是一個集中化的磁碟陣列，那麼就支持主機系統通含判鉛過IP網路進行文件級別的數據訪問，或通過光纖協議在SAN網路進行塊級別的數據訪問。同樣，iSCSI亦是一種非常通用的IP協議，只是其提供塊級別的數據訪問。這種磁碟陣列配置多埠的存儲控制器和一個管理介面，允許存儲管理員按需創建存儲池或空間，並將其提供給不同訪問類型的主機系統。最通常的協議一般都包括了NAS和FC，或iSCSI和FC。當然，也可以同時支持上述三種協議的，不過一般的存儲管理員都會選FC或iSCSI中的一種，它們都提供塊級別的訪問方式，和文件級別的訪問沖拍方式（NAS方式）組成統一存儲。

什麼是分布式數據存儲

定義：
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上，以獲取更大的存儲容量和更高的並發訪問量。近年來，隨著數據量的高速增長，分布式資料庫技術也得到了快速的發展，傳統的關系型資料庫開始從集中式模型向分布式架構發展，基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下，從集中式存儲走向分布式存儲，從集中式計算走向分布式計算。
特點：
1.高可擴展性：分布式資料庫必須具有高可擴展性，能夠動態地增添存儲節點以實現存儲容量的線性擴展。
2 高並發性：分布式資料庫必須及時響應大規模用戶的讀/寫請求，能對海量數據進行隨機讀/寫。
3. 高可用性：分布式資料庫必須提供容錯機制，能夠實現對數據的冗餘備份，保證數據和服務的高度可靠性。

7. 塊儲存，對象存儲，文件存儲的區別和聯系

通常來講，磁碟陣列都是基於Block塊的存儲，而所有的NAS產品都是文件級存儲。
1. 塊存儲：DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式，每台伺服器有獨立的存儲設備，每台主機伺服器的存儲設備無法互通，需要跨主機存取資料室，必須經過相對復雜的設定，若主機分屬不同的操作系統，則更復雜。
應用：單一網路環境下且數據交換量不大，性能要求不高的環境，技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式，此系統會位於主機群的後端，它使用高速I/O聯接方式，如：SCSI,ESCON及Fibre-Channels.特點是，代價高、性能好。但是由於SAN系統的價格較高，且可擴展性較差，已不能滿足成千上萬個CPU規模的系統。
應用：對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage)：是一套網路存儲設備，通常直接連在網路上並提供資料存取服務，一套NAS儲存設備就如同一個提供數據文件服務的系統，特點是性價比高。
它採用NFS或CIFS命令集訪問數據，以文件為傳輸協議，可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統，但由於NAS的協議開銷高、帶寬低、延遲大，不利於在高性能集群中應用。

3. 對象存儲：
總體上講，對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離，並且基於對象存儲設備(OSD)，構建存儲系統，每個對象存儲設備具備一定的職能，能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
3.1 對象
一個對象實際就是文件的數據和一組屬性信息的組合。
3.2 對象存儲設備(OSD)
OSD具有一定的智能，它有自己的CPU、內存、網路和磁碟系統。
OSD提供三個主要功能：包括數據存儲和安全訪問
(1)數據存儲 (2)智能分布 (3)每個對象元數據的管理
3.3 元數據伺服器(Metadata Server , MDS)
MDS控制Client與OSD對象的交互，主要提供以下幾個功能：
(1) 對象存儲訪問
允許Client直接訪問對象，OSD接收到請求時先驗證該能力，再訪問。
(2) 文件和目錄訪問管理
MDS在存儲系統上構建一個文件結構，限額控制、包括目錄、文件的創建、訪問控制等
(3) Client Cache 一致性
為提高性能，在對象存儲系統設計時通常支持Client的Cache。因此帶來了Cache一致性的問題，當Cache文件發生改變時，將通知Client刷新Cache,以防Cache不一致引發的問題。
對象存儲：
一個文件包含了屬性(術語叫matadata元數據，例如該文件的大小、修改時間、存儲路徑等)以及內容(簡稱數據)。
以往的文件系統，存儲過程將文件按文件系統的最小塊來打散，再寫進硬碟，過程中沒有區分元數據(metadata)和數據。而在每個塊最後才會告知下一個塊的地址，因此只能一個一個讀，速度慢。
而對象存儲則將元數據獨立出來，控制節點叫元數據伺服器(伺服器+對象存儲管理軟體)，裡面主要存儲對象的屬性(主要是對象的數據被打散存放到了那幾台分布式伺服器中的信息)，而其他負責存儲數據的分布式伺服器叫做OSD，主要負責存儲文件的數據部分。當用戶訪問對象時，會先訪問元數據伺服器，元數據伺服器只負責反饋對象存儲在那些OSD。假設反饋文件A存儲在B,C,D三台OSD，那麼用戶就會再次訪問三台OSD伺服器去讀取數據。
這時三台OSD同時對外傳輸數據，因此傳輸的速度就加快了。OSD伺服器數量越多，這種讀寫速度的提升就越大。
另一方面，對象存儲軟體有專門的文件系統，所以OSD對外又相當於文件伺服器，那麼就不存在文件共享方面的困難了，也解決了文件共享方面的問題。
因此對象存儲的出現，很好的結合了塊存儲與文件存儲的優點。

為什麼還要使用塊存儲和文件存儲：
1.有一類應用是需要存儲直接裸盤映射的，比如資料庫。因為資料庫需要存儲裸盤映射給自己後，再根據自己的資料庫文件系統來對了裸盤進行格式化，因此不能採用其他已經被格式化為某種文件系統的存儲。此類更適合塊存儲。
2.對象存儲的成本比普通的文件存儲還是較高，需要購買專門的對象存儲軟體以及大容量硬碟。如果對數據量要求不是海量，只是為了作文件共享的時候，直接用文件存儲的形式就好了，性價比高。