glusterfs塊存儲

❶ 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼

一、概念及區別

針對不同的應用場景，選擇的分布式存儲方案也會不同，因此有了對象存儲、塊存儲、文件系統存儲。這三者的主要區別在於它們的存儲介面：

1. 對象存儲:

也就是通常意義的鍵值存儲，其介面就是簡單的GET,PUT,DEL和其他擴展，

2. 塊存儲:

這種介面通常以QEMU Driver或者Kernel Mole的方式存在，這種介面需要實現linux的BlockDevice的介面或者QEMU提供的BlockDriver介面，如Sheepdog，AWS的EBS，青雲的雲硬碟和阿里雲的盤古系統，還有Ceph的RBD(RBD是Ceph面向塊存儲的介面)

3. 文件存儲:

通常意義是支持POSIX介面，它跟傳統的文件系統如Ext4是一個類型的，但區別在於分布式存儲提供了並行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面)，但是有時候又會把GFS，HDFS這種非POSIX介面的類文件存儲介面歸入此類。

二、IO特點

按照這三種介面和其應用場景，很容易了解這三種類型的IO特點，括弧里代表了它在非分布式情況下的對應:1. 對象存儲(鍵值資料庫):

介面簡單，一個對象我們可以看成一個文件，只能全寫全讀，通常以大文件為主，要求足夠的IO帶寬。

2. 塊存儲(硬碟):

它的IO特點與傳統的硬碟是一致的，一個硬碟應該是能面向通用需求的，即能應付大文件讀寫，也能處理好小文件讀寫。但是硬碟的特點是容量大，熱點明顯。因此塊存儲主要可以應付熱點問題。另外，塊存儲要求的延遲是最低的。

3. 文件存儲(文件系統):

支持文件存儲的介面的系統設計跟傳統本地文件系統如Ext4這種的特點和難點是一致的，它比塊存儲具有更豐富的介面，需要考慮目錄、文件屬性等支持，實現一個支持並行化的文件存儲應該是最困難的。但像HDFS、GFS這種自己定義標準的系統，可以通過根據實現來定義介面，會容易一點。

因此，這三種介面分別以非分布式情況下的鍵值資料庫、硬碟和文件系統的IO特點來對應即可。至於冷熱、快慢、大小文件而言更接近於業務。但是因為存儲系統是通用化實現，通常來說，需要盡量滿足各種需求，而介面定義已經一定意義上就砍去了一些需求，如對象存儲會以冷存儲更多，大文件為主。

❷ 對象存儲、文件存儲和塊存儲的區別是什麼

對象存儲、文件存儲和塊存儲的區別如下：

1、速度不同

塊存儲：低延遲（10ms），熱點突出；

文件存儲：不同技術各有不同；

對象存儲：100ms-1s，冷數據；

2、可分步性不同

塊存儲：異地不現實；

文件存儲：可分布式，但有瓶頸；

對象存儲：分步並發能力高；

3、文件大小不同

塊存儲：大小都可以，熱點突出；

文件存儲：適合大文件；

對象存儲：適合各種大小；

4、介面不同

塊存儲：Driver，kernel mole ；

文件存儲：POSIX；

對象存儲：Restful API ；

5、典型技術不同

塊存儲：SAN；

文件存儲： HDFS，GFS；

對象存儲：Swift，Amazon S3；

6、適合場景不同

塊存儲：銀行；

文件存儲：數據中心；

對象存儲：網路媒體文件存儲。

(2)glusterfs塊存儲擴展閱讀：

對象存儲、文件存儲和塊存儲的聯系：

通常來講，磁碟陣列都是基於Block塊的存儲，而所有的NAS產品都是文件級存儲。

1. 塊存儲：DAS SAN

a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式，每台伺服器有獨立的存儲設備，每台主機伺服器的存儲設備無法互通，需要跨主機存取資料室，必須經過相對復雜的設定，若主機分屬不同的操作系統，則更復雜。

應用：單一網路環境下且數據交換量不大，性能要求不高的環境，技術實現較早。

b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式，此系統會位於主機群的後端，它使用高速I/O聯接方式，如：SCSI,ESCON及Fibre-Channels.特點是，代價高、性能好。但是由於SAN系統的價格較高，且可擴展性較差，已不能滿足成千上萬個CPU規模的系統。

應用：對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲

通常NAS產品都是文件級存儲。

NAS(Network Attached Storage)：是一套網路存儲設備，通常直接連在網路上並提供資料存取服務，一套NAS儲存設備就如同一個提供數據文件服務的系統，特點是性價比高。

它採用NFS或CIFS命令集訪問數據，以文件為傳輸協議，可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統，但由於NAS的協議開銷高、帶寬低、延遲大，不利於在高性能集群中應用。

3. 對象存儲：

總體上講，對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。

核心是將數據通路(數據讀或寫)和控制通路(元數據)分離，並且基於對象存儲設備(OSD)，構建存儲系統，每個對象存儲設備具備一定的職能，能夠自動管理其上的數據分布。

對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)

❸ 塊儲存，對象存儲，文件存儲的區別和聯系

通常來講，磁碟陣列都是基於Block塊的存儲，而所有的NAS產品都是文件級存儲。
1. 塊存儲：DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式，每台伺服器有獨立的存儲設備，每台主機伺服器的存儲設備無法互通，需要跨主機存取資料室，必須經過相對復雜的設定，若主機分屬不同的操作系統，則更復雜。
應用：單一網路環境下且數據交換量不大，性能要求不高的環境，技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式，此系統會位於主機群的後端，它使用高速I/O聯接方式，如：SCSI,ESCON及Fibre-Channels.特點是，代價高、性能好。但是由於SAN系統的價格較高，且可擴展性較差，已不能滿足成千上萬個CPU規模的系統。
應用：對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage)：是一套網路存儲設備，通常直接連在網路上並提供資料存取服務，一套NAS儲存設備就如同一個提供數據文件服務的系統，特點是性價比高。
它採用NFS或CIFS命令集訪問數據，以文件為傳輸協議，可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統，但由於NAS的協議開銷高、帶寬低、延遲大，不利於在高性能集群中應用。

3. 對象存儲：
總體上講，對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離，並且基於對象存儲設備(OSD)，構建存儲系統，每個對象存儲設備具備一定的職能，能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
3.1 對象
一個對象實際就是文件的數據和一組屬性信息的組合。
3.2 對象存儲設備(OSD)
OSD具有一定的智能，它有自己的CPU、內存、網路和磁碟系統。
OSD提供三個主要功能：包括數據存儲和安全訪問
(1)數據存儲 (2)智能分布 (3)每個對象元數據的管理
3.3 元數據伺服器(Metadata Server , MDS)
MDS控制Client與OSD對象的交互，主要提供以下幾個功能：
(1) 對象存儲訪問
允許Client直接訪問對象，OSD接收到請求時先驗證該能力，再訪問。
(2) 文件和目錄訪問管理
MDS在存儲系統上構建一個文件結構，限額控制、包括目錄、文件的創建、訪問控制等
(3) Client Cache 一致性
為提高性能，在對象存儲系統設計時通常支持Client的Cache。因此帶來了Cache一致性的問題，當Cache文件發生改變時，將通知Client刷新Cache,以防Cache不一致引發的問題。
對象存儲：
一個文件包含了屬性(術語叫matadata元數據，例如該文件的大小、修改時間、存儲路徑等)以及內容(簡稱數據)。
以往的文件系統，存儲過程將文件按文件系統的最小塊來打散，再寫進硬碟，過程中沒有區分元數據(metadata)和數據。而在每個塊最後才會告知下一個塊的地址，因此只能一個一個讀，速度慢。
而對象存儲則將元數據獨立出來，控制節點叫元數據伺服器(伺服器+對象存儲管理軟體)，裡面主要存儲對象的屬性(主要是對象的數據被打散存放到了那幾台分布式伺服器中的信息)，而其他負責存儲數據的分布式伺服器叫做OSD，主要負責存儲文件的數據部分。當用戶訪問對象時，會先訪問元數據伺服器，元數據伺服器只負責反饋對象存儲在那些OSD。假設反饋文件A存儲在B,C,D三台OSD，那麼用戶就會再次訪問三台OSD伺服器去讀取數據。
這時三台OSD同時對外傳輸數據，因此傳輸的速度就加快了。OSD伺服器數量越多，這種讀寫速度的提升就越大。
另一方面，對象存儲軟體有專門的文件系統，所以OSD對外又相當於文件伺服器，那麼就不存在文件共享方面的困難了，也解決了文件共享方面的問題。
因此對象存儲的出現，很好的結合了塊存儲與文件存儲的優點。

為什麼還要使用塊存儲和文件存儲：
1.有一類應用是需要存儲直接裸盤映射的，比如資料庫。因為資料庫需要存儲裸盤映射給自己後，再根據自己的資料庫文件系統來對了裸盤進行格式化，因此不能採用其他已經被格式化為某種文件系統的存儲。此類更適合塊存儲。
2.對象存儲的成本比普通的文件存儲還是較高，需要購買專門的對象存儲軟體以及大容量硬碟。如果對數據量要求不是海量，只是為了作文件共享的時候，直接用文件存儲的形式就好了，性價比高。

❹ 分布式存儲有哪些

問題一：當前主流分布式文件系統有哪些?各有什麼優缺點 目前幾個主流的分布式文件系統除GPFS外，還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足：
1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;
2）對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時，數據將出現不可用的情況;
3）靜態配置:對PVFS的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統，此項目於1999年在Carnegie Mellon University啟動，Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後，管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統，GPFS的主要優點有以下三點：
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理，這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.

問題二：分布式存儲是什麼？選擇什麼樣的分布式存儲更好？ 分布式存儲系統，是將數據分散存儲在多 *** 立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平台、計算、網路和存儲系統的無縫集成，構建了雲計算基礎設施即服務的一站式解決方案，為用戶提供了一個高度簡化的一站式基礎設施雲平台。這不僅使得業務部署上線從周縮短到天，而且與企業應用軟體、中間件及資料庫軟體完全解耦，能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能

問題三：什麼是分布式存儲系統？ 就是將數據分散存儲在多 *** 立的設備上

問題四：什麼是分布式數據存儲 定義：
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上，以獲取更大的存儲容量和更高的並發訪問量。近年來，隨著數據量的高速增長，分布式資料庫技術也得到了快速的發展，傳統的關系型資料庫開始從集中式模型向分布式架構發展，基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下，從集中式存儲走向分布式存儲，從集中式計算走向分布式計算。
特點：
1.高可擴展性：分布式資料庫必須具有高可擴展性，能夠動態地增添存儲節點以實現存儲容量的線性擴展。
2 高並發性：分布式資料庫必須及時響應大規模用戶的讀/寫請求，能對海量數據進行隨機讀/寫。
3. 高可用性：分布式資料庫必須提供容錯機制，能夠實現對數據的冗餘備份，保證數據和服務的高度可靠性。

問題五：分布式文件系統有哪些主要的類別？ 分布式存儲在大數據、雲計算、虛擬化場景都有勇武之地，在大部分場景還至關重要。munity.emc/message/655951 下面簡要介紹*nix平台下分布式文件系統的發展歷史：
1、單機文件系統
用於操作系統和應用程序的本地存儲。
2、網路文件系統（簡稱：NAS）
基於現有乙太網架構，實現不同伺服器之間傳統文件系統數據共享。
3、集群文件系統
在共享存儲基礎上，通過集群鎖，實現不同伺服器能夠共用一個傳統文件系統。

4、分布式文件系統
在傳統文件系統上，通過額外模塊實現數據跨伺服器分布，並且自身集成raid保護功能，可以保證多台伺服器同時訪問、修改同一個文件系統。性能優越，擴展性很好，成本低廉。

問題六：分布式文件系統和分布式資料庫有什麼不同 分布式文件系統（dfs）和分布式資料庫都支持存入，取出和刪除。但是分布式文件系統比較暴力，可以當做key/value的存取。分布式資料庫涉及精煉的數據，傳統的分布式關系型資料庫會定義數據元組的schema，存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS（未開源），HDFS（Hadoop distributed file system）。分布式資料庫現在出名的有Hbase，oceanbase。其中Hbase是基於HDFS，而oceanbase是自己內部實現的分布式文件系統，在此也可以說分布式資料庫以分布式文件系統做基礎存儲。

問題七：分布式存儲有哪些 華為的fusionstorage屬於分布式 您好，很高興能幫助您，首先，FusionDrive其實是一塊1TB或3TB機械硬碟跟一塊128GB三星830固態硬碟的組合。我們都知道，很多超極本同樣採用了混合型硬碟，但是固態硬碟部分的容量大都只有8GB到32GB之間，這個區間無法作為系統盤來使用，只能作

問題八：linux下常用的分布式文件系統有哪些 這他媽不是騰訊今年的筆試題么
NFS（tldp/HOWTO/NFS-HOWTO/index）
網路文件系統是FreeBSD支持的文件系統中的一種，也被稱為NFS。
NFS允許一個系統在網路上與它人共享目錄和文件。通過使用NFS， 用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是：
1、本地工作站使用更少的磁碟空間，因為通常的數據可以存放在一台機器上而且可以通過網路訪問到。
2、用戶不必在每個網路上機器裡面都有一個home目錄。home目錄可以被放在NFS伺服器上並且在網路上處處可用。
3、諸如軟碟機、CDROM、和ZIP之類的存儲設備可以在網路上面被別的機器使用。可以減少整個網路上的可移動介質設備的數量。
開發語言c/c++,可跨平台運行。
OpenAFS（openafs）
OpenAFS是一套開放源代碼的分布式文件系統，允許系統之間通過區域網和廣域網來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件伺服器組織的，每個伺服器的標識通常是隱藏在文件系統中，從AFS客戶機登陸的用戶將分辨不出他們在那個伺服器上運行，因為從用戶的角度上看，他們想在有識別的Unix文件系統語義的單個系統上運行。
文件系統內容通常都是跨cell復制，一便一個硬碟的失效不會損害OpenAFS客戶機上的運行。OpenAFS需要高達1GB的大容量客戶機緩存，以允許訪問經常使用的文件。它是一個十分安全的基於kerbero的系統，它使用訪問控制列表(ACL）以便可以進行細粒度的訪問，這不是基於通常的Linux和Unix安全模型。開發協議IBM Public，運行在linux下。
MooseFs（derf.homelinux）
Moose File System是一個具備容錯功能的網路分布式文件統，它將數據分布在網路中的不同伺服器上，MooseFs通過FUSE使之看起來就 是一個Unix的文件系統。但有一點問題，它還是不能解決單點故障的問題。開發語言perl,可跨平台操作。
pNFS（pnfs）
網路文件系統(Network FileSystem,NFS)是大多數區域網(LAN）的重要的組成部分。但NFS不適用於高性能計算中苛刻的輸入書櫥密集型程序，至少以前是這樣。NFS標準的罪行修改納入了Parallel NFS(pNFS），它是文件共享的並行實現，將傳輸速率提高了幾個數量級。
開發語言c/c++,運行在linu下。
googleFs
據說是一個比較不錯的一個可擴展分布式文件系統，用於大型的，分布式的，對大量數據進行訪問的應用。它運行於廉價的普通硬體上，但可以提供容錯功能，它可以給大量的用戶提供性能較高的服務。google自己開發的。

問題九：分布式存儲都有哪些，並闡述其基本實現原理 神州雲科 DCN NCS DFS2000（簡稱DFS2000）系列是面向大數據的存儲系統，採用分布式架構，真正的分布式、全對稱群集體系結構，將模塊化存儲節點與數據和存儲管理軟體相結合，跨節點的客戶端連接負載均衡，自動平衡容量和性能，優化集群資源，3-144節點無縫擴展，容量、性能歲節點增加而線性增長，在 60 秒鍾內添加一個節點以擴展性能和容量。

問題十：linux 分布式系統都有哪些？ 常見的分布式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。
GFS（Google File System）
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節，但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。
HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch，後者是一個開源的網路搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用，是Google開創其帝國的重要基石。
Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高，C++編寫的代碼，支持Fuse，並且沒有單點故障依賴， 於是下載安裝， 由於 ceph 使用 btrfs 文件系統， 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了，它基於的btrfs本身就不成熟，它的官方網站上也明確指出不要把ceph用在生產環境中。
Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的，具備高可用性的集群文件系統，它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統，可以支持超過10000個節點，數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域，例如HP SFS產品等。

❺ Kubernetes 基於GlusterFS+heketi的高可用動態存儲管理StorageClass

Kubernetes中使用GlusterFS作為持久化存儲，要提供storageClass使用需要依賴Heketi工具。Heketi是一個具有resetful介面的glusterfs管理程序，作為kubernetes的Storage存儲的external provisioner。 「Heketi提供了一個RESTful管理界面，可用於管理GlusterFS卷的生命周期。藉助Heketi，像OpenStack Manila，Kubernetes和OpenShift這樣的雲服務可以動態地配置GlusterFS卷和任何支持的持久性類型。Heketi將自動確定整個集群的brick位置，確保將brick及其副本放置在不同的故障域中。Heketi還支持任意數量的GlusterFS集群，允許雲服務提供網路文件存儲，而不受限於單個GlusterFS集群。
heketi：提供基於RESTful介面管理glusterfs的功能，可以方便的創建集群管理glusterfs的node，device，volume；與k8s結合可以創建動態的PV，擴展glusterfs存儲的動態管理功能。主要用來管理glusterFS volume的生命周期，初始化時候就要分配好裸磁碟(未格式化)設備.

注意事項：

安裝Glusterfs客戶端：每個kubernetes集群的節點需要安裝gulsterfs的客戶端，如glusterfs-cli,glusterfs-fuse.主要用於在每個node節點掛載volume。
載入內核模塊：每個kubernetes集群的節點運行modprobe dm_thin_pool，載入內核模塊。
高可用(至少三個節點)：至少需要節點用來部署glusterfs集群，並且這3個節點每個節點需要至少一個空餘的磁碟。

基礎設施要求:

正在運行的glusterfs集群，至少有三個node節點，每個節點至少有一個可用的裸塊設備（如EBS卷或本地磁碟,就是沒有格式化的）.
用於運行GlusterFS節點必須為GlusterFS通信打開相應的埠（如果開啟了防火牆的情況下，沒開防火牆就不需要這些操作）。

安裝依賴及常用工具包：
yum -y install flex bison openssl openssl-devel libxml2-devel gcc lrzsz vim*
查找gluster的最新軟體倉庫：
yum search centos-release-gluster
安裝最新版本的gluster軟體倉庫：
yum install centos-release-gluster7.noarch -y
安裝gluster源，並安裝glusterfs及相關軟體包
yum install glusterfs glusterfs-server glusterfs-cli glusterfs-geo-replication glusterfs-rdma -y
客戶端安裝GlusterFS客戶端軟體
yum install glusterfs-fuse glusterfs-cli
啟動Glusterd服務
systemctl start glusterd
systemctl enable glusterd --now //設開機自啟，並立即啟動服務

在任意一個節點上添加信任節點
gluster peer probe node99
gluster peer probe node110
gluster peer probe node145
gluster peer probe node108

查看節點狀態：
gluster peer status //查看節點狀態

創建復制卷

mkdir /glusterfs/storage1/rep_vol1
gluster volume create rep_vol1 replica 2 node99:/glusterfs/storage1/rep_vol1 node108:/glusterfs/storage1/rep_vol1

創建分布式卷

gluster volume create vdisk1 node108:/brick1 node110:/brick1 brick node145:/brick1 force

創建分布式復制卷

gluster volume create fbfz replica 2 transport tcp node108:/gluster/fbfz1 node110:/gluster/fbfz1 node145:/gluster/fbfz1 node108:/gluster/fbfz2 node110:/gluster/fbfz2 node145:/gluster/fbfz2 force

啟動卷
gluster volume start rep_vol1
查看卷狀態
gluster volume status
gluster volume info
客戶端測試掛載卷
mount -t glusterfs node108:rep_vol /tmp/aaa
mount -t glusterfs node145:fbfz /mnt/fbfz
客戶端測試卷數據存儲
for i in `seq -w 1 3`;do cp -rp /var/log/messages /tmp/aaa/test-$i;done

其他備用操作

停止卷：
gluster volume stop vdisk2
刪除卷：
gluster volume delete vdisk2
將某個存儲節點主機從信任池中刪除：
gluster peer detach node2

Heketi是由golang編寫，直接靜態編譯運行二進制即可，也可以通過yum安裝以及docker部署，主要會產生db文件存儲cluster、node、device、volume等信息。

安裝二進制包
wget -c https://github.com/heketi/heketi/releases/download/v8.0.0/heketi-v8.0.0.linux.amd64.tar.gz tar zxvf heketi-v9.0.0.linux.amd64.tar.gz
mkdir -pv /opt/heketi/{bin,conf,data}
cp heketi/heketi.json /opt/heketi/conf/
cp heketi/{heketi,heketi-cli} /opt/heketi/bin/

創建ssh-key

我們glusterFS部署在k8s集群外，所以heketi通過ssh管理glusterFS。需要創建免秘鑰登陸到所有glusterFS節點。
ssh-keygen -f /opt/heketi/conf/heketi_key -t rsa -N ''
ssh--id -i /opt/heketi/conf/heketi_key.pub root@node108 -p 2222
ssh--id -i /opt/heketi/conf/heketi_key.pub root@node110 -p 2222
ssh--id -i /opt/heketi/conf/heketi_key.pub root@node145 -p 2222

配置文件修改

注意：
需要說明的是，heketi有三種executor，分別為mock、ssh、kubernetes，建議在測試環境使用mock，生產環境使用ssh，當glusterfs以容器的方式部署在kubernetes上時，才使用kubernetes。我們這里將glusterfs和heketi獨立部署，使用ssh的方式。
使用docker部署的時候，還需將/var/lib/heketi/mounts 掛載至容器裡面, heketi 會將此目錄作為 gluster volume的掛載點。

systemd配置
cat /usr/lib/systemd/system/heketi.service

啟動heketi服務
systemctl start heketi
systemctl enable heketi
systemctl status heketi

添加cluster
/opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey --json cluster create

將3個glusterfs節點作為node添加到cluster

添加節點

opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey --json node add --cluster "" --management-host-name node108 --storage-host-name 10.14.151.108 --zone 1

/opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey --json node add --cluster "" --management-host-name node110 --storage-host-name 10.14.151.110 --zone 1

/opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey --json node add --cluster "" --management-host-name node145 --storage-host-name 10.14.151.145 --zone 1

查看節點：
/opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey node list

添加device

機器只是作為gluster的運行單元，volume是基於device創建的。同時需要特別說明的是，目前heketi僅支持使用裸分區或裸磁碟(未格式化)添加為device，不支持文件系統。

/opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey --json device add --name="/dev/sdb" --node ""
/opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey --json device add --name="/dev/sdb" --node ""
/opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey --json device add --name="/dev/sdb" --node ""

註：--node參數給出的id是上一步創建node時生成的，實際配置中，要添加每一個節點的每一塊用於存儲的硬碟。

生產實際配置

以上ad-hoc命令均可通過配置文件創建然後導入:

$ sudo cat /data/heketi/conf/topology.json

創建:

$ sudo heketi-cli topology load --json topology.json

添加volume

這里僅僅是做一個測試，實際使用中，會由kubernetes自動創建pv.
創建一個大小為3G，副本為2的volume

opt/heketi/bin/heketi-cli --user admin --server http://10.143.143.111:18080 --secret adminkey volume create --size 3 --replica 2

kubernetes storageclass 配置
創建storageclass
添加storageclass-glusterfs.yaml文件，內容如下：
cat storageclass-glusterfs.yaml

kubectl apply -f storageclass-glusterfs.yaml

kubectl get sc

注意:
storageclass.beta.kubernetes.io/is-default-class: "true" #表示此storageClass作為default sc，創建pvc不指定sc時，默認使用此sc.
reclaimPolicy: Retain #表示pv回收策略為保留，刪除pvc時將不刪除pv。
更詳細的用法參考： <u>https://kubernetes.io/docs/concepts/storage/storage-classes/#glusterfs</u>

創建pvc
kubectl create -f glusterfs-pvc.yaml
cat glusterfs-pvc.yaml

kubectl create -f glusterfs-pvc.yaml

kubectl get pv

kubectl get pvc

創建pod，使用pvc
cat mysql-deployment.yaml

kubectl create -f mysql-deployment.yaml

kubectl get deploy

kubectl get pods

kubectl exec -ti mysql-b75b5dcfb-cb7qm sh
df -Th

創建statefulset

kubectl apply -f nginx-statefulset.yml

kubectl get pod,pv,pvc

我們可以看到RECLAIM POLICY: Retain ,經過測試
刪除pvc，pv status會變成Released狀態，且不會被刪除
刪除pv, 通過heketi-cli volume list查看，volume不會被刪除
kubernetes pv和gluster volume不一致時,可使用heketi來統一管理volume.此文檔heketi和glusterfs都在kubernetes集群外部署。對於支持AWS EBS的磁碟，可通過EBS storageClass方式將glusterFS heketi部署在容器中管理.參考 https://github.com/gluster/gluster-kubernetes

參考文檔
https://kubernetes.io/docs/concepts/workloads/controllers/statefulset/
https://kubernetes.io/docs/concepts/storage/storage-classes/#glusterfs
https://github.com/heketi/heketi/blob/master/docs/admin/readme.md
https://www.cnblogs.com/breezey/p/8849466.html
https://www.cnblogs.com/breezey/p/8849466.html )

驗證測試：

kubectl exec -ti mysql-b75b5dcfb-cb7qm sh

說明掛掉一個節點是不影響用戶使用的。

❻ GlusterFS和Ceph哪個好

GlusterFS和Ceph都是Red Hat旗下的成熟的開源存儲產品，Ceph與GlusterFS在原理上有著本質上的不同。現在網上有很多GlusterFS和Ceph的對比文章，可以參考。總的來說，如果只使用文件協議，感覺GlusterFS好一些；如果要使用對象、塊、文件統一存儲，那Ceph是不二選擇。要使用好這兩個開源軟體，都需要有一定的IT實力和投入，如果實際上生產使用，建議選擇商業化的產品，GlusterFS商業產品做得比較好的公司有大道、凱翔，Ceph商業產品做得比較好的公司有XSKY、元核雲、杉岩。