存儲系統開源

❶ 涓巋dfs綾諱技鐨勬嗘灦鏄浠涔

涓嶩DFS綾諱技鐨勬嗘灦鏈変互涓嬪嚑縐嶏細
1銆丆eph錛氭槸涓涓寮婧愬垎甯冨紡瀛樺偍緋葷粺錛屽彲浠ュ湪涓緇勬湇鍔″櫒涓婃彁渚涘硅薄瀛樺偍鍜屾枃浠剁郴緇熸湇鍔°傞噰鐢ㄧ籂鍒犵爜鎶鏈瀹炵幇楂樺彲闈犮侀珮鎵╁睍鎬э紝鏀鎸佷互瀵硅薄鐨勬柟寮忓瓨鍌ㄥ拰媯緔㈡暟鎹錛岃屼笖Ceph鍙浠ヨ法瓚婁笉鍚岀‖浠躲佹搷浣滅郴緇熺瓑榪涜屽垎甯冨紡閮ㄧ講銆2銆丟lusterFS錛氭槸涓涓寮婧愮殑鍒嗗竷寮忔枃浠剁郴緇燂紝鍙浠ュ皢鑻ュ共鍙版湇鍔″櫒涓婄殑瀛樺偍絀洪棿奼囪仛鎴愪竴涓澶у瀷鐨勩佺粺涓鐨勬枃浠剁郴緇熴傛敮鎸佸氱嶇綉緇滃崗璁錛屽侼FS銆丼MB/CIFS絳夛紝鍏佽哥敤鎴風洿鎺ヤ粠搴旂敤紼嬪簭涓鎸傝澆鏂囦歡緋葷粺銆3銆丄pacheCassandra錛氭槸涓涓楂樻墿灞曟х殑鍒嗗竷寮忔暟鎹搴擄紝鍏跺瓨鍌ㄧ粨鏋勭被浼間簬HDFS涓鐨勫垎甯冨紡鏂囦歡緋葷粺錛岄噰鐢ㄤ竴鑷存у搱甯岀畻娉曟潵鍒嗛厤涓嶅悓鑺傜偣涓婄殑鏁版嵁銆傞傜敤浜庡ぇ瑙勬ā鐨勬暟鎹瀛樺偍鍦烘櫙錛屼笖鍏鋒湁鑹濂界殑鍙鎵╁睍鎬у拰瀹歸敊鎬с
HDFS鏄疕adoop鐨勫垎甯冨紡鏂囦歡緋葷粺銆傚畠鏄鍩轟簬Google鐨凣FS鑰屽紑鍙戠殑錛屾棬鍦ㄦ彁渚涢珮鍙闈犮侀珮鍚炲悙閲忕殑鏁版嵁瀛樺偍鍜岃塊棶瑙ｅ喅鏂規堛

❷ 有沒有用Java寫的輕量級開源的分布式存儲系統

1、jmeter的架構和loadrunner原理一樣，都是通過中間代理，監控和收集並發客戶端發出的指令，把他們生成腳本，再發送到應用伺服器，再監控伺服器反饋結果的一個過程；
2、分布式中間代理功能在jmeter中也有，這個分頁式代理是指可設置多台代理在不同PC中，通過遠程進行控制，即通過使用多台機器運行的謂的agant來分擔load generator自身的壓力，並借引來獲取更大的並發用戶數，loadrunner也有此功能；
3、jmeter安裝簡單，只需要解壓jmeter文件包到C盤上就可以了，不用安裝，要是你想執行調試測試腳本，前提是：裝上jdk和netbean插件，而loadrunner安裝包有1G多，在一台P3.0,1G內存的PC上安裝要一個多小時，要是裝過舊的盜版還不能再裝新版，解決辦法倒是有，但麻煩且花時間；
4、Jmeter沒有IP欺騙功能，IP欺騙是指在一台PC上多個IP地址分配給並發用戶，這個功能對於模擬較真實的用戶環境來說，是較有用，loadrunner有此功能；
5、jmeter也提供了一個利用本地proxy server(代理伺服器)來錄制生成測試腳本的功能，但是這個功能並不好用，測試對象的個別參數要手工增加上去，還得附帶裝個IE代理，如 GoogleToolbarDownloader這些插件來捕捉參數，但是有一個工具badbody,利用這個工具可以錄制操作，然後選擇將腳本保存為jmeter腳本，然後利用jmeter可以打開並修改腳本；
6、Jmeter的報表較少，對於要分析測試性能不足作為依據。如要知道資料庫伺服器或應用程序服務的cpu,money等參數，還得在相關伺服器上另外寫腳本記錄伺服器的性能；
7、jmeter做性能測試，主要是通過增加線程的數目，或者是設置循環次數來增加並發用戶，而loadrunner可以通過在場景中選擇要設置什麼樣的場景，然後選擇虛擬用戶數；
8、jmeter可以通過邏輯控制器實現復雜的測試行為，相當於loadrunner中的測試場景；
9、jmeter可以做web程序的功能測試，利用jmeter中的樣本，可以做灰盒測試，loadrunner主要用來做性能測試；
10、jmeter是開源的，但是使用的人較少，網路上相關資料不全面，需要自己去揣摩，而loadrunner是商業軟體，如果是正版本，有技術支持，同時，網路上的資料相當多；
11、Jmeter的腳本修改，主要是針對jmeter中各個部件的熟悉程序，已經相關的一些協議的掌握情況，而不依賴於編程，而loadrunner除了復雜的場景設置外，還需要掌握函數，修改腳本。

❸ 目前國內有公司在使用開源的ceph分布式存儲系統嗎

有，我知道的使用ceph的公司主要有元核雲、XSky、杉岩數據等，其他的華為雲、深信服等公司也有分布式存儲，不過不知道是不是基於ceph的。

❹ 分布式存儲極簡藝術Minio解析

 MinIO 對象存儲系統是為海量數據存儲、人工智慧、大數據分析而設計，基於
Apache License v2.0 開源協議的對象存儲系統，它完全兼容 Amazon S3 介面，單個對象的最大可達 5TB，適合存儲海量圖片、視頻、日誌文件、備份數據和容器/虛擬機鏡像等。作為一個開源服務，MinIO 在設計上汲取了Glusterfs的相關經驗不教訓，系統復雜度上作了大量簡化，目前大小隻有40+M，部署只需要一個命令即可完成！另外，minio舍棄了傳統分布式存儲擴容所需要的遷移流程，採用聯盟模式添加集群的方式，極大簡化了擴容流程；除此之外，minio還具有糾刪編碼、比特位保護、單寫多讀（worm)、下面來依次簡要解析一下Mioio的特點及具體實現：

  元數據和數據一起存放在磁碟上。元數據以明文形式存放在元數據文件里（xl.json）。假定對象名字為key_name, 它所在桶的名字是bucket_name, disk路徑就是/disk，那麼存儲路徑就是：/disk/bucket_name/key_name，windows下C盤存放桶名為test，對象名為minio.exe示例如圖：

其中part.1是實際存儲數據（單機模式為原生數據，分布式為糾刪碼分塊），xl.json是如下所示的json字元串：

  在同一集群內，MinIO 自己會自勱生成若干糾刪組，用於分布存放桶數據。一個糾刪組中的一定數量的磁碟發生的故障（故障磁碟的數量小於等於校驗盤的數量），通過糾刪碼校驗演算法可以恢復出正確的數據。MinIO 集成了 Reed-Solomon 糾刪碼庫，MinIO 存儲對象數據時，首先把它分成若乾等長的片段（對於大對象，默認按 5MB 切片)，然後每一個片段會糾刪演算法分成若干分片，包括數據分片不校驗分片，每個分片放置在一個糾刪組的某個節點上。對象的每一個數據分片、校驗分片都被「防比特位衰減」演算法所保護。

  MinIO 會根據對象名（類似於文件系統的全路徑名)，使用 crc32 哈希演算法計算出一個整數。然後使用這個整數除以糾刪組的個數，得到一個余數。這個余數，可以作為糾刪組的序號，這樣就確定了這個對象所在的糾刪組。MinIO 採用 CRC32 哈希演算法，不 glusterfs 的Davies Meyer哈希演算法（性能、沖突概率不md4, md5相近）不一樣的是，CRC32演算法的哈希值分布較不均勻，但運算速度極快，高出 md4 數倍。相對於容量均衡，MinIO 更看重數據的寫入速度。

糾刪組如何配置？
官方文檔說明如下：

 也就是說糾刪組的總大小隻能從這7中情況中根據你提供的盤的個數（或者說路徑個數）來自動選取最大值的，我們 不能靈活地配置m+k糾刪存儲格式。但這樣說又不是很准確 ，因為雖然不能配置任意的m+k，但是在系統已經選取好擦除編碼集的的個數後（也就是m+k），可以使用storage class存儲類來自定義m和k的數量，默認是1:1的。
存儲類：
 MinIO支持配置兩種存儲類別，精簡冗餘類別和標准類別，默認是標准類別（1：1），可以在啟動MinIO伺服器之前使用設置的環境變數來定義這些類。使用環境變數定義每個存儲類別的數據和奇偶校驗磁碟後，您可以 在上傳對象時通過請求元數據欄位設置對象的存儲類別x-amz-storage-class 。然後，MinIO伺服器通過將對象保存在特定數量的數據和奇偶校驗磁碟中來兌現存儲類。具體配置和使用可以參考官方文檔 https://github.com/minio/minio/tree/master/docs/erasure/storage-class

傳統的擴展方式的劣勢
  通過增加節點來擴展單集群，一般需要進行數據均衡，否則群集內各存儲節點會因負載不均而出現新的瓶頸。除了數據均衡操作的時機這個問題以外，在均衡過程中一般需要仍存儲使用率高的節點吐使用率低的節點遷移數據。當集群擴容後，大量已經寫入的文件落點會出現改變，文件需要遷移到真實的落點。當存儲系統容量比較大時，則會發生大量的文件/對象進行遷移,遷移過程可能由於佔用大量資源而導致上層應用性能下降。而且當文件/對象遷移過程中，機器故障可能會導致一些意想不到的情冴,尤其是有大量業務的時候。當然針對此類問題，Gluterfs之類的文件系統有一些比較復雜的處理辦法。
不支持擴展優勢

❺ Minio鏋舵瀯綆浠

鎻寮Minio鐨勭炵橀潰綰憋細涓涓鍗撹秺鐨勫紑婧愬硅薄瀛樺偍緋葷粺

Minio錛屼竴涓涓撲負澶ц勬ā鏁版嵁瀛樺偍鑰岀敓鐨勪簯瀛樺偍瑙ｅ喅鏂規堬紝浠ュ叾鐙鐗圭殑浼樺娍鑴遍栬屽嚭銆傚畠鐨勮捐＄悊蹇電畝鍗曡屽彲闈狅紝閲囩敤鍘諱腑蹇冨寲鐨勬灦鏋勶紝涓虹＄悊甯︽潵浜嗗墠鎵鏈鏈夌殑鐏墊椿鎬у拰楂樺彲鐢ㄦс傞氳繃浜戝師鐢熺殑鐗規э紝Minio鏃犵紳鋙嶅叆Kubernetes絳夌紪鎺掔郴緇燂紝閮ㄧ講嫻佺▼杞繪澗楂樻晥錛屾棤闇棰濆栫殑鍏冩暟鎹鏁版嵁搴擄紝瀹岀編鍏煎笰mazon S3鎺ュ彛錛岃╂搷浣滃彉寰楁洿鍔犵洿瑙傚拰渚挎嵎銆

Minio鐨勬牳蹇冩槸鍏跺幓涓蹇冨寲鐨勫瓨鍌ㄦā鍨嬶紝鏁版嵁鍒嗘暎瀛樺偍騫惰嚜鍔ㄨ礋杞藉潎琛★紝紜淇濆湪浠諱綍鎯呭喌涓嬮兘鑳芥彁渚涘己澶х殑鎬ц兘銆傞氳繃緇熶竴鐨勫懡鍚嶇┖闂達紝鏃犺烘槸鏈鍦板垎甯冨紡閮ㄧ講榪樻槸鑱旂洘妯″紡錛岄兘鑳藉疄鐜版棤緙濊塊棶錛屼負鐢ㄦ埛甯︽潵涓鑷寸殑浣撻獙銆

瀵逛簬鏁版嵁涓鑷存э紝Minio閲囩敤鍒嗗竷寮忛攣綆＄悊鏈哄埗錛岄氳繃dsync瀹炵幇錛屽敖綆″湪32鑺傜偣鐨勯檺鍒朵笅錛屽畠鑳界『淇濇暟鎹鍦ㄥ氳妭鐐歸棿鐨勫悓姝ワ紝浠ュ疄鐜伴珮鍙鐢ㄦс傚叾鏁版嵁緇撴瀯娓呮櫚錛屽熀浜庣熸埛-妗-瀵硅薄鐨勬ā鍨嬶紝緇嗚嚧鐨勬潈闄愮＄悊紜淇濇暟鎹瀹夊叏銆

鏁版嵁淇濇姢涓庢仮澶嶇殑鍗撹秺瀹炶返

ErasureCode鏄疢inio鐨勬暟鎹瀹堟姢鑰咃紝鍗充嬌鍦ㄩ儴鍒嗙‖鐩樻晠闅滅殑鎯呭喌涓嬶紝涔熻兘閫氳繃Reed-Solomon緙栫爜榪涜屾暟鎹鎮㈠嶃傚湪鍒嗗竷寮忕幆澧冧腑錛屼繚鎸丯/2鑺傜偣鍦ㄧ嚎鏄鏁版嵁瀹夊叏鐨勫熀紜錛岃屽啓鎿嶄綔鍒欓渶瑕丯/2+1鑺傜偣鍙備笌銆備笂浼犳枃浠舵椂錛屽厓鏁版嵁鍜屾暟鎹鍒嗙墖鐨勭粨鍚堬紝閫氳繃HighwayHash鎶鏈紜淇濇暟鎹鐨勫畬鏁存у拰涓鑷存с

鏅鴻兘鎵╁睍涓庡囦喚

Minio鍐呯疆鐨凩ambda璁＄畻鍔熻兘鏀鎸佷簨浠墮氱煡錛屾瘡褰撳硅薄涓婁紶銆佷笅杞芥垨鍒犻櫎鏃訛紝閮借兘瑙﹀彂鐩稿簲鐨勬墿灞曟搷浣滐紝涓虹敤鎴鋒彁渚涗簡寮哄ぇ鐨勬暟鎹澶囦喚絳栫暐錛屽疄鐜板為噺澶囦喚錛屾弧瓚沖姩鎬佹墿灞曢渶奼傘

鏃犵紳闆嗘垚錛屾墿灞曞瓨鍌ㄨ竟鐣

浣滀負瀵硅薄瀛樺偍緗戝叧錛孧inio灝哊AS鍜孒DFS絳変紶緇熺郴緇熸棤緙濋泦鎴愶紝閫氳繃S3 API鎻愪緵緇熶竴鎺ュ彛錛屾瘮濡傚湪澶勭悊GCS璇鋒眰鏃訛紝瀹為檯涓婃槸閫氳繃GCS SDK鎿嶄綔錛屼嬌寰椾笉鍚岀郴緇熺殑鐢ㄦ埛閮借兘浜鍙楀埌Minio鐨勯珮鏁堝拰渚挎嵎銆

鎬葷粨鏉ヨ達紝Minio鍑鍊熷叾寮哄ぇ鐨勫姛鑳姐佺伒媧葷殑鏋舵瀯鍜屽嚭鑹茬殑鏁版嵁淇濇姢鏈哄埗錛屾垚涓轟紒涓氬拰寮鍙戣呭瓨鍌ㄥ拰綆＄悊嫻烽噺鏁版嵁鐨勭悊鎯抽夋嫨銆傚湪榪欎釜鐭ヨ瘑鍏變韓鐨勬椂浠ｏ紝璁╂垜浠鍏卞悓鎺㈢儲Minio甯︽潵鐨勬棤闄愬彲鑳斤紝鎺ㄥ姩鎶鏈榪涙ワ紝鏋勫緩鏇存櫤鑳界殑鏁板瓧涓栫晫銆