當前位置:首頁 » 存儲配置 » 分布式存儲優缺點

分布式存儲優缺點

發布時間: 2022-06-27 20:11:58

① 谷歌的分布式文件系統的優缺點

Google File System 文件系統

為了滿足Google迅速增長的數據處理需求,Google設計並實現了Google文件系統(GFS,Google File System)。GFS與過去的分布式文件系統擁有許多相同的目標,例如性能、可伸縮性、可靠性以及可用性。然而,它的設計還受到Google應用負載和技術環境的影響。主要體現在以下四個方面:

1. 集群中的節點失效是一種常態,而不是一種異常。由於參與運算與處理的節點數目非常龐大,通常會使用上千個節點進行共同計算,因此,每時每刻總會有節點處在失效狀態。需要通過軟體程序模塊,監視系統的動態運行狀況,偵測錯誤,並且將容錯以及自動恢復系統集成在系統中。

2. Google系統中的文件大小與通常文件系統中的文件大小概念不一樣,文件大小通常以G位元組計。另外文件系統中的文件含義與通常文件不同,一個大文件可能包含大量數目的通常意義上的小文件。所以,設計預期和參數,例如I/O操作和塊尺寸都要重新考慮。

3. Google文件系統中的文件讀寫模式和傳統的文件系統不同。在Google應用(如搜索)中對大部分文件的修改,不是覆蓋原有數據,而是在文件尾追加新數據。對文件的隨機寫是幾乎不存在的。對於這類巨大文件的訪問模式,客戶端對數據塊緩存失去了意義,追加操作成為性能優化和原子性(把一個事務看做是一個程序。它要麼被完整地執行,要麼完全不執行)保證的焦點。

4. 文件系統的某些具體操作不再透明,而且需要應用程序的協助完成,應用程序和文件系統API的協同設計提高了整個系統的靈活性。例如,放鬆了對GFS一致性模型的要求,這樣不用加重應用程序的負擔,就大大簡化了文件系統的設計。還引入了原子性的追加操作,這樣多個客戶端同時進行追加的時候,就不需要額外的同步操作了。

總之,GFS是為Google應用程序本身而設計的。據稱,Google已經部署了許多GFS集群。有的集群擁有超過1000個存儲節點,超過300T的硬碟空間,被不同機器上的數百個客戶端連續不斷地頻繁訪問著。

② 當前主流分布式文件系統有哪些各有什麼優缺點

目前幾個主流的分布式文件系統除GPFS外,還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel
Virtual
File
System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足:
1)單一管理節點:只有一個管理節點來管理元數據,當集群系統達到一定的規模之後,管理節點將可能出現過度繁忙的情況,這時管理節點將成為系統瓶頸;
2)對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時,數據將出現不可用的情況;
3)靜態配置:對PVFS的配置只能在啟動前進行,一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統,此項目於1999年在Carnegie
Mellon
University啟動,Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後,管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas
File
System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google
File
System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。

③ 分布存儲和集中存儲有什麼本質區別

分布式 存儲就是DAS ,就是伺服器裡面放著硬碟,多台伺服器的話就是分布式存儲,數據分散,不易於管理。
集中存儲就是 NAS,SAN,將伺服器和硬碟分開,數據都存放NAS設備中,NAS設備再級聯磁碟陣列,然後多個伺服器對這個NAS設備進行訪問,操作,集中數據管理,提高利用率,解放伺服器!

④ 集中式數據處理和分布式數據處理的優缺點

集中式數據處理優點:

1、部署結構簡單。

2、數據容易備份,只需要把中央計算機上的數據備份即可。

3、不易感染病毒,只要對中央計算機做好保護,終端一般不需要外接設備,感染病毒的幾率很低。

4、總費用較低,中央計算機的功能非常強大,終端只需要簡單、便宜的設備。

缺點:

1、中央計算機需要執行所有的運算,當終端很多時,會導致響應速度變慢。

2、如果終端用戶有不同的需要,要對每個用戶的程序和資源做單獨的配置,在集中式系統上做起來比較困難,而且效率不高。

分布式數據處理優點:

1、分布式網路中的每台機器都能存儲和處理數據,降低了對機器性能的要求,所以不必購買昂貴的高性能機器,這大大降低了硬體投資成本。

2、擴展性極佳。在當前系統存儲或計算能力不足時,可以簡單地通過增加廉價PC機的方式來增加系統的處理和存儲能力。

3、處理能力極強。龐大的計算任務可以在合理分割後由分布式網路中的機器並行地處理

缺點

1、計算程序全負荷運行時仍會對計算機的各個部件造成一定壓力。

2、對項目方來說,參加分布式計算的志願者不是項目方自己的人員,不是全體可信任,因此必須引入一定的冗餘計算機制,才能防止計算錯誤、惡意作弊等。



(4)分布式存儲優缺點擴展閱讀

分布式計算為信息不只分布在一個軟體或計算機上,而是分布於多個軟體上,可以用多台或一台計算機同時運行若干個軟體,通過網路實現信息的共享。與其他演算法相比,分布式演算法有明顯的優勢:

1、共享資源更加方便。

2、能夠實現計算負載的平衡,用多台計算機同時處理任務。

3、可以根據實際需要合理選擇適當的計算機運行該程序。計算機分布式計算的靈魂是平衡負載和共享資源。分布式計算具有高效、快捷、准確的優勢

⑤ 分布式存儲是什麼

分布式存儲系統,是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
分布式和集中式存儲
集中存儲的優缺點是,物理介質集中布放;視頻流上傳到中心對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。

分布存儲,集中管理的優缺點是,物理介質分布到不同的地理位置;視頻流就近上傳,對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。

鏈喬教育在線旗下學碩創新區塊鏈技術工作站是中國教育部學校規劃建設發展中心開展的「智慧學習工場2020-學碩創新工作站 」唯一獲準的「區塊鏈技術專業」試點工作站。專業站立足為學生提供多樣化成長路徑,推進專業學位研究生產學研結合培養模式改革,構建應用型、復合型人才培養體系。

⑥ 分布式存儲是什麼東西

關於分布式存儲實際上並沒有一個明確的定義,甚至名稱上也沒有一個統一的說法,大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。
其中維基網路中給 Distributed data store 的定義是:分布式存儲是一種計算機網路,它通常以數據復制的方式將信息存儲在多個節點中。
在網路中給出的定義是:分布式存儲系統,是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
盡管各方對分布式存儲的定義並不完全相同,但有一點是統一的,就是分布式存儲將數據分散放置在多個節點中,節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

⑦ 分布式存儲的優點有哪些

分布式存儲的六大優點
分布式存儲往往採用分布式的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息。它不但提高了系統的可靠性、可用性和存取效率,還易於擴展,將通用硬體引入的不穩定因素降到最低。優點如下:

1. 高性能

一個具有高性能的分布式存戶通常能夠高效地管理讀緩存和寫緩存,並且支持自動的分級存儲。分布式存儲通過將熱點區域內數據映射到高速存儲中,來提高系統響應速度;一旦這些區域不再是熱點,那麼存儲系統會將它們移出高速存儲。而寫緩存技術則可使配合高速存儲來明顯改變整體存儲的性能,按照一定的策略,先將數據寫入高速存儲,再在適當的時間進行同步落盤。

2. 支持分級存儲

由於通過網路進行松耦合鏈接,分布式存儲允許高速存儲和低速存儲分開部署,或者任意比例混布。在不可預測的業務環境或者敏捷應用情況下,分層存儲的優勢可以發揮到最佳。解決了目前緩存分層存儲最大的問題是當性能池讀不命中後,從冷池提取數據的粒度太大,導致延遲高,從而給造成整體的性能的抖動的問題。

3. 一致性

與傳統的存儲架構使用RAID模式來保證數據的可靠性不同,分布式存儲採用了多副本備份機制。在存儲數據之前,分布式存儲對數據進行了分片,分片後的數據按照一定的規則保存在集群節點上。為了保證多個數據副本之間的一致性,分布式存儲通常採用的是一個副本寫入,多個副本讀取的強一致性技術,使用鏡像、條帶、分布式校驗等方式滿足租戶對於可靠性不同的需求。在讀取數據失敗的時候,系統可以通過從其他副本讀取數據,重新寫入該副本進行恢復,從而保證副本的總數固定;當數據長時間處於不一致狀態時,系統會自動數據重建恢復,同時租戶可設定數據恢復的帶寬規則,最小化對業務的影響。

4. 容災性

在分布式存儲的容災中,一個重要的手段就是多時間點快照技術,使得用戶生產系統能夠實現一定時間間隔下的各版本數據的保存。特別值得一提的是,多時間點快照技術支持同時提取多個時間點樣本同時恢復,這對於很多邏輯錯誤的災難定位十分有用,如果用戶有多台伺服器或虛擬機可以用作系統恢復,通過比照和分析,可以快速找到哪個時間點才是需要回復的時間點,降低了故障定位的難度,縮短了定位時間。這個功能還非

5. 擴展性

6. 存儲系統標准化

⑧ 集中式存儲和分布式存儲有什麼區別

區別:

1、物理介質分布不同。

集中存儲:物理介質集中布放。

分布存儲:物理介質分布到不同的地理位置。

2、視頻流上傳不同:

集中存儲:視頻流上傳到中心。

分布存儲:視頻流就近上傳,對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。

3、對機房有要求不同:

集中存儲:對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。

分布存儲:對骨幹網帶寬沒有什麼要求,可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;。小容量設備分布部署,對機房環境要求低。



(8)分布式存儲優缺點擴展閱讀:

集中存儲:

指建立一個龐大的資料庫,把各種信息存入其中,各種功能模塊圍繞信息庫的周圍並對信息庫進行錄入、修改、查詢、刪除等操作的組織方式。

分布式存儲系統:

是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。

分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。


網路-集中存儲

網路-分布式存儲系統

⑨ 集中式存儲和分布式存儲的區別在哪裡如何選擇

如今全球數據存儲量呈現爆炸式增長,企業及互聯網數據以每年50%的速率在增長,據Gartner預測,到2020年,全球數據量將達到35ZB,等於80億塊4TB硬碟。數據結構變化給存儲系統帶來新的挑戰。非結構化數據在存儲系統中所佔據比例已接近80%。

互聯網的發展使得數據創造的主體由企業逐漸轉向個人用戶,而個人所產生的絕大部分數據均為圖片、文檔、視頻等非結構化數據;企業辦公流程更多通過網路實現,表單、票據等都實現了以非結構化為主的數字化存檔;同時,基於資料庫應用的結構化數據仍然在企業中占據重要地位,存儲大量的核心信息。

數據業務的急劇增加,傳統單一的SAN存儲或NAS存儲方式已經不適應業務發展需要。SAN存儲:成本高,不適合PB級大規模存儲系統。數據共享性不好,無法支持多用戶文件共享。NAS存儲:共享網路帶寬,並發性能差。隨系統擴展,性能會進一步下降。因此,集中式存儲再次活躍。

那麼集中式存儲和分布式存儲的有缺點分別有哪些呢?在面對二者時我們該如何選擇呢?下面我將為大家介紹和分析集中式存儲和分布式存儲的不同之處以及在應用中我們應做的選擇。


分布式和集中式存儲的選擇

集中存儲的優缺點是,物理介質集中布放;視頻流上傳到中心對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。

分布存儲,集中管理的優缺點是,物理介質分布到不同的地理位置;視頻流就近上傳,對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。

⑩ 集中式存儲和分布式存儲可以共同部署嗎

肯定不能,之間的區別:
1分布式 存儲就是DAS ,就是伺服器裡面放著硬碟,多台伺服器的話就是分布式存儲,數據分散,不易於管理。
2集中存儲就是 NAS,SAN,將伺服器和硬碟分開,數據都存放NAS設備中,NAS設備再級聯磁碟陣列,然後多個伺服器對這個NAS設備進行訪問,操作,集中數據管理,提高利用率,解放伺服器!

熱點內容
跳轉頁源碼 發布:2024-09-17 03:13:05 瀏覽:543
html文件上傳表單 發布:2024-09-17 03:08:02 瀏覽:784
聊天軟體編程 發布:2024-09-17 03:00:07 瀏覽:726
linuxoracle安裝路徑 發布:2024-09-17 01:57:29 瀏覽:688
兩個安卓手機照片怎麼同步 發布:2024-09-17 01:51:53 瀏覽:207
cf編譯後沒有黑框跳出來 發布:2024-09-17 01:46:54 瀏覽:249
安卓怎麼禁用應用讀取列表 發布:2024-09-17 01:46:45 瀏覽:524
win10設密碼在哪裡 發布:2024-09-17 01:33:32 瀏覽:662
情逢敵手迅雷下載ftp 發布:2024-09-17 01:32:35 瀏覽:337
安卓如何讓軟體按照步驟自動運行 發布:2024-09-17 01:28:27 瀏覽:197