當前位置:首頁 » 存儲配置 » 單一資料庫實例和分布式存儲

單一資料庫實例和分布式存儲

發布時間: 2022-04-19 06:23:13

1. 什麼是分布式資料庫

精確的分布式資料庫定義:分布式資料庫是由一組數據組成的,這組數據分布在計算機網路中的不同的計算機上,網路中的每個節點具有獨立處理的能力(稱為場地自治),可以執行局部應用。同時,每個節點也能通過網路通信子系統執行全局應用。與之前的定義相比,更注重場地自治性以及自治場地之間的協作性。

分布式資料庫系統:一個粗略的定義是“分布式資料庫由一組數據組成,這些數據物理上分布在計算機網路的不同節點上(亦稱場地)上,邏輯上是屬於同一個系統。” 這里強調兩點:

(1)分布性:資料庫中的數據不是存儲在同一場地,更確切的說,不存儲在同一計算機的存儲設備上,這就可以和集中式資料庫相互區別。

(2)邏輯整體性:這些數據邏輯上是互相聯系的,是一個整體(邏輯上如同集中資料庫)。

2. 分布式資料庫相比自建資料庫具備哪些優勢

自建資料庫:

  • 容易產生容量與性能瓶頸

    當前的硬體條件下,主流資料庫可以支持單表千萬級數據量的存儲,但是難以支撐密集的並發讀寫,存在性能瓶頸。

  • 分區分表或分庫方案限制太多

    採用分區表方案,數據不能跨實例存儲,擴展性和維護性較差。

    採用分庫方案,客戶端需要自行管理各庫連接,資料庫連接管理和升級復雜,擴容遷移困難。

  • 伺服器成本高昂

    普通X86伺服器支撐能力有限,品牌廠商的伺服器價格高昂,通過增加硬體規格來提升並發性能的成本太高,且能到達的性能高度有限。

在分布式資料庫面前,上面這些都不是問題,有很長廠商都已經把分布式資料庫做的不錯了,如阿里雲,華為雲等。

如下以我熟悉的華為雲分布式資料庫中間件DDM為例為你介紹下,如果感興趣可以去官網了解一下,現在好像還有試用活動:華為雲分布式資料庫中間件DDM

分布式資料庫:

  • 數據分布存儲

    DDM採用水平拆分方式,將數據記錄數龐大的單表,按指定的拆分規則,分布式存儲到各個分片中。同時DDM提供路由分發功能,應用服務無需考慮數據該寫入哪個分片,該從哪個分片讀取。

  • 讀寫分離

    用戶可以根據數據讀取壓力負載情況,為每個RDS實例配置一個或者多個只讀實例,提高查詢並發性能。

  • 高性能

    在實際業務訪問中,SQL主要的性能瓶頸集中在物理資料庫節點上。

    DDM實例關聯多個RDS節點,減少單個RDS存儲的數據量,同時實現並行計算,支持PB級數據量訪問,以及百萬級高並發。

  • 在線平滑擴容

    DDM在不中斷業務的情況下,支持新增RDS實例,水平擴容存儲空間。一鍵式擴容,輕松解決單機資料庫的容量瓶頸。

3. 大數據的分布式資料庫技術的對比

大數據技術的實現離不開很多其他的技術,我們提到最多的就是Hadoop技術,其實就目前而言,Hadoop技術看似是自成一套體系,其實並不是這樣的,Hadoop和Spark以及分布式資料庫其實也是存在差異的,我們就在這篇文章中給大家介紹一下這些內容。
首先我們說一說大數據分析,現在的大數據分析體系以Hadoop生態為主,而近年來逐漸火熱的Spark技術也是主要的生態之一。可以這么說,Hadoop技術只能算是以HDFS+YARN作為基礎的分布式文件系統,而不是資料庫。我們提到的Hadoop的歷史可以向前追溯10年,當年穀歌為了在幾萬台PC伺服器上構建超大數據集合並提供極高性能的並發訪問能力,從而發明了一種新的技術,而這個技術,也是Hadoop誕生的理論基礎。如果我們從Hadoop的誕生背景可以看出,其主要解決的問題是超大規模集群下如何對非結構化數據進行批處理計算。實際上,在Hadoop架構中,一個分布式任務可以是類似傳統結構化數據的關聯、排序、聚集操作,也可以是針對非結構化數據的用戶自定義程序邏輯。
那麼Hadoop的發展道路是什麼樣的呢。最開始的Hadoop以Big、Hive和MapRece三種開發介面為代表,分別適用於腳本批處理、SQL批處理以及用戶自定義邏輯類型的應用。而Spark的發展更是如此,最開始的SparkRDD幾乎完全沒有SQL能力,還是套用了Hive發展出的Shark才能對SQL有了一部分的支持。但是,隨著企業用戶對Hadoop的使用越發廣泛,SQL已經漸漸成為大數據平台在傳統行業的主要訪問方式之一。
下面我們就說一說分布式資料庫,分布式資料庫有著悠久的歷史,從以Oracle RAC為代表的聯機交易型分布式資料庫,到IBM DB2 DPF統計分析性分布式資料庫,分布式資料庫覆蓋了OLTP與OLAP幾乎全部的數據應用場景。而大部分分布式資料庫功能集中在結構化計算與在線增刪改查上。但是,這些傳統的分布式資料庫以數倉及分析類OLAP系統為主,其局限性在於,其底層的關系型資料庫存儲結構在效率上並不能滿足大量高並發的數據查詢以及大數據數據加工和分析的效率要求。因此,分布式資料庫在近幾年也有著極大的轉型,從單一的數據模型向多模的數據模型轉移,將OLTP、聯機高並發查詢以及支持大數據加工和分析結合起來,不再單獨以OLAP作為設計目標。同時,分布式資料庫在訪問模式上也出現了K/V、文檔、寬表、圖等分支,支持除了SQL查詢語言之外的其他訪問模式,大大豐富了傳統分布式資料庫單一的用途。一般來說,多模資料庫的主要目的是為了滿足具有高性能要求的操作型需求以及目標明確的數據倉庫功能,而不是類似大數據深度學習等數據挖掘場景。這就是分布式資料庫的實際情況。
我們在這篇文章中給大家介紹了大數據分析以及分布式資料庫的相關知識,通過這些內容相信大家已經理解了其中的具體區別了吧,如果這篇文章能夠幫助到大家這就是我們最大的心願。

4. 使用分布式資料庫有什麼優勢

華為雲、阿里雲、騰訊雲都推出了分布式資料庫服務。

  • 無限擴容

    自動水平拆分。

    支持字元串、數字、日期等多種拆緯度。

    業務不中斷平滑擴容。

  • 性能卓越

    性能通過水平擴展可線性提升。

  • 簡單易用

    兼容MYSQL 協議、語法、客戶端。

    輕松數據導入,資料庫上雲。

    一鍵實現資料庫擴容。

    業務零代碼改動,實現讀寫分離。

  • 快速部署

    可在線快速部署實例,節省采購、部署、配置等自建資料庫工作,縮短項目周期,幫助業務快速上線。

  • 低成本

    穩定的產品,完善的運維和技術支持,相比開源產品總體性價比更高;多種實例規格配置覆蓋不同業務規模場景,按需購買。

  • 單機資料庫的現狀與困境

    隨著互聯網飛速發展,企業數據越來越龐大,應用對性能要求也越來越高。單機資料庫對大批量數據的處理存在一定的局限性:

  • 單機資料庫容易產生容量與性能瓶頸

    當前的硬體條件下,主流資料庫可以支持單表千萬級數據量的存儲,但是難以支撐密集的並發讀寫,存在性能瓶頸。

  • 傳統的分區分表或分庫方案限制太多

    採用分區表方案,數據不能跨實例存儲,擴展性和維護性較差。

    採用分庫方案,客戶端需要自行管理各庫連接,資料庫連接管理和升級復雜,擴容遷移困難。

  • 單機資料庫伺服器成本高昂

    普通X86伺服器支撐能力有限,品牌廠商的伺服器價格高昂,通過增加硬體規格來提升並發性能的成本太高,且能到達的性能高度有限。

  • DDM輕松應對海量數據與高並發

    DDM解決了單機關系型資料庫對硬體依賴性強、擴展能力有限、數據量增大後擴容困難、資料庫響應變慢等難題,通過分布式集群架構方案實現了「平滑擴容」,擴容過程中保持業務不中斷。

  • 數據分布存儲

    DDM採用水平拆分方式,將數據記錄數龐大的單表,按指定的拆分規則,分布式存儲到各個分片中。同時DDM提供路由分發功能,應用服務無需考慮數據該寫入哪個分片,該從哪個分片讀取。

  • 讀寫分離

    用戶可以根據數據讀取壓力負載情況,為每個RDS實例配置一個或者多個只讀實例,提高查詢並發性能。

  • 高性能

    在實際業務訪問中,SQL主要的性能瓶頸集中在物理資料庫節點上。

    DDM實例關聯多個RDS節點,減少單個RDS存儲的數據量,同時實現並行計算,支持PB級數據量訪問,以及百萬級高並發。

  • 在線平滑擴容

    DDM在不中斷業務的情況下,支持新增RDS實例,水平擴容存儲空間。一鍵式擴容,輕松解決單機資料庫的容量瓶頸。

5. 集中式存儲和分布式存儲有什麼區別

區別:

1、物理介質分布不同。

集中存儲:物理介質集中布放。

分布存儲:物理介質分布到不同的地理位置。

2、視頻流上傳不同:

集中存儲:視頻流上傳到中心。

分布存儲:視頻流就近上傳,對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。

3、對機房有要求不同:

集中存儲:對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。

分布存儲:對骨幹網帶寬沒有什麼要求,可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;。小容量設備分布部署,對機房環境要求低。



(5)單一資料庫實例和分布式存儲擴展閱讀:

集中存儲:

指建立一個龐大的資料庫,把各種信息存入其中,各種功能模塊圍繞信息庫的周圍並對信息庫進行錄入、修改、查詢、刪除等操作的組織方式。

分布式存儲系統:

是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。

分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。


網路-集中存儲

網路-分布式存儲系統

6. 什麼是分布式資料庫

分布式計算機系統所支撐的分布式資料庫是資料庫技術與計算機網路技術相結合的產物。與常見的集中式資料庫相比,雖然分布式資料庫的數據分散存儲在網路上的各點,但它可以為網上所有的用戶所共享,任何地方的合法用戶都可以十分方便地獲取和處理所需的數據,就像數據在他們本地的計算機上一樣。

7. 分布式文件系統和分布式資料庫有什麼不同

分布式文件系統(dfs)和分布式資料庫都支持存入,取出和刪除。但是分布式文件系統比較暴力,可以當做key/value的存取。分布式資料庫涉及精煉的數據,傳統的分布式關系型資料庫會定義數據元組的schema,存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS(未開源),HDFS(Hadoop
distributed
file
system)。分布式資料庫現在出名的有Hbase,oceanbase。其中Hbase是基於HDFS,而oceanbase是自己內部實現的分布式文件系統,在此也可以說分布式資料庫以分布式文件系統做基礎存儲。

8. 什麼是分布式數據存儲

什麼是分布式存儲

分布式存儲是一種數據存儲技術,它通過網路使用企業中每台機器上的磁碟空間,這些分散的存儲資源構成了虛擬存儲設備,數據分布存儲在企業的各個角落。

分布式存儲系統,可在多個獨立設備上分發數據。傳統的網路存儲系統使用集中存儲伺服器來存儲所有數據。存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,無法滿足大規模存儲應用的需求。分布式網路存儲系統採用可擴展的系統結構,使用多個存儲伺服器共享存儲負載,利用位置伺服器定位存儲信息,不僅提高了系統的可靠性,可用性和訪問效率,而且易於擴展。

9. 什麼叫分布式資料庫,有什麼優點和缺點

1.分布式資料庫是資料庫的一種,是資料庫技術和網路技術的結合產物。

2.各有優點和缺點.分布式資料庫分為邏輯上分部物理上分布及邏輯上分布物理上集中兩種。

是的,分布式數據文件便於資料庫的管理維護。

10. 集中式存儲和分布式存儲的區別在哪裡如何選擇

如今全球數據存儲量呈現爆炸式增長,企業及互聯網數據以每年50%的速率在增長,據Gartner預測,到2020年,全球數據量將達到35ZB,等於80億塊4TB硬碟。數據結構變化給存儲系統帶來新的挑戰。非結構化數據在存儲系統中所佔據比例已接近80%。

互聯網的發展使得數據創造的主體由企業逐漸轉向個人用戶,而個人所產生的絕大部分數據均為圖片、文檔、視頻等非結構化數據;企業辦公流程更多通過網路實現,表單、票據等都實現了以非結構化為主的數字化存檔;同時,基於資料庫應用的結構化數據仍然在企業中占據重要地位,存儲大量的核心信息。

數據業務的急劇增加,傳統單一的SAN存儲或NAS存儲方式已經不適應業務發展需要。SAN存儲:成本高,不適合PB級大規模存儲系統。數據共享性不好,無法支持多用戶文件共享。NAS存儲:共享網路帶寬,並發性能差。隨系統擴展,性能會進一步下降。因此,集中式存儲再次活躍。

那麼集中式存儲和分布式存儲的有缺點分別有哪些呢?在面對二者時我們該如何選擇呢?下面我將為大家介紹和分析集中式存儲和分布式存儲的不同之處以及在應用中我們應做的選擇。


分布式和集中式存儲的選擇

集中存儲的優缺點是,物理介質集中布放;視頻流上傳到中心對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。

分布存儲,集中管理的優缺點是,物理介質分布到不同的地理位置;視頻流就近上傳,對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。

熱點內容
如何打開安卓手機的隱藏空間 發布:2024-11-19 21:09:46 瀏覽:885
c語言strncmp 發布:2024-11-19 21:06:26 瀏覽:767
計算機二級c語言考點 發布:2024-11-19 21:05:08 瀏覽:767
東華大學資料庫 發布:2024-11-19 21:04:12 瀏覽:146
加密狗u盤破解 發布:2024-11-19 21:03:53 瀏覽:222
squid緩存視頻 發布:2024-11-19 21:00:01 瀏覽:719
ftp怎麼更改用戶名 發布:2024-11-19 20:57:22 瀏覽:539
萬網虛擬主機文件夾 發布:2024-11-19 20:49:05 瀏覽:721
韓國三級種子電影下載ftp 發布:2024-11-19 20:48:23 瀏覽:84
wifi無法上網怎麼配置網路 發布:2024-11-19 20:25:38 瀏覽:438