分布式資料庫
Ⅰ 什麼是分布式資料庫
分布式計算機系統所支撐的分布式資料庫是資料庫技術與計算機網路技術相結合的產物。與常見的集中式資料庫相比,雖然分布式資料庫的數據分散存儲在網路上的各點,但它可以為網上所有的用戶所共享,任何地方的合法用戶都可以十分方便地獲取和處理所需的數據,就像數據在他們本地的計算機上一樣。
Ⅱ 大數據的分布式資料庫技術的對比
大數據技術的實現離不開很多其他的技術,我們提到最多的就是Hadoop技術,其實就目前而言,Hadoop技術看似是自成一套體系,其實並不是這樣的,Hadoop和Spark以及分布式資料庫其實也是存在差異的,我們就在這篇文章中給大家介紹一下這些內容。
首先我們說一說大數據分析,現在的大數據分析體系以Hadoop生態為主,而近年來逐漸火熱的Spark技術也是主要的生態之一。可以這么說,Hadoop技術只能算是以HDFS+YARN作為基礎的分布式文件系統,而不是資料庫。我們提到的Hadoop的歷史可以向前追溯10年,當年穀歌為了在幾萬台PC伺服器上構建超大數據集合並提供極高性能的並發訪問能力,從而發明了一種新的技術,而這個技術,也是Hadoop誕生的理論基礎。如果我們從Hadoop的誕生背景可以看出,其主要解決的問題是超大規模集群下如何對非結構化數據進行批處理計算。實際上,在Hadoop架構中,一個分布式任務可以是類似傳統結構化數據的關聯、排序、聚集操作,也可以是針對非結構化數據的用戶自定義程序邏輯。
那麼Hadoop的發展道路是什麼樣的呢。最開始的Hadoop以Big、Hive和MapRece三種開發介面為代表,分別適用於腳本批處理、SQL批處理以及用戶自定義邏輯類型的應用。而Spark的發展更是如此,最開始的SparkRDD幾乎完全沒有SQL能力,還是套用了Hive發展出的Shark才能對SQL有了一部分的支持。但是,隨著企業用戶對Hadoop的使用越發廣泛,SQL已經漸漸成為大數據平台在傳統行業的主要訪問方式之一。
下面我們就說一說分布式資料庫,分布式資料庫有著悠久的歷史,從以Oracle RAC為代表的聯機交易型分布式資料庫,到IBM DB2 DPF統計分析性分布式資料庫,分布式資料庫覆蓋了OLTP與OLAP幾乎全部的數據應用場景。而大部分分布式資料庫功能集中在結構化計算與在線增刪改查上。但是,這些傳統的分布式資料庫以數倉及分析類OLAP系統為主,其局限性在於,其底層的關系型資料庫存儲結構在效率上並不能滿足大量高並發的數據查詢以及大數據數據加工和分析的效率要求。因此,分布式資料庫在近幾年也有著極大的轉型,從單一的數據模型向多模的數據模型轉移,將OLTP、聯機高並發查詢以及支持大數據加工和分析結合起來,不再單獨以OLAP作為設計目標。同時,分布式資料庫在訪問模式上也出現了K/V、文檔、寬表、圖等分支,支持除了SQL查詢語言之外的其他訪問模式,大大豐富了傳統分布式資料庫單一的用途。一般來說,多模資料庫的主要目的是為了滿足具有高性能要求的操作型需求以及目標明確的數據倉庫功能,而不是類似大數據深度學習等數據挖掘場景。這就是分布式資料庫的實際情況。
我們在這篇文章中給大家介紹了大數據分析以及分布式資料庫的相關知識,通過這些內容相信大家已經理解了其中的具體區別了吧,如果這篇文章能夠幫助到大家這就是我們最大的心願。
Ⅲ 分布式資料庫是做什麼的
1.分布式資料庫是資料庫的一種,是資料庫技術和網路技術的結合產物。
2.各有優點和缺點.分布式資料庫分為邏輯上分部物理上分布及邏輯上分布物理上集中兩種。
是的,分布式數據文件便於資料庫的管理維護。
分布式資料庫系統通常使用較小的計算機系統,每台計算機可單獨放在一個地方,每台計算機中都有DBMS的一份完整拷貝副本,並具有自己局部的資料庫,位於不同地點的許多計算機通過網路互相連接,共同組成一個完整的、全局的大型資料庫。
這種組織資料庫的方法克服了物理中心資料庫組織的弱點。
1、首先,降低了數據傳送代價,因為大多數的對資料庫的訪問操作都是針對局部資料庫的,而不是對其他位置的資料庫訪問;
2、其次,系統的可靠性提高了很多,因為當網路出現故障時,仍然允許對局部資料庫的操作,而且一個位置的故障不影響其他位置的處理工作,只有當訪問出現故障位置的數據時,在某種程度上才受影響;
3、便於系統的擴充,增加一個新的局部資料庫,或在某個位置擴充一台適當的小型計算機,都很容易實現。然而有些功能要付出更高的代價;
例如,為了調配在幾個位置上的活動,事務管理的性能比在中心資料庫時花費更高,而且甚至抵消許多其他的優點。
分布式資料庫系統主要特點:
1.多數處理就地完成;
2.各地的計算機有數據通信網路相聯系。
3.克服了中心資料庫的弱點:降低了數據傳輸代價;
4. 提高了系統的可靠性,局部系統發生故障,其他部分還可繼續工作;
5.各個資料庫的位置是透明的,方便系統的擴充;
6.為了協調整個系統的事務活動,事務管理的性能花費高;
數據分片
類型:
(1)水平分片:按一定的條件把全局關系的所有元組劃分成若干不相交的子集,每個子集為關系的一個片段。
(2)垂直分片:把一個全局關系的屬性集分成若乾子集,並在這些子集上作投影運算,每個投影稱為垂直分片。
(3)導出分片:又稱為導出水平分片,即水平分片的條件不是本關系屬性的條件,而是其他關系屬性的條件。
(4)混合分片:以上三種方法的混合。可以先水平分片再垂直分片,或先垂直分片再水平分片,或其他形式,但他們的結果是不相同的。
條件:
(1)完備性條件:必須把全局關系的所有數據映射到片段中,決不允許有屬於全局關系的數據卻不屬於它的任何一個片段。
(2)可重構條件:必須保證能夠由同一個全局關系的各個片段來重建該全局關系。對於水平分片可用並操作重構全局關系;對於垂直分片可用聯接操作重構全局關系。
(3)不相交條件:要求一個全局關系被分割後所得的各個數據片段互不重疊(對垂直分片的主鍵除外)。
數據分配方式
(1)集中式:所有數據片段都安排在同一個場地上。
(2)分割式:所有數據只有一份,它被分割成若干邏輯片段,每個邏輯片段被指派在一個特定的場地上。
(3)全復制式:數據在每個場地重復存儲。也就是每個場地上都有一個完整的數據副本。
(4)混合式:這是一種介乎於分割式和全復制式之間的分配方式。
目前分布式資料庫分配的設計,越來越多的採用尋找最優解的演算法,比如遺傳演算法、退火機制等.
Ⅳ 分布式資料庫是什麼意思
分布式資料庫系統是地理上分布在網路的不同結點而邏輯上屬於同一個系統的資料庫系統。
Ⅳ 名詞解釋 分布式資料庫
分布式資料庫是用計算機網路將物理上分散的多個資料庫單元連接起來組成的一個邏輯上統一的資料庫。 每個被連接起來的資料庫單元稱為站點或節點。分布式資料庫有一個統一的資料庫管理系統來進行管理,稱為分布式資料庫管理系統。分布式資料庫的基本特點包括:物理分布性、邏輯整體性和站點自治性。
可以關注下國產分布式開源資料庫 TiDBTiDB 官方社區(AskTUG)
Ⅵ 什麼叫分布式資料庫
1.分布式資料庫是資料庫的一種,是資料庫技術和網路技術的結合產物。
2.各有優點和缺點.分布式資料庫分為邏輯上分部物理上分布及邏輯上分布物理上集中兩種。
是的,分布式數據文件便於資料庫的管理維護。
Ⅶ 分布式資料庫系統
分布式資料庫系統(DDBS)包含分布式資料庫管理系統(DDBMS)和分布式資料庫(DDB)。在分布式資料庫系統中,一個應用程序可以對資料庫進行透明操作,資料庫中的數據分別在不同的局部資料庫中存儲、由不同的 DBMS進行管理、在不同的機器上運行、由不同的操作系統支持、被不同的通信網路連接在一起。
一個分布式資料庫在邏輯上是一個統一的整體,在物理上則是分別存儲在不同的物理節點上。一個應用程序通過網路的連接可以訪問分布在不同地理位置的資料庫。它的分布性表現在資料庫中的數據不是存儲在同一場地。更確切地講,不存儲在同一計算機的存儲設備上。這就是與集中式資料庫的區別。從用戶的角度看,一個分布式資料庫系統在邏輯上和集中式資料庫系統一樣,用戶可以在任何一個場地執行全局應用。就好像那些數據是存儲在同一台計算機上,有單個資料庫管理系統(DBMS)管理一樣,用戶並沒有什麼感覺不一樣。
分布式資料庫系統是在集中式資料庫系統的基礎上發展起來的,是計算機技術和網路技術結合的產物。分布式資料庫系統適合於單位分散的部門,允許各個部門將其常用的數據存儲在本地,實施就地存放本地使用,從而提高響應速度,降低通信費用。分布式資料庫系統與集中式資料庫系統相比具有可擴展性,通過增加適當的數據冗餘,提高系統的可靠性。在集中式資料庫中,盡量減少冗餘度是系統目標之一.其原因是,冗餘數據浪費存儲空間,而且容易造成各副本之間的不一致性.而為了保證數據的一致性,系統要付出一定的維護代價.減少冗餘度的目標是用數據共享來達到的。而在分布式資料庫中卻希望增加冗餘數據,在不同的場地存儲同一數據的多個副本,其原因是:①.提高系統的可靠性、可用性當某一場地出現故障時,系統可以對另一場地上的相同副本進行操作,不會因一處故障而造成整個系統的癱瘓。②.提高系統性能系統可以根據距離選擇離用戶最近的數據副本進行操作,減少通信代價,改善整個系統的性能。
Ⅷ 什麼是分布式資料庫系統分布式資料庫系統有哪些特點
分布式資料庫是一個邏輯資料庫,它的物理資料庫在地理位置上分布在多個資料庫管理系統的計算機網路中,這些資料庫系統構成了分布式的資料庫管理系統。在分布式資料庫管理系統中,每台計算機上的用戶在訪問資料庫時並不感到他使用的數據在物理上不存儲在自己的計算機中,而是由分布式資料庫系統由網路從其它機器中傳輸過來。因此,對每一用戶來說,看到的都是一個統一的概念模式。分布式資料庫系統的主要特點是:(1)具有較高的可靠性,當系統中一台機器發生故障時、不會導致整個系統的破壞。當故障排除後,分布式資料庫系統可將故障期間的資料庫加以恢復修改。(2)分散了工作負荷,使大量的處理均勻分擔。(3)便於實現系統的擴充。分布式資料庫系統是計算機通訊和資料庫技術相結合的產物,是非常有代表性的資料庫技術發展方向之一。