當前位置:首頁 » 操作系統 » 分布式空間資料庫

分布式空間資料庫

發布時間: 2022-03-04 02:52:34

A. 傳統單機資料庫與分布式資料庫分別什麼場景使用

當明顯感覺到查詢響應時間較長,且SQL以及當前資料庫設計沒有優化空間時,可以考慮用分布式資料庫。
公有雲服務有:華為雲DDM、阿里雲DRDS、騰訊雲DCDB。

B. 什麼是分布式數據存儲

什麼是分布式存儲

分布式存儲是一種數據存儲技術,它通過網路使用企業中每台機器上的磁碟空間,這些分散的存儲資源構成了虛擬存儲設備,數據分布存儲在企業的各個角落。

分布式存儲系統,可在多個獨立設備上分發數據。傳統的網路存儲系統使用集中存儲伺服器來存儲所有數據。存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,無法滿足大規模存儲應用的需求。分布式網路存儲系統採用可擴展的系統結構,使用多個存儲伺服器共享存儲負載,利用位置伺服器定位存儲信息,不僅提高了系統的可靠性,可用性和訪問效率,而且易於擴展。

C. 什麼是分布式存儲

分布式存儲系統,是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。


(3)分布式空間資料庫擴展閱讀:

分布式存儲,集中管理,在這個方案中,共有三級:

1、上級監控中心:上級監控中心通常只有一個,主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心:本地監控中心可以有多個,可依據地理位置設置,或者依據行政隸屬關系設立,主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成;音視頻的數據均主要保存在本地監控中心,這就是分布式存儲的概念。

3、監控前端:主要由攝像頭、網路視頻伺服器組成,其中VE4000系列的網路視頻伺服器可以帶硬碟,該硬碟主要是用於網路不暢時,暫時對音視頻數據進行保存,或者需要在前端保存一些重要數據的情況。

D.  網路資料庫與分布式管理

浙江省國土資源遙感綜合調查數據管理信息系統採用空間資料庫引擎(ArcSDE)+大型關系型資料庫系統(Oracle)為後台,在前台分別以ArcInfo和ArcIMS組成胖客戶端和瘦客戶端相結合的混合體系結構作為服務支持,在胖客戶端主要採用內嵌的VBA環境結合AO組件進行開發,在瘦客戶端遵循UML、XML、SQL、TCP/IP各種標准協議基礎,應用JavaScript、Java Servlet、ASP、Java Applet等技術進行開發。因此,這是一種由不同部門協同工作、共享信息資源的全新的GIS應用模式,可實現對成果信息的全面共享管理。

由於採用了分布式服務體系結構,充分利用了現有的網路資源,有效地平衡了客戶端和伺服器端之間的處理負載,對於復雜的處理,諸如大規模SQL查詢和空間分析等,交由伺服器端的應用程序執行,而數據量較小的簡單操作,諸如分層顯示和按比例尺縮放地圖等,則交由客戶端的應用程序完成,從而提高了整個系統的執行效率,避免了伺服器的瓶頸問題。因此,基於WebGIS開發的浙江省遙感綜合調查管理信息系統是一種較為理想的全局優化管理模式。

E. 分布式資料庫系統

分布式資料庫系統(DDBS)包含分布式資料庫管理系統(DDBMS)和分布式資料庫(DDB)。在分布式資料庫系統中,一個應用程序可以對資料庫進行透明操作,資料庫中的數據分別在不同的局部資料庫中存儲、由不同的 DBMS進行管理、在不同的機器上運行、由不同的操作系統支持、被不同的通信網路連接在一起。
一個分布式資料庫在邏輯上是一個統一的整體,在物理上則是分別存儲在不同的物理節點上。一個應用程序通過網路的連接可以訪問分布在不同地理位置的資料庫。它的分布性表現在資料庫中的數據不是存儲在同一場地。更確切地講,不存儲在同一計算機的存儲設備上。這就是與集中式資料庫的區別。從用戶的角度看,一個分布式資料庫系統在邏輯上和集中式資料庫系統一樣,用戶可以在任何一個場地執行全局應用。就好像那些數據是存儲在同一台計算機上,有單個資料庫管理系統(DBMS)管理一樣,用戶並沒有什麼感覺不一樣。
分布式資料庫系統是在集中式資料庫系統的基礎上發展起來的,是計算機技術和網路技術結合的產物。分布式資料庫系統適合於單位分散的部門,允許各個部門將其常用的數據存儲在本地,實施就地存放本地使用,從而提高響應速度,降低通信費用。分布式資料庫系統與集中式資料庫系統相比具有可擴展性,通過增加適當的數據冗餘,提高系統的可靠性。在集中式資料庫中,盡量減少冗餘度是系統目標之一.其原因是,冗餘數據浪費存儲空間,而且容易造成各副本之間的不一致性.而為了保證數據的一致性,系統要付出一定的維護代價.減少冗餘度的目標是用數據共享來達到的。而在分布式資料庫中卻希望增加冗餘數據,在不同的場地存儲同一數據的多個副本,其原因是:①.提高系統的可靠性、可用性當某一場地出現故障時,系統可以對另一場地上的相同副本進行操作,不會因一處故障而造成整個系統的癱瘓。②.提高系統性能系統可以根據距離選擇離用戶最近的數據副本進行操作,減少通信代價,改善整個系統的性能。

F. 海量空間數據存儲

(一)空間數據存儲技術

隨著地理信息系統的發展,空間資料庫技術也得到了很大的發展,並出現了很多新的空間資料庫技術(黃釗等,2003),其中應用最廣的就是用關系資料庫管理系統(RDBMS)來管理空間數據。

用關系資料庫管理系統來管理空間數據,主要解決存儲在關系資料庫中的空間數據與應用程序之間的數據介面問題,即空間資料庫引擎(SpatialDatabase Engine)(熊麗華等,2004)。更確切地說,空間資料庫技術是解決空間數據對象中幾何屬性在關系資料庫中的存取問題,其主要任務是:

(1)用關系資料庫存儲管理空間數據;

(2)從資料庫中讀取空間數據,並轉換為GIS應用程序能夠接收和使用的格式;

(3)將GIS應用程序中的空間數據導入資料庫,交給關系資料庫管理。

空間資料庫中數據存儲主要有三種模式:拓撲關系數據存儲模式、Oracle Spatial模式和ArcSDE模式。拓撲關系數據存儲模式將空間數據存在文件中,而將屬性數據存在資料庫系統中,二者以一個關鍵字相連。這樣分離存儲的方式由於存在數據的管理和維護困難、數據訪問速度慢、多用戶數據並發共享沖突等問題而不適用於大型空間資料庫的建設。而OracleSpatial實際上只是在原來的資料庫模型上進行了空間數據模型的擴展,實現的是「點、線、面」等簡單要素的存儲和檢索,所以它並不能存儲數據之間復雜的拓撲關系,也不能建立一個空間幾何網路。ArcSDE解決了這些問題,並利用空間索引機制來提高查詢速度,利用長事務和版本機制來實現多用戶同時操縱同一類型數據,利用特殊的表結構來實現空間數據和屬性數據的無縫集成等(熊麗華等,2004)。

ArcSDE是ESRI公司開發的一個中間件產品,所謂中間件是一個軟體,它允許應用元素通過網路連接進行互操作,屏蔽其下的通訊協議、系統結構、操作系統、資料庫和其他應用服務。中間件位於客戶機/伺服器的操作系統之上,管理計算資源和網路通訊,並營造出一個相對穩定的高層應用環境,使開發人員可以集中精力於系統的上層開發,而不用過多考慮系統分布式環境下的移植性和通訊能力。因此,中間件能無縫地連入應用開發環境中,應用程序可以很容易地定位和共享中間件提供的應用邏輯和數據,易於系統集成。在分布式的網路環境下,客戶端的應用程序如果要訪問網路上某個伺服器的信息,而伺服器可能運行在不同於客戶端的操作系統和資料庫系統中。此時,客戶機的應用程序中負責尋找數據的部分只需要訪問一個數據訪問中間件,由該中間件完成網路中數據或服務的查找,然後將查找的信息返回給客戶端(萬定生等,2003)。因此,本系統實現空間資料庫存儲的基本思想就是利用ArcSDE實現各類空間數據的存儲。

目前,空間數據存儲技術已比較成熟,出現了許多類似ArcSDE功能的中間件產品,這些軟體基本上都能實現空間數據的資料庫存儲與管理,但對於海量空間數據的存儲,各種軟體性能差別較大。隨著數據量的增長,計算機在分析處理上會產生很多問題,比如數據不可能一次完全被讀入計算機的內存中進行處理。單純依賴於硬體技術,並不能滿足持續增長的數據的處理要求。因此需要在軟體上找到處理海量數據的策略,並最終通過軟硬體的結合完成對海量數據的處理。在海量數據存儲問題上,許多專家從不同側面進行過研究,Lindstrom在地形簡化中使用了外存模型(Out-of-core)技術;鍾正採用了基於數據分塊、動態調用的策略;汪國平等人在研究使用高速網路進行三維海量地形數據的實時交互瀏覽中,採用了分塊、多解析度模板建立模型等方法。這些技術、方法已經在各自系統上進行了研究和實現。本系統採用的ArcSDE軟體基本上也是採用分塊模型的方法,具體存儲和操作不需要用戶過多了解,已經由ArcSDE軟體實現。因此,對海量數據的存儲管理,更需要從數據的組織方式等方面進行設計。塔里木河流域生態環境動態監測系統採集了大量的遙感影像、正射影像等柵格結構的數據,這些數據具有很大的數據量,為適應流域空間基礎設施的管理需要,採取一種新的方式來管理、分發這些海量數據以適應各部門的快速瀏覽和管理需要。

(二)影像金字塔結構

影像資料庫的組織是影像資料庫效率的關鍵,為了獲得高效率的存取速度,在數據的組織上使用了金字塔數據結構和網格分塊數據結構。該技術主導思想如下:

(1)將資料庫中使用到的紋理處理成為大小一致的紋理塊;

(2)為每塊紋理生成5個細節等級的紋理,分別為0、1、2、3、4,其中1級紋理通過0級紋理1/4壓縮得到,2級紋理通過1級紋理1/4壓縮得到,…,以此類推;

(3)在顯示每個塊數據之前,根據顯示比例的大小,並以此決定該使用那一級的紋理;

(4)在內存中建立紋理緩沖池,使用LRU演算法進行紋理塊的調度,確保使用頻率高的紋理調度次數盡可能少。

(三)影像數據壓縮

影像數據壓縮有無損壓縮和有損壓縮兩個方法,具體採取哪種壓縮方法需根據具體情況確定。對於像元值很重要的數據,如分類數據、分析數據等採用無損壓縮(即LZ77演算法),否則採用有損壓縮(即JPEG演算法)。通過對影像數據的壓縮,一方面可以節約存儲空間,另一方面可以加快影像的讀取和顯示速度。影像數據的壓縮一般與構建金字塔同時進行,在構建影像金字塔過程中自動完成數據的壓縮。

G. 分布式資料庫的工作原理是什麼

分布式數據有不同的理論支撐,TiDB 官方社區(AskTUG)


目前國產數據排名靠前的可以了解下 TiDB

  • 水平彈性擴展

    通過簡單地增加新節點即可實現 TiDB 的水平擴展,按需擴展吞吐或存儲,輕松應對高並發、海量數據場景。

  • 分布式事務

    TiDB 100% 支持標準的 ACID 事務。

  • 真正金融級高可用

    相比於傳統主從 (M-S) 復制方案,基於 Raft 的多數派選舉協議可以提供金融級的 100% 數據強一致性保證,且在不丟失大多數副本的前提下,可以實現故障的自動恢復 (auto-failover),無需人工介入。

H. 為什麼分布式gis是gis發展的一個趨勢 在空間資料庫中 如何建立定性關系 定位關系 拓撲關系

對於考研,這個問題只要把握 一些概念就好,在此基礎上說一下 地理信息的分布性就行,答題時將理論結合自己的認識,分數會高點。
在空間資料庫中 如何建立定性關系 定位關系 拓撲關系,這個gis的書上都有的!可以操作arcgis 學習一下,那樣容易理解理論。

I. 無縫空間資料庫設計與構建

(一)問題的提出

塔里木河流域生態環境動態監測系統的運轉需要大量的空間數據支持。在空間資料庫構建前期,採集了塔里木河流域的各尺度基礎地形圖、生態環境專題圖以及遙感影像資料等圖形、圖像數據,這些數據都是以分幅的成果進行收集和提交的,需要進入綜合資料庫中,以實現數據的共享。

我國國土版圖大,而且大部分位於中、低緯度地區,因此我國現行的大於1∶50萬比例尺的各種地形圖都採用高斯-克里格投影即橫切橢圓柱正形投影。經過高斯-克里格投影後的平面直角坐標系是以相切的經線(中央經線)的投影為X軸,以赤道的投影為Y軸。高斯-克里格投影具有以下特點:

(1)中央經線投影為直線,而且是投影的對稱軸(也是投影平面的X軸);

(2)高斯-克里格投影是等角投影,投影後具有角度不變、伸長固定的特點(即同一地點各個方向的長度比不變),滿足等角的要求;

(3)中央經線上長度沒有變形,離中央經線越遠變形越大。為了限制投影變形,必須進行分帶投影。所謂分帶就是按照一定的經度差,將橢球體按經線劃分成若干個狹窄的區域,各個區域分別按高斯投影的規律進行投影,每一個區域就稱為一個投影帶。在每一個投影帶內,位於各帶中央的子午線就是軸子午線,各帶相鄰的子午線叫邊緣子午線。分帶之後,各帶均有自己的坐標軸和原點,形成各自獨立但又相同的坐標系統。根據國際通用方法,我國投影分帶主要有兩種:在我國1∶2.5萬到1∶50萬地形圖均採用6°分帶投影,1∶1萬及更大比例尺的地形圖採用3°分帶投影,以保證投影變形誤差滿足地圖的精度要求(王密等,2001)。

本系統所採集到的數據產品的空間參考大都是以高斯投影後的平面坐標為基礎的分幅數據。塔里木河流域地域廣闊,地理坐標介於東經73°10'~94°05',北緯34°55'~43°08'之間,以1∶10萬基礎地形圖數據為例,按照高斯投影後的坐標分成了13°、14°、15°、16°四個6°高斯投影帶,每個帶的坐標都是以本帶的坐標原點為參考點,空間基準不統一,如果將這些數據直接進行入庫,將在跨帶處產生縫隙,不能形成邏輯意義上完整的河流表現,也無法完成基於整個流域的生態環境分析,因此,必須採用相應的數據處理與建庫技術,實現塔河整個流域數據的無縫集成管理,使之形成統一的整體。從基礎數據的獲取開始,進行精心設計和組織,分離出數據物理層和數據邏輯層,在統一的空間框架之下,將物理層歸化到邏輯層,以消除邏輯層的縫隙,從而實現用戶級的邏輯無縫空間資料庫。

(二)無縫資料庫

隨著GIS數據發布與共享技術的發展,無縫空間資料庫逐漸分化出兩個層次的含義:一是GIS系統內部的數據無縫,一是不同GIS實現互操作時的數據無縫。前者是通常意義的無縫,後者主要通過數據標准化與操作標准化來實現。無縫空間資料庫的最終含義體現在邏輯無縫資料庫。無論是多源還是單源、同構還是異構,跨越數據層呈現在用戶面前的GIS空間資料庫必須是邏輯無縫的。

空間數據的無縫連接是一個建立在用戶與資料庫介面基礎上的概念,意味著GIS管理的數據不再是單一、被硬性割裂的圖幅,而是范圍更加廣闊的區域,這個區域小可到一個城市,大可到一個國家甚至整個地球(王卉、王家耀,2004)。由於硬軟體條件的限制,計算機系統尚不能同時處理海量的空間數據,因此從具體技術的實施上,可採用將空間數據分塊存儲於資料庫中,資料庫提供相應的圖塊拼接信息。物理上空間數據是有縫隙的,但空間資料庫提供圖塊之間的接圖信息及相應的拼接訪問手段,保障了空間數據在使用上的空間連貫性,即數據在邏輯使用上是無縫的(王密等,2001)。

(三)縫隙產生原因

在現實世界中,地理空間是由地貌、地物組成的連續的表層空間,地理信息則是有關地理空間的一切有用的知識。在計算機世界中,地理信息通過抽象、建模形成數字化的表示形式,通過空間資料庫來進行表達、存儲和管理(朱欣焰等,2002)。空間地理數據縫隙是在數據的獲取、表示與處理過程中產生的數據不連續現象。

1.數據源

由於歷史和現實的原因,地圖是絕大多數GIS系統直接的數據源。地圖是地球三維橢球面的二維平面表達,本身對真實世界有扭曲;地圖是對連續空間的割裂表達,實體被分割到不同的地圖空間中去;高斯投影是基本比例尺地形圖經常選用的投影,也是絕大多數GIS系統的數學基礎,由於分帶的原因,使得投影後帶有高斯投影平面坐標的地圖無法實現無縫拼接。

2.數據表達與組織方式

空間地理幾何數據的表示主要有柵格和矢量兩種不同的形式。柵格形式是將地理表層空間劃分為一系列網格,空間目標由這些網格的位置及其量化值來表示,這些網格本身就是連續空間信息的離散表達。矢量形式則是將地理空間的一切事物、概念進行抽象,形成點、線、面,由點、線、面來組成各類空間目標。按點、線、面來分類和按分層的思想來組織空間數據,也割裂了實體之間內在的聯系。

在空間資料庫組織與管理上,目前主要有文件型、文件與關系資料庫混合型、全關系型以及對象關系型。傳統的文件型空間資料庫、文件與關系混合型空間資料庫,按圖幅或一定的區域范圍以文件的形式來組織與存儲空間幾何數據,不同的圖幅或區域之間存在縫隙。在文件與關系資料庫混合型的空間資料庫中,空間幾何數據貯存在文件中,屬性數據貯存在關系資料庫中,屬性數據和幾何數據之間通過內部標識來鏈接,空間幾何數據和屬性數據之間存在縫隙。

3.數據處理

數據處理的過程中也會引入縫隙,產生這種縫隙的原因有:①數據處理過程的順序不一致;②選擇的處理參數不一致;③數字化的精度不一致。

4.多源異構數據共享

數據屬性(數學基礎、比例尺、用途、時間、精度等)的不同,導致了數據的差異,這些差異是多層次和多方面的,它們集中體現了數據的異構。數據異構和多源往往是一體的,多源異構是系統內部和系統之間數據裂隙的主要原因(劉仁峰,2005)。

(四)數據縫隙類別和表現

數據縫隙基本可以分為物理縫隙和邏輯縫隙兩類。物理縫隙是地理空間的分離存儲,本來連續的實體空間被分離到不同的存儲空間和存儲單元中去,例如空間數據的分幅、分層存儲。邏輯縫隙是指邏輯上本身連續的信息不能以邏輯連續的方式呈現,例如跨越多幅圖的一條河流,在圖幅內查詢河流屬性(如長度)時只能獲取其在本圖幅內的相關信息而不是實體整體的信息。顯然,由於空間信息本身的海量特性,要完全意義上的實現物理無縫的空間資料庫目前還是不可能的,也沒有必要。GIS用戶關心的不是空間數據是物理無縫,因為GIS呈現給用戶的是數據邏輯層,只需要保證用戶看到的數據是邏輯無縫的。

物理有縫的資料庫向邏輯無縫資料庫的轉換是無縫空間資料庫構建的重要一環。

(五)無縫鑲嵌技術

數據的無縫連接包含以下幾個問題:投影、坐標系統、比例尺、數據精度等。對不同投影和坐標系統的空間數據在投影和坐標系統上統一採用相同的標准,當空間數據具有多尺度時,無縫連接尋找數據集之間連續的表達方式,它表現為不同尺度數據之間的集成。建立無縫空間數據的關鍵在於在合適的空間信息框架上實現多源異構空間數據的融合,框架是基礎,融合是手段。

1.合適的空間框架選擇

(1)適合多尺度信息表達。地球是一個開放的非常復雜的巨大系統,隨著觀察視角的變化,我們希望空間地理信息比例尺也自動增減。由於地圖的自動綜合受諸多因素的影響,目前比較可行的是採用多尺度空間數據支持來達到目的。所謂多尺度就是指系統內包含幾種不同比例尺(或解析度)的空間數據,其目的是為了適度地反映系統所關心區域的空間地理信息,以避免地物信息的過粗、失真或地物信息的負載量過大而無法使用。無縫空間資料庫也應該符合多尺度空間資料庫要求。

(2)適合大區域表達。各種自然和人文現象的空間分布,有其內在的原因和規律,這些原因和規律的獲得,往往需要研究大區域多因素的綜合作用;另一方面,對於全球范圍的環境變異和氣候變遷的研究需要基於數字地球的空間框架。大區域的表達,還涉及空間尺度問題,不應繼續採用歐氏空間尺度,而應該採用大地線尺度空間。

2.多源異構空間數據的融合

(1)GIS的迅速發展和廣泛應用導致了多源空間數據的產生。如何實現不同的GIS軟體共享並操作不同來源的地理數據,即GIS多源空間數據的集成,成為GIS發展的關鍵。目前GIS多源空間數據的集成主要朝著三個方向發展,一是通過建立統一的數據交換標准來約束並規范已有的各類地理信息系統,採用數據交換標准來進行空間數據交換;二是建立開放式地理數據互操作規范,進行地理信息系統互操作;三是GIS數據中間件技術。

(2)統一數據交換標准存在很多實現上的困難。互操作是一個重要發展趨勢,是在異構分布式資料庫中實現信息共享的途徑,它需要將GIS技術、分布處理技術、面向對象方法、資料庫設計及實時信息獲取方法更有效地結合起來。所謂GIS數據中間件技術是指能夠嵌入各類GIS系統的軟體,GIS開發者通過中間件開發商提供的介面,訪問和操作特定的數據源。

(3)在多源異構數據集成技術尚未成熟的時候,人們再次把目光投向數據本身,如果可以提供關於數據的詳細描述,是否可以提高融合數據的能力呢?於是,對於「關於數據的數據」的研究,即對於元數據的研究便普遍展開。從DublinCore到CSDGM與OGC,都提出了相應的元數據標准體系,有了完整而完善的元數據描述,必將提高數據的效能,從而最終促進多源異構資料庫向無縫空間資料庫的歸化。

為實現塔河整個流域數據的無縫集成管理,使之形成統一的整體,設計從縫隙產生的地方開始,分離出數據物理層和數據邏輯層,在統一的空間框架之下,將物理層歸化到邏輯層,以消除邏輯層的縫隙,從而實現用戶級的邏輯無縫空間資料庫;同時制定統一的數據提交規范,如所有矢量數據在入庫前統一採用經緯度坐標,柵格數據統一提供兩套數據,即高斯坐標和經緯度坐標,以滿足不同用戶的管理需求和精度要求。

熱點內容
java插件瀏覽器 發布:2024-09-23 17:16:02 瀏覽:258
微信支付進去手勢密碼哪裡改 發布:2024-09-23 17:02:08 瀏覽:327
我的世界2g伺服器內存 發布:2024-09-23 16:57:55 瀏覽:581
正則表達式預編譯html案例 發布:2024-09-23 16:53:22 瀏覽:941
文章腳本 發布:2024-09-23 16:48:20 瀏覽:758
sna2008演算法 發布:2024-09-23 16:36:49 瀏覽:504
哥倫比亞大學訪問學者 發布:2024-09-23 16:08:19 瀏覽:571
devc怎麼配置gcc編譯環境 發布:2024-09-23 15:52:26 瀏覽:446
血族第二季ftp 發布:2024-09-23 15:49:58 瀏覽:528
清楚手機瀏覽器緩存 發布:2024-09-23 15:47:24 瀏覽:518