海量數據分布存儲技術
⑴ 海量空間數據存儲
(一)空間數據存儲技術
隨著地理信息系統的發展，空間資料庫技術也得到了很大的發展，並出現了很多新的空間資料庫技術(黃釗等，2003)，其中應用最廣的就是用關系資料庫管理系統(RDBMS)來管理空間數據。
用關系資料庫管理系統來管理空間數據，主要解決存儲在關系資料庫中的空間數據與應用程序之間的數據介面問題，即空間資料庫引擎(SpatialDatabase Engine)(熊麗華等，2004)。更確切地說，空間資料庫技術是解決空間數據對象中幾何屬性在關系資料庫中的存取問題，其主要任務是:
(1)用關系資料庫存儲管理空間數據;
(2)從資料庫中讀取空間數據，並轉換為GIS應用程序能夠接收和使用的格式;
(3)將GIS應用程序中的空間數據導入資料庫，交給關系資料庫管理。
空間資料庫中數據存儲主要有三種模式:拓撲關系數據存儲模式、Oracle Spatial模式和ArcSDE模式。拓撲關系數據存儲模式將空間數據存在文件中，而將屬性數據存在資料庫系統中，二者以一個關鍵字相連。這樣分離存儲的方式由於存在數據的管理和維護困難、數據訪問速度慢、多用戶數據並發共享沖突等問題而不適用於大型空間資料庫的建設。而OracleSpatial實際上只是在原來的資料庫模型上進行了空間數據模型的擴展，實現的是「點、線、面」等簡單要素的存儲和檢索，所以它並不能存儲數據之間復雜的拓撲關系，也不能建立一個空間幾何網路。ArcSDE解決了這些問題，並利用空間索引機制來提高查詢速度，利用長事務和版本機制來實現多用戶同時操縱同一類型數據，利用特殊的表結構來實現空間數據和屬性數據的無縫集成等(熊麗華等，2004)。
ArcSDE是ESRI公司開發的一個中間件產品，所謂中間件是一個軟體，它允許應用元素通過網路連接進行互操作，屏蔽其下的通訊協議、系統結構、操作系統、資料庫和其他應用服務。中間件位於客戶機/伺服器的操作系統之上，管理計算資源和網路通訊，並營造出一個相對穩定的高層應用環境，使開發人員可以集中精力於系統的上層開發，而不用過多考慮系統分布式環境下的移植性和通訊能力。因此，中間件能無縫地連入應用開發環境中，應用程序可以很容易地定位和共享中間件提供的應用邏輯和數據，易於系統集成。在分布式的網路環境下，客戶端的應用程序如果要訪問網路上某個伺服器的信息，而伺服器可能運行在不同於客戶端的操作系統和資料庫系統中。此時，客戶機的應用程序中負責尋找數據的部分只需要訪問一個數據訪問中間件，由該中間件完成網路中數據或服務的查找，然後將查找的信息返回給客戶端(萬定生等，2003)。因此，本系統實現空間資料庫存儲的基本思想就是利用ArcSDE實現各類空間數據的存儲。
目前，空間數據存儲技術已比較成熟，出現了許多類似ArcSDE功能的中間件產品，這些軟體基本上都能實現空間數據的資料庫存儲與管理，但對於海量空間數據的存儲，各種軟體性能差別較大。隨著數據量的增長，計算機在分析處理上會產生很多問題，比如數據不可能一次完全被讀入計算機的內存中進行處理。單純依賴於硬體技術，並不能滿足持續增長的數據的處理要求。因此需要在軟體上找到處理海量數據的策略，並最終通過軟硬體的結合完成對海量數據的處理。在海量數據存儲問題上，許多專家從不同側面進行過研究，Lindstrom在地形簡化中使用了外存模型(Out-of-core)技術;鍾正採用了基於數據分塊、動態調用的策略;汪國平等人在研究使用高速網路進行三維海量地形數據的實時交互瀏覽中，採用了分塊、多解析度模板建立模型等方法。這些技術、方法已經在各自系統上進行了研究和實現。本系統採用的ArcSDE軟體基本上也是採用分塊模型的方法，具體存儲和操作不需要用戶過多了解，已經由ArcSDE軟體實現。因此，對海量數據的存儲管理，更需要從數據的組織方式等方面進行設計。塔里木河流域生態環境動態監測系統採集了大量的遙感影像、正射影像等柵格結構的數據，這些數據具有很大的數據量，為適應流域空間基礎設施的管理需要，採取一種新的方式來管理、分發這些海量數據以適應各部門的快速瀏覽和管理需要。
(二)影像金字塔結構
影像資料庫的組織是影像資料庫效率的關鍵，為了獲得高效率的存取速度，在數據的組織上使用了金字塔數據結構和網格分塊數據結構。該技術主導思想如下:
(1)將資料庫中使用到的紋理處理成為大小一致的紋理塊;
(2)為每塊紋理生成5個細節等級的紋理，分別為0、1、2、3、4，其中1級紋理通過0級紋理1/4壓縮得到，2級紋理通過1級紋理1/4壓縮得到，…，以此類推;
(3)在顯示每個塊數據之前，根據顯示比例的大小，並以此決定該使用那一級的紋理;
(4)在內存中建立紋理緩沖池，使用LRU演算法進行紋理塊的調度，確保使用頻率高的紋理調度次數盡可能少。
(三)影像數據壓縮
影像數據壓縮有無損壓縮和有損壓縮兩個方法，具體採取哪種壓縮方法需根據具體情況確定。對於像元值很重要的數據，如分類數據、分析數據等採用無損壓縮(即LZ77演算法)，否則採用有損壓縮(即JPEG演算法)。通過對影像數據的壓縮，一方面可以節約存儲空間，另一方面可以加快影像的讀取和顯示速度。影像數據的壓縮一般與構建金字塔同時進行，在構建影像金字塔過程中自動完成數據的壓縮。
⑵ 海量數據存儲
存儲技術經歷了單個磁碟、磁帶、RAID到網路存儲系統的發展歷程。網路存儲技術就是將網路技術和I/O技術集成起來，利用網路的定址能力、即插即用的連接性、靈活性，存儲的高性能和高效率，提供基於網路的數據存儲和共享服務。在超大數據量的存儲管理、擴展性方面具有明顯的優勢。
典型的網路存儲技術有網路附加存儲NAS（Network Attached Storage）和存儲區域網SAN（Storage Area Networks）兩種。
1）NAS技術是網路技術在存儲領域的延伸和發展。它直接將存儲設備掛在網上，有良好的共享性、開放性。缺點是與LAN共同用物理網路，易形成擁塞，而影響性能。特別是在數據備份時，性能較低，影響在企業存儲應用中的地位。
2）SAN技術是以數據存儲為中心，使用光纖通道連接高速網路存儲的體系結構。即將數據存儲作為網路上的一個區域獨立出來。在高度的設備和數據共享基礎上，減輕網路和伺服器的負擔。因光纖通道的存儲網和LAN分開，使性能得到很大的提高，而且還提供了很高的可靠性和強大的連續業務處理能力。在SAN中系統的擴展、數據遷移、數據本地備份、遠程數據容災數據備份和數據管理等都比較方便，整個SAN成為一個統一管理的存儲池（Storage Pool）。SAN存儲設備之間通過專用通道進行通信，不佔用伺服器的資源。因此非常適合超大量數據的存儲，成為網路存儲的主流。
3）存儲虛擬化技術是將系統中各種異構的存儲設備映射為一個單一的存儲資源，對用戶完全透明，達到互操作性的目的和利用已有的硬體資源，把SAN內部的各種異構的存儲資源統一成一個單一視圖的存儲池，可根據用戶的需要方便地切割、分配。從而保持已有的投資，減少總體成本，提高存儲效率。
存儲虛擬化包括3個層次結構：基於伺服器的虛擬化存儲、基於存儲設備的虛擬化存儲和基於網路的虛擬化存儲。
1）基於伺服器的虛擬化存儲由邏輯管理軟體在主機/伺服器上完成。經過虛擬化的存儲空間可跨越多個異構的磁碟陣列，具有高度的穩定性和開放性，實現容易、簡便。但對異構環境和分散管理不太適應。
2）基於存儲設備的虛擬化存儲，因一些高端磁碟陣列本身具有智能化管理，可以實現同一陣列，供不同主機分享。其結構性能可達到最優。但實現起來價格昂貴，可操作性差。
3）基於網路的虛擬化存儲，通過使用專用的存儲管理伺服器和相應的虛擬化軟體，實現多個主機/伺服器對多個異構存儲設備之間進行訪問，達到不同主機和存儲之間真正的互連和共享，成為虛擬存儲的主要形式。根據不同結構可分為基於專用伺服器和基於存儲路由器兩種方式。①基於專用伺服器的虛擬化，是用一台伺服器專用於提供系統的虛擬化功能。根據網路拓撲結構和專用伺服器的具體功能，其虛擬化結構有對稱和非對稱兩種方式。在對稱結構中數據的傳輸與元數據訪問使用同一通路。實現簡單，對伺服器和存儲設備的影響小，對異構環境的適應性強。缺點是專用伺服器可能成為系統性能的瓶頸，影響SAN的擴展。在非對稱結構中，數據的傳輸與元數據訪問使用不同通路。應用伺服器的I/O命令先通過命令通路傳送到專用伺服器，獲取元數據和傳輸數據視圖後，再通過數據通路得到所需的數據。與對稱結構相比，提高了存儲系統的性能，增加了擴展能力。②基於存儲路由器的SAN虛擬化，存儲路由器是一種智能化設備，既具有路由器的功能，又針對I/O進行專門優化。它部署在存儲路由器上，多個存儲路由器保存著整個存儲系統中的元數據多個副本，並通過一定的更新策略保持一致性。這種結構中，因存儲路由器具有強大的協議功能，所以具有更多的優勢。能充分利用存儲資源，保護投資。能實現軟硬體隔離，並輔有大量的自動化工具，提高了虛擬伺服器的安全性，降低對技術人員的需求和成本。
⑶ 海量數據存儲有哪些方式與方法
杉岩海量對象存儲MOS，針對海量非結構化數據存儲的最優化解決方案，採用去中心化、分布式技術架構，支持百億級文件及EB級容量存儲，
具備高效的數據檢索、智能化標簽和分析能力，輕松應對大數據和雲時代的存儲挑戰，為企業發展提供智能決策。
1、容量可線性擴展，單名字空間達EB級
SandStone MOS可在單一名字空間下實現海量數據存儲，支持業務無感知的存儲伺服器橫向擴容，為爆炸式增長的視頻、音頻、圖片、文檔等不同類型的非結構化數據提供完美的存儲方案，規避傳統NAS存儲的單一目錄或文件系統存儲空間無法彈性擴展難題
2、海量小文件存儲，百億級文件高效訪問
SandStone MOS基於完全分布式的數據和元數據存儲架構，為海量小文件存儲而生，將企業級NAS存儲的千萬文件量級提升至互聯網規模的百億級別，幫助企業從容應對幾何級增長的海量小文件挑戰。
3、中心靈活部署，容災匯聚分發更便捷
SandStone MOS支持多數據中心靈活部署，為企業數據容災、容災自動切換、多分支機構、數據就近訪問等場景提供可自定義的靈活解決方案，幫助企業實現跨地域多活容災、數據流轉、就近讀寫等，助力業務高速發展。
4、支持大數據和AI，統一數據存儲和分析
SandStone MOS內置文件智能化處理引擎，實現包括語音識別、圖片OCR識別、文件格式轉換等批量處理功能，結合標簽檢索能力還可實現語音、證件照片檢索，從而幫助企業更好地管理非結構化數據。同時，SandStone MOS還支持與Hadoop、Spark等大數據分析平台對接，一套存儲即可滿足企業數據存儲、管理和挖掘的需求。
⑷ 公有雲計算基礎架構的主要技術
雲計算系統中華運用了許多技術，其中以編程模型、數據管理技術、數據存儲技術、虛擬化技術、雲計算平台管理技術更為關鍵。
（1）編程模型
MapRece是Google開發的java、Python、C++編程模型，它是一種簡化的分布式編程模型和高效的任務調度襲閉模型，用於大規模數據集（大於1TB）的並行運算。嚴格的編程模型使雲計算環境下的編程十分簡單。MapRece模式的思想是將要執行的問題分解成Map（映射）和Rece（化簡）的方式，先通過Map程序將數據切割成不相關的區塊，分配（調度）給大量計算機處理，達到分布式運算的效果，再通過Rece程序將結果匯整輸出。
（2）海量數據分布存儲技術
雲計算系統由大量伺服器組成，同時為大量用戶服務，因此雲計算系統採用分布式存儲的方式存儲數據，用冗餘存儲的方式保證數據的可靠性。雲計算系統中廣泛使用的數據存儲系統是Google的GFS和Hadoop團隊開發的GFS的開源實現HDFS。
（3）海量數據管理技術
雲計算需要對分布的、海量的數據進行處理、分析，因此，數配禪團據管理技術培橘必需能夠高效的管理大量的數據。雲計算系統中的數據管理技術主要是Google的BT（BigTable）數據管理技術和Hadoop團隊開發的開源數據管理模塊HBase。
（4）虛擬化技術
通過虛擬化技術可實現軟體應用與底層硬體相隔離，它包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術根據對象可分成存儲虛擬化、計算虛擬化、網路虛擬化等，計算虛擬化又分為系統級虛擬化、應用級虛擬化和桌面虛擬化。
（5）雲計算平台管理技術
雲計算資源規模龐大，伺服器數量眾多並分布在不同的地點，同時運行著數百種應用，如何有效的管理這些伺服器，保證整個系統提供不間斷的服務是巨大的挑戰。
雲計算系統的平台管理技術能夠使大量的伺服器協同工作，方便的進行業務部署和開通，快速發現和恢復系統故障，通過自動化、智能化的手段實現大規模系統的可靠運營。
⑸ 互聯網如何海量存儲數據
目前存儲海量數據的技術主要包括NoSQL、分布式文件系統、和傳統關系型資料庫。隨著互聯網行業不斷的發展，產生的數據量越來越多，並且這些數據的特點是半結構化和非結構化，數據很可能是不精確的，易變的。這樣傳統關系型資料庫就無法發揮它的優勢。因此，目前互聯網大正蔽攔行業偏向於使用NoSQL和分布式文件系統來存儲海量數據。
下面介紹下常用的NoSQL和分布式文件系統。
NoSQL
互聯網行業常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。
HBase是ApacheHadoop的子項目,理論依據為Google論文Bigtable:開發的。HBase適合存儲半結構化或非結構化的數據。HBase的數據模型是稀疏的、分布式的、持久穩固的多維map。HBase也有行和列的概念，這是與RDBMS相同的地方，但卻又不同。HBase底層採用HDFS作為文件系統，具有高可靠性、高性能。
MongoDB是一種支持高性能數據存儲的開源文檔型資料庫。支持嵌入式數據模型以減少對資料庫系統的I/O、利用索引實現快速查詢，並且嵌入式文檔和集合也支持索引，它復制能力被稱作復制集（replicaset），提供了自動的故障遷移和數據冗餘。MongoDB的分片策略將數據分布在伺服器集群上。
Couchbase這種NoSQL有三個重滾並悔要的組件：Couchbase伺服器、CouchbaseGateway、CouchbaseLite。Couchbase伺服器，支持橫向擴展，面向文檔的資料庫，支持鍵值操作，類似於SQL查詢和內置的全文搜索;CouchbaseGateway提供了用於RESTful和流式訪問數據的應用層API。CouchbaseLite是一款面向移動設備和「邊緣」系統的嵌入式資料庫。Couchbase支持千萬級海量數據存儲
分布式文件系統
如果針對單個大文件，譬如超過100MB的文件，使用NoSQL存儲就不適當了。使用分布式文件系統的優勢在於，分布式文件系統隔離底層數據存儲和分布的細節，展示給用戶的是一個統一的邏輯視圖。常用的分布式文件系統有GoogleFileSystem、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
⑹ 哪些技術屬於大數據的關鍵技術海量數據的存儲技術
非常多的，問答不能發link，不然我給你link了。有譬如Hadoop等開源大數據項目的，編程語言的，以下就大數據底層技術說下。
簡單以永洪科技的技術說下，有四方面，其實也代表了部分通用大數據底層技術：
Z-Suite具有高性能的大數據分析能力，她完全摒棄了向上升級(Scale-Up)，全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據：
跨粒度計算(In-DatabaseComputing)
Z-Suite支持各種常見的匯總，還支持幾乎全部的專業統計函數。得益於跨粒度計算技術，Z-Suite數據分析引擎將找尋出最優化的計算方案，繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算，我們稱之為庫內計算(In-Database)。這一技術大大減少了數據移動，降低了通訊負擔，保證了高性能數據分析。
並行計算(MPP Computing)
Z-Suite是基於MPP架構的商業智能平台，她能夠把計算分布到多個計算節點，再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源，不管是伺服器還是普通的PC，她對網路條件也沒有嚴苛的要求。作為橫向擴展的大數據平台，Z-Suite能夠充分發揮各個節點的計算能力，輕松實現針對TB/PB級數據分析的秒級響應。
列存儲 (Column-Based)
Z-Suite是列存儲的。基於列存儲的數據集市，不讀取無關數據，能降低讀寫開銷，同時提高I/O 的效率，從而大大提高查詢性能。另外，列存儲能夠更好地壓縮數據，一般壓縮比在5 -10倍之間，這樣一來，數據佔有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術，節省了存儲設備和內存的開銷，卻大大了提升計算性能。
內存計算
得益於列存儲技術和並行計算技術，Z-Suite能夠大大壓縮數據，並同時利用多個節點的計算能力和內存容量。一般地，內存訪問速度比磁碟訪問速度要快幾百倍甚至上千倍。通過內存計算，CPU直接從內存而非磁碟上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的一種加速，是實現大數據分析的關鍵應用技術。
⑺ 考研想學雲計算，雲計算學的是什麼
雲計算從技術角度看，是未來IT發展的趨勢，如果你是從事IT行業的工作，雲計算的風口肯定要撲上去。
看看這里
⑻ 考研想學雲計算，可究竟雲計算學的是什麼
雲計算從技術角度看，是未來IT發展的趨勢，如果你是從事IT行業的工作，雲計算的風口肯定要撲上去。
可以到這看看，參觀比較
⑼ 雲計算技術 都指什麼
雲計算是分布式處理、並行計算和網格計算等概念的發展和商業實現，其技術實質是計算、存儲、伺服器、應用軟體等IT軟硬體資源的虛擬化，雲計算在虛擬化、數據存儲、數據管理、編程模式等方面具有自身獨特的技術。雲計算的關鍵技術包括以下幾個方向：
虛擬機技術
虛擬機，即伺服器虛擬化是雲計算底層架數渣構的重要基石。在伺服器虛擬化歲畢察中，虛擬化軟體需要實現對硬體的抽象，資源的分配、調度和管理，虛擬機與宿主操作系統及多個虛擬機間的隔離等功能，目前典型的實現（基本成為事實標准）有Citrix Xen、VMware ESX Server 和Microsoft Hype-V等。
數據存儲技術
雲計算系統需要同時滿足大量用戶的需求，並行地為大量用戶提供服務。因此，雲計算的數據存儲技術必須具有分布式、高吞吐率和高傳輸率的特點。目前數據存儲技術主要有Google的GFS（Google File System，非開源）以及HDFS（Hadoop Distributed File System，開源），目前這兩種技術已經成為事實標准。
數據管理技術
雲計算的特點是對海量的數據存儲、讀取後進行大量的分析，如何提高數據的更新速率以及進一步提高隨機讀速率是未來的數據管理技術必須解決的問題。雲計算的數據管理技術最著名的是谷歌的BigTable數據管理技術，同時Hadoop開發團隊正在開發類似BigTable的開源數據管理模塊。
分布式編程與計算
為了使用戶能更輕松的享受雲計算帶來的服務，讓用戶能利用該編程模型編寫簡單的程序來實現特定的目的，雲計算上的編程模型必須十分簡單。必須保證後台復雜的並行執行和任務調度向用戶和編程人員透明。當前各IT廠商提出的「雲」計劃的編程工具均基於Map-Rece的編程模型。
虛擬資源的管理與調度
雲計算區別於單機虛擬化技術的重要特徵是通過整合物理資源形成資源池，並通過資源管理層（管理中間件）實現對資源池中虛擬資源的調度。雲計算的資源管理需要負責資源管理、任務管理、用戶管理和安全管理等工作，實現節點故障的屏蔽，資源狀況監視，用戶任務調度，用戶身份管理等多重功能。
雲計算的業務介面
為了方便用戶業務由傳統IT系統向雲計算環境的遷移，雲計算應對用戶提供統一的業務介面。業務介面的統一不僅方便用戶業務向雲端的遷移，也會使用戶業務在雲與雲之間的遷移更加容易。在雲計算時代，SOA架構和以Web Service為特徵的業務模式仍是業務發展的主要路線。
雲計算相關的安全技術
雲計算模式帶來一系列的安全問題，包括用戶隱私的乎茄保護、用戶數據的備份、雲計算基礎設施的防護等，這些問題都需要更強的技術手段，乃至法律手段去解決。
⑽ 海量數據存儲有哪些方式與方法
1、容量可線性擴展，單名字空間達EB級，2、海量小文件存儲，百億級文件高效訪問，3、中心靈活部署，容災匯聚分發更便捷，4、支持大數據和AI，統一數據存儲和分析，你可以問下瑞馳信息技術，做數據存儲很專 業，技術很牛的。希望我的回答能解決到你的問題