資料庫技術路線
Ⅰ 建立資料庫的原則(怎樣建立一個好的資料庫)
資料庫設計原則2007-05-26 01:08一個好的資料庫產品不等於就有一個好的應用系統,如果不能設計一個合理的資料庫模型,不僅會增加客戶端和伺服器段程序的編程和維護的難度,而且將會影響系統實際運行的性能。一般來講,在一個MIS系統分析、設計、測試和試運行階段,因為數據量較小,設計人員和測試人員往往只注意到功能的實現,而很難注意到性能的薄弱之處,等到系統投入實際運行一段時間後,才發現系統的性能在降低……
資料庫設計是建立資料庫及其應用系統的核心和基礎,它要求對於指定的應用環境,構造出較優的資料庫模式,建立起資料庫應用系統,並使系統能有效地存儲數據,滿足用戶的各種應用需求。一般按照規范化的設計方法,常將資料庫設計分為若干階段:
系統規劃階段
主要是確定系統的名稱、范圍;確定系統開發的目標功能和性能;確定系統所需的資源;估計系統開發的成本;確定系統實施計劃及進度;分析估算系統可能達到的效益;確定系統設計的原則和技術路線等。對分布式資料庫系統,還應分析用戶環境及網路條件,以選擇和建立系統的網路結構。
需求分析階段
要在用戶調查的基礎上,通過分析,逐步明確用戶對系統的需求,包括數據需求和圍繞這些數據的業務處理需求。通過對組織、部門、企業等進行詳細調查,在了解現行系統的概況、確定新系統功能的過程中,收集支持系統目標的基礎數據及其處理方法。
概念設計階段
要產生反映企業各組織信息需求的資料庫概念結構,即概念模型。概念模型必須具備豐富的語義表達能力、易於交流和理解、易於變動、易於向各種數據模型轉換、易於從概念模型導出與DBMS有關的邏輯模型等特點。
邏輯設計階段
除了要把E-R圖的實體和聯系類型,轉換成選定的DBMS支持的數據類型,還要設計子模式並對模式進行評價,最後為了使模式適應信息的不同表示,需要優化模式。
物理設計階段
主要任務是對資料庫中數據在物理設備上的存放結構和存取方法進行設計。資料庫物理結構依賴於給定的計算機系統,而且與具體選用的DBMS密切相關。物理設計常常包括某些操作約束,如響應時間與存儲要求等。
系統實施階段
主要分為建立實際的資料庫結構;裝入試驗數據對應用程序進行測試;裝入實際數據建立實際資料庫三個步驟。
另外,在資料庫的設計過程中還包括一些其他設計,如資料庫的安全性、完整性、一致性和可恢復性等方面的設計,不過,這些設計總是以犧牲效率為代價的,設計人員的任務就是要在效率和盡可能多的功能之間進行合理的權衡。
一個好的資料庫產品不等於就有一個好的應用系統,如果不能設計一個合理的資料庫模型,不僅會增加客戶端和伺服器段程序的編程和維護的難度,而且將會影響系統實際運行的性能。一般來講,在一個MIS系統分析、設計、測試和試運行階段,因為數據量較小,設計人員和測試人員往往只注意到功能的實現,而很難注意到性能的薄弱之處,等到系統投入實際運行一段時間後,才發現系統的性能在降低……
資料庫設計是建立資料庫及其應用系統的核心和基礎,它要求對於指定的應用環境,構造出較優的資料庫模式,建立起資料庫應用系統,並使系統能有效地存儲數據,滿足用戶的各種應用需求。一般按照規范化的設計方法,常將資料庫設計分為若干階段:
系統規劃階段
主要是確定系統的名稱、范圍;確定系統開發的目標功能和性能;確定系統所需的資源;估計系統開發的成本;確定系統實施計劃及進度;分析估算系統可能達到的效益;確定系統設計的原則和技術路線等。對分布式資料庫系統,還應分析用戶環境及網路條件,以選擇和建立系統的網路結構。
需求分析階段
要在用戶調查的基礎上,通過分析,逐步明確用戶對系統的需求,包括數據需求和圍繞這些數據的業務處理需求。通過對組織、部門、企業等進行詳細調查,在了解現行系統的概況、確定新系統功能的過程中,收集支持系統目標的基礎數據及其處理方法。
概念設計階段
要產生反映企業各組織信息需求的資料庫概念結構,即概念模型。概念模型必須具備豐富的語義表達能力、易於交流和理解、易於變動、易於向各種數據模型轉換、易於從概念模型導出與DBMS有關的邏輯模型等特點。
邏輯設計階段
除了要把E-R圖的實體和聯系類型,轉換成選定的DBMS支持的數據類型,還要設計子模式並對模式進行評價,最後為了使模式適應信息的不同表示,需要優化模式。
物理設計階段
主要任務是對資料庫中數據在物理設備上的存放結構和存取方法進行設計。資料庫物理結構依賴於給定的計算機系統,而且與具體選用的DBMS密切相關。物理設計常常包括某些操作約束,如響應時間與存儲要求等。
系統實施階段
主要分為建立實際的資料庫結構;裝入試驗數據對應用程序進行測試;裝入實際數據建立實際資料庫三個步驟。
另外,在資料庫的設計過程中還包括一些其他設計,如資料庫的安全性、完整性、一致性和可恢復性等方面的設計,不過,這些設計總是以犧牲效率為代價的,設計人員的任務就是要在效率和盡可能多的功能之間進行合理的權衡。
http://www.crazycoder.cn/Tag/29113/Index.html
例子
http://www.ibm.com/developerworks/cn/db2/library/techarticles/dm-0605jiangt/
Ⅱ 資料庫怎麼加密
資料庫加密作為近年來興起的資料庫安防技術,已經被越來越多的人所重視。這種基於存儲層加密的防護方式,不僅可以有效解決資料庫明文存儲引起的泄密風險,也可以防止來自內部或者外部的入侵及越權訪問行為。從技術手段上來看,現今資料庫加密技術主要有三大類,分別是前置代理及加密網關方式、應用層加密方式以及後置代理方式,其中後置代理技術有有兩種不同的技術路線,分別為:基於視圖和觸發器的後置代理技術和基於TDE技術的加密技術。你與安華金和了解下吧,以前他們還專門有過相關文章介紹。
Ⅲ 大數據核心技術有哪些
大數據技術的體系龐大且復雜,基礎的技術包含數據的採集、數據預處理、分布式存儲、Nosql資料庫、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數據處理框架,主要分為下面幾個方面:數據採集與預處理、數據存儲、數據清洗、數據查詢分析和數據可視化。
一、數據採集與預處理
對於各種來源的數據,包括移動互聯網數據、社交網路的數據等,這些結構化和非結構化的海量數據是零散的,也就是所謂的數據孤島,此時的這些數據並沒有什麼意義,數據採集就是將這些數據寫入數據倉庫中,把零散的數據整合在一起,對這些數據綜合起來進行分析。數據採集包括文件日誌的採集、資料庫日誌的採集、關系型資料庫的接入和應用程序的接入等。在數據量比較小的時候,可以寫個定時的腳本將日誌寫入存儲系統,但隨著數據量的增長,這些方法無法提供數據安全保障,並且運維困難,需要更強壯的解決方案。
Flume NG作為實時日誌收集系統,支持在日誌系統中定製各類數據發送方,用於收集數據,同時,對數據進行簡單處理,並寫到各種數據接收方(比如文本,HDFS,Hbase等)。Flume NG採用的是三層架構:Agent層,Collector層和Store層,每一層均可水平拓展。其中Agent包含Source,Channel和 Sink,source用來消費(收集)數據源到channel組件中,channel作為中間臨時存儲,保存所有source的組件信息,sink從channel中讀取數據,讀取成功之後會刪除channel中的信息。
NDC,Netease Data Canal,直譯為網易數據運河系統,是網易針對結構化資料庫的數據實時遷移、同步和訂閱的平台化解決方案。它整合了網易過去在數據傳輸領域的各種工具和經驗,將單機資料庫、分布式資料庫、OLAP系統以及下游應用通過數據鏈路串在一起。除了保障高效的數據傳輸外,NDC的設計遵循了單元化和平台化的設計哲學。
Logstash是開源的伺服器端數據處理管道,能夠同時從多個來源採集數據、轉換數據,然後將數據發送到您最喜歡的 「存儲庫」 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇,可以在同一時間從眾多常用的數據來源捕捉事件,能夠以連續的流式傳輸方式,輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。
Sqoop,用來將關系型資料庫和Hadoop中的數據進行相互轉移的工具,可以將一個關系型資料庫(例如Mysql、Oracle)中的數據導入到Hadoop(例如HDFS、Hive、Hbase)中,也可以將Hadoop(例如HDFS、Hive、Hbase)中的數據導入到關系型資料庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapRece 作業(極其容錯的分布式並行計算)來執行任務。Sqoop 的另一大優勢是其傳輸大量結構化或半結構化數據的過程是完全自動化的。
流式計算是行業研究的一個熱點,流式計算對多個高吞吐量的數據源進行實時的清洗、聚合和分析,可以對存在於社交網站、新聞等的數據信息流進行快速的處理並反饋,目前大數據流分析工具有很多,比如開源的strom,spark streaming等。
Strom集群結構是有一個主節點(nimbus)和多個工作節點(supervisor)組成的主從結構,主節點通過配置靜態指定或者在運行時動態選舉,nimbus與supervisor都是Storm提供的後台守護進程,之間的通信是結合Zookeeper的狀態變更通知和監控通知來處理。nimbus進程的主要職責是管理、協調和監控集群上運行的topology(包括topology的發布、任務指派、事件處理時重新指派任務等)。supervisor進程等待nimbus分配任務後生成並監控worker(jvm進程)執行任務。supervisor與worker運行在不同的jvm上,如果由supervisor啟動的某個worker因為錯誤異常退出(或被kill掉),supervisor會嘗試重新生成新的worker進程。
當使用上游模塊的數據進行計算、統計、分析時,就可以使用消息系統,尤其是分布式消息系統。Kafka使用Scala進行編寫,是一種分布式的、基於發布/訂閱的消息系統。Kafka的設計理念之一就是同時提供離線處理和實時處理,以及將數據實時備份到另一個數據中心,Kafka可以有許多的生產者和消費者分享多個主題,將消息以topic為單位進行歸納;Kafka發布消息的程序稱為procer,也叫生產者,預訂topics並消費消息的程序稱為consumer,也叫消費者;當Kafka以集群的方式運行時,可以由一個服務或者多個服務組成,每個服務叫做一個broker,運行過程中procer通過網路將消息發送到Kafka集群,集群向消費者提供消息。Kafka通過Zookeeper管理集群配置,選舉leader,以及在Consumer Group發生變化時進行rebalance。Procer使用push模式將消息發布到broker,Consumer使用pull模式從broker訂閱並消費消息。Kafka可以和Flume一起工作,如果需要將流式數據從Kafka轉移到hadoop,可以使用Flume代理agent,將Kafka當做一個來源source,這樣可以從Kafka讀取數據到Hadoop。
Zookeeper是一個分布式的,開放源碼的分布式應用程序協調服務,提供數據同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置,那麼對這個地方的配置感興趣的所有的都可以獲得變更,省去了手動拷貝配置的繁瑣,還很好的保證了數據的可靠和一致性,同時它可以通過名字來獲取資源或者服務的地址等信息,可以監控集群中機器的變化,實現了類似於心跳機制的功能。
二、數據存儲
Hadoop作為一個開源的框架,專為離線和大規模數據分析而設計,HDFS作為其核心的存儲引擎,已被廣泛用於數據存儲。
HBase,是一個分布式的、面向列的開源資料庫,可以認為是hdfs的封裝,本質是數據存儲、NoSQL資料庫。HBase是一種Key/Value系統,部署在hdfs上,克服了hdfs在隨機讀寫這個方面的缺點,與hadoop一樣,Hbase目標主要依靠橫向擴展,通過不斷增加廉價的商用伺服器,來增加計算和存儲能力。
Phoenix,相當於一個Java中間件,幫助開發工程師能夠像使用JDBC訪問關系型資料庫一樣訪問NoSQL資料庫HBase。
Yarn是一種Hadoop資源管理器,可為上層應用提供統一的資源管理和調度,它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成:一個全局的資源管理器ResourceManager、ResourceManager的每個節點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。
Mesos是一款開源的集群管理軟體,支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。
Redis是一種速度非常快的非關系資料庫,可以存儲鍵與5種不同類型的值之間的映射,可以將存儲在內存的鍵值對數據持久化到硬碟中,使用復制特性來擴展性能,還可以使用客戶端分片來擴展寫性能。
Atlas是一個位於應用程序與MySQL之間的中間件。在後端DB看來,Atlas相當於連接它的客戶端,在前端應用看來,Atlas相當於一個DB。Atlas作為服務端與應用程序通訊,它實現了MySQL的客戶端和服務端協議,同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節,同時為了降低MySQL負擔,它還維護了連接池。Atlas啟動後會創建多個線程,其中一個為主線程,其餘為工作線程。主線程負責監聽所有的客戶端連接請求,工作線程只監聽主線程的命令請求。
Ku是圍繞Hadoop生態圈建立的存儲引擎,Ku擁有和Hadoop生態圈共同的設計理念,它運行在普通的伺服器上、可分布式規模化部署、並且滿足工業界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎,可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Ku不但提供了行級的插入、更新、刪除API,同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲,既可以進行隨機讀寫,也可以滿足數據分析的要求。Ku的應用場景很廣泛,比如可以進行實時的數據分析,用於數據可能會存在變化的時序數據應用等。
在數據存儲過程中,涉及到的數據表都是成千上百列,包含各種復雜的Query,推薦使用列式存儲方法,比如parquent,ORC等對數據進行壓縮。Parquet 可以支持靈活的壓縮選項,顯著減少磁碟上的存儲。
三、數據清洗
MapRece作為Hadoop的查詢引擎,用於大規模數據集的並行計算,」Map(映射)」和」Rece(歸約)」,是它的主要思想。它極大的方便了編程人員在不會分布式並行編程的情況下,將自己的程序運行在分布式系統中。
隨著業務數據量的增多,需要進行訓練和清洗的數據會變得越來越復雜,這個時候就需要任務調度系統,比如oozie或者azkaban,對關鍵任務進行調度和監控。
Oozie是用於Hadoop平台的一種工作流調度引擎,提供了RESTful API介面來接受用戶的提交請求(提交工作流作業),當提交了workflow後,由工作流引擎負責workflow的執行以及狀態的轉換。用戶在HDFS上部署好作業(MR作業),然後向Oozie提交Workflow,Oozie以非同步方式將作業(MR作業)提交給Hadoop。這也是為什麼當調用Oozie 的RESTful介面提交作業之後能立即返回一個JobId的原因,用戶程序不必等待作業執行完成(因為有些大作業可能會執行很久(幾個小時甚至幾天))。Oozie在後台以非同步方式,再將workflow對應的Action提交給hadoop執行。
Azkaban也是一種工作流的控制引擎,可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成:Relational Database,Azkaban Web Server和Azkaban Executor Server。azkaban將大多數的狀態信息都保存在MySQL中,Azkaban Web Server提供了Web UI,是azkaban主要的管理者,包括project的管理、認證、調度以及對工作流執行過程中的監控等;Azkaban Executor Server用來調度工作流和任務,記錄工作流或者任務的日誌。
流計算任務的處理平台Sloth,是網易首個自研流計算平台,旨在解決公司內各產品日益增長的流計算需求。作為一個計算服務平台,其特點是易用、實時、可靠,為用戶節省技術方面(開發、運維)的投入,幫助用戶專注於解決產品本身的流計算需求。
四、數據查詢分析
Hive的核心工作就是把SQL語句翻譯成MR程序,可以將結構化的數據映射為一張資料庫表,並提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據,它完全依賴於HDFS和MapRece。可以將Hive理解為一個客戶端工具,將SQL操作轉換為相應的MapRece jobs,然後在hadoop上面運行。Hive支持標準的SQL語法,免去了用戶編寫MapRece程序的過程,它的出現可以讓那些精通SQL技能、但是不熟悉MapRece 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。
Hive是為大數據批量處理而生的,Hive的出現解決了傳統的關系型資料庫(MySql、Oracle)在大數據處理上的瓶頸 。Hive 將執行計劃分成map->shuffle->rece->map->shuffle->rece…的模型。如果一個Query會被編譯成多輪MapRece,則會有更多的寫中間結果。由於MapRece執行框架本身的特點,過多的中間過程會增加整個Query的執行時間。在Hive的運行過程中,用戶只需要創建表,導入數據,編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。
Impala是對Hive的一個補充,可以實現高效的SQL查詢。使用Impala來實現SQL on Hadoop,用來進行大數據實時查詢分析。通過熟悉的傳統關系型資料庫的SQL風格來操作大數據,同時數據也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapRece批處理,而是通過使用與商用並行關系資料庫中類似的分布式查詢引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分組成),可以直接從HDFS或HBase中用SELECT、JOIN和統計函數查詢數據,從而大大降低了延遲。Impala將整個查詢分成一執行計劃樹,而不是一連串的MapRece任務,相比Hive沒了MapRece啟動時間。
Hive 適合於長時間的批處理查詢分析,而Impala適合於實時互動式SQL查詢,Impala給數據人員提供了快速實驗,驗證想法的大數據分析工具,可以先使用Hive進行數據轉換處理,之後使用Impala在Hive處理好後的數據集上進行快速的數據分析。總的來說:Impala把執行計劃表現為一棵完整的執行計劃樹,可以更自然地分發執行計劃到各個Impalad執行查詢,而不用像Hive那樣把它組合成管道型的map->rece模式,以此保證Impala有更好的並發性和避免不必要的中間sort與shuffle。但是Impala不支持UDF,能處理的問題有一定的限制。
Spark擁有Hadoop MapRece所具有的特點,它將Job中間輸出結果保存在內存中,從而不需要讀取HDFS。Spark 啟用了內存分布數據集,除了能夠提供互動式查詢外,它還可以優化迭代工作負載。Spark 是在 Scala 語言中實現的,它將 Scala 用作其應用程序框架。與 Hadoop 不同,Spark 和 Scala 能夠緊密集成,其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。
Nutch 是一個開源Java 實現的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬蟲。
Solr用Java編寫、運行在Servlet容器(如Apache Tomcat或Jetty)的一個獨立的企業級搜索應用的全文搜索伺服器。它對外提供類似於Web-service的API介面,用戶可以通過http請求,向搜索引擎伺服器提交一定格式的XML文件,生成索引;也可以通過Http Get操作提出查找請求,並得到XML格式的返回結果。
Elasticsearch是一個開源的全文搜索引擎,基於Lucene的搜索伺服器,可以快速的儲存、搜索和分析海量的數據。設計用於雲計算中,能夠達到實時搜索,穩定,可靠,快速,安裝使用方便。
還涉及到一些機器學習語言,比如,Mahout主要目標是創建一些可伸縮的機器學習演算法,供開發人員在Apache的許可下免費使用;深度學習框架Caffe以及使用數據流圖進行數值計算的開源軟體庫TensorFlow等,常用的機器學習演算法比如,貝葉斯、邏輯回歸、決策樹、神經網路、協同過濾等。
五、數據可視化
對接一些BI平台,將分析得到的數據進行可視化,用於指導決策服務。主流的BI平台比如,國外的敏捷BI Tableau、Qlikview、PowrerBI等,國內的SmallBI和新興的網易有數(可點擊這里免費試用)等。
在上面的每一個階段,保障數據的安全是不可忽視的問題。
基於網路身份認證的協議Kerberos,用來在非安全網路中,對個人通信以安全的手段進行身份認證,它允許某實體在非安全網路環境下通信,向另一個實體以一種安全的方式證明自己的身份。
控制許可權的ranger是一個Hadoop集群許可權框架,提供操作、監控、管理復雜的數據許可權,它提供一個集中的管理機制,管理基於yarn的Hadoop生態圈的所有數據許可權。可以對Hadoop生態的組件如Hive,Hbase進行細粒度的數據訪問控制。通過操作Ranger控制台,管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、資料庫、表、欄位許可權。這些策略可以為不同的用戶和組來設置,同時許可權可與hadoop無縫對接。
Ⅳ 資料庫發展呈現三個主要特徵
資料庫發展呈現三個主要特徵
資料庫(Databases,簡稱DB)是指長期保存在計算機的存儲設備上、並按照某種模型組織起來的、可以被各種用戶或應用共享的數據的集合。資料庫管理系統(Database Management Systems,簡稱DBMS)是指提供各種數據管理服務的計算機軟體系統,這種服務包括數據對象定義、數據存儲與備份、數據訪問與更新、數據統計與分析、數據安全保護、資料庫運行管理以及資料庫建立和維護等。
由於企業信息化的目的就是要以現代信息技術為手段,對伴隨著企業生產和經營過程而產生的數據進行收集、加工、管理和利用,以改善企業生產經營的整體效率,增強企業的競爭力。所以,資料庫是企業信息化不可缺少的工具,是絕大部分企業信息系統的核心。
縱觀資料庫發展,三大資料庫巨頭公司紛紛推出其最新產品,資料庫市場競爭日益加劇。從最新的IDC報告顯示,在關系資料庫管理系統(RDBMS)軟體市場上,Oracle繼續領先對手IBM和微軟,但是微軟在2006年取得了更快的銷售增長率……
根據對資料庫發展的技術趨勢不難看出,整個資料庫發展呈現出了三個主要特徵:
(1)、支持XML數據格式
IBM公司在它新推出的DB2 9版本中,直接把對XML的支持作為其新產品的最大賣點,號稱是業內第一個同時支持關系型數據和XML數據的混合資料庫,無需重新定義XML數據的格式,或將其置於資料庫大型對象的前提下,IBM DB2 9允許用戶無縫管理普通關系數據和純XML數據。
對於傳統關系型數據與層次型數據的混合應用已經成為了新一代資料庫產品所不可或缺的特點。除了IBM,Oracle和微軟也同時宣傳了它們的產品也可以實現高性能XML存儲與查詢,使現有應用更好的與XML共存。
(2)、商業智能成重點
為應對日益加劇的商業競爭,企業不斷增加內部IT及信息系統,使企業的商業數據成幾何數量級不斷遞增,如何能夠從這些海量數據中獲取更多的信息,以便分析決策將數據轉化為商業價值,就成為目前資料庫廠商關注的焦點。各資料庫廠商在新推出的產品中,紛紛表示自己的產品在商業智能方面有很大提高。如:微軟最新版SQL Server 2005就集成了完整的商業智能套件,包括數據倉庫、數據分析、ETL工具、報表及數據挖掘等,並有針對性的做了一些優化。如何更好的支持商業智能將是未來資料庫產品發展的主要趨勢之一。
(3)、SOA架構支持
SOA已經成為目前IT業內的一個大的發展趨勢,最初IBM和BEA是該理念的主要推動者,後來有越來越多的企業加入,開始宣稱支持SOA,其中包括Oracle,而微軟開始並不是非常贊同SOA的,但是,隨著時間的發展,目前國內主流的資料庫廠商都開始宣稱他們的產品是完全支持SOA架構的,包括微軟的SQL Server 2005,從微軟態度的轉變可以看出,未來IT業的發展與融合,SOA正在成長為一個主流的趨勢。
資料庫管理系統已經成為軟體產業的重要組成部分,是信息化過程中最重要的技術基礎之一。我國要振興軟體產業,就必須發展自己的資料庫軟體產業。這已經獲得了廣泛的共識,目前要解決的關鍵問題是如何能夠「做得出、用得上、賣得掉」。我們認為,資料庫軟體的發展將仍然是關系系統內核基礎上進行擴展的技術路線。
Ⅳ 技術路線、執行過程和完成的工作量
一、技術路線
1)在工作區內以往水文地質工作成果的基礎上,充分收集工作區相關社會環境狀況、地質環境背景、地下水環境地質問題和地質資源方面的資料,對其進行綜合分析研究和二次開發。
2)圍繞項目總體目標和工作任務,以嚴重缺水地段和鄉村為本次勘查工作的重點,結合地面調查布置一定量的地球物理勘探工作,以查明其水文地質條件、地下水類型及其賦存規律和開發利用條件,並在此基礎上確定最佳水文地質鑽探施工位置。
3)在地下水勘查工作中,按照「探采結合」的原則進行水文地質鑽探示範工程,所布置的鑽孔既能滿足勘查工作的需求,又可用來作為開采井提供當地村民使用,直接解決群眾飲水困難。
4)加強綜合研究,研究和分析不同類型缺水地區水文地質條件、地下水類型及其賦存規律和開發利用條件,及時總結缺水區不同地下水類型的有效勘查技術方法和找水經驗,提出不同類型區的找水方向,編制地下水開發利用區劃,以指導其他同類地區地下水開發工程的施工,為地下水資源的可持續開發提供水文地質依據。
5)設立以各參加單位的技術骨幹及聘請的老專家為成員的項目綜合組,加強交流與合作。
6)認真執行中國地質調查局有關規定以及南京地質調查中心質量管理體系,確保勘查工作的質量。
勘查工作按以下步驟進行:收集研究資料→路線踏勘→編寫設計→野外勘查(水文地質測繪、地球物理勘查與水文地質鑽探)→室內綜合研究→報告編制→建立資料庫(圖1-1)。
圖1-1 勘查工作程序圖
二、執行過程
河南抗旱找水打井工作大致可分如下5個階段:
(一)接受任務、成立隊伍和調配器材
南京地質調查中心成立項目領導小組和「河南抗旱找水打井行動」突擊隊。
2011年2月24~25日,國土資源部副部長、中國地質調查局局長汪民同志在鄭州主持河南抗旱找水打井行動部署會,確定由南京地質調查中心負責河南省鞏義市抗旱找水打井工作。針對該項解決山區群眾生活飲水和抗旱保苗的任務,南京地質調查中心迅速成立了以黨委書記黃海為組長、中心副主任郭坤一為常務副組長的「河南抗旱找水打井行動」領導小組,組成了以中心水環室技術人員為主力的「河南抗旱找水打井行動」突擊隊,由姜月華研究員任突擊隊隊長。同時,調集可用於找水輔助的物探設備6台(套),主要有多功能數字直流激電儀(型號:DZD-6A)3台,雙頻激電儀(型號:SQ-3C)2台,高密度電法儀(型號:SuperStringR8/IP+56)1台,汽車3台(2台越野車,1台物探車)。
「河南抗旱找水打井行動」突擊隊共124人,充分發揮了水文地質、物探和鑽探專業優勢,沖鋒在前,無私奉獻,積極投入抗旱找水工作。他們克服了水土不服、地質條件復雜、施工難度大等困難,顧全大局,服從安排,涌現了許多可歌可泣的感人事跡:有的同志為此推遲了婚期,有的同志撇下尚嗷嗷待哺的嬰兒。
第一批突擊隊成員17人於2月28日即到達河南鄭州,3月2日入駐鞏義市,並立即投入到抗旱找水打井野外第一線,隨後其他突擊隊成員陸續抵達目的地——鞏義市。
(二)收集資料,多方溝通,建立聯系渠道,確立思路
為了能夠盡快了解旱區地層和地質構造特徵,突擊隊成員在第一時間收集了區域1∶25萬、1∶5萬地質和水文地質資料以及部分物探與鑽孔資料,並與河南省國土資源廳、鄭州市國土資源局、水務局、鞏義市政府、國土資源局、水利局、村鎮等部門有關領導和專家,如鞏義市市長張春陽、副市長楊彥峰、劉振修、史建偉、河南省河南省國土資源廳副廳長楊士海、環境處處長饒維智、副處長梁世雲、河南省地質環境監測院總工程師齊登紅、鄭州市國土資源局副局長徐銘傑、地質環境處處長王新傑、國土資源廳副巡視員鄭州市國土資源局局長吳紅傑、鄭州市國土資源局副局長徐銘傑、鄭州市水務局副局長盧守富、總工程師韓乾坤、鞏義市國土局局長馬振傑、副局長康華凱、科長付滿江、水利局局長張世欣、副局長李永紅、河南第一工程勘察院高級工程師朱廣鎮、河南地調院院長張良、副院長劉成社、王硯國、主任劉新號、高級工程師仝長水、閆震鵬、河南地質礦產勘查開發局總工程師趙雲章、河南地礦建設工程有限公司高級工程師朱廣鎮、劉學洋等,進行認真的溝通與交流,建立了聯系渠道,為下一步工作的順利開展,如野外勘查、辦理物探汽車通行證、確定井位點的「三通一平」(通路、通水、通電和平地)、鑽機進場、打井作業、鑽機撤出等,奠定了重要基礎。
期間,突擊隊成員參加了河南省國土資源廳組織的抗旱找水打井行動協商會議,並組織召開了兩次協調會和業務交流會。與會人員根據國土資源部、中國地質調查局和河南省國土資源廳的要求,結合鄭州片山區找水實際情況,達成以下共識:①項目以滿足缺水地區人畜飲水為重點,以崗地、丘陵山區為找水打井的主要工作區,以服務地方需求為原則;②根據丘陵山區地下水分布不均、找水難度大,採煤造成的地下水水位顯著下降等客觀情況,實行先易後難、深(井)淺(井)結合的工作思路。
(三)野外勘查,確定井位,鑽機進場,打井作業,准備鑽探配套材料,抽水試驗,領導慰問和檢查指導
該階段是本次工作的核心,也是打井成功與否的關鍵。突擊隊成員每天早出晚歸,對魯庄鎮虎山坡村、南侯村,西村鎮李家窯村、常封村、五嶺村,河洛鎮源村、神南村、寺灣村,康店鎮裴峪村、張嶺村、康北村、葉嶺村,孝義鎮龍尾村,北山口鎮鐵匠爐村、山川村,小關鎮水道口村,涉村鎮後村,夾津口鎮韻溝,芝田鎮北石村、稍砦村、益家窩村等地進行了認真的野外踏勘,並開展物探工作。3月8日第一台鑽機進場。至3月21日,有14台鑽機進場,12台鑽機已開鑽,完成33個點位的踏勘工作、6個點位的激電測深工作、18個點位的高密度電法工作,確定了18個孔位和4個待定孔位。
同時,突擊隊派人對市場濾水鐵管、實鐵管、石英砂濾料和濾網布的質量與價格進行調查研究,確定了相關廠商和發送貨時間,保證了鑽探工作的順利進行。3月30日,突擊隊在河南鞏義北山口鎮鐵匠爐村黃土塬上打成了第一口深水井,抽水試驗一直進行至次日凌晨3點,該井孔貫穿黃土層,打入下伏基岩,井深225m,出水量每小時46.7m3。一舉解決了該村450人、500餘頭牲畜生活用水及300畝農田灌溉用水問題。2011年4月25日中午1點30分,隨著夾津口鎮韻溝村水井抽水試驗的完成,南京地質調查中心支援河南應急抗旱找水突擊隊歷經57天野外艱苦工作,圓滿完成了國土資源部、中國地質調查局交給的抗旱找水打井工程施工任務。
突擊隊在野外工作期間,各級領導對突擊隊人員工作和生活非常關心,先後有多批領導前來慰問和檢查指導,如國土資源部環境司徐建芳副司長、李建中處長、中國地質調查局張二勇博士、胡秋韻博士,河南省國土資源廳楊士海副廳長、河南省地質環境監測院齊登紅副總工程師、鄭州市國土資源局徐銘傑副局長,鞏義市張春陽市長、楊彥峰副市長,河南省地礦局趙雲章總工程師、河南省地質調查院張良院長、河南省鄭州市國土資源局李健欣局長,水文環境所張兆吉研究員、水環地調中心邢衛國研究員,鞏義市國土資源局馬振傑局長、康華凱副局長、付滿江科長,南京地質調查中心郭坤一副所長、李君滸副所長、總工辦曾勇主任,華東項目監管處陳冰研究員、安保處胡福強處長等親臨工作現場看望並慰問項目工作人員,極大地鼓舞了突擊隊成員如期完成任務的士氣。中國地質調查局水環部文冬光主任、郝愛兵副主任對本次工作給予了很大的關心和支持,並進行了多次電話指導。
(四)井台建設,配套水泵、泵管和電纜,竣工驗收,移交水井
4月26日,20口深井井台建設全部完成。5月,配套泵、泵管和電纜等基本安裝結束,並開始陸續辦理水井移交手續。
2011年5月9日,以中國地質調查局水環中心主任邢衛國為組長,由中國地質科學院水環所研究員張兆吉、河南省煤炭地質勘察院副總工程師徐連利、河南省地礦局副總工程師趙雲章、河南省地質環境監測院副總工程師齊登紅、河南省地質調查院高級工程師仝長水、鄭州市國土局工程師仝志民等組成的專家組對淮河流域(河南鞏義)嚴重缺水地區地下水勘查項目進行了野外驗收,喜獲通過。專家組對項目組能夠按時完成打井任務及成井率達100%表示了欽佩和祝賀。
(五)整理資料,總結經驗,提交報告
2011年5月~2012年6月為整理資料、總結找水經驗和編寫成果報告與編制圖件階段。
三、完成工作量
本次應急抗旱找水打井工作共完成了1∶5萬水文地質調查350km2、野外井位點的調查33個;利用先進物探設備,累計完成高密度物探剖面測制20.5km、電測深剖面7.2km;完成確定井位23處、水井施工20眼、鑽探總進尺3453.4m和測井2800m;完成實測地質剖面2條(3.0km),磨製薄片4片;測試水質全分析樣20件(表1-1,表1-2)。
表1-1 河南鞏義應急抗旱找水打井完成的工作量
表1-2 河南鞏義應急抗旱找水定井位和物探電法工作量
Ⅵ supermapGIS資料庫建識的技術路線及具體實施方法和步驟
你知道他誰不不說大力是什麼的話,你可以打開這個軟體的使用方法說明書進行查看的呢。
Ⅶ 一個好的資料庫加密系統一般應滿足哪些方面的要求
我認為,至少需要滿足下面4個方面的要求。
1、保證資料庫系統的整體性能沒有明顯下降
眾所周知,資料庫系統的數據處理性能對整個業務系統的整體性能表現有決定性的作用,在某些場合,資料庫必須保證處理能力維持在某個較高水平才能滿足業務需要。另一方面,資料庫加密系統是一個對資料庫中數據進行加密保護的應用系統,在數據從業務系統存儲到資料庫時要對數據進行加密,這個過程中明文數據需要被加密成密文,在數據由資料庫中被讀取出來傳遞到業務系統時要對數據進行解密,這個過程中密文需要被解密成明文。加密和解密是個根據一定的演算法邏輯進行循環運算的過程,這個過程對CPU會產生一定的消耗,會影響資料庫的性能。
資料庫加密系統可以有多種技術路線來實現,業界已經驗證和使用的技術路線包括應用系統加密、前置代理加密、後置代理加密、表空間透明數據加密、文件系統加密和磁碟加密。其中應用系統加密和前置代理加密技術會極大地影響資料庫性能,僅適用於小量數據加密場景;後置代理加密技術在某些場景上也會大幅影響資料庫性能,使用場景有明顯限制;所以,好的資料庫加密系統應該盡量使用後三種技術路線來實現。
2、保證數據安全
保存在資料庫中的數據是用戶的資產,因此,任何一個資料庫加密系統都需要保證在有密鑰的前提下能夠對由自己加密的數據進行無損解密。因此,一個好的資料庫加密系統應該具備密鑰備份和恢復功能,以便於在加密機故障不可用時能夠快速搭建新的加密機環境;另外,如果資料庫加密系統提供了獨立的工具或介面來實現加密機故障時用戶數據的解密,則是更好的選擇。
3、應用完全透明
資料庫系統是為業務系統提供數據服務的,一個好的資料庫加密系統應該對應用系統具備完全的透明性,這種透明性主要表現在:(1)部署資料庫加密系統時,應用系統不需要做任何改造,即使是連接字元串都不需要修改;(2)在部署了資料庫資料庫加密系統後,資料庫內部的存儲過程、用戶自定義函數、觸發器、SQL代碼段等可執行對象及主外鍵關系、各種索引、默認值、Check約束等均可以正常使用,也不需要做任何改變;(3)資料庫自身的外圍管理工具、第三方資料庫工具等在部署資料庫加密系統後仍然可以正常使用。
4、高可用性
資料庫加密系統自身應具備高可用能力,可以以主備或多機的方式提供資料庫加密服務,當其中的一台加密機發生故障時,其它加密機應可能快速接管加密服務,保證資料庫系統和用戶業務系統的可用性。
Ⅷ 主要研究內容和技術路線
14. 2. 1 研究內容
為保證范各庄礦區石炭紀—奧陶紀地層中 14 煤層能夠安全開采,本書主要根據所收集的資料( 范各庄地質報告、范各庄水文地質圖、范各庄鑽孔柱狀圖等) ,運用 GIS 與 BN 相結合的方法計算出各評價單元的突水概率,並以此為依據對研究區進行煤層陷落柱突水危險性評價,最終針對不同突水概率區域提出相應的防治措施。具體研究內容如下。
( 1) 研究 GIS 與 BN 的耦合技術,對其應用於煤層陷落柱突水進行可行性分析。
( 2) 建立煤層突水危險性評價基本理論體系。
( 3) 通過對煤層突水的主要影響因素的分析,建立包括地質構造特徵、含水層條件、隔水層條件和開采活動 4 個方面的煤層陷落柱突水評價指標體系。
( 4) 利用 GIS 的數據採集功能和空間分析功能對收集到的相關資料進行量化,建立各個評價指標的專題圖,同時建立了空間資料庫。在此基礎上對各子專題圖進行疊加分析,確立評價單元,並生成多屬性聯合的空間資料庫。
( 5) 在資料庫建立的基礎上,應用 BN 軟體建立煤層突水的 BN 模型,進行模型解釋和模型分析,編程設計實現 BN 模型推理模塊,快速、批量計算出各評價單元的突水概率,以此為依據應用 GIS 空間分析模塊,輸出了陷落柱突水危險性評價圖。
( 6) 利用 BN 模型、BN 推理模塊、空間資料庫以及 GIS 空間分析等模塊,統籌設計「煤礦突水態勢評價監測系統」,便於預測成果的查詢、分析以及突水概率的更新推理,從而為相關政策的制定提供決策支持。
( 7) 提交最終成果並對成果進行分析,提出相應的防治措施。
14. 2. 2 技術路線
本章研究對象是范各庄 14 煤層陷落柱突水區域危險性評價,目的是從煤層陷落柱突水形成的基本條件、誘發動力分析入手,判明哪些區域容易發生突水,以及發生突水的概率等; 其研究方法主要是從地質因素和采礦因素出發,採用數理統計和人工智慧等量化的數學方法,結合范各庄煤層突水調查結果,判定研究區內不同位置煤層突水發生的可能性的大小,最終探索出了一條礦井突水危險性評價的可行途徑。具體研究路線如圖 14. 1 所示,描述如下:
( 1) 資料收集: 收集研究區自然地理、地質、水文地質、鑽孔等相關方面資料,並按照陷落柱危險性評價所需加以整理提取。
(2)評價指標體系構建:翔實系統地分析確定控制煤層突水的因素,正確建立煤層突水的評價指標體系。
(3)評價指標專題圖建立:在煤層突水因素分析確定的基礎上,以GIS的空間數據統計分析功能為操作平台,利用其強大的空間信息查詢處理分析能力,對各種圖形信息進行量化,建立煤礦突水各評價因子的子專題圖層。
(4)多因素疊加分析確定評價單元:應用GIS的空間分析功能進行多源地學信息的復合疊加,實現同一區域、同一比例尺、同一地理坐標系統的不同信息的疊加,確定研究區評價單元,同時生成了空間資料庫。
(5)BN模型建立:基於空間屬性資料庫,應用Genie軟體,運用BN的相關知識構建突水因素和突水事件的BN模型。
(6)BN分析:通過BN分析得到最易於誘發突水事件的相關因子集合。
(7)BN推理:在Visual Studio開發平台下,選用C Sharp編程語言,利用匹斯堡大學決策實驗室設計的SmileNet動態庫,進行程序設計,實現BN模型與GIS空間分析、查詢模塊的數據交互,完成BN先驗概率學習及其突水後驗概率批量推理。
(8)評價分區:依據上述突水預測概率計算結果,應用GIS空間分析的屬性分級顯示模塊,按照區域突水危險級別,在圖層上進行分色顯示,最終得出煤層突水危險性評價圖。
(9)運用樣本二分法對評價模型進行驗證,證明此評價方法的可行性。
Ⅸ 高解析度影像數據處理及數據建庫技術方法研究
潘振祥
(河南省國土資源廳信息中心 鄭州 450016)
摘 要:本文通過開展高解析度衛星遙感影像數據(SPOT5)處理及建庫技術方法研究和探索,制定了《高解析度影像數據處理及基於遙感影像土地利用資料庫建設技術要求》和《省級基於遙感影像 1∶1 萬土地利用資料庫標准》,製作了覆蓋河南全省的 1∶1 萬數字正射影像圖,建立了河南省基於 SPOT 5 的 GPS 像控點圖形圖像資料庫、高解析度衛星影像資料庫和基於影像信息土地利用資料庫,為全國土地利用二次調查基礎底圖製作進行了有益的探索。
關鍵詞:土地資源 衛星影像 遙感 資料庫 像控點
0 引 言
隨著信息技術的快速發展,衛星遙感影像處理技術得到了突破性進展,高解析度衛星影像在土地資源調查評價、土地利用動態遙感監測、土地執法監察、土地變更調查以及大中比例尺地形圖測繪等方面應用已取得顯著成效。
針對河南省高解析度遙感影像數據處理及資料庫建設項目任務,項目組提出了利用 GPS 外業靜態實測坐標作為影像數據校正的控制資料,制定了《高解析度影像數據處理及基於遙感影像土地利用資料庫建設技術要求》和《省級基於遙感影像 1∶1 萬土地利用資料庫標准》等,並根據項目任務要求,制定了切合河南實際的基於遙感影像信息的土地利用分類體系,同時,通過項目開展,製作了覆蓋河南全省的 SPOT 5 數字正射影像圖(DOM),並建立了河南省基於 SPOT 5的 GPS 像控點圖形圖像資料庫,為土地利用二次調查基礎底圖製作進行了有益的探索。
1 影像數據處理及資料庫建設技術路線
(1)多源遙感信息相結合。選取最佳波段組合的多光譜影像與高解析度全色影像融合,生產具有高解析度空間信息和豐富光譜信息的融合影像。
(2)GPS 像控點、基礎圖件(資料庫)和 DEM 相結合。根據實際情況,採用 GPS 像控點,同時利用 1∶5 萬 DEM 對遙感影像進行正射校正。
(3)人機交互與計算機自動提取相結合。以人機交互解譯為主,進行土地分類信息提取。
(4)遙感解譯與地面調查相結合。對提取的地類圖斑信息進行外業驗證,對在室內不確定的地類圖斑,進行外業實地調查。
2 GPS 像控點圖形圖像資料庫建立
為保證像控點選取精度,首先在 2.5 m 解析度的全色影像上,按照像控點選取的技術要求,每景均勻選取了 25 個像控點,並對像控點進行了全外業 GPS 靜態測量,在 MapGIS 平台下編輯像控點屬性結構,建立 GPS 像控點圖形圖像資料庫,並將像控點外業測量成果表以圖片方式保存在屬性表中。如圖1所示。
圖1 像控點圖形圖像資料庫示意圖
2.1 GPS 像控點選取
為保證像控點外業測量精度,像控點選取時,點位分布要相對均勻,特徵明顯,交通便利,數量足夠,盡可能在全色影像上選取,盡量避開高壓線、大面積水域等干擾因素。
為提高外業測量效率,將選取的待測像控點製作成「像控點外業測量成果表」,成果表包括像控點編號、點位及放大的示意圖、WGS84、1954 北京、1980 年西安三套坐標和點位說明等內容。
2.2 GPS 像控點外業施測
像控點外業測量採用附合路線法,各像控點平均間距約 13 km,像控點與 C 級 GPS 控制點組成 GPS 控制網。GPS 像控點外業測量利用河南省 C 級 GPS 控制網成果的三套數據(分別為WGS 84、1954 北京和 1980 年西安坐標)作為起算數據,依據《全球定位系統(GPS)測量規范》,採用靜態方式同步進行觀測,三台套 GPS 接收機為一組,觀測時段長度不少於 45 分鍾,衛星高度角≥ 15°,有效觀測衛星總數≥ 4 個。測量數據採用南方測繪軟體進行基線解算、平差處理並進行高程擬合,最後解算出像控點基於三套坐標系統的三套數據和擬合高程。
2.3 GPS 像控點圖形圖像資料庫的建立
GPS 像控點圖形圖像資料庫以河南省 1∶50 萬地理底圖作為工作底圖,輸入像控點空間坐標,並採集像控點屬性與圖形信息,建立數學基準統一的像控點圖形圖像文件。像控點圖形圖像信息,除像控點所具有的地理坐標信息之外,還包括與待糾正影像相關的特徵地物的紋理信息、解析度信息等。
3 影像數據處理
影像數據處理包括衛星影像全色數據與多光譜數據的配准、融合和影像數據正射校正、鑲嵌及正射影像圖(DOM)的製作等。本項目所使用到的 SPOT 5 數據是由視寶公司提供的 1A 級數據,只經過了探測器的均衡化處理,為了進行多元數據的復合,製作正射影像圖,必須對圖像進行正射校正,建立地理坐標。影像數據處理技術流程如圖 2 所示。
圖2 影像數據處理技術流程
3.1 影像配准
本項目使用的單景多光譜數據與全色數據是同步接收到的,其圖形的幾何相關性較好,多光譜數據與全色配准難度小、精度高,因此採用相對配準的方法,SPOT 5 多光譜數據波段組合採用 XS2(紅)、XS3(綠)、XS1(藍)形式,影像重采樣間隔為 2.5 m,重采樣方法採用雙線性內插,以景為配准單元,以 SPOT 5 全色數據為配准基礎,均勻選取配准控制點,對接收側視角較大,地勢起伏對配准影響較為嚴重的區域相應增加控制點密度,將 SPOT 5 多光譜數據與之精確配准,並隨機選擇配准後全色與多光譜數據上的同名點進行檢查,以確保數據的配准精度。
3.2 影像融合
圖像融合處理採用最基本的乘積組合演算法直接對兩種空間解析度的遙感數據進行合成,融合後圖像則採用直方圖調整、USM 銳化、彩色平衡、色度飽和度調整和反差增強等手段,以使整景影像色彩均勻、明暗程度適中、清晰,增強專題信息,特別是加強紋理信息。
3.3 影像正射校正
影像正射校正採用 ERDAS 的 LPS 正射模塊,利用 SPOT 5 物理模型,每景 25 個像控點均勻分布於整景影像,各相鄰景影像重疊區有 2 個以上共用點。正射校正以實測點和 1∶5 萬 DEM為校正基礎,以景為單元,對融合後的數據進行正射校正,采樣間隔為 2.5 m。
3.4 影像鑲嵌
影像鑲嵌採用 ERDAS 的 LPS 正射模塊中批量處理模塊,相鄰兩幅影像,均採集了兩個以上共用點,大大提高了影像鑲嵌精度。為驗證鑲嵌精度,以縣(市、區)為單位,在其鑲嵌區隨機選擇 25 個以上檢查點進行鑲嵌精度檢查。
3.5 數字正射影像圖製作
數字正射影像圖(DOM)製作採用 Image Info 工具,按照 1∶1 萬標准分幅進行裁切,覆蓋完整的縣級行政轄區。圖幅整飾依據《高解析度影像數據處理及資料庫建設技術要求》,利用MapGIS 資料庫平台,按照 1954 北京坐標系、1985 年國家高程基準的生成 1∶1 萬標准分幅圖幅整飾。
4 創新成果
項目組在圓滿完成項目任務的前提下,結合項目進展和土地管理需要,創造性地開展工作。總結項目進展和取得的成果,創新成果主要體現在:
(1)影像校正控制點 GPS 外業實測數據作為影像校正控制資料,改變了以往利用地形圖、土地利用現狀圖(資料庫)作為控制資料的傳統方式,極大地提高了影像校正精度,節省了項目投入經費。
覆蓋河南全省 1∶1 萬標准分幅地形圖共計 6565 幅,而實有地形圖僅 5600 余幅,項目組在徵求部課題組同意的前提下,提出採用 GPS 外業實測控制點作為影像校正控制資料的思路。基於這一思路,項目組進行了一系列研究和論證,制定了 GPS 外業測量技術要求,並對覆蓋全省的每景 SPOT 5 衛星影像相對均勻地選取了 25 個控制點,相鄰景影像不少於 2 個共用控制點的原則,全省共選取影像校正控制點 1421 個,GPS 大地控制 C 級點 94 個。根據影像數據接收時間和項目進度,共分 13 個測區,對所有控制點採用附和路線法進行了靜態測量,分別計算出各控制點和檢查點的 WGS84、1954 北京和 1980 年西安三套坐標。
(2)河南省像控點圖形圖像資料庫的建立,為今後河南全省土地利用遙感監測、衛片執法監察等提供了技術保障。
為使外業測量成果長期保存和今後使用,項目組在項目任務之外,在 MapGIS 平台上,基於河南省 1∶50 萬地理底圖,建立了 GPS 像控點圖形圖像資料庫。GPS 像控點圖形圖像資料庫的建立,不僅滿足 SPOT 5_2.5 m 高解析度衛星影像的校正精度要求,同時為今後河南全省土地利用遙感監測、衛片執法檢查、礦山環境監測等奠定了基礎。
(3)高解析度影像數據大區域整體正射校正和鑲嵌處理技術的探索,為影像數據批處理技術的推廣進行了有益的探索。
由於本次試點項目涉及的范圍廣、影像處理工作量大,因此,項目組在保證影像糾正精度的前提下,為提高工作效率,探索和使用了遙感影像專業處理軟體 ERDAS 的 LPS 模塊提供的大區域整體正射糾正和影像鑲嵌處理功能,達到了較好的應用效果。
鑒於本次試點項目所使用的影像數據均為同步接收的 SPOT 5 多光譜與全色數據,其圖形的幾何相關性較好,多光譜數據與全色配准難度小、精度高,因此,影像數據處理採用先單景融合、後大區域整體正射校正、最後進行大區域鑲嵌配準的技術流程進行影像處理。
正射糾正採用 ERDAS 的 LPS 批量正射模塊。糾正採用 SPOT 5 物理模型,控制點均勻分布於整景影像,每景控制點個數為 25 個,各相鄰影像重疊區有 2 個以上共用點。正射糾正以 GPS外業實測控制點和預處理的河南省 1∶5 萬 DEM 為糾正基礎 , 對 SPOT 5 融合數據進行批量糾正,采樣間隔為 2.5 m。影像鑲嵌採用的是 ERDAS 的 LPS 批處理模塊,由於各相鄰景影像均採集了兩個以上的共用點,大大提高了影像鑲嵌精度。
(4)基於遙感影像信息土地利用分類標准體系的制定,為國家和省級快速掌握和提取土地利用變化信息進行了有益的探索。
項目組根據部課題組要求及國家和省土地管理工作需要,結合 SPOT 5 衛星影像光譜特徵和紋理信息,經充分研究和論證,制定了切合河南實際、滿足「高解析度影像數據處理及資料庫建設」試點項目需要的基於遙感影像信息的土地利用分類標准,該標准中將土地利用類型分為農用地、建設用地和未利用地等 3 個大類,耕地、園林地、其他農用地、城市用地、建制鎮用地、農村居民點用地、鐵路用地、公路用地、其他建設用地、未利用地等 10 個二級類,此外,根據個別地類特點,又分別從農用地、建設用地和未利用地中單獨劃分出公路林帶、農業水利用地、水利設施用地、未利用水面和黃河灘地等 5 個三級類,分類標准與現有的土地利用分類體系協調、一致,符合國土資源土地分類標准體系。
(5)基於遙感影像土地利用資料庫建設,為國家和省土地宏觀管理提供了現勢性較強的土地利用電子數據,為國內同類工作的開展提供了技術依據。
考慮到國家和省級土地宏觀管理的需要,根據項目制定的「基於遙感影像土地利用分類體系」,結合中地公司 MapGIS 土地利用資料庫管理系統框架結構,項目組在 MapGIS 資料庫管理系統平台的基礎上,分別制定了《高解析度影像數據處理及資料庫建設技術要求》和《基於遙感影像 1∶1 萬土地利用資料庫標准》等,並在標准中明確了基於遙感影像的土地分類、文件命名規則、數據分層格式及要求等,保證了數據標准和數據格式的一致性及資料庫建設質量,為國家和省提供了翔實的土地利用現勢數據。
5 結 語
隨著遙感技術和計算機技術的飛速發展,高解析度遙感影像數據在土地管理工作中的應用越來越普遍,同時,遙感影像數據處理的技術手段也越來越科學、越來越先進,尤其是全國第二次土地調查工作的全面開展,將遙感影像在土地管理方面的應用推到一個前所未有的水平,因此,如何在影像數據處理過程中盡可能減少人力和財力投入已顯得尤為重要。本項目針對上述問題,在科研與生產過程中,提出的採用 GPS 外業實測控制點作為影像校正控制資料、GPS 像控點圖形圖像數據建庫及基於國家和省級土地管理需要而提出的基於遙感影像信息土地利用資料庫標准等,進行了較好的詮釋,為今後同類工作的開展進行了有益的探索。
參 考 文 獻
常慶瑞,等.2004.遙感技術導論[M]. 北京:科學出版社
陳述彭,等.1998.遙感信息機理研究[M].北京:科學出版社
黨安榮,等.2003.ERDAS IMAGING 遙感圖像處理方法[M].北京:清華大學出版社
湯國安,等.2004.遙感數字影像處理[M]. 北京:科學出版社
徐柏清.1988.正射投影技術與影像地圖[M].北京:測繪出版社
尤淑撐,劉順喜.2002.GPS 在土地變更調查中的應用研究[J].測繪通報(5):1~3
張繼賢,等.2000.圖形圖像控制點庫及應用[J].測繪通報(1)
(原載《測繪通報》2008 年第 10 期)
Ⅹ 技術路線及資料庫的建立
採用的技術方法主要包括:面向對象的空間資料庫技術;多元信息集成、分析及挖掘技術;空間數據互動式表達技術。
所選技術方法的選擇和配套組合充分體現了傳統地質與現代信息技術相結合的發展趨勢。具體技術路線以西天山阿吾拉勒成礦帶西段鐵礦資源潛力評價體系為主(圖1-2)。
圖1-2 新疆西天山阿吾拉勒西段成礦帶鐵礦資源潛力評價體系