資料庫數據梳理

A. 基礎數據整理

一、原始收錄數據整理

從20世紀70年代至今,中心航空物探測量使用多種不同型號的數據收錄系統,如G704、G714、DAS-8、Z80、DS1、DS2、DS3等,同一型號的數據收錄系統收錄的數據也存在不同的記錄格式和記錄長度,造成了原始收錄數據格式混亂,且有的原始收錄數據的記錄格式已無處查詢。

原始收錄數據的存儲介質有磁帶、軟盤、光碟等。磁帶記錄數據因受磁帶的保存期和讀取設備的限制現在已經無法讀取。軟盤記錄數據曾經部分轉儲到光碟上,記錄在光碟的數據,現在讀取基本沒有問題。

原始收錄數據分為空中原始收錄數據、地面磁日變收錄數據、地面差分GPS收錄數據,航空重力測量的前、後校基準點數據。按航空物探信息系統資料庫建設要求,對每個勘查項目的架次飛行測量的原始收錄數據進行整理,編寫數據記錄格式說明。部分以壓縮形式存檔的數據,進行解壓縮處理。盡力解讀沒有記錄格式說明的原始收錄數據,無法讀取的原始測量數據寫出具體說明。

二、模擬記錄和磁帶收錄的校正後數據整理

早期的航空物探測量模擬資料的數字化工作已完成,數字化的內容僅包括:坐標和磁場。

20世紀90年代以前數字收錄的航空物探數據是使用32/57計算機處理的,以32/57計算機的資料庫格式記錄在磁帶上,後來轉儲到光碟上。32/57計算機資料庫的坐標為相對坐標,沒有地理坐標;在數據整理過程中,利用資料庫中的參考點數據計算地理坐標。

20世紀90年代初期,中心使用IBM4341計算機處理航空物探數據,數據是以OPTE-DIT文件格式記錄在磁帶上,後來轉儲到光碟上。同樣,IBM4341計算機早已淘汰。重新開發相關軟體讀取該格式數據。

這時期數據特點是只有數據處理的最終結果數據,沒有保存轉格式的原始數據和中間過程數據。

這部分數據前人多次整理過,本次是把前人的現有成果轉成符合航空物探信息系統資料庫建設要求的格式。

1)航磁數據整理的數據來源以省級航磁資料庫數據為主,中國航磁編圖(CHAMP)數據為輔。其內容包括:經度或東向距,緯度或北向距,調平前△T磁場,調平後△T磁場。

2)能譜測量數據整理的數據來源為轉儲的伽馬能譜數據。由於當時項目的工作目的和任務與伽馬能譜無關,所以轉儲的伽馬能譜數據文件中只有雷達高度、校正後總道、鉀道、鈾道、釷道數據,沒有坐標等其他數據。

3)航電測量數據整理的數據來源為航電資料庫數據,其內容包括:經度或東向距,緯度或北向距,校正後520Hz實分量,校正後520Hz虛分量,校正後2020Hz實分量,校正後2020Hz虛分量,校正後8020Hz實分量,校正後8020Hz虛分量。

三、磁碟收錄的原始數據及校正後數據整理

由於計算機技術的快速發展和航空物探數據處理技術的進步,20世紀90年代初之後航空物探數據處理採用中心在DOS系統和Windows系統上自主研發的航空物探數據軟體進行數據處理。這時期數據內容齊全,包括航空物探測量原始數據、中間過程數據和處理最終數據,如:

時間,無線電高度,計算的地形高程數據;

原始定位數據(GPS或GG24的時間、緯度、經度、高度、高度修正值等);

原始磁場數據(未補償磁總場、已補償磁總場);

原始能譜數據(總道計數率、鉀道計數率、鈾道計數率、釷道計數率、上視鈾等);

原始航電數據(520Hz實、虛分量,2020Hz實、虛分量,8020Hz實、虛分量);

坐標轉換後的定位數據(BJ54緯度、BJ54經度、北向距、東向距等);

國際地磁參考場、磁日變;原始△T磁場、調平後△T磁場;

校正後能譜含量(總道、鉀道、鈾道、釷道);

校正後航電數據(520Hz實、虛分量,2020Hz實、虛分量,8020Hz實、虛分量)。

這些數據是以ASCⅡ碼文件保存的,用AirProbe軟體裝入AirProbe資料庫中,按信息系統要求文件格式輸出即可。

四、數據合並與坐標轉換

20世紀90年代初之前的航空物探基礎數據是按測量參數分別存儲在不同的文件,且文件的格式也不完全相同,需要按測區把所有測量參數的數據合並到一個文件中。

以航磁數據為主,先將每個測量測區的航磁數據裝入AirProbe資料庫,再將能譜或航電的數據合並到資料庫。航磁數據和航電數據均有相同的坐標數據,據此進行合並;但是能譜數據只有校正後數據,沒有坐標數據,且存在同一條測線的能譜數據比航磁數據點少的現象。為了保證合並得盡可能准確,先合並數據長度一致的測線,不同者參考存檔的正式磁場圖和能譜圖,確定能譜數據與坐標的關系再合並。能譜、航電數據長度與航磁數據長度不等時,採用充假值(-32767)或補0方法,並在工作記錄中備案。

由於坐標數據有幾種不同形式(經度、緯度、北向距、東向距)和單位(度、度分、米),按照信息系統建設要求,統一轉換為BJ54的經度、緯度。

五、整理數據的質量檢查

使用整理數據繪制剖面圖或等值線圖,與正式圖進行比對,確認無誤後,按照本信息系統建設要求,製作航空物探各參量數據圖冊,同時填寫工作記錄。若發現錯誤,再用數據整理前的數據繪制圖件,查明具體原因。

質量檢查合格後,按信息系統建設要求的文件格式轉換輸出。

六、完成的工作量

基礎數據整理工作共完成中心330個測區的基礎數據整理。其中,單磁測區275個、磁放測區29個、磁電測區7個、磁電放測區19個;完成省航測隊97個測區的基礎數據整理。編制數據整理及介面軟體9個;填寫物探基礎數據整理工作記錄400餘份;繪制磁、能譜、航電的平剖圖、等值線圖約1000餘張;按照整理後的數據重新確定了測區的實際范圍和角點坐標。

B. 逐步講解 Oracle資料庫碎片如何整理

對於系統管理員來講，如何保證網路穩定運行，如何提高資料庫性能，使其更加安全高效，就顯得尤為重要。作為影響資料庫性能的一大因素 -- 資料庫碎片，應當引起 DBA 的足夠重視，及時發現並整理碎片乃是 DBA 一項基本維護內容。 1、碎片是如何產生的 當生成一個資料庫時，它會分成稱為表空間（ Tablespace ）的多個邏輯段（ Segment ），如系統（System）表空間 , 臨時（Temporary）表空間等。一個表空間可以包含多個數據范圍（Extent）和一個或多個自由范圍塊，即自由空間（Free Space）。 表空間、段、范圍、自由空間的邏輯關系如下： 當表空間中生成一個段時，將從表空間有效自由空間中為這個段的初始范圍分配空間。在這些初始范圍充滿數據時，段會請求增加另一個范圍。這樣的擴展過程會一直繼續下去，直到達到最大的范圍值，或者在表空間中已經沒有自由空間用於下一個范圍。最理想的狀態就是一個段的數據可被存在單一的一個范圍中。這樣，所有的數據存儲時靠近段內其它數據，並且尋找數據可少用一些指針。但是一個段包含多個范圍的情況是大量存在的，沒有任何措施可以保證這些范圍是相鄰存儲的，當要滿足一個空間要求時，資料庫不再合並相鄰的自由范圍（除非別無選擇）， 而是尋找表空間中最大的自由范圍來使用。這樣將逐漸形成越來越多的離散的、分隔的、較小的自由空間，即碎片。例如： 2、碎片對系統的影響 隨著時間推移，基於資料庫的應用系統的廣泛使用，產生的碎片會越來越多，將對資料庫有以下兩點主要影響： 1）導致系統性能減弱。 如上所述，當要滿足一個空間要求時，資料庫將首先查找當前最大的自由范圍，而 「最大」自由范圍逐漸變小，要找到一個足夠大的自由范圍已變得越來越困難，從而導致表空間中的速度障礙，使資料庫的空間分配愈發遠離理想狀態； 2）浪費大量的表空間。 盡管有一部分自由范圍（如表空間的 pctincrease 為非 0 ）將會被 SMON （系統監控）後台進程周期性地合並，但始終有一部分自由范圍無法得以自動合並，浪費了大量的表空間。 3、自由范圍的碎片計算 由於自由空間碎片是由幾部分組成，如范圍數量、最大范圍尺寸等，我們可用 FSFI--Free Space Fragmentation Index （自由空間碎片索引）值來直觀體現： FSFI=100*SQRT(max(extent)/sum(extents))*1/SQRT(SQRT(count(extents))) 可以看出， FSFI 的最大可能值為 100 （一個理想的單文件表空間）。隨著范圍的增加， FSFI 值緩慢下降，而隨著最大范圍尺寸的減少， FSFI 值會迅速下降。 下面的腳本可以用來計算 FSFI 值： rem FSFI Value Compute rem fsfi.sql column FSFI format 999,99 select tablespace_name,sqrt(max(blocks)/sum(blocks))* (100/sqrt(sqrt(count(blocks)))) FSFI from dba_free_space group by tablespace_name order by 1; spool fsfi.rep; / spool off;比如，在某資料庫運行腳本 fsfi.sql, 得到以下 FSFI 值： TABLESPACE_NAME FSFI ------------------------------------- RBS 74.06 SYSTEM 100.00 TEMP 22.82 TOOLS 75.79 USERS 100.00 USER_TOOLS 100.00 YDCX_DATA 47.34 YDCX_IDX 57.19 YDJF_DATA 33.80 YDJF_IDX 75.55統計出了資料庫的 FSFI 值，就可以把它作為一個可比參數。在一個有著足夠有效自由空間，且FSFI 值超過 30 的表空間中，很少會遇見有效自由空間的問題。當一個空間將要接近可比參數時，就需要做碎片整理了。 4、自由范圍的碎片整理1）表空間的 pctincrease 值為非 0。 可以將表空間的預設存儲參數 pctincrease 改為非 0 。一般將其設為 1 ，如： alter tablespace temp default storage(pctincrease 1);這樣SMON 便會將自由范圍自動合並。也可以手工合並自由范圍： alter tablespace temp coalesce。 5、段的碎片整理我們知道，段由范圍組成。在有些情況下，有必要對段的碎片進行整理。要查看段的有關信息，可查看數據字典 dba_segments ，范圍的信息可查看數據字典 dba_extents 。如果段的碎片過多， 將其數據壓縮到一個范圍的最簡單方法便是用正確的存儲參數將這個段重建，然後將舊表中的數據插入到新表，同時刪除舊表。這個過程可以用 Import/Export （輸入 / 輸出）工具來完成。 Export （）命令有一個（壓縮）標志，這個標志在讀表時會引發 Export 確定該表所分配的物理空間量，它會向輸出轉儲文件寫入一個新的初始化存儲參數 -- 等於全部所分配空間。若這個表關閉， 則使用 Import （）工具重新生成。這樣，它的數據會放入一個新的、較大的初始段中。例如： exp user/password file=exp.dmp compress=Y grants=Y indexes=Y tables=(table1,table2);若輸出成功，則從庫中刪除已輸出的表，然後從輸出轉儲文件中輸入表： imp user/password file=exp.dmp commit=Y buffer=64000 full=Y 這種方法可用於整個資料庫。 以上簡單分析了 Oracle 資料庫碎片的產生、計算方法及整理，僅供參考。資料庫的性能優化是一項技術含量高，同時又需要有足夠耐心、認真細致的工作。 對資料庫碎片的一點探討， 下面是一種如何自動處理表空間碎片的代碼，希望對上大家看上文有用 Coalesce Tablespace Automatically This technique comes from Sandeep Naik, a database administrator for GSXXI, Inc. in New York City, New York Here is a handy script which can be scheled to automatically run and coalesces the tablespaces. This script is designed to run in NT but can be run in any operating system by slight modifications in the path where the file spools from the SQLPLUS environment. It assumes that the user who runs the script has priviledges to view the data dictionary. Start of code -------------------------------------- sqlplus / prompt this script will coalesce the tablespace automatically set verify off; set termout off; set head off; spool c: empcoalesce.log select alter tablespace ||TABLESPACE_NAME|| coalesce ; from DBA_FREE_SPACE_COALESCED where PERCENT_EXTENTS_COALESCED

C. 數據資料收集整理

（一）數據資料收集整理工作步驟

農用地分等工作中數據資料收集整理與調查工作是整個農用地分等工作的關鍵環節，其質量關繫到分等成果的准確性。其基本步驟如下：

（1）農用地分等項目技術組到國土資源局、農業局、統計局、水利局、交通局、環保局、氣象局等相關部門收集有關資料，主要包括土壤普查、國土資源調查、農業區劃、土地利用總體規劃等資料，氣象、水文、地質以及國民經濟統計等基礎資料，環境保護資料、農田水利資料、國民經濟、農業統計資料以及土壤圖、地形圖、土地利用現狀圖等基礎圖件。

（2）由各鎮國土資源所負責將鎮級國土資源所、農技站和各村委會調查表格下發至相關單位，並要求各單位按照調查表格的內容准備材料。在農用地分等技術組和當地國土資源所、農辦工作人員的具體指導下，集中各行政村和相關單位的幹部或技術人員，結合各鎮的實際情況，現場進行調查與收集資料工作。內容包括農用地投入、產出樣點資料，農田水利基礎設施狀況及區位交通狀況等資料。

（3）資料整理，即對收集的資料進行核實、分析與整理。

（二）數據資料整理

數據資料整理主要是對收集的資料進行核實、分析與整理。

1.資料核實

嚴格核實資料數據，要求數據來源可靠，計量單位統一，剔除明顯不符合實際的數值和特殊的極值。

2.資料整理

（1）對資料進行分類整理，重點是圖件、數據資料整理。

（2）對不能滿足分等工作要求的資料應做好記錄，以便進行外業補充調查。

（3）四周與鄰縣接邊的分等單元要整理出來，填寫專門的表格，以備接邊檢核和存檔。

（4）對缺乏土壤資料的補充調查點，應注意收集土壤普查土種志資料（有其生產性能的描述）或補充土壤剖面，以便准確診斷分等因素。

（5）外業調查原始記錄的文字、表格、圖件、剖面照片及其說明、環境照片及其說明，必須整理成冊，列入基礎資料匯編，存入檔案。

（三）分等主要工作過程及資料庫建設

1.分等主要工作過程

分等工作包括工作準備、資料收集整理、外業調查、數據處理、成果自檢、成果整理及報告撰寫、省級預檢等工作過程。分等工作的基本工作流程如圖2-1所示。

2.分等資料庫處理

農用地分等資料庫處理主要包括以下7個方面的工作：

（1）整理分析外業調查資料與數據：對收集的分等資料和數據，進行全面的整理、核實、檢查、分析，以保證各個分等因素因子數據的准確性。

（2）建立分等資料庫：利用GIS工具，將土地利用現狀、土壤類型、土壤有機質含量、土壤pH值、行政區劃、土地變更調查等成果圖件中未數字化的圖件進行掃描、矢量化，建立分等空間資料庫；應用地理信息系統工具軟體進行分等因素因子的屬性數據的錄入和檢驗，建立分等資料庫。

（3）將農用地分等單元圖與土壤分布圖、土壤有機質圖進行疊加套合，再根據土壤普查報告和農業區劃報告等有關資料對農用地分等因素進行判讀，提取各分等單元的土層厚度、土體構型、有機質含量、pH值等土壤屬性，經歸納、檢核後建立分等單元屬性資料庫。

（4）在對調查資料中投入產出數據進行系統整理的基礎上，進行樣點內不同指定作物的土地利用系數、土地經濟系數計算，等值區劃分，等值區土地利用系數、土地經濟系數計算並與農用地分等屬性庫連接。

圖2-1 廣東省農用地分等工作流程圖

（5）計算樣點及各村的平均土地利用系數及土地經濟系數，劃分等值區。計算各分等單元內的自然質量等指數、利用等指數、經濟等指數。

（6）進行農用地等別劃分：採用等間距法，以200分為區間劃分農用地分等單元的自然質量等、利用等和經濟等，初步確定農用地等別。

（7）確定標准樣地：按照《農用地分等規程》和《廣東省農用地分等定級與估價技術方案和工作方案》中的有關規定，選擇各鎮自然質量等指數、利用等指數和經濟等指數最高的農用地分等單元，確定縣域內農用地的省級和縣級標准樣地。

3.分等資料庫的建立

1）建立分等資料庫的目的和意義

（1）目的。協調、統一、規范農用地分等定級與估價成果的數據組織、數據內容與數據格式，為省級農用地分等定級估價工作奠定基礎。

（2）意義：

①農用地分等定級估價工作是一項內容新、技術性強、技術要求高、涉及部門多的工作，由於農用地分等定級與估價工作涉及的基礎資料繁多，必須制定統一的技術細則才能建立起完備的數據管理系統。

②由於參與此項工作的技術單位眾多，為了協調統一省級農用地分等定級與估價成果數據，避免數據匯總、統計、數據共享和數據互操作可能出現的問題，須建立統一的數據格式和標准。

③農用地分等定級與估價的成果數據及其管理系統是農用地分等定級估價工作的核心成果，作為國土資源管理的基礎數據，將在土地徵收、農用地流轉、土地利用規劃等工作中發揮重要的作用。

2）建立分等資料庫的技術依據

建立分等資料庫的技術依據包括以下幾個方面：

（1）《農用地分等規程》（TD/T1004-2003）。

（2）《農用地分等資料庫標准》（徵求意見稿）。

（3）《廣東省農用地分等定級與估價技術方案和工作方案》。

（4）國土資源部土地整理中心《農用地分等定級與估價項目技術簡報》。

（5）廣東省農用地分等定級與估價項目工作技術簡報。

（6）廣東省農用地分等定級估價工作相關文件。

3）分等資料庫的內容

資料庫成果包括圖形資料庫、表格資料庫和資料庫軟體系統，對於通用軟體或國家要求格式的資料庫，僅要求提交數據內容；對於圖形資料庫的內容，應包含提交的所有成果圖件的數據；對於表格資料庫或屬性資料庫，應與圖形數據相關聯，對於不需要圖形對應的表格可以僅提交電子表格。

4）資料庫要求

（1）樣點調查圖必須包含樣點編號、單元編號、村名和各項調查因素欄位。

（2）分等單元電子圖的屬性必須包含單元編號、地類代碼、指標區名稱、面積、分等因素原始屬性。

（3）農用地自然質量等別圖屬性必須包括單元編號、各單元的自然質量等別的診斷因素及其指標。

（4）農用地利用等別圖屬性必須包括各利用等別單元編號、實際調查產量、二級區最高產量、利用系數。

（5）農用地等別圖屬性必須包括單元編號、投入、產量、經濟系數。

（6）農用地標准樣地分布圖與樣地屬性表相對應。

（7）綜合資料庫應包括單元圖形庫和與單元相連接的分等單元綜合數據表。

5）數據格式

（1）屬性數據格式。屬性數據格式要求數據欄位包含欄位名稱、欄位代碼、欄位類型、欄位長度和小數位數，具體如表2-1所示。

表2-1 屬性數據格式要求表

（2）電子成果格式。本項目電子圖件採用E00格式，電子表格採用DBF、Excel兩種格式，文字報告採用Word格式。

(四)分等成果圖件編制

1.農用地分等成果圖件

農用地分等成果圖件包括工作底圖、中間成果圖和最終成果圖。最終成果圖應直觀反映農用地質量的優劣，反映不同質量農用地的分布、面積等狀況。

（1）工作底圖。農用地分等工作底圖採用2003年土地利用現狀調查圖。

（2）中間成果圖。中間成果圖有分等單元圖、指標區圖、土地利用系數等值區圖和土地經濟系數等值區圖。

（3）最終成果圖。最終成果圖包括農用地自然質量等別圖、農用地利用等別圖、農用地經濟等別圖、標准樣地分布圖。

2.農用地分等成果圖編繪要求

（1）比例尺。農用地分等成果圖件的比例尺應為1∶1萬～1∶10萬，應與土地利用現狀調查的精度一致。

（2）工作底圖。農用地分等工作要以土地利用現狀圖為工作底圖。

（3）上圖要素。各圖件應突出反映主題內容，並包括圖名、圖廓、圖例、比例尺、坐標系統、方位坐標、縣級和鄉級行政界線、重要的線狀地物或明顯地物點、編圖單位、編圖時間、鄰區名稱和界線等要素，各等別圖還應包括面積匯總表。

（4）等別圖斑。編制最終成果圖時應將等別相同的相鄰分等單元進行歸並，形成等別圖斑，圖斑面積不小於6平方毫米。

（5）圖件內容標注。用圖示、注記等標注分等成果，具體要求如下：①用阿拉伯數字分別表示各等別（1等、2等、3等……）；②用實線表示各等別界線；③各地根據需要編繪彩色等別圖，等別圖以冷色調為主，等別色差明顯，圖面色調和諧。

D. 鏁版嵁搴撳熀紜鐭ヨ瘑

鏁版嵁綆＄悊緇忓巻浜嗕漢宸ョ＄悊銆佹枃浠剁郴緇熴佹暟鎹搴撶郴緇熶笁涓闃舵點傛湰鏂囧皢浠嬬粛鏁版嵁搴撲繚鎶ゃ丼QL璇璦銆佸叧緋昏勮寖鍖栫悊璁虹瓑鍩虹鐭ヨ瘑銆
🔒鏁版嵁搴撲繚鎶ら棶棰
鏁版嵁搴撲繚鎶ら棶棰樺寘鎷錛氬畨鍏ㄦс佸畬鏁存с佹晠闅滄仮澶嶅拰騫跺彂鎺у埗絳夊氭柟闈銆
🗄️SQL璇璦
SQL鏄鍏崇郴鏁版嵁搴撹璦錛堟垨緇撴瀯鍖栨煡璇㈣璦錛夈
📝鍏崇郴瑙勮寖鍖栫悊璁
鍏崇郴瑙勮寖鍖栫悊璁烘槸璁捐￠昏緫緇撴瀯鐨勬寚鍗楀拰宸ュ叿銆
🔍鍏崇郴浠ｆ暟
鍏崇郴浠ｆ暟涓涓撻棬鐨勫叧緋昏繍綆楀寘鎷錛氶夋嫨銆佹姇褰便佽繛鎺ュ拰闄よ繍綆椼
📊鍏崇郴妯″紡鐨勫畾涔
鍏崇郴妯″紡鐨勫畾涔変富瑕佸寘鎷鍏崇郴鍚嶃佸叧緋葷殑灞炴у悕銆佸睘鎬х殑鍩熴佸睘鎬у悜鍩熺殑鏄犺薄銆佸睘鎬ч棿鐨勪緷璧栧叧緋匯
🔢鍏崇郴鏁版嵁搴撲腑鐨勮繍綆
鍏崇郴鏁版嵁搴撲腑鍩轟簬鏁板︿笂鐨勪袱綾昏繍綆楁槸鍏崇郴浠ｆ暟鍜屽叧緋繪紨綆椼
📈E-R鍥捐漿鎹㈡垚鍏崇郴妯″瀷
鏁版嵁搴撶殑閫昏緫妯″瀷璁捐￠樁孌碉紝浠誨姟鏄灝咵-R鍥撅紙鎴栨傚康妯″瀷錛夎漿鎹㈡垚鍏崇郴妯″瀷銆
🔒鏁版嵁鐨勪繚鎶
鏁版嵁搴撲繚鎶ゅ寘鎷鏁版嵁鐨勬硠闇層佹洿鏀廣佺牬鍧忋
🔍鏁版嵁鐨勫畬鏁存
鏁版嵁鐨勫畬鏁存ф槸瀹炰綋瀹屾暣鎬с佸弬鐓у畬鏁存с佺敤鎴峰畾涔夊畬鏁存с
📝SQL璇璦鐨勫姛鑳
SQL璇璦鎻愪緵鏁版嵁搴撳畾涔夈佹暟鎹鎿嶇旱銆佹暟鎹鎺у埗絳夊姛鑳姐
👀瑙嗗浘
瑙嗗浘鏄涓涓鉶氳〃錛屽畠鏄浠庡熀鏈琛ㄤ腑瀵煎嚭鐨勮〃銆傚湪鏁版嵁搴撲腑鍙瀛樻斁閭ｄ釜浣跨敤鐨勫懡浠わ紝涓嶅瓨鏀捐嗗浘鐨勬暟鎹銆