数据库数据梳理

A. 基础数据整理

一、原始收录数据整理

从20世纪70年代至今,中心航空物探测量使用多种不同型号的数据收录系统,如G704、G714、DAS-8、Z80、DS1、DS2、DS3等,同一型号的数据收录系统收录的数据也存在不同的记录格式和记录长度,造成了原始收录数据格式混乱,且有的原始收录数据的记录格式已无处查询。

原始收录数据的存储介质有磁带、软盘、光盘等。磁带记录数据因受磁带的保存期和读取设备的限制现在已经无法读取。软盘记录数据曾经部分转储到光盘上,记录在光盘的数据,现在读取基本没有问题。

原始收录数据分为空中原始收录数据、地面磁日变收录数据、地面差分GPS收录数据,航空重力测量的前、后校基准点数据。按航空物探信息系统数据库建设要求,对每个勘查项目的架次飞行测量的原始收录数据进行整理,编写数据记录格式说明。部分以压缩形式存档的数据,进行解压缩处理。尽力解读没有记录格式说明的原始收录数据,无法读取的原始测量数据写出具体说明。

二、模拟记录和磁带收录的校正后数据整理

早期的航空物探测量模拟资料的数字化工作已完成,数字化的内容仅包括:坐标和磁场。

20世纪90年代以前数字收录的航空物探数据是使用32/57计算机处理的,以32/57计算机的数据库格式记录在磁带上,后来转储到光盘上。32/57计算机数据库的坐标为相对坐标,没有地理坐标;在数据整理过程中,利用数据库中的参考点数据计算地理坐标。

20世纪90年代初期,中心使用IBM4341计算机处理航空物探数据,数据是以OPTE-DIT文件格式记录在磁带上,后来转储到光盘上。同样,IBM4341计算机早已淘汰。重新开发相关软件读取该格式数据。

这时期数据特点是只有数据处理的最终结果数据,没有保存转格式的原始数据和中间过程数据。

这部分数据前人多次整理过,本次是把前人的现有成果转成符合航空物探信息系统数据库建设要求的格式。

1)航磁数据整理的数据来源以省级航磁数据库数据为主,中国航磁编图(CHAMP)数据为辅。其内容包括:经度或东向距,纬度或北向距,调平前△T磁场,调平后△T磁场。

2)能谱测量数据整理的数据来源为转储的伽马能谱数据。由于当时项目的工作目的和任务与伽马能谱无关,所以转储的伽马能谱数据文件中只有雷达高度、校正后总道、钾道、铀道、钍道数据,没有坐标等其他数据。

3)航电测量数据整理的数据来源为航电数据库数据,其内容包括:经度或东向距,纬度或北向距,校正后520Hz实分量,校正后520Hz虚分量,校正后2020Hz实分量,校正后2020Hz虚分量,校正后8020Hz实分量,校正后8020Hz虚分量。

三、磁盘收录的原始数据及校正后数据整理

由于计算机技术的快速发展和航空物探数据处理技术的进步,20世纪90年代初之后航空物探数据处理采用中心在DOS系统和Windows系统上自主研发的航空物探数据软件进行数据处理。这时期数据内容齐全,包括航空物探测量原始数据、中间过程数据和处理最终数据,如:

时间,无线电高度,计算的地形高程数据;

原始定位数据(GPS或GG24的时间、纬度、经度、高度、高度修正值等);

原始磁场数据(未补偿磁总场、已补偿磁总场);

原始能谱数据(总道计数率、钾道计数率、铀道计数率、钍道计数率、上视铀等);

原始航电数据(520Hz实、虚分量,2020Hz实、虚分量,8020Hz实、虚分量);

坐标转换后的定位数据(BJ54纬度、BJ54经度、北向距、东向距等);

国际地磁参考场、磁日变;原始△T磁场、调平后△T磁场;

校正后能谱含量(总道、钾道、铀道、钍道);

校正后航电数据(520Hz实、虚分量,2020Hz实、虚分量,8020Hz实、虚分量)。

这些数据是以ASCⅡ码文件保存的,用AirProbe软件装入AirProbe数据库中,按信息系统要求文件格式输出即可。

四、数据合并与坐标转换

20世纪90年代初之前的航空物探基础数据是按测量参数分别存储在不同的文件,且文件的格式也不完全相同,需要按测区把所有测量参数的数据合并到一个文件中。

以航磁数据为主,先将每个测量测区的航磁数据装入AirProbe数据库,再将能谱或航电的数据合并到数据库。航磁数据和航电数据均有相同的坐标数据,据此进行合并;但是能谱数据只有校正后数据,没有坐标数据,且存在同一条测线的能谱数据比航磁数据点少的现象。为了保证合并得尽可能准确,先合并数据长度一致的测线,不同者参考存档的正式磁场图和能谱图,确定能谱数据与坐标的关系再合并。能谱、航电数据长度与航磁数据长度不等时,采用充假值(-32767)或补0方法,并在工作记录中备案。

由于坐标数据有几种不同形式(经度、纬度、北向距、东向距)和单位(度、度分、米),按照信息系统建设要求,统一转换为BJ54的经度、纬度。

五、整理数据的质量检查

使用整理数据绘制剖面图或等值线图,与正式图进行比对,确认无误后,按照本信息系统建设要求,制作航空物探各参量数据图册,同时填写工作记录。若发现错误,再用数据整理前的数据绘制图件,查明具体原因。

质量检查合格后,按信息系统建设要求的文件格式转换输出。

六、完成的工作量

基础数据整理工作共完成中心330个测区的基础数据整理。其中,单磁测区275个、磁放测区29个、磁电测区7个、磁电放测区19个;完成省航测队97个测区的基础数据整理。编制数据整理及接口软件9个;填写物探基础数据整理工作记录400余份;绘制磁、能谱、航电的平剖图、等值线图约1000余张;按照整理后的数据重新确定了测区的实际范围和角点坐标。

B. 逐步讲解 Oracle数据库碎片如何整理

对于系统管理员来讲，如何保证网络稳定运行，如何提高数据库性能，使其更加安全高效，就显得尤为重要。作为影响数据库性能的一大因素 -- 数据库碎片，应当引起 DBA 的足够重视，及时发现并整理碎片乃是 DBA 一项基本维护内容。 1、碎片是如何产生的 当生成一个数据库时，它会分成称为表空间（ Tablespace ）的多个逻辑段（ Segment ），如系统（System）表空间 , 临时（Temporary）表空间等。一个表空间可以包含多个数据范围（Extent）和一个或多个自由范围块，即自由空间（Free Space）。 表空间、段、范围、自由空间的逻辑关系如下： 当表空间中生成一个段时，将从表空间有效自由空间中为这个段的初始范围分配空间。在这些初始范围充满数据时，段会请求增加另一个范围。这样的扩展过程会一直继续下去，直到达到最大的范围值，或者在表空间中已经没有自由空间用于下一个范围。最理想的状态就是一个段的数据可被存在单一的一个范围中。这样，所有的数据存储时靠近段内其它数据，并且寻找数据可少用一些指针。但是一个段包含多个范围的情况是大量存在的，没有任何措施可以保证这些范围是相邻存储的，当要满足一个空间要求时，数据库不再合并相邻的自由范围（除非别无选择）， 而是寻找表空间中最大的自由范围来使用。这样将逐渐形成越来越多的离散的、分隔的、较小的自由空间，即碎片。例如： 2、碎片对系统的影响 随着时间推移，基于数据库的应用系统的广泛使用，产生的碎片会越来越多，将对数据库有以下两点主要影响： 1）导致系统性能减弱。 如上所述，当要满足一个空间要求时，数据库将首先查找当前最大的自由范围，而 “最大”自由范围逐渐变小，要找到一个足够大的自由范围已变得越来越困难，从而导致表空间中的速度障碍，使数据库的空间分配愈发远离理想状态； 2）浪费大量的表空间。 尽管有一部分自由范围（如表空间的 pctincrease 为非 0 ）将会被 SMON （系统监控）后台进程周期性地合并，但始终有一部分自由范围无法得以自动合并，浪费了大量的表空间。 3、自由范围的碎片计算 由于自由空间碎片是由几部分组成，如范围数量、最大范围尺寸等，我们可用 FSFI--Free Space Fragmentation Index （自由空间碎片索引）值来直观体现： FSFI=100*SQRT(max(extent)/sum(extents))*1/SQRT(SQRT(count(extents))) 可以看出， FSFI 的最大可能值为 100 （一个理想的单文件表空间）。随着范围的增加， FSFI 值缓慢下降，而随着最大范围尺寸的减少， FSFI 值会迅速下降。 下面的脚本可以用来计算 FSFI 值： rem FSFI Value Compute rem fsfi.sql column FSFI format 999,99 select tablespace_name,sqrt(max(blocks)/sum(blocks))* (100/sqrt(sqrt(count(blocks)))) FSFI from dba_free_space group by tablespace_name order by 1; spool fsfi.rep; / spool off;比如，在某数据库运行脚本 fsfi.sql, 得到以下 FSFI 值： TABLESPACE_NAME FSFI ------------------------------------- RBS 74.06 SYSTEM 100.00 TEMP 22.82 TOOLS 75.79 USERS 100.00 USER_TOOLS 100.00 YDCX_DATA 47.34 YDCX_IDX 57.19 YDJF_DATA 33.80 YDJF_IDX 75.55统计出了数据库的 FSFI 值，就可以把它作为一个可比参数。在一个有着足够有效自由空间，且FSFI 值超过 30 的表空间中，很少会遇见有效自由空间的问题。当一个空间将要接近可比参数时，就需要做碎片整理了。 4、自由范围的碎片整理1）表空间的 pctincrease 值为非 0。 可以将表空间的缺省存储参数 pctincrease 改为非 0 。一般将其设为 1 ，如： alter tablespace temp default storage(pctincrease 1);这样SMON 便会将自由范围自动合并。也可以手工合并自由范围： alter tablespace temp coalesce。 5、段的碎片整理我们知道，段由范围组成。在有些情况下，有必要对段的碎片进行整理。要查看段的有关信息，可查看数据字典 dba_segments ，范围的信息可查看数据字典 dba_extents 。如果段的碎片过多， 将其数据压缩到一个范围的最简单方法便是用正确的存储参数将这个段重建，然后将旧表中的数据插入到新表，同时删除旧表。这个过程可以用 Import/Export （输入 / 输出）工具来完成。 Export （）命令有一个（压缩）标志，这个标志在读表时会引发 Export 确定该表所分配的物理空间量，它会向输出转储文件写入一个新的初始化存储参数 -- 等于全部所分配空间。若这个表关闭， 则使用 Import （）工具重新生成。这样，它的数据会放入一个新的、较大的初始段中。例如： exp user/password file=exp.dmp compress=Y grants=Y indexes=Y tables=(table1,table2);若输出成功，则从库中删除已输出的表，然后从输出转储文件中输入表： imp user/password file=exp.dmp commit=Y buffer=64000 full=Y 这种方法可用于整个数据库。 以上简单分析了 Oracle 数据库碎片的产生、计算方法及整理，仅供参考。数据库的性能优化是一项技术含量高，同时又需要有足够耐心、认真细致的工作。 对数据库碎片的一点探讨， 下面是一种如何自动处理表空间碎片的代码，希望对上大家看上文有用 Coalesce Tablespace Automatically This technique comes from Sandeep Naik, a database administrator for GSXXI, Inc. in New York City, New York Here is a handy script which can be scheled to automatically run and coalesces the tablespaces. This script is designed to run in NT but can be run in any operating system by slight modifications in the path where the file spools from the SQLPLUS environment. It assumes that the user who runs the script has priviledges to view the data dictionary. Start of code -------------------------------------- sqlplus / prompt this script will coalesce the tablespace automatically set verify off; set termout off; set head off; spool c: empcoalesce.log select alter tablespace ||TABLESPACE_NAME|| coalesce ; from DBA_FREE_SPACE_COALESCED where PERCENT_EXTENTS_COALESCED

C. 数据资料收集整理

（一）数据资料收集整理工作步骤

农用地分等工作中数据资料收集整理与调查工作是整个农用地分等工作的关键环节，其质量关系到分等成果的准确性。其基本步骤如下：

（1）农用地分等项目技术组到国土资源局、农业局、统计局、水利局、交通局、环保局、气象局等相关部门收集有关资料，主要包括土壤普查、国土资源调查、农业区划、土地利用总体规划等资料，气象、水文、地质以及国民经济统计等基础资料，环境保护资料、农田水利资料、国民经济、农业统计资料以及土壤图、地形图、土地利用现状图等基础图件。

（2）由各镇国土资源所负责将镇级国土资源所、农技站和各村委会调查表格下发至相关单位，并要求各单位按照调查表格的内容准备材料。在农用地分等技术组和当地国土资源所、农办工作人员的具体指导下，集中各行政村和相关单位的干部或技术人员，结合各镇的实际情况，现场进行调查与收集资料工作。内容包括农用地投入、产出样点资料，农田水利基础设施状况及区位交通状况等资料。

（3）资料整理，即对收集的资料进行核实、分析与整理。

（二）数据资料整理

数据资料整理主要是对收集的资料进行核实、分析与整理。

1.资料核实

严格核实资料数据，要求数据来源可靠，计量单位统一，剔除明显不符合实际的数值和特殊的极值。

2.资料整理

（1）对资料进行分类整理，重点是图件、数据资料整理。

（2）对不能满足分等工作要求的资料应做好记录，以便进行外业补充调查。

（3）四周与邻县接边的分等单元要整理出来，填写专门的表格，以备接边检核和存档。

（4）对缺乏土壤资料的补充调查点，应注意收集土壤普查土种志资料（有其生产性能的描述）或补充土壤剖面，以便准确诊断分等因素。

（5）外业调查原始记录的文字、表格、图件、剖面照片及其说明、环境照片及其说明，必须整理成册，列入基础资料汇编，存入档案。

（三）分等主要工作过程及数据库建设

1.分等主要工作过程

分等工作包括工作准备、资料收集整理、外业调查、数据处理、成果自检、成果整理及报告撰写、省级预检等工作过程。分等工作的基本工作流程如图2-1所示。

2.分等数据库处理

农用地分等数据库处理主要包括以下7个方面的工作：

（1）整理分析外业调查资料与数据：对收集的分等资料和数据，进行全面的整理、核实、检查、分析，以保证各个分等因素因子数据的准确性。

（2）建立分等数据库：利用GIS工具，将土地利用现状、土壤类型、土壤有机质含量、土壤pH值、行政区划、土地变更调查等成果图件中未数字化的图件进行扫描、矢量化，建立分等空间数据库；应用地理信息系统工具软件进行分等因素因子的属性数据的录入和检验，建立分等数据库。

（3）将农用地分等单元图与土壤分布图、土壤有机质图进行叠加套合，再根据土壤普查报告和农业区划报告等有关资料对农用地分等因素进行判读，提取各分等单元的土层厚度、土体构型、有机质含量、pH值等土壤属性，经归纳、检核后建立分等单元属性数据库。

（4）在对调查资料中投入产出数据进行系统整理的基础上，进行样点内不同指定作物的土地利用系数、土地经济系数计算，等值区划分，等值区土地利用系数、土地经济系数计算并与农用地分等属性库连接。

图2-1 广东省农用地分等工作流程图

（5）计算样点及各村的平均土地利用系数及土地经济系数，划分等值区。计算各分等单元内的自然质量等指数、利用等指数、经济等指数。

（6）进行农用地等别划分：采用等间距法，以200分为区间划分农用地分等单元的自然质量等、利用等和经济等，初步确定农用地等别。

（7）确定标准样地：按照《农用地分等规程》和《广东省农用地分等定级与估价技术方案和工作方案》中的有关规定，选择各镇自然质量等指数、利用等指数和经济等指数最高的农用地分等单元，确定县域内农用地的省级和县级标准样地。

3.分等数据库的建立

1）建立分等数据库的目的和意义

（1）目的。协调、统一、规范农用地分等定级与估价成果的数据组织、数据内容与数据格式，为省级农用地分等定级估价工作奠定基础。

（2）意义：

①农用地分等定级估价工作是一项内容新、技术性强、技术要求高、涉及部门多的工作，由于农用地分等定级与估价工作涉及的基础资料繁多，必须制定统一的技术细则才能建立起完备的数据管理系统。

②由于参与此项工作的技术单位众多，为了协调统一省级农用地分等定级与估价成果数据，避免数据汇总、统计、数据共享和数据互操作可能出现的问题，须建立统一的数据格式和标准。

③农用地分等定级与估价的成果数据及其管理系统是农用地分等定级估价工作的核心成果，作为国土资源管理的基础数据，将在土地征收、农用地流转、土地利用规划等工作中发挥重要的作用。

2）建立分等数据库的技术依据

建立分等数据库的技术依据包括以下几个方面：

（1）《农用地分等规程》（TD/T1004-2003）。

（2）《农用地分等数据库标准》（征求意见稿）。

（3）《广东省农用地分等定级与估价技术方案和工作方案》。

（4）国土资源部土地整理中心《农用地分等定级与估价项目技术简报》。

（5）广东省农用地分等定级与估价项目工作技术简报。

（6）广东省农用地分等定级估价工作相关文件。

3）分等数据库的内容

数据库成果包括图形数据库、表格数据库和数据库软件系统，对于通用软件或国家要求格式的数据库，仅要求提交数据内容；对于图形数据库的内容，应包含提交的所有成果图件的数据；对于表格数据库或属性数据库，应与图形数据相关联，对于不需要图形对应的表格可以仅提交电子表格。

4）数据库要求

（1）样点调查图必须包含样点编号、单元编号、村名和各项调查因素字段。

（2）分等单元电子图的属性必须包含单元编号、地类代码、指标区名称、面积、分等因素原始属性。

（3）农用地自然质量等别图属性必须包括单元编号、各单元的自然质量等别的诊断因素及其指标。

（4）农用地利用等别图属性必须包括各利用等别单元编号、实际调查产量、二级区最高产量、利用系数。

（5）农用地等别图属性必须包括单元编号、投入、产量、经济系数。

（6）农用地标准样地分布图与样地属性表相对应。

（7）综合数据库应包括单元图形库和与单元相连接的分等单元综合数据表。

5）数据格式

（1）属性数据格式。属性数据格式要求数据字段包含字段名称、字段代码、字段类型、字段长度和小数位数，具体如表2-1所示。

表2-1 属性数据格式要求表

（2）电子成果格式。本项目电子图件采用E00格式，电子表格采用DBF、Excel两种格式，文字报告采用Word格式。

(四)分等成果图件编制

1.农用地分等成果图件

农用地分等成果图件包括工作底图、中间成果图和最终成果图。最终成果图应直观反映农用地质量的优劣，反映不同质量农用地的分布、面积等状况。

（1）工作底图。农用地分等工作底图采用2003年土地利用现状调查图。

（2）中间成果图。中间成果图有分等单元图、指标区图、土地利用系数等值区图和土地经济系数等值区图。

（3）最终成果图。最终成果图包括农用地自然质量等别图、农用地利用等别图、农用地经济等别图、标准样地分布图。

2.农用地分等成果图编绘要求

（1）比例尺。农用地分等成果图件的比例尺应为1∶1万～1∶10万，应与土地利用现状调查的精度一致。

（2）工作底图。农用地分等工作要以土地利用现状图为工作底图。

（3）上图要素。各图件应突出反映主题内容，并包括图名、图廓、图例、比例尺、坐标系统、方位坐标、县级和乡级行政界线、重要的线状地物或明显地物点、编图单位、编图时间、邻区名称和界线等要素，各等别图还应包括面积汇总表。

（4）等别图斑。编制最终成果图时应将等别相同的相邻分等单元进行归并，形成等别图斑，图斑面积不小于6平方毫米。

（5）图件内容标注。用图示、注记等标注分等成果，具体要求如下：①用阿拉伯数字分别表示各等别（1等、2等、3等……）；②用实线表示各等别界线；③各地根据需要编绘彩色等别图，等别图以冷色调为主，等别色差明显，图面色调和谐。

D. 鏁版嵁搴揿熀纭鐭ヨ瘑

鏁版嵁绠＄悊缁忓巻浜嗕汉宸ョ＄悊銆佹枃浠剁郴缁熴佹暟鎹搴撶郴缁熶笁涓阒舵点傛湰鏂囧皢浠嬬粛鏁版嵁搴扑缭鎶ゃ丼QL璇瑷銆佸叧绯昏勮寖鍖栫悊璁虹瓑锘虹鐭ヨ瘑銆
🔒鏁版嵁搴扑缭鎶ら梾棰
鏁版嵁搴扑缭鎶ら梾棰桦寘𨰾锛氩畨鍏ㄦс佸畬鏁存с佹晠闅沧仮澶嶅拰骞跺彂鎺у埗绛夊氭柟闱銆
🗄️SQL璇瑷
SQL鏄鍏崇郴鏁版嵁搴撹瑷锛堟垨缁撴瀯鍖栨煡璇㈣瑷锛夈
📝鍏崇郴瑙勮寖鍖栫悊璁
鍏崇郴瑙勮寖鍖栫悊璁烘槸璁捐￠昏緫缁撴瀯镄勬寚鍗楀拰宸ュ叿銆
🔍鍏崇郴浠ｆ暟
鍏崇郴浠ｆ暟涓涓挞棬镄勫叧绯昏繍绠楀寘𨰾锛氶夋嫨銆佹姇褰便佽繛鎺ュ拰闄よ繍绠椼
📊鍏崇郴妯″纺镄勫畾涔
鍏崇郴妯″纺镄勫畾涔変富瑕佸寘𨰾鍏崇郴钖嶃佸叧绯荤殑灞炴у悕銆佸睘镐х殑锘熴佸睘镐у悜锘熺殑鏄犺薄銆佸睘镐ч棿镄勪緷璧栧叧绯汇
🔢鍏崇郴鏁版嵁搴扑腑镄勮繍绠
鍏崇郴鏁版嵁搴扑腑锘轰簬鏁板︿笂镄勪袱绫昏繍绠楁槸鍏崇郴浠ｆ暟鍜屽叧绯绘紨绠椼
📈E-R锲捐浆鎹㈡垚鍏崇郴妯″瀷
鏁版嵁搴撶殑阃昏緫妯″瀷璁捐￠桩娈碉纴浠诲姟鏄灏咵-R锲撅纸鎴栨傚康妯″瀷锛夎浆鎹㈡垚鍏崇郴妯″瀷銆
🔒鏁版嵁镄勪缭鎶
鏁版嵁搴扑缭鎶ゅ寘𨰾鏁版嵁镄勬硠闇层佹洿鏀广佺牬鍧忋
🔍鏁版嵁镄勫畬鏁存
鏁版嵁镄勫畬鏁存ф槸瀹炰綋瀹屾暣镐с佸弬镦у畬鏁存с佺敤鎴峰畾涔夊畬鏁存с
📝SQL璇瑷镄勫姛鑳
SQL璇瑷鎻愪緵鏁版嵁搴揿畾涔夈佹暟鎹镎岖旱銆佹暟鎹鎺у埗绛夊姛鑳姐
👀瑙嗗浘
瑙嗗浘鏄涓涓铏氲〃锛屽畠鏄浠庡熀链琛ㄤ腑瀵煎嚭镄勮〃銆傚湪鏁版嵁搴扑腑鍙瀛樻斁闾ｄ釜浣跨敤镄勫懡浠わ纴涓嶅瓨鏀捐嗗浘镄勬暟鎹銆