数据库验收
❶ 数据汇交
数据汇交的最终方式是以网络的形式进行,为此必须 要建立一个基于网络的数据汇交系统。
数据汇交应以项目任务书中规定的研究任务和考核指标为主要依据,汇交的内容包括科学数据实体、科学数据描述信息和科学数据辅助工具软件三个部分。 科学数据实体是在科技计划形成的原始数据及基于原始数据或研究分析数据所形成的完整数据库或数据文件。
拓展资料:
农业科学数据汇交管理办法
第一章 总则
第一条 为了规范国家科技基础条件平台建设项目中农业科学数据的汇交工作,加强对农业科学数据的管理,实现农业科学数据共享,依据根据国家科技基础条件平台建设和科学数据共享工程的有关指导性文件,制定本办法。
第二条 农业科学数据的汇交、保管以及科农业学数据汇交工作的管理和监督适用本办法。
第三条 本办法所称农业科学数据是指在农业科技活动中产生的原始性、基础性数据,以及按照不同需求系统加工整理的各类数据集。主要通过科技工作者所开展的研究活动、观测、地面监测站(点)、自下而上的统计、各种实验、宇宙空间的探测、从若干相关数据资源中整理选择等手段和方法来获取。
第五条 农业科学数据的汇交是在科技部科学数据共享工程统一指导下,在农业主管部门领导下,由农业科学数据共享中心承担单位按照部门负责制和分级分类管理的原则组织实施。
第六条 涉及国家秘密或者知识产权的农业科学数据的汇交、保护、公开和利用,按照国家有关法律、法规的规定执行。
第二章 汇交农业科学数据的种类及范围
第七条 依据本办法汇交的农业科学数据应当是在农业科学数据共享中心统一规划下的数据范围,所有数据按农业科学数据中心总体设计要求,符合有关的技术标准和质量要求,具有科学价值和实用价值。
第八条 汇交的农业科学数据是在农科技活动中产生的原始性观测数据、探测数据、试验数据、实验数据、调查数据、考察数据、统计数据以及按照某种需求系统加工的数据和相关的元数据等。
第九条 汇交的数据按照项目规定的格式以电子文件形式汇交。汇交前应呈送子课题合同书和数据汇交计划。
第十条 对于涉及已经获得专利或其他权利保护以及正在申请专利或其他权利保护的农业科学数据,应当提交有关证明材料。
❷ 空间数据库质量
一、数据库质量控制
数据库建设工作进程及质量管理按照新疆地调院ISO9001—2000质量体系的规定运行的,严格按中国地质调查局全国地下水资源及其环境问题调查评价技术要求系列一、地下水资源调查数据录入系统的要求进行资料整理及数据录入。
为保证建库数据的质量,项目组制定了一套完善的项目监理制度。建立由项目综合研究组-项目负责人-项目组长“三级”负责制和与之对应的“三级”质量检查制度。明确参加项目人员的工作职责,确保参加人员的基本专业素质,加强业务培训工作。数据录入过程中建立工作日志制度,分阶段进行数据检查。以上检查均进行自检、互检、质检组检查,检查结果记录下来,并进行修改,技术负责签名认可。地调院信息中心派专家进行了全过程质量跟踪监控,并组织了两次全面检查。最终由项目牵头单位对空间数据库建设完成的建库数据进行检查、验收、汇总,完成空间数据库的数据集成。
二、数据库综合质量分析
准噶尔盆地数据库具体内容包括以原始资料为主体的属性数据库和图形数据库。属性数据库包括资料准备、数据采集、数据录入及各类数据质量检查工作。图形数据库主要为综合成果图完成的单图层数据库。最终由水文地质环境地信息应用系统将属性数据与图形数据集成。
(一)属性数据库质量分析
1.属性卡片质量
属性卡片包括本次工作实测资料及收集资料。首先对各类资料进行分类整理,并建立数据卡片。在工作中严格执行自检互检制度,并分别于2003年11月26日、2004年11月27~28日、2005年10月18日每年度野外工作结束由新疆地质调查院组织新疆地矿局第一水文队、第二水文队有关工作人员及专家于2004年11月27~28日对野外工作及收集资料进行检查验收,均评为优秀。野外工作全部结束,由中国地质科学院水文地质环境地质研究所及西安地调中心组织有关专家,于2005年10月25~28日对该项目进行了最终野外验收,专家评分90分,评定为优秀级。项目组成员在每次野外验收结束后均为对资料中存在的问题和不足之处进行了认真修改完善。
2.属性数据库数据质量
属性数据录入工作按中国地质调查局水文地质环境地质调查中心研究开发的《水文地质环境地质调查数据录入系统》及其使用手册的要求对各类资料进行数据录入。为保证录入数据的质量,项目组建立工作日志,并开展自互检及抽检工作,对存在的问题及时修改。最终由新疆地调院组织专家对建库数据进行最终检查验收,项目组对地调院专家组检查提出的问题,进行了认真的检查修改。在数据库建设初步完成阶段,由中国地质调查局水环部委托中国地质科学院水文地质环境地质研究所于2006年3月10~13日在石家庄对数据库成果进行了检查,检查结束后,项目组于2006年3月17~4月30日对存在的问题进行了认真修改,对未完成的工作量进行补充。补充完成的数据有:野外照片数据表50张、野外调查路线表27张、农村灌溉用水及生活用水典型井核查表各15张,水源地综合调查表50张、水源地开采量统计表50张、土地荒漠化野外调查表21张、土地盐渍化野外调查表20张、物探测深成果汇总表689张、分区地下水开采量统计汇总表24张、古地磁测试综合成果表517张,地质项目资料整理汇总表34张;并对补充资料进行了自互检工作,对已录入完成的钻孔资料进行了补充。对所有扫描完成的插图以JPG格式进行了导入,并对最终修改完善的数据进行了汇总。
(二)图形数据库质量分析
图形数据按照全国地下水资源及其环境问题调查评价技术要(二)、(三)进行编制,并由新疆地质调查院组织专家对完成的各类图件进行检查验收,验收通过后的图件按《地下水资源调查评价数据库标准》进行图纸扫描—分层矢量化—对照原图校对(修改、补充)—误差校正,采集校正控制点不低于13个点(由扫描图纸变形带来的误差、设备误差、采集误差)—投影转换—节点平差(设定容差)—线拓扑错误检查—线转弧段—拓扑重建—区拓扑错误检查。
图形属性数据(内部属性)的录入是通过MAPGIS属性库管理系统输入完成,完全遵照《地下水资源调查评价数据库标准》的要求,按照不同图层所反映的专业内容涉及的属性字段进行逐项填写,此项工作由专题组统一组织项目组人员进行汇总完成。
❸ 数据中心集成项目验收资料胶装都包括哪些部分
不同的项目验收时需要提交的资料也会有所不同。中检赛辰的对数据中心集成项目验收经验,验收时需要对文档资料进行胶装。比如:
一、软件调研方案、调研培训及模板制定、软件需求调研(需求规格说明书) ,调研记录,调研分析报告;
二、软件概要设计,详细设计及报审表;
三、数据库设计、数据字典及报审表;
四、软件开发项目季度进度报告单
五、初验报审及支付凭证
六、第三方检测报告(有些项目要求进行软件安全测试)、等级保护等
七、系统试运行申请表;试运行记录、试运行报告
八、软件测试方案 、测试记录、测试报告(功能、性能) ;
九、、软件部署方案、配置、记录、报告;
十、联调、测试方案、记录、报告;
❹ 档案数字化流程大概是怎样的
一、术语和定义
1、数字化
用计算机技术将模拟信号转换为数字信号的处理过程。
2、纸质档案数字化
采用扫描仪或数码相机等数码设备对纸质档案进行数字加工,将其转化为存储在磁带、磁盘、光盘等载体上并能被计算机识别的数字图像或数字文本的处理过程。
3、数字图像
表示实物图像的整数阵列。一个二维或更高维的采样并量化的函数,由相同维数的连续图像产生。在矩阵(或其他)网络上采样——连续函数,并在采样点上将值最小化后的阵列。
4、黑白二值图像
只有黑白两级灰度的数字图像。它对应于黑白两种状态的文字稿、线条图等。
5、连续色调静态图像
以多于两级灰度的不同浓淡层次或以不同颜色通道组合成的静态数字图像。在纸质档案数字化过程中,通常表现为灰度扫描和彩色扫描两种模式。
6、分辨率
单位长度内图像包含的点数或像素数,一般用每英时点数(dpi)表示。
7、失真度
对档案进行数字化转换后,数字图像与档案原件在色彩、几何等方面的偏离程度。
8、可懂度
数字图像向人或机器提供信息的能力。
9、图像压缩
清除图像冗余或图像近似的任一种过程,其目的是对图像以更紧凑的形式表示。
二、纸质档案数字化基本要求
1、基本原则
纸质档案数字化的基本原则是使档案信息资源准确方便快捷地提供利用,使可以公开的档案信息资源得到共享,以满足社会对档案利用的需求。
2、数字化对像的确定原则
应当对所要进行数字化的对象按照一定的原则和方法进行确认,只有符合一定要求的纸质档案文献才能进行数字化。
1)符合国家法律法规的原则
纸质档案的数字化,必须符合国家档案开放规定以及有关规定。
2)价值性原则
属于归档范围且应永久或长期保存的、社会利用价值高的档案可列入数字化加工的范围。
3、基本环节
纸质档案数字化的基本环节主要包括:档案整理、目录建库、档案扫描、图像处理、图像存储、数据质检、数据挂接、数据验收、数据备份、成果管理等。
4、 过程管理
1)应加强纸质档案数字化各环节的安全保密管理机制,确保档案原件和数字化档案信息的安全.
2 )纸质档案数字化的各个环节均应进行详细的登记,并及时整理、汇总,装订成册,在数字化工作完成的同时建立起完整、规范的记录。
三、档案整理
在扫描之前,根据档案管理情况,按下述步骤对档案进行适当整理,并视需要作出标识,确保档案数字化质量。
1 目录数据准备
2 拆除装订
3 区分扫描件和非扫描件
4 页面修整
5 档案整理登记
6 装订
四、档案扫描
1、扫描方式
1)根据档案幅面的大小(A4、A3、A0等)选择相应规格的扫描仪或专业扫描仪(如工程图纸可采用0号图纸扫描仪)进行扫描。大幅面档案可采用大幅面数码平台,或者缩微拍摄后的胶片数字化转换设备等进行扫描,也可以采用小幅面扫描后的图像拼接方式处理。
2)纸张状况较差,以及过薄、过软或超厚的档案,应采用平板扫描方式;纸张状况好的档案可采用高速扫描方式以提高工作效率。
2、扫描色彩模式
1)扫描色彩模式一般有黑白二值、灰度、彩色等。通常采用黑白二值。
2)页面为黑白两色,并且字迹清晰、不带插图的档案,可采用黑白二值模式进行扫描。
3)页面为黑白两色,但字迹清晰度差或带有插图的档案,以及页面为多色文字的档案,可采用灰度模式扫描。
4)页面中有红头、印章或插有黑白照片、彩色照片、彩色插图的档案,可视需要采用彩色模式进行扫描。
3 、扫描分辨率
1)扫描分辨率参数大小的选择,原则上以扫描后的图像清晰、完整、不影响图像的利用效果为准。
2)采用黑白二值、灰度、彩色几种模式对档案进行扫描时,其分辨率一般均建议选择≥100dpi。特殊情况下,如文字偏小、密集、清晰度较差等,可适当提高分辨率。
3)需要进行OCR汉字识别的档案,扫描分辨率建议选择≥200dpi。
4、扫描登登记
认真填写纸质档案数字化转换过程交接登记表单,登记扫描的页数,核对每份文件的实际扫描页数与档案整理量填写的文件页数是否一致,不一致时应注明具体原因和处理方法。
五、图像处理
1 、图像数据质量检查
1)对图像偏斜度、清晰度、失真度进行检查。发现不符合图像质量要求时,应重新进行图像的处理。
2)由于操作不当,造成扫描的图像文件不完整或无法清晰识别时,应重新扫描。
3)发现文件漏扫时,应及时补扫并正确插入图像。
4)发现扫描图像的排列顺序与档案原件不一致时,应及时进行调整。
5)认真填写相关表单,记录质检结果和处理意见。
2、纠偏
对出现偏斜的图像应进行纠偏处理,以达到视觉上基本不感觉偏斜为准。对方向不正确的图像应进行旋转还原,以符合阅读习惯。
3、去污
对图像页面中出现的影响图像质量的杂质如黑点、黑线、黑框、黑边等应进行去污处理。处理过程中应遵循在不影响可懂度的前提下展现档案原貌的原则。
4、图像拼接
对大幅面档案进行分区扫描形成的多幅图像,应进行拼接处理,合并为一个完整的图像,以保证档案数字化图像的整体性。
5、裁边处理
采用彩色模式扫描的图像应进行裁边处理,去除多余的白边,以有效缩小图像文件的容量,节省存储空间。
六、图像存储
1、存储格式
1)采用黑白二值模式扫描的图像文件,一般采用TIFF(G4)格式存储。采用灰度模式和彩色模式扫描的文件,一般采用JPEG格式存储。存储时的压缩率的选择,应以保证扫描的图像清晰可读的前提下,尽量减小存储容量为准则。
2)提供网络查询的扫描图像,也可存储为CEB、PDF或其他格式。
2、图像文件的命名
1)纸质档案目录数据库中的每一份文件,都有一个与之相对应的唯一档号,以该档号为这份文件扫描后的图像文件命名。
2)多页文件可采用该档号建立相应文件夹,按页码顺序对图像文件命名。
七、目录建库
1、数据格式选择
目录建库应选择通用的数据格式。所选定的数据格式应能直接或间接通过XML文档进行数据交换。
2、档案着录
按照《档案着录规则》(DA/T18)的要求进行着录,建立档案目录数据库。
3、目录数据质量检查
采用人工校对或软件自动校对的方式,对目录数据库的建库质量进行检查。核对着录项目是否完整、着录内容是否规范、准确,发现不合格的数据应要求进行修改或重录。
八、数据挂接
1、汇总挂接
档案数字化转换过程中形成的目录数据库与图像数据库,通过质检环节确认为“合格”后,通过网络及时加载到数据服务器端汇总。通过编制程序或借助相应软件,可实现目录数据对相关联的数字图象的自动搜索、加入对应的电子地址信息等,实现批量、快速挂接。
2、数据关联
以纸质档案目录数据库为依据,将每一份纸质档案文件扫描所得的一个或多个图像存储为一份图像文件。将图像文件存储到相应文件夹时,要认真核查每一份图象文件的名称与档案目录数据库中该份文件的档号是否相同,图像文件的页数与档案目录数据库中该份文件的页数是否一致,图像文件的总数与目录数据库中文件的总数是否相同等。通过每一份图像文件的文件名与档案目录数据库中该份文件的档号的一致性和唯一性,建立起一一对应的关联关系,为实现档案目录数据库与图像文件的批量挂接提供条件。
3、认真填写纸质档案数字化转换过程交接登记表单,记录数据关联后的页数,核对每一份文件关联后的页数与档案整理、扫描时填写的页数是否一致,不一致时应注明具体原因和处理办法。
九、数据验收
1、数据抽检
1)以抽检的方式检查已完成数字化转换的所有数据,包括目录数据库、图像文件及数据挂接的总体质量。
2)一个全宗的档案,数据验收时抽检的比率不得低于5%。
2、验收指标
1)目录数据库与图像文件挂接错误码,或目录数据库、图像文件之一出现不完整、不清晰、有错误等质量问题时,抽检标记为“不合格”。
2)一个全宗的档案,数字化转换质量抽检的合格率达到95%以上(含95%)时,给予以验收“通过”。
合格率:抽检合格的文件数/抽检文件总数×100%
3、验收审核
验收“通过”的结论,必须经分管领导审核、签字后方有效。
4、验收登记
认真填写纸质档案数字化验收登记表单。
十、数据备份
1、备份范围
经验收合格的完整数据应及时进行备份。
2、备份方式
为保证数据安全,备份载体的选择应多样化,可采用在线、离线相结合的方式实现多套备份,并注意异地保存。
3、数据检验
备份数据也应进行检验。备份数据的检验的内容主要包括备份数据能否打开、数据信息是否完整、文件数量是否准确等。
4、备份标签
数据备份后应相应的备份介质上做好标签,以便查找和管理。
5、备份登记
填写纸质档案数字化备份管理登记表单。
十一、数字化成果管理
1、应加强对纸质档案数字化成果的管理,确保其安全、完整和长期可用。
2、纸质档案数字化成果提供网上检索利用时,应有制作单位的电子标识,并根据具体情况分别采用可下载或不可下载的数据格式。
❺ 想请问做过数据库管理的朋友几个简单的问题...
这个明显是政府下管理的Library,招人一般都这样条件的。我简单说一说吧。
1、数据管理最基本的职能当然是录入(导入)、查询(导出、加工)、修改、删除。
2、数据收割(Harvesting) 是在因特网上分布式检索不同的资源库(repositories),获取元数据在本地集中式建库的一种做法。数据清洗的任务是过滤那些不符合要求的数据。验收就是查验录入或提交的数据是否正确,合格,呈交是将正确的数据上报的程序。
3、质量控制就是通过完整校验、关系校验等控制输入数据的正确,当然也包括录入人员的培训等。
4、这个比较泛。简单理解用一些指标来评估质量,比如使用效率,产出效率,出错率等。
5、参加抽调工作,帮领导修电脑和领导一起喝酒等。
❻ 数据库到底指的是什么几个意思啥意思
简单的说,数据库就是存储数据的地方(库指仓库):注意,是存储!!!
数据库一般使用sql语言进行增删改查
基本上这就是数据库
❼ 对成果地质调查资料接收和验收的几点体会与思考
于华
(天津地质矿产研究所,天津300170)
摘要 成果地质调查资料管理经历了六年多的历程,本文就接收、验收工作中的情况,谈了一些体会,并提出几点相关建议。
关键词 成果地质调查资料;体会;建议
自1999年开展国土资源大调查以来,在1:5万和1:25万区域地质调查、矿产资源评价、1:5万和1:20万化探、1:20万区域重力、异常查证、技术方法、地下水资源调查评价、地质环境评价、地质灾害调查、数据库、遥感地质、科学研究等方面都取得了一大批成果。形成了大量的成果地质调查资料。
1 2002年以来成果地质调查资料接收和验收现状与体会
全国地质资料馆及中国地质调查局天津、沈阳、南京、宜昌、成都、西安地质资料馆作为中国地质调查局资料管理单位,对地质调查项目形成的成果地质调查资料,根据工作地区分属,进行接收以及验收、转交、保管、服务工作。
图1 大区成果地质调查资料接收、验收流程
近六年工作以来,笔者积累了一定的工作经验,先后对不同专业的资料状况有了深刻的了解;对现代资料工作内容有了较深刻的理解;也已形成基本的接收、验收工作程序(图1)。
1.1 接收方面
目前地质调查项目的承担单位是由不同行业的地质部门的项目组承担,其对资料汇交规定不熟悉,资料岗位人员不健全,许多都是兼职,只能少部分精力用在资料管理上,无暇顾及新形式下资料管理的新任务及业务水平的提高,导致中国地质调查局资料管理单位接收工作产生许多障碍。如电子文件拷贝错误、输出错误、装订错漏页等。
1.2 验收方面
附图的验收:除特殊专业外,目前大部分都是使用MAPGIS制作的,很少部分是用AUTOCAD、CORELDRAW等制图软件制作的。对于用MAPGIS制作的图,在验收时,首先要搞清楚其对应的系统库、汉字库,在正确设置其目录路径情况下,打开其工程文件,才能保证点、线、面文件是正确使用的,否则图面上显示的点、线、面内容是不正确的。现资料部门普遍注重系统库的配套,经常忽视汉字库。其实与其制作时所用的汉字库配套也挺重要的,MAP GIS作图时用到的汉字库基本有两类,一是适量字库(即大家通常所说的MAPGIS自带字库),另一种是Truetype字库(即Windows下的字体)。有许多情况是在电子文件中未将其制作时所用的汉字库附上,只说明其用的是MAPGIS自带的汉字库,这只说明其使用的不是Truetype字库(即Windows下的字体),殊不知MAP GIS自带的字库也有几种,不是唯一的,曾经就出现过在验收时,在用其说明中所注明的相同MAP GIS版本字库配套的情况下,打开文件后发现其文字显示有叠加现象,重新配套上其制作时所用的MAP GIS汉字库后,一切正常。因此验收时,在按电子文件的说明、注明正确配套的情况下,当发现图面内容不正确时,首先对其系统库、汉字库的正确性进行确定,其次是对其点、线、面文件的正确性的确定。一定不能笼统认为都是点、线、面文件本身的错误。在这个确认的过程中对验收人员来说,就要有一定的地质专业基础,不然是很难做出正确的结论的。对于验收用AUTOCAD、CORELDRAW软件制作的图时也同样需要关注类似上述方面的问题,只是配套方式不同罢了。还有对于用MAP GIS制作的图件,在用比制作时的版本高的软件进行验收,发现多个图中某类线型有同样的异常,且没有其他问题时,重新用其制作时的版本进行检查,若正常的话,这是版本的差异,不是错误。另外还要注意在检查矢量图时要选择还原显示状态。
上述所说的不正常情况有几种:①矢量电子文件图面显示大批或个别图式,与正常的纸介质和栅格图像文件不同,是由提交的电子配套系统库不正确导致。②栅格图像文件和矢量电子文件图面显示大批或个别图式,与正常的纸介质不同,是输出栅格图像文件时所用的和提交的电子配套系统库不正确导致。③矢量电子文件图面显示缺失部分文字内容或部分字体、字间距与纸介质和栅格图像文件的不同,是提交的汉字库不正确导致。④栅格图像文件和矢量电子文件图面显示缺失部分文字内容或部分字体、字间距与纸介质不同,是在输出栅格图像文件时所用的和提交的电子配套汉字库不正确导致。⑤纸介质和两种电子文件完全一致,但都不正常,大批或个别图式不正常,纸介质和两种电子文件完全一致,但都不正常,缺图名、图中部分注释等文字内容,一是由于在输出纸介质、栅格文件时所用的系统库及提交的电子配套系统库都不正确,不是制作电子文件时所用的。二是由于在输出纸介质、栅格文件时所用的汉字库及提交的电子配套汉字库都不正确,不是制作电子文件时所用的。
数据库的验收:数据库产品有多种形式,要视成果地质资料的情况而定,是空间数据库就一定是属性信息和空间信息并举。资料人员通常根据其文字报告中基本数据信息的描述进行核对,如空间数据的文件格式、文件数量,各类外部属性信息的记录数、内部属性有无等数量性、存在性检查。对于纯数据库项目成果检查要复杂许多,形式也多样;总之因具体情况而进行基本数量性、存在性检查。对于镶嵌在系统中的数据库,则要通过其软件中的一些功能来实现对信息的检查。
2 对成果地质调查资料接收和验收的建议
2.1 提交和接收方式的建议
成果地质调查资料提交单位向中国地质调查局资料管理单位提交评委审查认定稿1份,包括盖审查认定章的纸介质文件,专家认可的成果所有内容的电子文件;以及与之对应的资料报送单。该单类同现在的电子文件登记表或评审意见书中的提交技术文件目录中的成果部分的细化。
2.2 成果资料制作的建议
集中制作电子文档,由中国地质调查局资料管理单位组建制作团队,按电子文件汇交格式要求及服务需求,承担成果地质调查资料的电子文件及纸介质的制作、复制任务。制作、复制费由资料提交单位。每份成果要在合格后90天内完成制作、复制。
2.3 执行建议后大区成果地质调查资料接收、验收流程(图2)
2.4 执行上述建议的优点
减轻项目承担单位的负担;解决提交单位资料管理人力资源不足问题;消除了接收单位与提交单位在成果制作与提交之间的摩擦;提高制作效率;避免了转手制作产生的错误;能达到服务的及时性,便于服务;不用解决长期以来形成的资料管理部门与成果认定技术管理部门之间的不衔接问题,因提交与接收之间消除了审查认定后重制作过程;提交期限可由现在的180天大大缩短;避免了目前反复制作修改、提交的现象,减少了成果地质调查资料的接收、验收工作量,缩短了提交到合格的周期;提供服务的成果整齐划一,同时便于成果资料制作质量的提高;资料接收单位的电子文件(集中)制作团队,通过制作工作具备了一定的技术水平,在人员充足的情况下,可承担下绝大部分电子文件的制作工作,个别特殊专业的可适当采取委托方式。十年大调查下来,积累了各个专业的资料,但制作成果资料的软件在飞速发展,低版本软件制作的成果电子文件急需进行升级迁移,才能保证其能正常使用,提供服务,不然现状延续下去,到使用时,版本相差太大,低版本软件或可迁移(转换)软件早已消失,那会将一些电子成果变成废品,无法使用。
图2 建议的成果资料接收、验收流程
❽ 成果地质资料汇交中地质图空间数据库的检查验收
方 敏 蔡晓斌
(中国地质大学地调院)
摘 要 从源头控制信息数据的质量,加强对成果地质图空间数据库的检查验收,使地质图空间数据库的数据属性、格式达到相关标准,有利于今后的连图与地质资料再利用。本文简要介绍了空间数据库的建库过程,对在资料汇交的数据检查验收过程中遇到的一些普遍性问题及解决方法进行了探讨。
关键词 资料汇交 空间数据 库检查验收
目前,数字填图技术已在“新一轮国土资源大调查”和“矿产保障工程”中广泛使用,“三维地质填图”技术的试点工作也已经铺开,为继续“推进地质资料信息服务集群化、产业化”提供了强大的技术支持。
地质资料信息服务,基础地质数据是关键,没有数据,服务就是一句空话。各项目实施单位对区域地质调查数字填图产生的基础数据和最终提交的地质图空间数据库进行必要的质量检查和把关,从源头控制信息数据质量,成为提供高质量数据的必要措施。
在对我院承担的区域地质调查项目成果资料的归档和汇交验收过程中,特别是对地质图空间数据库的检查工作中,发现一些普遍存在的问题。本文试图通过简要描述地质图空间数据库建库直至最终形成的过程,来剖析这些问题产生的原因并及时纠正,实现汇交高质量数据的根本目标。
1 地质图空间数据库搭建的一般流程
数字地质填图形成的地质图空间数据库是通过野外手图库、野外总图数据库、实际材料图数据库、剖面数据库等不同阶段数据互通、继承、提取和凝练而成。因此,从编稿地质图的数据继承开始,到最终的成果提交的整个阶段,主要应体现对空间数据、属性数据的操作和数据质量的检查。
首先,在野外数据采集和录入阶段,严格执行地调局项目管理办法中的“三级管理”规定,对实际材料图的制作进行反复检查,使入库的数据完全符合建库的要求。进入空间数据库以前,在实际材料图中应将样品、产状、素描、同位素、照片及面、线等所有地质要素图层添加至桌面工程编辑区。严格地按要求将基本要素类的属性进行采集,是保证最终形成准确的空间数据库最基础、最关键的一步。
其次,将实际材料图数据合并到空间数据库。具体操作为:点击实际材料图上的功能菜单——自动合并实际材料图到空间数据库——自动合并到空间数据库图层或自动合并到空间数据库(批注优先)。在进行更新空间数据库实际材料图内容的操作时,只是进行文件的备份和生成新文件,新生成的文件均无内容;执行自动合并实际材料图到空间数据库的操作,才能将实际材料图中各图层的内容合并到空间数据库的相应图层中。经过上述操作,地质图中的部分要素类属性会自动继承到空间数据库,此时除标注图层和必要的地理图层外,将不带下划线的控制图框内的点、线、面的要素类文件删除,并采用交互的方式再对地质图图面进行拓扑一致性处理。
再次,则按照《数字地质图空间数据库标准》(DD 2006—06)录入的要求,对空间数据库的基本要素类和综合要素类中的图元和数据属性进行输入编辑。这步操作完成后,根据系统功能自地质体面(基本要素类数据)中提取除图幅基本信息和断层对象类外的全部对象类数据。断层对象类数据则从地质界线中提取,而图幅基本信息则从综合要素类的标注图框中提取。对象类数据作为关系型数据库中的二维表格存储空间数据。随后,利用系统自带的辅助检查工具对要素类和对象类进行逻辑一致性检查,出现问题进行修改和再提取,直至两者完全一致。
上述全部操作完成后,对既不属于任何要素数据集的独立要素类进行编辑和整理,并按照《地质元数据标准》(DD 2006—05)使用《元数据采集器》进行元数据输入,生成空间数据元数据集。在系统内部执行从基本要素和综合要素类中提取属性的操作,即可生成Access数据表格,并删除没有意义的空文件。
最后,按照地质图空间数据库存放格式的要求存放各类数据,存放格式见表 1。
表 1 地质图空间数据库存放格式
2 资料检查过程中应重点注意的几个方面
从以上简要流程描述可见,应从以下几个方面对地质图空间数据库进行检查,注意发现相应的问题,并及时处理解决。
利用国家测绘局地形数据中的水系投影,进行套合,检查是否重合以核实精度。
对文件数据结构和内容的一致性进行检查,通过在数字填图软件中新建该图幅,把提交的数据填加到相应的新文件中,分别打开原始空间数据库中的 MDB 文件中的对象类数据集和新建文件中空间数据库中的 MDB 文件中的对象类数据集进行对比,对比检查数据个数和地质体个数。
对地质体代号、注释、产状、图层完整性、基本信息和图框,分别检查是否符合《数字地质图空间数据库标准》(DD 2006—06)的要求。
利用相关功能和辅助软件,对地质图数据的拓扑一致性、图层套合进行检查,如 chec-mapgis 等辅助检查软件。
MAP 文件夹下是否为输出的全要素图形文件、工程文件和角图文件?全要素 MAP 图要求底边旋转水平,且图幅左下角平移到(0,0)点,MAP 文件夹包含点、线、面 3 个文件和工程文件,文件命名采用图幅名称所有汉字的拼音首字母缩写,由全要素 MAP 图喷绘出的全要素彩色喷墨图要和正式出版的地质图一致并符合出版规范。
MAPGIS 文件夹只包含内图廓以内的内容,不包含独立要素类,且底边不旋转水平。增加等高线、交通、居民地、境界、水系 5 个地理内容也放在该文件夹中,增加图层的命名和属性,采用原 1∶25 万地理底图的命名和属性,地理图层的注释不必放入。增加图内整饰图层,如注记、引线、火山岩岩性界线、隐伏断层、未经证实的遥感解译断层等,且分层整饰。整饰图层的命名采用被整饰图层名,前面加 a 表示,如 a-GeoPolygon.wl、a-GeoPolygon.wt;方里网的命名用 a-frame.wl、剖面线的命名用 a-profile.wl。系统自动生成而无内容的空文件要删除。
对数据文件逐个检查,包括命名的规范性、是否有多余文件、元数据的准确性等方面。
3 地质图空间数据库较常出现的问题及原因
资料汇交过程中,对空间数据库的检查过程中出现问题较多的方面有以下几种情况。
3.1 拓扑类错误
该类错误包含有无效弧段和悬挂弧段、线弧一致性错误、线面套合不一致、微小区等情况。这一类错误产生的原因,主要是由于在进行拓扑处理和检查过程中不细致造成的。对于这类错误的解决方法,可通过重新设置“结点 / 裁剪搜索半径”和利用相关功能和辅助软件方法检查并逐一处理。
3.2 属性类错误
属性是指类型的特征,该类型的错误可分为大小写错误、全半角错误、图形与属性不对应、属性结构错误和图元编号重复这几种现象。属性类错误查找相对困难,前面四种情况需要检查人员仔细核对纠错,最后一种情况也可通过辅助检查工具,如:“属性值与线型一致性”“要素类与对象类一致性”等系统自带的检查功能进行检查修改。
3.3 图形类错误
该类型的错误较为少见,基本上在进行野外数据检查阶段可以发现并进行修改调整。主要有地理地图矢量化过程中造成点、线的重叠;各地质界线的连接过程失误;地质体压盖关系错误等几种现象造成,可通过拓扑检查和辅助软件检查发现错误并相应调整。
3.4 其他类错误
在进行数据库检查时因制图人员或资料交接人员的疏忽,也会造成以下一些问题。
(1)系统库、字库、符号库等文件因为实际工作需要进行了编辑,但资料提交检查时没有一并提交。
(2)部分文件路径存在错误,造成文件打开提示不能正常显示,需重新设置路径。
(3)工程文件中点、线、区文件排列顺序有误,造成部分地质点代号和地质界线在纸介质中没有显示。
(4)注释文件重叠,没有进行出图编辑。
(5)无投影参数或参数错误,造成部分文件不能打开。
(6)MDB 文件夹中有空表格文件没有删除。
避免该类型的错误,需要项目组与资料验收人员保持充分的细心和耐心,对汇交的成果进行最终的复检。
4 结语
地质图空间数据库作为区域地质调查的最终数据成果,蕴含巨大的潜在价值和广泛的利用空间,不仅是国家找矿战略的重要依据,对于地质理论创新也具有重大意义,是重要的科技信息资源。因此,数据质量必须从源头控制、严格把关。除了按照《地调局项目管理办法》实行“三级管理”的过程控制外,在最终的成果资料提交、汇交之前,项目实施单位的地质资料管理人员仍需仔细检查验收,切实保证数据质量符合中国地质调查局制定的技术标准,为今后各项地质工作打好坚实的数据基础。
❾ 成果验收程序
(1)建库承担单位提交预检申请,并连同自检报告、建库技术报告和建库工作报告以及所有的数据库建设成果一并报省级建库主管部门。
(2)省级建库主管部门和有关单位组织人员成立成果预检组,按照技术要求进行预检。
(3)省级建库主管部门组织验收评委对提交的钻孔数据库成果进行全面的检查,如有必要可请项目实施负责人向评委做说明,评委提出预检结果。
(4)钻孔数据库建设成果,经过预检和验收程序后,由预检组和验收组提交预检报告和验收意见。验收专家组根据《地质勘查规划数据库成果数据检查记录表》行评价打分。
(5)检查验收以有关规范为标准,凡按规定进行数据库建设并达到质量要求的项目即为合格。
(6)如果成果验收不合格,将验收意见返回承担单位,承担单位对数据进行修改完善后再次提交验收,直至验收合格。
❿ 数据库的质量控制
一、质量保证控制体系
在数据库建设过程中,各工作单位和计划项目综合组均制定了相应的质量保证体系和措施,从资料的来源、整理录入、检查汇总层层严格控制。质量保证控制体系内容包括:质量保证组织体系和质量保证制度体系,组织体系和制度体系又由承担单位和计划单位综合项目组两套体系组成。承担单位按照本单位全面质量管理制度和办法建立了以全面质量管理办公室、项目组和工作组为核心的质量保证组织体系以及完整的质量管理制度体系。以计划单位为核心的综合项目组的质量保证组织体系是由计划项目负责人、工作项目负责人和工作组构成。建立了三级质量检查监控体系:一是数据库工作人员的自检和互检;二是承担单位项目组组织的质量抽检;三是计划项目综合组组织的阶段性质量抽检和验收。在各级检查过程中,对发现的问题都做了详细的记录,并进行了认真修改,保证了录入资料的准确性。
二、质量保证措施
(一)属性数据的质量保证措施
属性数据就是要真实地反映原始资料,质量保证措施最主要的就是质量检查、核对,形成录入→检查→修改→补充→汇总五个步骤的工作流程。每一项内容录入完成以后,录入人员必须将录入数据与原始数据进行校对,自检率为100%,发现问题及时解决之后,再开始下一项数据的录入。工作每告一段落,要进行互检,互检率也是100%;同时承担单位项目组进行质量抽检,抽检率为30%~50%;计划项目综合组的阶段性质量抽检和验收,抽检率为20%~30%。数据库工作人员平时工作有记录,每次检查有记载,发现的问题修改情况也有记录,做到出问题有据可查,责任有人承担,确保数据录入的准确和可靠。同时,还制定了安全防范措施,即防计算机病毒破坏、防数据库数据误删除、防蓄意破坏。
(二)图形数据的质量保证措施
1.地理底图质量保证措施
本次使用的数字地理底图是国家测绘局1∶25万地理要素图,利用Map GIS的裁剪功能以松嫩平原界线为范围边界裁剪而成,图层要素有外图廓、经纬网、境界线、水系、公路、铁路、等高线、高程点等,并依据2005年11月中国地质调查局颁发的《1∶25万地理底图编辑要求》和水环所提供的图库进行了修编。原地理底图自带图库与水环所提供的图库有很大差别,都按图层及图元参数一一替换图案号及更改参数,保证了更换图库前后地理底图所示内容的一致性。
2.成果图件数字化质量保证措施
成果图件均由编图人员在喷绘的地理底图上绘制,然后采用300 dpi以上的分辨率进行扫描,提高了栅格文件的清晰度,减小了误差;制图人员利用Map GIS将图像配准到已矢量、修编好的地理底图上,所有经纬网交叉点都作为控制点采集对象,保证了图像配准的精度;矢量过程中窗口放大到40倍,鼠标跟踪输入;各类成果图件中松嫩平原边界在空间上严格重合,在面元建立拓扑时,不能作结点平差,分区线元与边界相交处分区线元用延长靠近母线、母线加点功能,在此基础上建立拓扑关系形成面元,保证了公共边界线元空间拓扑的一致性;对不同成果图件有相同要素的,要将其单独提取图层,根据图件要求予以增加,保证了不同图件中相同内容的一致性。通过上述工作方法,使图件数字化质量得到有效的控制。
矢量化后,喷出彩图检查图元信息,图元信息检查是保证图形数据质量的关键,这项检查工作以自检为主,检查都在两遍以上。图形属性数据通过MAPGIS属性管理系统输入完成,其属性字段按照《地下水资源调查评价数据库标准》要求填写。
3.提高数据库工作人员的质量意识
人是保证质量的主动因素,提高数据库工作人员的质量意识是保证数据库质量的重要措施,因此在数据库建设过程中,无论是承担单位,还是综合项目综合组都开展了提高质量意识的重要性教育,使每一个工作人员在思想上重视数据库质量,在行动上保证数据库质量。