数据库技术路线
Ⅰ 建立数据库的原则(怎样建立一个好的数据库)
数据库设计原则2007-05-26 01:08一个好的数据库产品不等于就有一个好的应用系统,如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。一般来讲,在一个MIS系统分析、设计、测试和试运行阶段,因为数据量较小,设计人员和测试人员往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低……
数据库设计是建立数据库及其应用系统的核心和基础,它要求对于指定的应用环境,构造出较优的数据库模式,建立起数据库应用系统,并使系统能有效地存储数据,满足用户的各种应用需求。一般按照规范化的设计方法,常将数据库设计分为若干阶段:
系统规划阶段
主要是确定系统的名称、范围;确定系统开发的目标功能和性能;确定系统所需的资源;估计系统开发的成本;确定系统实施计划及进度;分析估算系统可能达到的效益;确定系统设计的原则和技术路线等。对分布式数据库系统,还应分析用户环境及网络条件,以选择和建立系统的网络结构。
需求分析阶段
要在用户调查的基础上,通过分析,逐步明确用户对系统的需求,包括数据需求和围绕这些数据的业务处理需求。通过对组织、部门、企业等进行详细调查,在了解现行系统的概况、确定新系统功能的过程中,收集支持系统目标的基础数据及其处理方法。
概念设计阶段
要产生反映企业各组织信息需求的数据库概念结构,即概念模型。概念模型必须具备丰富的语义表达能力、易于交流和理解、易于变动、易于向各种数据模型转换、易于从概念模型导出与DBMS有关的逻辑模型等特点。
逻辑设计阶段
除了要把E-R图的实体和联系类型,转换成选定的DBMS支持的数据类型,还要设计子模式并对模式进行评价,最后为了使模式适应信息的不同表示,需要优化模式。
物理设计阶段
主要任务是对数据库中数据在物理设备上的存放结构和存取方法进行设计。数据库物理结构依赖于给定的计算机系统,而且与具体选用的DBMS密切相关。物理设计常常包括某些操作约束,如响应时间与存储要求等。
系统实施阶段
主要分为建立实际的数据库结构;装入试验数据对应用程序进行测试;装入实际数据建立实际数据库三个步骤。
另外,在数据库的设计过程中还包括一些其他设计,如数据库的安全性、完整性、一致性和可恢复性等方面的设计,不过,这些设计总是以牺牲效率为代价的,设计人员的任务就是要在效率和尽可能多的功能之间进行合理的权衡。
一个好的数据库产品不等于就有一个好的应用系统,如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。一般来讲,在一个MIS系统分析、设计、测试和试运行阶段,因为数据量较小,设计人员和测试人员往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低……
数据库设计是建立数据库及其应用系统的核心和基础,它要求对于指定的应用环境,构造出较优的数据库模式,建立起数据库应用系统,并使系统能有效地存储数据,满足用户的各种应用需求。一般按照规范化的设计方法,常将数据库设计分为若干阶段:
系统规划阶段
主要是确定系统的名称、范围;确定系统开发的目标功能和性能;确定系统所需的资源;估计系统开发的成本;确定系统实施计划及进度;分析估算系统可能达到的效益;确定系统设计的原则和技术路线等。对分布式数据库系统,还应分析用户环境及网络条件,以选择和建立系统的网络结构。
需求分析阶段
要在用户调查的基础上,通过分析,逐步明确用户对系统的需求,包括数据需求和围绕这些数据的业务处理需求。通过对组织、部门、企业等进行详细调查,在了解现行系统的概况、确定新系统功能的过程中,收集支持系统目标的基础数据及其处理方法。
概念设计阶段
要产生反映企业各组织信息需求的数据库概念结构,即概念模型。概念模型必须具备丰富的语义表达能力、易于交流和理解、易于变动、易于向各种数据模型转换、易于从概念模型导出与DBMS有关的逻辑模型等特点。
逻辑设计阶段
除了要把E-R图的实体和联系类型,转换成选定的DBMS支持的数据类型,还要设计子模式并对模式进行评价,最后为了使模式适应信息的不同表示,需要优化模式。
物理设计阶段
主要任务是对数据库中数据在物理设备上的存放结构和存取方法进行设计。数据库物理结构依赖于给定的计算机系统,而且与具体选用的DBMS密切相关。物理设计常常包括某些操作约束,如响应时间与存储要求等。
系统实施阶段
主要分为建立实际的数据库结构;装入试验数据对应用程序进行测试;装入实际数据建立实际数据库三个步骤。
另外,在数据库的设计过程中还包括一些其他设计,如数据库的安全性、完整性、一致性和可恢复性等方面的设计,不过,这些设计总是以牺牲效率为代价的,设计人员的任务就是要在效率和尽可能多的功能之间进行合理的权衡。
http://www.crazycoder.cn/Tag/29113/Index.html
例子
http://www.ibm.com/developerworks/cn/db2/library/techarticles/dm-0605jiangt/
Ⅱ 数据库怎么加密
数据库加密作为近年来兴起的数据库安防技术,已经被越来越多的人所重视。这种基于存储层加密的防护方式,不仅可以有效解决数据库明文存储引起的泄密风险,也可以防止来自内部或者外部的入侵及越权访问行为。从技术手段上来看,现今数据库加密技术主要有三大类,分别是前置代理及加密网关方式、应用层加密方式以及后置代理方式,其中后置代理技术有有两种不同的技术路线,分别为:基于视图和触发器的后置代理技术和基于TDE技术的加密技术。你与安华金和了解下吧,以前他们还专门有过相关文章介绍。
Ⅲ 大数据核心技术有哪些
大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、Nosql数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架,主要分为下面几个方面:数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
一、数据采集与预处理
对于各种来源的数据,包括移动互联网数据、社交网络的数据等,这些结构化和非结构化的海量数据是零散的,也就是所谓的数据孤岛,此时的这些数据并没有什么意义,数据采集就是将这些数据写入数据仓库中,把零散的数据整合在一起,对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候,可以写个定时的脚本将日志写入存储系统,但随着数据量的增长,这些方法无法提供数据安全保障,并且运维困难,需要更强壮的解决方案。
Flume NG作为实时日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据,同时,对数据进行简单处理,并写到各种数据接收方(比如文本,HDFS,Hbase等)。Flume NG采用的是三层架构:Agent层,Collector层和Store层,每一层均可水平拓展。其中Agent包含Source,Channel和 Sink,source用来消费(收集)数据源到channel组件中,channel作为中间临时存储,保存所有source的组件信息,sink从channel中读取数据,读取成功之后会删除channel中的信息。
NDC,Netease Data Canal,直译为网易数据运河系统,是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。它整合了网易过去在数据传输领域的各种工具和经验,将单机数据库、分布式数据库、OLAP系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外,NDC的设计遵循了单元化和平台化的设计哲学。
Logstash是开源的服务器端数据处理管道,能够同时从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择,可以在同一时间从众多常用的数据来源捕捉事件,能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
Sqoop,用来将关系型数据库和Hadoop中的数据进行相互转移的工具,可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中,也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。
流式计算是行业研究的一个热点,流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析,可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈,目前大数据流分析工具有很多,比如开源的strom,spark streaming等。
Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配置静态指定或者在运行时动态选举,nimbus与supervisor都是Storm提供的后台守护进程,之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上,如果由supervisor启动的某个worker因为错误异常退出(或被kill掉),supervisor会尝试重新生成新的worker进程。
当使用上游模块的数据进行计算、统计、分析时,就可以使用消息系统,尤其是分布式消息系统。Kafka使用Scala进行编写,是一种分布式的、基于发布/订阅的消息系统。Kafka的设计理念之一就是同时提供离线处理和实时处理,以及将数据实时备份到另一个数据中心,Kafka可以有许多的生产者和消费者分享多个主题,将消息以topic为单位进行归纳;Kafka发布消息的程序称为procer,也叫生产者,预订topics并消费消息的程序称为consumer,也叫消费者;当Kafka以集群的方式运行时,可以由一个服务或者多个服务组成,每个服务叫做一个broker,运行过程中procer通过网络将消息发送到Kafka集群,集群向消费者提供消息。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Procer使用push模式将消息发布到broker,Consumer使用pull模式从broker订阅并消费消息。Kafka可以和Flume一起工作,如果需要将流式数据从Kafka转移到hadoop,可以使用Flume代理agent,将Kafka当做一个来源source,这样可以从Kafka读取数据到Hadoop。
Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置,那么对这个地方的配置感兴趣的所有的都可以获得变更,省去了手动拷贝配置的繁琐,还很好的保证了数据的可靠和一致性,同时它可以通过名字来获取资源或者服务的地址等信息,可以监控集群中机器的变化,实现了类似于心跳机制的功能。
二、数据存储
Hadoop作为一个开源的框架,专为离线和大规模数据分析而设计,HDFS作为其核心的存储引擎,已被广泛用于数据存储。
HBase,是一个分布式的、面向列的开源数据库,可以认为是hdfs的封装,本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统,部署在hdfs上,克服了hdfs在随机读写这个方面的缺点,与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。
Phoenix,相当于一个Java中间件,帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。
Yarn是一种Hadoop资源管理器,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成:一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。
Mesos是一款开源的集群管理软件,支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。
Redis是一种速度非常快的非关系数据库,可以存储键与5种不同类型的值之间的映射,可以将存储在内存的键值对数据持久化到硬盘中,使用复制特性来扩展性能,还可以使用客户端分片来扩展写性能。
Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来,Atlas相当于连接它的客户端,在前端应用看来,Atlas相当于一个DB。Atlas作为服务端与应用程序通讯,它实现了MySQL的客户端和服务端协议,同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节,同时为了降低MySQL负担,它还维护了连接池。Atlas启动后会创建多个线程,其中一个为主线程,其余为工作线程。主线程负责监听所有的客户端连接请求,工作线程只监听主线程的命令请求。
Ku是围绕Hadoop生态圈建立的存储引擎,Ku拥有和Hadoop生态圈共同的设计理念,它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API,同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储,既可以进行随机读写,也可以满足数据分析的要求。Ku的应用场景很广泛,比如可以进行实时的数据分析,用于数据可能会存在变化的时序数据应用等。
在数据存储过程中,涉及到的数据表都是成千上百列,包含各种复杂的Query,推荐使用列式存储方法,比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项,显着减少磁盘上的存储。
三、数据清洗
MapRece作为Hadoop的查询引擎,用于大规模数据集的并行计算,”Map(映射)”和”Rece(归约)”,是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统中。
随着业务数据量的增多,需要进行训练和清洗的数据会变得越来越复杂,这个时候就需要任务调度系统,比如oozie或者azkaban,对关键任务进行调度和监控。
Oozie是用于Hadoop平台的一种工作流调度引擎,提供了RESTful API接口来接受用户的提交请求(提交工作流作业),当提交了workflow后,由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业),然后向Oozie提交Workflow,Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因,用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式,再将workflow对应的Action提交给hadoop执行。
Azkaban也是一种工作流的控制引擎,可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成:Relational Database,Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中,Azkaban Web Server提供了Web UI,是azkaban主要的管理者,包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务,记录工作流或者任务的日志。
流计算任务的处理平台Sloth,是网易首个自研流计算平台,旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台,其特点是易用、实时、可靠,为用户节省技术方面(开发、运维)的投入,帮助用户专注于解决产品本身的流计算需求。
四、数据查询分析
Hive的核心工作就是把SQL语句翻译成MR程序,可以将结构化的数据映射为一张数据库表,并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据,它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具,将SQL操作转换为相应的MapRece jobs,然后在hadoop上面运行。Hive支持标准的SQL语法,免去了用户编写MapRece程序的过程,它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。
Hive是为大数据批量处理而生的,Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece,则会有更多的写中间结果。由于MapRece执行框架本身的特点,过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中,用户只需要创建表,导入数据,编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。
Impala是对Hive的一个补充,可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop,用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据,同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成),可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据,从而大大降低了延迟。Impala将整个查询分成一执行计划树,而不是一连串的MapRece任务,相比Hive没了MapRece启动时间。
Hive 适合于长时间的批处理查询分析,而Impala适合于实时交互式SQL查询,Impala给数据人员提供了快速实验,验证想法的大数据分析工具,可以先使用Hive进行数据转换处理,之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说:Impala把执行计划表现为一棵完整的执行计划树,可以更自然地分发执行计划到各个Impalad执行查询,而不用像Hive那样把它组合成管道型的map->rece模式,以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF,能处理的问题有一定的限制。
Spark拥有Hadoop MapRece所具有的特点,它将Job中间输出结果保存在内存中,从而不需要读取HDFS。Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬虫。
Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口,用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。
Elasticsearch是一个开源的全文搜索引擎,基于Lucene的搜索服务器,可以快速的储存、搜索和分析海量的数据。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
还涉及到一些机器学习语言,比如,Mahout主要目标是创建一些可伸缩的机器学习算法,供开发人员在Apache的许可下免费使用;深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等,常用的机器学习算法比如,贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。
五、数据可视化
对接一些BI平台,将分析得到的数据进行可视化,用于指导决策服务。主流的BI平台比如,国外的敏捷BI Tableau、Qlikview、PowrerBI等,国内的SmallBI和新兴的网易有数(可点击这里免费试用)等。
在上面的每一个阶段,保障数据的安全是不可忽视的问题。
基于网络身份认证的协议Kerberos,用来在非安全网络中,对个人通信以安全的手段进行身份认证,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。
控制权限的ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive,Hbase进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置,同时权限可与hadoop无缝对接。
Ⅳ 数据库发展呈现三个主要特征
数据库发展呈现三个主要特征
数据库(Databases,简称DB)是指长期保存在计算机的存储设备上、并按照某种模型组织起来的、可以被各种用户或应用共享的数据的集合。数据库管理系统(Database Management Systems,简称DBMS)是指提供各种数据管理服务的计算机软件系统,这种服务包括数据对象定义、数据存储与备份、数据访问与更新、数据统计与分析、数据安全保护、数据库运行管理以及数据库建立和维护等。
由于企业信息化的目的就是要以现代信息技术为手段,对伴随着企业生产和经营过程而产生的数据进行收集、加工、管理和利用,以改善企业生产经营的整体效率,增强企业的竞争力。所以,数据库是企业信息化不可缺少的工具,是绝大部分企业信息系统的核心。
纵观数据库发展,三大数据库巨头公司纷纷推出其最新产品,数据库市场竞争日益加剧。从最新的IDC报告显示,在关系数据库管理系统(RDBMS)软件市场上,Oracle继续领先对手IBM和微软,但是微软在2006年取得了更快的销售增长率……
根据对数据库发展的技术趋势不难看出,整个数据库发展呈现出了三个主要特征:
(1)、支持XML数据格式
IBM公司在它新推出的DB2 9版本中,直接把对XML的支持作为其新产品的最大卖点,号称是业内第一个同时支持关系型数据和XML数据的混合数据库,无需重新定义XML数据的格式,或将其置于数据库大型对象的前提下,IBM DB2 9允许用户无缝管理普通关系数据和纯XML数据。
对于传统关系型数据与层次型数据的混合应用已经成为了新一代数据库产品所不可或缺的特点。除了IBM,Oracle和微软也同时宣传了它们的产品也可以实现高性能XML存储与查询,使现有应用更好的与XML共存。
(2)、商业智能成重点
为应对日益加剧的商业竞争,企业不断增加内部IT及信息系统,使企业的商业数据成几何数量级不断递增,如何能够从这些海量数据中获取更多的信息,以便分析决策将数据转化为商业价值,就成为目前数据库厂商关注的焦点。各数据库厂商在新推出的产品中,纷纷表示自己的产品在商业智能方面有很大提高。如:微软最新版SQL Server 2005就集成了完整的商业智能套件,包括数据仓库、数据分析、ETL工具、报表及数据挖掘等,并有针对性的做了一些优化。如何更好的支持商业智能将是未来数据库产品发展的主要趋势之一。
(3)、SOA架构支持
SOA已经成为目前IT业内的一个大的发展趋势,最初IBM和BEA是该理念的主要推动者,后来有越来越多的企业加入,开始宣称支持SOA,其中包括Oracle,而微软开始并不是非常赞同SOA的,但是,随着时间的发展,目前国内主流的数据库厂商都开始宣称他们的产品是完全支持SOA架构的,包括微软的SQL Server 2005,从微软态度的转变可以看出,未来IT业的发展与融合,SOA正在成长为一个主流的趋势。
数据库管理系统已经成为软件产业的重要组成部分,是信息化过程中最重要的技术基础之一。我国要振兴软件产业,就必须发展自己的数据库软件产业。这已经获得了广泛的共识,目前要解决的关键问题是如何能够“做得出、用得上、卖得掉”。我们认为,数据库软件的发展将仍然是关系系统内核基础上进行扩展的技术路线。
Ⅳ 技术路线、执行过程和完成的工作量
一、技术路线
1)在工作区内以往水文地质工作成果的基础上,充分收集工作区相关社会环境状况、地质环境背景、地下水环境地质问题和地质资源方面的资料,对其进行综合分析研究和二次开发。
2)围绕项目总体目标和工作任务,以严重缺水地段和乡村为本次勘查工作的重点,结合地面调查布置一定量的地球物理勘探工作,以查明其水文地质条件、地下水类型及其赋存规律和开发利用条件,并在此基础上确定最佳水文地质钻探施工位置。
3)在地下水勘查工作中,按照“探采结合”的原则进行水文地质钻探示范工程,所布置的钻孔既能满足勘查工作的需求,又可用来作为开采井提供当地村民使用,直接解决群众饮水困难。
4)加强综合研究,研究和分析不同类型缺水地区水文地质条件、地下水类型及其赋存规律和开发利用条件,及时总结缺水区不同地下水类型的有效勘查技术方法和找水经验,提出不同类型区的找水方向,编制地下水开发利用区划,以指导其他同类地区地下水开发工程的施工,为地下水资源的可持续开发提供水文地质依据。
5)设立以各参加单位的技术骨干及聘请的老专家为成员的项目综合组,加强交流与合作。
6)认真执行中国地质调查局有关规定以及南京地质调查中心质量管理体系,确保勘查工作的质量。
勘查工作按以下步骤进行:收集研究资料→路线踏勘→编写设计→野外勘查(水文地质测绘、地球物理勘查与水文地质钻探)→室内综合研究→报告编制→建立数据库(图1-1)。
图1-1 勘查工作程序图
二、执行过程
河南抗旱找水打井工作大致可分如下5个阶段:
(一)接受任务、成立队伍和调配器材
南京地质调查中心成立项目领导小组和“河南抗旱找水打井行动”突击队。
2011年2月24~25日,国土资源部副部长、中国地质调查局局长汪民同志在郑州主持河南抗旱找水打井行动部署会,确定由南京地质调查中心负责河南省巩义市抗旱找水打井工作。针对该项解决山区群众生活饮水和抗旱保苗的任务,南京地质调查中心迅速成立了以党委书记黄海为组长、中心副主任郭坤一为常务副组长的“河南抗旱找水打井行动”领导小组,组成了以中心水环室技术人员为主力的“河南抗旱找水打井行动”突击队,由姜月华研究员任突击队队长。同时,调集可用于找水辅助的物探设备6台(套),主要有多功能数字直流激电仪(型号:DZD-6A)3台,双频激电仪(型号:SQ-3C)2台,高密度电法仪(型号:SuperStringR8/IP+56)1台,汽车3台(2台越野车,1台物探车)。
“河南抗旱找水打井行动”突击队共124人,充分发挥了水文地质、物探和钻探专业优势,冲锋在前,无私奉献,积极投入抗旱找水工作。他们克服了水土不服、地质条件复杂、施工难度大等困难,顾全大局,服从安排,涌现了许多可歌可泣的感人事迹:有的同志为此推迟了婚期,有的同志撇下尚嗷嗷待哺的婴儿。
第一批突击队成员17人于2月28日即到达河南郑州,3月2日入驻巩义市,并立即投入到抗旱找水打井野外第一线,随后其他突击队成员陆续抵达目的地——巩义市。
(二)收集资料,多方沟通,建立联系渠道,确立思路
为了能够尽快了解旱区地层和地质构造特征,突击队成员在第一时间收集了区域1∶25万、1∶5万地质和水文地质资料以及部分物探与钻孔资料,并与河南省国土资源厅、郑州市国土资源局、水务局、巩义市政府、国土资源局、水利局、村镇等部门有关领导和专家,如巩义市市长张春阳、副市长杨彦峰、刘振修、史建伟、河南省河南省国土资源厅副厅长杨士海、环境处处长饶维智、副处长梁世云、河南省地质环境监测院总工程师齐登红、郑州市国土资源局副局长徐铭杰、地质环境处处长王新杰、国土资源厅副巡视员郑州市国土资源局局长吴红杰、郑州市国土资源局副局长徐铭杰、郑州市水务局副局长卢守富、总工程师韩干坤、巩义市国土局局长马振杰、副局长康华凯、科长付满江、水利局局长张世欣、副局长李永红、河南第一工程勘察院高级工程师朱广镇、河南地调院院长张良、副院长刘成社、王砚国、主任刘新号、高级工程师仝长水、闫震鹏、河南地质矿产勘查开发局总工程师赵云章、河南地矿建设工程有限公司高级工程师朱广镇、刘学洋等,进行认真的沟通与交流,建立了联系渠道,为下一步工作的顺利开展,如野外勘查、办理物探汽车通行证、确定井位点的“三通一平”(通路、通水、通电和平地)、钻机进场、打井作业、钻机撤出等,奠定了重要基础。
期间,突击队成员参加了河南省国土资源厅组织的抗旱找水打井行动协商会议,并组织召开了两次协调会和业务交流会。与会人员根据国土资源部、中国地质调查局和河南省国土资源厅的要求,结合郑州片山区找水实际情况,达成以下共识:①项目以满足缺水地区人畜饮水为重点,以岗地、丘陵山区为找水打井的主要工作区,以服务地方需求为原则;②根据丘陵山区地下水分布不均、找水难度大,采煤造成的地下水水位显着下降等客观情况,实行先易后难、深(井)浅(井)结合的工作思路。
(三)野外勘查,确定井位,钻机进场,打井作业,准备钻探配套材料,抽水试验,领导慰问和检查指导
该阶段是本次工作的核心,也是打井成功与否的关键。突击队成员每天早出晚归,对鲁庄镇虎山坡村、南侯村,西村镇李家窑村、常封村、五岭村,河洛镇源村、神南村、寺湾村,康店镇裴峪村、张岭村、康北村、叶岭村,孝义镇龙尾村,北山口镇铁匠炉村、山川村,小关镇水道口村,涉村镇后村,夹津口镇韵沟,芝田镇北石村、稍砦村、益家窝村等地进行了认真的野外踏勘,并开展物探工作。3月8日第一台钻机进场。至3月21日,有14台钻机进场,12台钻机已开钻,完成33个点位的踏勘工作、6个点位的激电测深工作、18个点位的高密度电法工作,确定了18个孔位和4个待定孔位。
同时,突击队派人对市场滤水铁管、实铁管、石英砂滤料和滤网布的质量与价格进行调查研究,确定了相关厂商和发送货时间,保证了钻探工作的顺利进行。3月30日,突击队在河南巩义北山口镇铁匠炉村黄土塬上打成了第一口深水井,抽水试验一直进行至次日凌晨3点,该井孔贯穿黄土层,打入下伏基岩,井深225m,出水量每小时46.7m3。一举解决了该村450人、500余头牲畜生活用水及300亩农田灌溉用水问题。2011年4月25日中午1点30分,随着夹津口镇韵沟村水井抽水试验的完成,南京地质调查中心支援河南应急抗旱找水突击队历经57天野外艰苦工作,圆满完成了国土资源部、中国地质调查局交给的抗旱找水打井工程施工任务。
突击队在野外工作期间,各级领导对突击队人员工作和生活非常关心,先后有多批领导前来慰问和检查指导,如国土资源部环境司徐建芳副司长、李建中处长、中国地质调查局张二勇博士、胡秋韵博士,河南省国土资源厅杨士海副厅长、河南省地质环境监测院齐登红副总工程师、郑州市国土资源局徐铭杰副局长,巩义市张春阳市长、杨彦峰副市长,河南省地矿局赵云章总工程师、河南省地质调查院张良院长、河南省郑州市国土资源局李健欣局长,水文环境所张兆吉研究员、水环地调中心邢卫国研究员,巩义市国土资源局马振杰局长、康华凯副局长、付满江科长,南京地质调查中心郭坤一副所长、李君浒副所长、总工办曾勇主任,华东项目监管处陈冰研究员、安保处胡福强处长等亲临工作现场看望并慰问项目工作人员,极大地鼓舞了突击队成员如期完成任务的士气。中国地质调查局水环部文冬光主任、郝爱兵副主任对本次工作给予了很大的关心和支持,并进行了多次电话指导。
(四)井台建设,配套水泵、泵管和电缆,竣工验收,移交水井
4月26日,20口深井井台建设全部完成。5月,配套泵、泵管和电缆等基本安装结束,并开始陆续办理水井移交手续。
2011年5月9日,以中国地质调查局水环中心主任邢卫国为组长,由中国地质科学院水环所研究员张兆吉、河南省煤炭地质勘察院副总工程师徐连利、河南省地矿局副总工程师赵云章、河南省地质环境监测院副总工程师齐登红、河南省地质调查院高级工程师仝长水、郑州市国土局工程师仝志民等组成的专家组对淮河流域(河南巩义)严重缺水地区地下水勘查项目进行了野外验收,喜获通过。专家组对项目组能够按时完成打井任务及成井率达100%表示了钦佩和祝贺。
(五)整理资料,总结经验,提交报告
2011年5月~2012年6月为整理资料、总结找水经验和编写成果报告与编制图件阶段。
三、完成工作量
本次应急抗旱找水打井工作共完成了1∶5万水文地质调查350km2、野外井位点的调查33个;利用先进物探设备,累计完成高密度物探剖面测制20.5km、电测深剖面7.2km;完成确定井位23处、水井施工20眼、钻探总进尺3453.4m和测井2800m;完成实测地质剖面2条(3.0km),磨制薄片4片;测试水质全分析样20件(表1-1,表1-2)。
表1-1 河南巩义应急抗旱找水打井完成的工作量
表1-2 河南巩义应急抗旱找水定井位和物探电法工作量
Ⅵ supermapGIS数据库建识的技术路线及具体实施方法和步骤
你知道他谁不不说大力是什么的话,你可以打开这个软件的使用方法说明书进行查看的呢。
Ⅶ 一个好的数据库加密系统一般应满足哪些方面的要求
我认为,至少需要满足下面4个方面的要求。
1、保证数据库系统的整体性能没有明显下降
众所周知,数据库系统的数据处理性能对整个业务系统的整体性能表现有决定性的作用,在某些场合,数据库必须保证处理能力维持在某个较高水平才能满足业务需要。另一方面,数据库加密系统是一个对数据库中数据进行加密保护的应用系统,在数据从业务系统存储到数据库时要对数据进行加密,这个过程中明文数据需要被加密成密文,在数据由数据库中被读取出来传递到业务系统时要对数据进行解密,这个过程中密文需要被解密成明文。加密和解密是个根据一定的算法逻辑进行循环运算的过程,这个过程对CPU会产生一定的消耗,会影响数据库的性能。
数据库加密系统可以有多种技术路线来实现,业界已经验证和使用的技术路线包括应用系统加密、前置代理加密、后置代理加密、表空间透明数据加密、文件系统加密和磁盘加密。其中应用系统加密和前置代理加密技术会极大地影响数据库性能,仅适用于小量数据加密场景;后置代理加密技术在某些场景上也会大幅影响数据库性能,使用场景有明显限制;所以,好的数据库加密系统应该尽量使用后三种技术路线来实现。
2、保证数据安全
保存在数据库中的数据是用户的资产,因此,任何一个数据库加密系统都需要保证在有密钥的前提下能够对由自己加密的数据进行无损解密。因此,一个好的数据库加密系统应该具备密钥备份和恢复功能,以便于在加密机故障不可用时能够快速搭建新的加密机环境;另外,如果数据库加密系统提供了独立的工具或接口来实现加密机故障时用户数据的解密,则是更好的选择。
3、应用完全透明
数据库系统是为业务系统提供数据服务的,一个好的数据库加密系统应该对应用系统具备完全的透明性,这种透明性主要表现在:(1)部署数据库加密系统时,应用系统不需要做任何改造,即使是连接字符串都不需要修改;(2)在部署了数据库数据库加密系统后,数据库内部的存储过程、用户自定义函数、触发器、SQL代码段等可执行对象及主外键关系、各种索引、默认值、Check约束等均可以正常使用,也不需要做任何改变;(3)数据库自身的外围管理工具、第三方数据库工具等在部署数据库加密系统后仍然可以正常使用。
4、高可用性
数据库加密系统自身应具备高可用能力,可以以主备或多机的方式提供数据库加密服务,当其中的一台加密机发生故障时,其它加密机应可能快速接管加密服务,保证数据库系统和用户业务系统的可用性。
Ⅷ 主要研究内容和技术路线
14. 2. 1 研究内容
为保证范各庄矿区石炭纪—奥陶纪地层中 14 煤层能够安全开采,本书主要根据所收集的资料( 范各庄地质报告、范各庄水文地质图、范各庄钻孔柱状图等) ,运用 GIS 与 BN 相结合的方法计算出各评价单元的突水概率,并以此为依据对研究区进行煤层陷落柱突水危险性评价,最终针对不同突水概率区域提出相应的防治措施。具体研究内容如下。
( 1) 研究 GIS 与 BN 的耦合技术,对其应用于煤层陷落柱突水进行可行性分析。
( 2) 建立煤层突水危险性评价基本理论体系。
( 3) 通过对煤层突水的主要影响因素的分析,建立包括地质构造特征、含水层条件、隔水层条件和开采活动 4 个方面的煤层陷落柱突水评价指标体系。
( 4) 利用 GIS 的数据采集功能和空间分析功能对收集到的相关资料进行量化,建立各个评价指标的专题图,同时建立了空间数据库。在此基础上对各子专题图进行叠加分析,确立评价单元,并生成多属性联合的空间数据库。
( 5) 在数据库建立的基础上,应用 BN 软件建立煤层突水的 BN 模型,进行模型解释和模型分析,编程设计实现 BN 模型推理模块,快速、批量计算出各评价单元的突水概率,以此为依据应用 GIS 空间分析模块,输出了陷落柱突水危险性评价图。
( 6) 利用 BN 模型、BN 推理模块、空间数据库以及 GIS 空间分析等模块,统筹设计“煤矿突水态势评价监测系统”,便于预测成果的查询、分析以及突水概率的更新推理,从而为相关政策的制定提供决策支持。
( 7) 提交最终成果并对成果进行分析,提出相应的防治措施。
14. 2. 2 技术路线
本章研究对象是范各庄 14 煤层陷落柱突水区域危险性评价,目的是从煤层陷落柱突水形成的基本条件、诱发动力分析入手,判明哪些区域容易发生突水,以及发生突水的概率等; 其研究方法主要是从地质因素和采矿因素出发,采用数理统计和人工智能等量化的数学方法,结合范各庄煤层突水调查结果,判定研究区内不同位置煤层突水发生的可能性的大小,最终探索出了一条矿井突水危险性评价的可行途径。具体研究路线如图 14. 1 所示,描述如下:
( 1) 资料收集: 收集研究区自然地理、地质、水文地质、钻孔等相关方面资料,并按照陷落柱危险性评价所需加以整理提取。
(2)评价指标体系构建:翔实系统地分析确定控制煤层突水的因素,正确建立煤层突水的评价指标体系。
(3)评价指标专题图建立:在煤层突水因素分析确定的基础上,以GIS的空间数据统计分析功能为操作平台,利用其强大的空间信息查询处理分析能力,对各种图形信息进行量化,建立煤矿突水各评价因子的子专题图层。
(4)多因素叠加分析确定评价单元:应用GIS的空间分析功能进行多源地学信息的复合叠加,实现同一区域、同一比例尺、同一地理坐标系统的不同信息的叠加,确定研究区评价单元,同时生成了空间数据库。
(5)BN模型建立:基于空间属性数据库,应用Genie软件,运用BN的相关知识构建突水因素和突水事件的BN模型。
(6)BN分析:通过BN分析得到最易于诱发突水事件的相关因子集合。
(7)BN推理:在Visual Studio开发平台下,选用C Sharp编程语言,利用匹斯堡大学决策实验室设计的SmileNet动态库,进行程序设计,实现BN模型与GIS空间分析、查询模块的数据交互,完成BN先验概率学习及其突水后验概率批量推理。
(8)评价分区:依据上述突水预测概率计算结果,应用GIS空间分析的属性分级显示模块,按照区域突水危险级别,在图层上进行分色显示,最终得出煤层突水危险性评价图。
(9)运用样本二分法对评价模型进行验证,证明此评价方法的可行性。
Ⅸ 高分辨率影像数据处理及数据建库技术方法研究
潘振祥
(河南省国土资源厅信息中心 郑州 450016)
摘 要:本文通过开展高分辨率卫星遥感影像数据(SPOT5)处理及建库技术方法研究和探索,制定了《高分辨率影像数据处理及基于遥感影像土地利用数据库建设技术要求》和《省级基于遥感影像 1∶1 万土地利用数据库标准》,制作了覆盖河南全省的 1∶1 万数字正射影像图,建立了河南省基于 SPOT 5 的 GPS 像控点图形图像数据库、高分辨率卫星影像数据库和基于影像信息土地利用数据库,为全国土地利用二次调查基础底图制作进行了有益的探索。
关键词:土地资源 卫星影像 遥感 数据库 像控点
0 引 言
随着信息技术的快速发展,卫星遥感影像处理技术得到了突破性进展,高分辨率卫星影像在土地资源调查评价、土地利用动态遥感监测、土地执法监察、土地变更调查以及大中比例尺地形图测绘等方面应用已取得显着成效。
针对河南省高分辨率遥感影像数据处理及数据库建设项目任务,项目组提出了利用 GPS 外业静态实测坐标作为影像数据校正的控制资料,制定了《高分辨率影像数据处理及基于遥感影像土地利用数据库建设技术要求》和《省级基于遥感影像 1∶1 万土地利用数据库标准》等,并根据项目任务要求,制定了切合河南实际的基于遥感影像信息的土地利用分类体系,同时,通过项目开展,制作了覆盖河南全省的 SPOT 5 数字正射影像图(DOM),并建立了河南省基于 SPOT 5的 GPS 像控点图形图像数据库,为土地利用二次调查基础底图制作进行了有益的探索。
1 影像数据处理及数据库建设技术路线
(1)多源遥感信息相结合。选取最佳波段组合的多光谱影像与高分辨率全色影像融合,生产具有高分辨率空间信息和丰富光谱信息的融合影像。
(2)GPS 像控点、基础图件(数据库)和 DEM 相结合。根据实际情况,采用 GPS 像控点,同时利用 1∶5 万 DEM 对遥感影像进行正射校正。
(3)人机交互与计算机自动提取相结合。以人机交互解译为主,进行土地分类信息提取。
(4)遥感解译与地面调查相结合。对提取的地类图斑信息进行外业验证,对在室内不确定的地类图斑,进行外业实地调查。
2 GPS 像控点图形图像数据库建立
为保证像控点选取精度,首先在 2.5 m 分辨率的全色影像上,按照像控点选取的技术要求,每景均匀选取了 25 个像控点,并对像控点进行了全外业 GPS 静态测量,在 MapGIS 平台下编辑像控点属性结构,建立 GPS 像控点图形图像数据库,并将像控点外业测量成果表以图片方式保存在属性表中。如图1所示。
图1 像控点图形图像数据库示意图
2.1 GPS 像控点选取
为保证像控点外业测量精度,像控点选取时,点位分布要相对均匀,特征明显,交通便利,数量足够,尽可能在全色影像上选取,尽量避开高压线、大面积水域等干扰因素。
为提高外业测量效率,将选取的待测像控点制作成“像控点外业测量成果表”,成果表包括像控点编号、点位及放大的示意图、WGS84、1954 北京、1980 年西安三套坐标和点位说明等内容。
2.2 GPS 像控点外业施测
像控点外业测量采用附合路线法,各像控点平均间距约 13 km,像控点与 C 级 GPS 控制点组成 GPS 控制网。GPS 像控点外业测量利用河南省 C 级 GPS 控制网成果的三套数据(分别为WGS 84、1954 北京和 1980 年西安坐标)作为起算数据,依据《全球定位系统(GPS)测量规范》,采用静态方式同步进行观测,三台套 GPS 接收机为一组,观测时段长度不少于 45 分钟,卫星高度角≥ 15°,有效观测卫星总数≥ 4 个。测量数据采用南方测绘软件进行基线解算、平差处理并进行高程拟合,最后解算出像控点基于三套坐标系统的三套数据和拟合高程。
2.3 GPS 像控点图形图像数据库的建立
GPS 像控点图形图像数据库以河南省 1∶50 万地理底图作为工作底图,输入像控点空间坐标,并采集像控点属性与图形信息,建立数学基准统一的像控点图形图像文件。像控点图形图像信息,除像控点所具有的地理坐标信息之外,还包括与待纠正影像相关的特征地物的纹理信息、分辨率信息等。
3 影像数据处理
影像数据处理包括卫星影像全色数据与多光谱数据的配准、融合和影像数据正射校正、镶嵌及正射影像图(DOM)的制作等。本项目所使用到的 SPOT 5 数据是由视宝公司提供的 1A 级数据,只经过了探测器的均衡化处理,为了进行多元数据的复合,制作正射影像图,必须对图像进行正射校正,建立地理坐标。影像数据处理技术流程如图 2 所示。
图2 影像数据处理技术流程
3.1 影像配准
本项目使用的单景多光谱数据与全色数据是同步接收到的,其图形的几何相关性较好,多光谱数据与全色配准难度小、精度高,因此采用相对配准的方法,SPOT 5 多光谱数据波段组合采用 XS2(红)、XS3(绿)、XS1(蓝)形式,影像重采样间隔为 2.5 m,重采样方法采用双线性内插,以景为配准单元,以 SPOT 5 全色数据为配准基础,均匀选取配准控制点,对接收侧视角较大,地势起伏对配准影响较为严重的区域相应增加控制点密度,将 SPOT 5 多光谱数据与之精确配准,并随机选择配准后全色与多光谱数据上的同名点进行检查,以确保数据的配准精度。
3.2 影像融合
图像融合处理采用最基本的乘积组合算法直接对两种空间分辨率的遥感数据进行合成,融合后图像则采用直方图调整、USM 锐化、彩色平衡、色度饱和度调整和反差增强等手段,以使整景影像色彩均匀、明暗程度适中、清晰,增强专题信息,特别是加强纹理信息。
3.3 影像正射校正
影像正射校正采用 ERDAS 的 LPS 正射模块,利用 SPOT 5 物理模型,每景 25 个像控点均匀分布于整景影像,各相邻景影像重叠区有 2 个以上共用点。正射校正以实测点和 1∶5 万 DEM为校正基础,以景为单元,对融合后的数据进行正射校正,采样间隔为 2.5 m。
3.4 影像镶嵌
影像镶嵌采用 ERDAS 的 LPS 正射模块中批量处理模块,相邻两幅影像,均采集了两个以上共用点,大大提高了影像镶嵌精度。为验证镶嵌精度,以县(市、区)为单位,在其镶嵌区随机选择 25 个以上检查点进行镶嵌精度检查。
3.5 数字正射影像图制作
数字正射影像图(DOM)制作采用 Image Info 工具,按照 1∶1 万标准分幅进行裁切,覆盖完整的县级行政辖区。图幅整饰依据《高分辨率影像数据处理及数据库建设技术要求》,利用MapGIS 数据库平台,按照 1954 北京坐标系、1985 年国家高程基准的生成 1∶1 万标准分幅图幅整饰。
4 创新成果
项目组在圆满完成项目任务的前提下,结合项目进展和土地管理需要,创造性地开展工作。总结项目进展和取得的成果,创新成果主要体现在:
(1)影像校正控制点 GPS 外业实测数据作为影像校正控制资料,改变了以往利用地形图、土地利用现状图(数据库)作为控制资料的传统方式,极大地提高了影像校正精度,节省了项目投入经费。
覆盖河南全省 1∶1 万标准分幅地形图共计 6565 幅,而实有地形图仅 5600 余幅,项目组在征求部课题组同意的前提下,提出采用 GPS 外业实测控制点作为影像校正控制资料的思路。基于这一思路,项目组进行了一系列研究和论证,制定了 GPS 外业测量技术要求,并对覆盖全省的每景 SPOT 5 卫星影像相对均匀地选取了 25 个控制点,相邻景影像不少于 2 个共用控制点的原则,全省共选取影像校正控制点 1421 个,GPS 大地控制 C 级点 94 个。根据影像数据接收时间和项目进度,共分 13 个测区,对所有控制点采用附和路线法进行了静态测量,分别计算出各控制点和检查点的 WGS84、1954 北京和 1980 年西安三套坐标。
(2)河南省像控点图形图像数据库的建立,为今后河南全省土地利用遥感监测、卫片执法监察等提供了技术保障。
为使外业测量成果长期保存和今后使用,项目组在项目任务之外,在 MapGIS 平台上,基于河南省 1∶50 万地理底图,建立了 GPS 像控点图形图像数据库。GPS 像控点图形图像数据库的建立,不仅满足 SPOT 5_2.5 m 高分辨率卫星影像的校正精度要求,同时为今后河南全省土地利用遥感监测、卫片执法检查、矿山环境监测等奠定了基础。
(3)高分辨率影像数据大区域整体正射校正和镶嵌处理技术的探索,为影像数据批处理技术的推广进行了有益的探索。
由于本次试点项目涉及的范围广、影像处理工作量大,因此,项目组在保证影像纠正精度的前提下,为提高工作效率,探索和使用了遥感影像专业处理软件 ERDAS 的 LPS 模块提供的大区域整体正射纠正和影像镶嵌处理功能,达到了较好的应用效果。
鉴于本次试点项目所使用的影像数据均为同步接收的 SPOT 5 多光谱与全色数据,其图形的几何相关性较好,多光谱数据与全色配准难度小、精度高,因此,影像数据处理采用先单景融合、后大区域整体正射校正、最后进行大区域镶嵌配准的技术流程进行影像处理。
正射纠正采用 ERDAS 的 LPS 批量正射模块。纠正采用 SPOT 5 物理模型,控制点均匀分布于整景影像,每景控制点个数为 25 个,各相邻影像重叠区有 2 个以上共用点。正射纠正以 GPS外业实测控制点和预处理的河南省 1∶5 万 DEM 为纠正基础 , 对 SPOT 5 融合数据进行批量纠正,采样间隔为 2.5 m。影像镶嵌采用的是 ERDAS 的 LPS 批处理模块,由于各相邻景影像均采集了两个以上的共用点,大大提高了影像镶嵌精度。
(4)基于遥感影像信息土地利用分类标准体系的制定,为国家和省级快速掌握和提取土地利用变化信息进行了有益的探索。
项目组根据部课题组要求及国家和省土地管理工作需要,结合 SPOT 5 卫星影像光谱特征和纹理信息,经充分研究和论证,制定了切合河南实际、满足“高分辨率影像数据处理及数据库建设”试点项目需要的基于遥感影像信息的土地利用分类标准,该标准中将土地利用类型分为农用地、建设用地和未利用地等 3 个大类,耕地、园林地、其他农用地、城市用地、建制镇用地、农村居民点用地、铁路用地、公路用地、其他建设用地、未利用地等 10 个二级类,此外,根据个别地类特点,又分别从农用地、建设用地和未利用地中单独划分出公路林带、农业水利用地、水利设施用地、未利用水面和黄河滩地等 5 个三级类,分类标准与现有的土地利用分类体系协调、一致,符合国土资源土地分类标准体系。
(5)基于遥感影像土地利用数据库建设,为国家和省土地宏观管理提供了现势性较强的土地利用电子数据,为国内同类工作的开展提供了技术依据。
考虑到国家和省级土地宏观管理的需要,根据项目制定的“基于遥感影像土地利用分类体系”,结合中地公司 MapGIS 土地利用数据库管理系统框架结构,项目组在 MapGIS 数据库管理系统平台的基础上,分别制定了《高分辨率影像数据处理及数据库建设技术要求》和《基于遥感影像 1∶1 万土地利用数据库标准》等,并在标准中明确了基于遥感影像的土地分类、文件命名规则、数据分层格式及要求等,保证了数据标准和数据格式的一致性及数据库建设质量,为国家和省提供了翔实的土地利用现势数据。
5 结 语
随着遥感技术和计算机技术的飞速发展,高分辨率遥感影像数据在土地管理工作中的应用越来越普遍,同时,遥感影像数据处理的技术手段也越来越科学、越来越先进,尤其是全国第二次土地调查工作的全面开展,将遥感影像在土地管理方面的应用推到一个前所未有的水平,因此,如何在影像数据处理过程中尽可能减少人力和财力投入已显得尤为重要。本项目针对上述问题,在科研与生产过程中,提出的采用 GPS 外业实测控制点作为影像校正控制资料、GPS 像控点图形图像数据建库及基于国家和省级土地管理需要而提出的基于遥感影像信息土地利用数据库标准等,进行了较好的诠释,为今后同类工作的开展进行了有益的探索。
参 考 文 献
常庆瑞,等.2004.遥感技术导论[M]. 北京:科学出版社
陈述彭,等.1998.遥感信息机理研究[M].北京:科学出版社
党安荣,等.2003.ERDAS IMAGING 遥感图像处理方法[M].北京:清华大学出版社
汤国安,等.2004.遥感数字影像处理[M]. 北京:科学出版社
徐柏清.1988.正射投影技术与影像地图[M].北京:测绘出版社
尤淑撑,刘顺喜.2002.GPS 在土地变更调查中的应用研究[J].测绘通报(5):1~3
张继贤,等.2000.图形图像控制点库及应用[J].测绘通报(1)
(原载《测绘通报》2008 年第 10 期)
Ⅹ 技术路线及数据库的建立
采用的技术方法主要包括:面向对象的空间数据库技术;多元信息集成、分析及挖掘技术;空间数据交互式表达技术。
所选技术方法的选择和配套组合充分体现了传统地质与现代信息技术相结合的发展趋势。具体技术路线以西天山阿吾拉勒成矿带西段铁矿资源潜力评价体系为主(图1-2)。
图1-2 新疆西天山阿吾拉勒西段成矿带铁矿资源潜力评价体系