数据库方案
❶ 数据库的容灾方案有哪几种,分别有什么优点和缺点!
简单的说几句吧。其实这个解决方案呢,主要是要先考虑成本问题,其他的,技术问题其实都很容易解决,但是企业应用上,最大的限制就是成本。下面以ORACLE数据库为例,简单说说。希望对你有所帮助。(数据库类型并不重要,解决方案都是大同小异。)
1、基于存储层的容灾复制方案
这种技术的复制机制是通过基于SAN的存储局域网进行复制,复制针对每个IO进行,复制的数据量比较大;系统可以实现数据的同步或异步两种方式的复制。对大数据量的系统来说有很大的优势(每天日志量在60G以上),但是对主机、操作系统、数据库版本等要求一致,且对络环境的要求比较高。
2、基于逻辑卷的容灾复制方案
这种技术的机制是通过基于TCP/IP的网络环境进行复制,由操作系统进程捕捉逻辑卷的变化进行复制。其特点与基于存储设备的复制方案比较类似,也可以选择同步或异步两种方式,对主机的软、硬件环境的一致性要求也比较高,对大数据量的应用比较有优势。其目标系统如果要实现可读,需要创建第三方镜像。个人认为这种技术和上面提到的基于存储的复制技术比较适合于超大数据量的系统,或者是应用系统的容灾复制。
3、基于oracle redo log的逻辑复制方式
使用这种方式的主要有一些第三方的软件,以及oracle自己的DATAGUARD 中的logical Standby。目前,国外已经有了很多比较成熟的产品及成功案例,国内也有类似的产品, 但在产品的成熟程度和成功案例上跟国外还有一定的差距。
使用oracle以外的独立进程,捕捉redo log file 的信息,将其翻译成sql语句,再通过网络传输到目标端数据库,在目标端数据库执行同样的sql。如果其进程赶不上oracle日志切换,也可以捕捉归档日志中的内容。也有的产品在源端以事务为单位,当一个事务完成后,再把它传输到目标端。所有的产品一般都是以表为单位进行复制,同时也支持大部分DDL的复制(主要在oracle9i环境中)。
数据库的吞吐量太大时,其实据会有较大的延迟,当数据库每天的日量达到60G或更大时,这种方案的可行性交差;实施的过程可能会有一些停机时间,来进行数据的同步和配置的激活;复制环境建立起来以后,对数据库结构上的一些修改需要按照规定的操作流程进行,有一定的维护成本。
❷ 数据库建设方案及数据质量检查标准
1 .制定调查资源整合方案
通过合理编码方式理顺各类数据间的关系,保证不同类别数据的紧密性,完整体现地学资料数据的多源性和空间性。
2.数据库建设标准
根据资源整合方案,利用关系数据库技术和空间数据库技术,建立CO2地质储存调查数据库,有效储存和管理各种空间数据和属性数据,保证数据间的逻辑合理性,达到充分利用调查数据,并快速输出数据的目的。
3.数据质量检查标准及方法
根据资源整合方案,制定数据质量标准,开发相应质量检查软件,对数据进行质量检查,确保入库数据的有效性和合法性。
❸ 数据库建设
(一)数据准备
1.数据收集
1∶25万遥感地质填图数据包含影像数据和矢量数据两种格式,影像数据主要包括:TM原始影像、SPOT原始影像、SAR原始影像、TM与SPOT融合影像、TM与SAR融合影像、信息增强分类处理后的整幅影像或影像子区;矢量数据主要包括:航磁等值线影像、1∶25万地形图、地质图、航磁解译地质图、遥感解译单元图、遥感解译地质图。现以新疆瓦石峡地区、内蒙古阿龙山地区为例,具体情况如下:
(1)瓦石峡地区
TM卫星影像
SAR卫星影像
航磁等值线(TIF)影像
航磁解译地质图
地质图
遥感解译影像单元图
遥感解译地质图
(2)阿龙山地区
TM卫星影像
SPOT卫星影像
航磁等值线(TIF)影像
地质图
航磁解译地质图
遥感解译地质图
2.数据预处理
1)影像数据处理,主要针对原始影像数据
(1)将TM原始影像、SPOT原始影像、SAR原始影像、航磁等值线(.JPG)数据格式转换为ERDAS的.IMG格式。
(2)对转换后的IMG文件进行投影转换。投影系采用6度分带的横轴墨卡托(Transverse Mercator)投影,投影参数为:
Units:Meters
Scale Factor:1.0
Longitude Of Center:123 00 00
Latitude Of Center:0 00 00
False Easting:500 KM
False Northing:0 KM
Xshift:0
Yshift:0
椭球(spheroid)体采用克拉索夫(Krasovsky)椭球,参数为:
SemiMajor:6378245.0000 Meters
SemiMinor:6356863.0188 Meters
坐标系采用大地坐标,度量单位为米,这样可以在GIS系统中方便的量算特征的长度和面积。
(3)图像坐标纠正
参照地形图选择同名点,对影像数据进行坐标精校正。同名点的选择不少于12个。
2)矢量数据处理
工作主要针对地质图、航磁解译地质图、遥感解译单元图、遥感解译地质图。
(1)数据分层
根据图面特征信息内容和制图要求,每幅矢量图按特征类型划分为点、线、面(区)三个图层。划分的依据是遥感地质解译图件的信息不完全等同于其他地质调查图件,它表现的内容主要是:从影像图中判读出的地层、岩石影像单元及构造界线,但各种地质特征的单位、时代、分类、度量、结构、方向等的描述不是十分具体,因此在属性定义上比较一致,对一个图件不需要产生基于同一特征类型的专题图层,因此按矢量特征类型划分较为合理、简便。
(2)图件扫描矢量化
将地质、影像单元等图件扫描成 TIF影像文件,按照分层要求,将每个图件数字化为点、线、面三个图层文件。处理的图件和产生的矢量图层文件见表3-1至3-7。
表3-1 矢量图层表
1∶25万遥感地质填图方法和技术
c.面特征:由于影像单元图的面特征描述有其特殊之处,有时遵照地层、岩石的分类方法国家标准,但绝大部分是按照影像颜色、纹理等划分和称谓,因此进行分类编码十分困难,有待进一步研究解决。
以上编码方法是在每种特征类型组合最大值和预留一定的扩充余地的基础上编制的,编码方案参照国标:GB958—89区域地质图图例(1∶5万)
(6)属性定义
说明:由于地质代号的组成方式极为复杂,使用了上下角标、希腊字符、拉丁字母等,而这些字符和格式在纯文本的属性字段中是不能完全或准确表达的,因此在录入时对地质代号进行了一些简化。
例如:Pt2xh简化为Pt2xh
简化为An1—3
(二)建立数据库
GIS空间数据库有两种存储形式:一是基于文件索引的传统空间数据库管理体系;二是采用商用关系数据库的解决方案,二者各有千秋。第一种结构是对应用的集成,而数据是松散的,虽不利于数据的集中管理,但对不同系统平台之间共享数据提供了很大方便,特别是数据较少的小型应用系统。这种结构的另外一个可取之处是方案简单,工作量小,不需要数据库方面的专业知识。第二种结构既是应用的集成,也是数据的集成,并且提供所有的RDBMS的数据和安全管理优势,但它需要专用的空间数据引擎,对其他软件使用数据是一个极大的限制,必须进行数据的导入导出和格式转换,并且要求使用者对RDBMS有一定的操作和管理经验。
由于本集成系统采用的是ARC/INFO和ERDAS软件,它们之间只能达到文件方式的数据共享,虽然ARC/INFO 8提供了GeoDataBase这种关系数据库管理模式,实现真正的空间数据集中管理和RDBMS所有的数据管理能力,但为了满足两个软件之间数据的交互处理,本系统采用文件索引形式的数据库。在数据完备的基础上,建库工作需以下两个步骤:
(1)首先创建基于项目的不同格式、不同类型的目录树工作区,把所有数据文件分类保存在这个工作区中,工作区框架以瓦石峡幅数据为例(图3-5)。
(2)然后在 ARC/INFO 的 ARCMAP中新建一个 MAP DOCUMENT(以下简称为文档),添加所有数据文件到文档中。文档中每个数据文件都被称为一个 LAYER(以下简称为层),每个矢量层可以有它自己的环境,文档可以保存环境的变化。使用者只需打开这个文档即可调用项目所有的数据文件,并且恢复到上一次工作时的状态。
图3-5 数据分层结构图
在MAP DOCUMENT这种集成的数据环境下,使用者可以采用ARC/INFO 8的ARCEDITOR、ARCMAP参照影像图层进行矢量化的解译工作,对已形成的图件直接进行图形和属性编辑,进行辅助解译的空间分析,对各种图件进行叠加比较,使用文字标签或属性字段标注特征,按照分类符号化特征,制作专题图,打印输出图件报表等,实现一系列与遥感解译有关的功能和操作。
由于ARC/INFO提供的地质图式图例和符号不能满足我国的地质成图要求,因此制图软件采用地质行业较为通用的MAPGIS。通过ARCTOOLS工具将最终的解译成果矢量地质图转换为ARC/INFO的标准交换格式E00,提交给MAPGIS形成绘图文件,出版印刷。具体的实施方案和技术流程见“成果图件制作方法研究”一节。
❹ 关于数据库安全及其防范方案的分析
关于数据库安全及其防范方案的分析
随着网络的不断发展,数据的共享日益加强,数据的安全保密越来越重要。为了计算机数据库整体安全性的控制,需要做好很多细节性的工作,并根据具体应用环境的安全需要来分析安全薄弱环节,并制定统一的安全管理策略加以实施,以保证其最高的安全性。
1.数据库安全环境的分析
随着时代的发展,我国的计算机信息安全标准也在不断提升。在当下的数据库系统安全控制模块中,我国数据库安全分为不同的等级。但是总体来说,我国的数据库安全性是比较低的,这归结于我国数据技术体系的落后。为了更好的健全计算机数据库体系,进行数据库安全体系的研究是必要的。我国现有的一系列数据安全理论是落后于发达国家的。这体现在很多的应用领域,比如电力领域、金融领域、保险领域等。很多软件都是因为其比较缺乏安全性而得不到较大范围的应用,归根结底是数据库安全性级别比较低。
为了满足现阶段数据库安全工作的需要,进行相关标准的深化研究是必要的。这需要对数据库安全进行首要考虑,且需要考虑到方方面面,才更有利于数据库保密性的控制,从而保证这些数据存储与调用的一致性。
在当前数据库安全控制过程中,首先需要对这些数据进行可用性的分析,从而有利于避免数据库遭到破坏,更有利于进行数据库的损坏控制及其修复。其次为了保证数据库的安全性、效益性,也离不开对数据库整体安全性方案的应用。最后必须对数据库进行的一切操作进行跟踪记录,以实现对修改和访问数据库的用户进行追踪,从而方便追查并防止非法用户对数据库进行操作。
2.数据库安全策略的更新
为了满足现阶段数据库安全性方案的应用,进行身份的鉴别是必要的。所谓的身份鉴别就是进行真实身份及其验证身份的配比,这样可以避免欺诈及其假冒行为的发生。身份鉴别模式的应用,表现在用户使用计算机系统进行资源访问时。当然在一些特定情况下,也要进行身份鉴别,比如对某些稀缺资源的访问。
身份鉴别通常情况下可以采用以下三种方法:一是通过只有被鉴别人自己才知道的信息进行鉴别,如密码、私有密钥等;二是通过只有被鉴别人才拥有的信物进行鉴别,如IC 卡、护照等;三是通过被鉴别人才具有的生理或者行为特征等来进行鉴别,如指纹、笔迹等。
在当前访问控制模块中,除了进行身份鉴别模式的应用外,还需要进行信息资源的访问及其控制,这样更有利于不同身份用户的权限分配。这就需要进行访问级别的控制,针对各个系统的内部数据进行操作权限的控制,进行自主性及其非自主性访问的控制,满足数据库的安全需要。实现用户对数据库访问权限进行控制,让所有的用户只能访问自己有权限使用的数据。当某一个用户具有对某些数据进行访问的权限时,他还可以把对这些数据的操作权限部分或者全部的转移给其他用户,这样其他的用户也获得了对这些数据的访问权。
为了更好的进行数据库的安全管理,审计功能的应用也必不可少。这需要就数据库的数据进行统一性的操作。这样管理员更加方便对数据库应用情况进行控制,审计功能也有利于对数据库的操作行为进行控制,更有利于控制用户对数据库的访问。攻击检测是通过升级信息来分析系统的内部和外部所有对数据库的攻击企图,把当时的攻击现场进行复原,对相关的攻击者进行处罚。通过这种方法,可以发现数据库系统的安全隐患,从而来改进以增加数据库系统的安全性。
在数据库数据处理过程中,可以进行一些合法查询模式的应用,当需要调取保密数据时,就需要应用推理分析模块。这是数据库安全性方案控制过程中的重难点,而通过这种简单的推理分析方法调取保密数据,是得不到有效解决的。但是我们可以使用以下几种方法来对这种推理进行控制:数据加密的基本思想就是改变符号的排列方式或按照某种规律进行替换,使得只有合法的用户才能理解得到的数据,其他非法的用户即使得到了数据也无法了解其内容。
通过对加密粒度的应用,更有利于进行数据库加密性的控制。其分为几种不同的应用类型等级。在当前应用模块中,需要进行数据保护级别的分析,进行适当的加密粒度的分析。更有利于满足数据库级别加密的需要。该加密技术的应用针对的是整体数据库,从而针对数据库内部的表格、资料等加密。采用这种加密粒度,加密的密钥数量较少,一个数据库只需要一个加密密钥,对于密钥的管理比较简单。但是,由于数据库中的数据能够被许多的用户和应用程序所共享,需要进行很多的数据处理,这将极大的降低服务器的运行效率,因此这种加密粒度只有在一些特定的情况下才使用。
表级加密也是比较常用的方法,这种方法应用于数据库内部的数据加密。针对具体的存储数据页面进行加密控制。这对于系统的运行效率的提升具备一定的帮助,不会影响系统的运行效率。这种方法需要应用到一些特殊工具进行处理,比如解释器、词法分析器等,进行核心模块的控制,进行数据库管理系统源代码的控制及其优化。但是其难以确保数据库管理系统的整体逻辑性,也存在缺陷。记录级加密;这种加密技术的加密粒度是表格中的每一条记录,对数据库中的每一条记录使用专门的函数来实现对数据的加密、解密。通过这种加密方法,加密的粒度更加小巧,具有更好的选择性和灵活性。字段级加密;这种加密技术的加密粒度是表格中的某一个或者几个字段。通过字段级的加密粒度只需要对表格中的敏感列的数据进行加密,而不需要对表格中的所有的数据进行加密。
选择加密算法也是比较常见的数据加密方法。它是数据加密的核心部分。对于数据库的整体安全性的控制具有直接性的影响。通过对加密算法的分析,得知其分为公共密钥加密及其对称加密。在数据加密模块中,需要进行密文及其明文的区分,从而进行明文及其密文的转换,也就是普遍意义上的密码。密码与密钥是两个不同的概念。后者仅是收发双方知道的信息。在数据加密技术中,对密钥进行管理主要包括以下几个方面,产生密钥。产生怎样的密钥主要取决于使用什么样的算法。若产生的密钥强度不一样就称这种算法实现的是非线性的密钥空间,若产生的密钥强度一样就称这种算法实现的是线性的密钥空间。分配密钥、传递密钥:分配密钥就是产生一个密钥并且将这个密钥分配给某个用户使用的过程。
密钥的传递分为不同的应用形式,集中式与分散式。所谓的集中式就是进行密钥整体式的传递;所谓的分散式就是对密钥的多个部分进行划分,以秘密的方法给用户进行传递。通过将整体方法与分散方法应用到存储模块中,更好的满足现阶段数据库整体安全性的需要。对于密钥的备份可以使用和对密钥进行分散存储一样的方式进行,以避免太多的人知道密钥;而销毁密钥需要有管理和仲裁机制,以防止用户对自己的操作进行否认。
3.结束语
随着计算机,特别是网络的不断发展,数据的共享日益加强,数据的安全保密越来越重要。本文详细阐述了数据库的安全防范,分别从数据分析、用户鉴别、访问权限控制、审计、数据加密等环节逐一剖析数据库安全。为了计算机数据库整体安全性的控制,需要做好很多细节性的工作,并根据具体应用环境的安全需要来分析安全薄弱环节,并制定统一的安全管理策略加以实施,以保证其最高的安全性。
❺ 谁知道数据库优化设计方案有哪些
本文首先讨论了基于第三范式的数据库表的基本设计,着重论述了建立主键和索引的策略和方案,然后从数据库表的扩展设计和库表对象的放置等角度概述了数据库管理系统的优化方案。
关键词: 优化(Optimizing) 第三范式(3NF) 冗余数据(Rendant Data) 索引(Index) 数据分割(Data Partitioning) 对象放置(Object Placement)
1 引言
数据库优化的目标无非是避免磁盘I/O瓶颈、减少CPU利用率和减少资源竞争。为了便于读者阅读和理解,笔者参阅了Sybase、Informix和Oracle等大型数据库系统参考资料,基于多年的工程实践经验,从基本表设计、扩展设计和数据库表对象放置等角度进行讨论,着重讨论了如何避免磁盘I/O瓶颈和减少资源竞争,相信读者会一目了然。
2 基于第三范式的基本表设计
在基于表驱动的信息管理系统(MIS)中,基本表的设计规范是第三范式(3NF)。第三范式的基本特征是非主键属性只依赖于主键属性。基于第三范式的数据库表设计具有很多优点:一是消除了冗余数据,节省了磁盘存储空间;二是有良好的数据完整性限制,即基于主外键的参照完整限制和基于主键的实体完整性限制,这使得数据容易维护,也容易移植和更新;三是数据的可逆性好,在做连接(Join)查询或者合并表时不遗漏、也不重复;四是因消除了冗余数据(冗余列),在查询(Select)时每个数据页存的数据行就多,这样就有效地减少了逻辑I/O,每个Cash存的页面就多,也减少物理I/O;五是对大多数事务(Transaction)而言,运行性能好;六是物理设计(Physical Design)的机动性较大,能满足日益增长的用户需求。
在基本表设计中,表的主键、外键、索引设计占有非常重要的地位,但系统设计人员往往只注重于满足用户要求,而没有从系统优化的高度来认识和重视它们。实际上,它们与系统的运行性能密切相关。现在从系统数据库优化角度讨论这些基本概念及其重要意义:
(1)主键(Primary Key):主键被用于复杂的SQL语句时,频繁地在数据访问中被用到。一个表只有一个主键。主键应该有固定值(不能为Null或缺省值,要有相对稳定性),不含代码信息,易访问。把常用(众所周知)的列作为主键才有意义。短主键最佳(小于25bytes),主键的长短影响索引的大小,索引的大小影响索引页的大小,从而影响磁盘I/O。主键分为自然主键和人为主键。自然主键由实体的属性构成,自然主键可以是复合性的,在形成复合主键时,主键列不能太多,复合主键使得Join*作复杂化、也增加了外键表的大小。人为主键是,在没有合适的自然属性键、或自然属性复杂或灵敏度高时,人为形成的。人为主键一般是整型值(满足最小化要求),没有实际意义,也略微增加了表的大小;但减少了把它作为外键的表的大小。
(2)外键(Foreign Key):外键的作用是建立关系型数据库中表之间的关系(参照完整性),主键只能从独立的实体迁移到非独立的实体,成为后者的一个属性,被称为外键。
(3)索引(Index):利用索引优化系统性能是显而易见的,对所有常用于查询中的Where子句的列和所有用于排序的列创建索引,可以避免整表扫描或访问,在不改变表的物理结构的情况下,直接访问特定的数据列,这样减少数据存取时间;利用索引可以优化或排除耗时的分类*作;把数据分散到不同的页面上,就分散了插入的数据;主键自动建立了唯一索引,因此唯一索引也能确保数据的唯一性(即实体完整性);索引码越小,定位就越直接;新建的索引效能最好,因此定期更新索引非常必要。索引也有代价:有空间开销,建立它也要花费时间,在进行Insert、Delete和Update*作时,也有维护代价。索引有两种:聚族索引和非聚族索引。一个表只能有一个聚族索引,可有多个非聚族索引。使用聚族索引查询数据要比使用非聚族索引快。在建索引前,应利用数据库系统函数估算索引的大小。
① 聚族索引(Clustered Index):聚族索引的数据页按物理有序储存,占用空间小。选择策略是,被用于Where子句的列:包括范围查询、模糊查询或高度重复的列(连续磁盘扫描);被用于连接Join*作的列;被用于Order by和Group by子句的列。聚族索引不利于插入*作,另外没有必要用主键建聚族索引。
② 非聚族索引(Nonclustered Index):与聚族索引相比,占用空间大,而且效率低。选择策略是,被用于Where子句的列:包括范围查询、模糊查询(在没有聚族索引时)、主键或外键列、点(指针类)或小范围(返回的结果域小于整表数据的20%)查询;被用于连接Join*作的列、主键列(范围查询);被用于Order by和Group by子句的列;需要被覆盖的列。对只读表建多个非聚族索引有利。索引也有其弊端,一是创建索引要耗费时间,二是索引要占有大量磁盘空间,三是增加了维护代价(在修改带索引的数据列时索引会减缓修改速度)。那么,在哪种情况下不建索引呢?对于小表(数据小于5页)、小到中表(不直接访问单行数据或结果集不用排序)、单值域(返回值密集)、索引列值太长(大于20bitys)、容易变化的列、高度重复的列、Null值列,对没有被用于Where子语句和Join查询的列都不能建索引。另外,对主要用于数据录入的,尽可能少建索引。当然,也要防止建立无效索引,当Where语句中多于5个条件时,维护索引的开销大于索引的效益,这时,建立临时表存储有关数据更有效。
批量导入数据时的注意事项:在实际应用中,大批量的计算(如电信话单计费)用C语言程序做,这种基于主外键关系数据计算而得的批量数据(文本文件),可利用系统的自身功能函数(如Sybase的BCP命令)快速批量导入,在导入数据库表时,可先删除相应库表的索引,这有利于加快导入速度,减少导入时间。在导入后再重建索引以便优化查询。
(4)锁:锁是并行处理的重要机制,能保持数据并发的一致性,即按事务进行处理;系统利用锁,保证数据完整性。因此,我们避免不了死锁,但在设计时可以充分考虑如何避免长事务,减少排它锁时间,减少在事务中与用户的交互,杜绝让用户控制事务的长短;要避免批量数据同时执行,尤其是耗时并用到相同的数据表。锁的征用:一个表同时只能有一个排它锁,一个用户用时,其它用户在等待。若用户数增加,则Server的性能下降,出现“假死”现象。如何避免死锁呢?从页级锁到行级锁,减少了锁征用;给小表增加无效记录,从页级锁到行级锁没有影响,若在同一页内竞争有影响,可选择合适的聚族索引把数据分配到不同的页面;创建冗余表;保持事务简短;同一批处理应该没有网络交互。
(5)查询优化规则:在访问数据库表的数据(Access Data)时,要尽可能避免排序(Sort)、连接(Join)和相关子查询*作。经验告诉我们,在优化查询时,必须做到:
① 尽可能少的行;
② 避免排序或为尽可能少的行排序,若要做大量数据排序,最好将相关数据放在临时表中*作;用简单的键(列)排序,如整型或短字符串排序;
③ 避免表内的相关子查询;
④ 避免在Where子句中使用复杂的表达式或非起始的子字符串、用长字符串连接;
⑤ 在Where子句中多使用“与”(And)连接,少使用“或”(Or)连接;
⑥ 利用临时数据库。在查询多表、有多个连接、查询复杂、数据要过滤时,可以建临时表(索引)以减少I/O。但缺点是增加了空间开销。
除非每个列都有索引支持,否则在有连接的查询时分别找出两个动态索引,放在工作表中重新排序。
3 基本表扩展设计
基于第三范式设计的库表虽然有其优越性(见本文第一部分),然而在实际应用中有时不利于系统运行性能的优化:如需要部分数据时而要扫描整表,许多过程同时竞争同一数据,反复用相同行计算相同的结果,过程从多表获取数据时引发大量的连接*作,当数据来源于多表时的连接*作;这都消耗了磁盘I/O和CPU时间。
尤其在遇到下列情形时,我们要对基本表进行扩展设计:许多过程要频繁访问一个表、子集数据访问、重复计算和冗余数据,有时用户要求一些过程优先或低的响应时间。
如何避免这些不利因素呢?根据访问的频繁程度对相关表进行分割处理、存储冗余数据、存储衍生列、合并相关表处理,这些都是克服这些不利因素和优化系统运行的有效途径。
3.1 分割表或储存冗余数据
分割表分为水平分割表和垂直分割表两种。分割表增加了维护数据完整性的代价。
水平分割表:一种是当多个过程频繁访问数据表的不同行时,水平分割表,并消除新表中的冗余数据列;若个别过程要访问整个数据,则要用连接*作,这也无妨分割表;典型案例是电信话单按月分割存放。另一种是当主要过程要重复访问部分行时,最好将被重复访问的这些行单独形成子集表(冗余储存),这在不考虑磁盘空间开销时显得十分重要;但在分割表以后,增加了维护难度,要用触发器立即更新、或存储过程或应用代码批量更新,这也会增加额外的磁盘I/O开销。
垂直分割表(不破坏第三范式),一种是当多个过程频繁访问表的不同列时,可将表垂直分成几个表,减少磁盘I/O(每行的数据列少,每页存的数据行就多,相应占用的页就少),更新时不必考虑锁,没有冗余数据。缺点是要在插入或删除数据时要考虑数据的完整性,用存储过程维护。另一种是当主要过程反复访问部分列时,最好将这部分被频繁访问的列数据单独存为一个子集表(冗余储存),这在不考虑磁盘空间开销时显得十分重要;但这增加了重叠列的维护难度,要用触发器立即更新、或存储过程或应用代码批量更新,这也会增加额外的磁盘I/O开销。垂直分割表可以达到最大化利用Cache的目的。
总之,为主要过程分割表的方法适用于:各个过程需要表的不联结的子集,各个过程需要表的子集,访问频率高的主要过程不需要整表。在主要的、频繁访问的主表需要表的子集而其它主要频繁访问的过程需要整表时则产生冗余子集表。
注意,在分割表以后,要考虑重新建立索引。
3.2 存储衍生数据
对一些要做大量重复性计算的过程而言,若重复计算过程得到的结果相同(源列数据稳定,因此计算结果也不变),或计算牵扯多行数据需额外的磁盘I/O开销,或计算复杂需要大量的CPU时间,就考虑存储计算结果(冗余储存)。现予以分类说明:
若在一行内重复计算,就在表内增加列存储结果。但若参与计算的列被更新时,必须要用触发器更新这个新列。
若对表按类进行重复计算,就增加新表(一般而言,存放类和结果两列就可以了)存储相关结果。但若参与计算的列被更新时,就必须要用触发器立即更新、或存储过程或应用代码批量更新这个新表。
若对多行进行重复性计算(如排名次),就在表内增加列存储结果。但若参与计算的列被更新时,必须要用触发器或存储过程更新这个新列。
总之,存储冗余数据有利于加快访问速度;但违反了第三范式,这会增加维护数据完整性的代价,必须用触发器立即更新、或存储过程或应用代码批量更新,以维护数据的完整性。
3.3 消除昂贵结合
对于频繁同时访问多表的一些主要过程,考虑在主表内存储冗余数据,即存储冗余列或衍生列(它不依赖于主键),但破坏了第三范式,也增加了维护难度。在源表的相关列发生变化时,必须要用触发器或存储过程更新这个冗余列。当主要过程总同时访问两个表时可以合并表,这样可以减少磁盘I/O*作,但破坏了第三范式,也增加了维护难度。对父子表和1:1关系表合并方法不同:合并父子表后,产生冗余表;合并1:1关系表后,在表内产生冗余数据。
4 数据库对象的放置策略
数据库对象的放置策略是均匀地把数据分布在系统的磁盘中,平衡I/O访问,避免I/O瓶颈。
⑴ 访问分散到不同的磁盘,即使用户数据尽可能跨越多个设备,多个I/O运转,避免I/O竞争,克服访问瓶颈;分别放置随机访问和连续访问数据。
⑵ 分离系统数据库I/O和应用数据库I/O。把系统审计表和临时库表放在不忙的磁盘上。
⑶ 把事务日志放在单独的磁盘上,减少磁盘I/O开销,这还有利于在障碍后恢复,提高了系统的安全性。
⑷ 把频繁访问的“活性”表放在不同的磁盘上;把频繁用的表、频繁做Join*作的表分别放在单独的磁盘上,甚至把把频繁访问的表的字段放在不同的磁盘上,把访问分散到不同的磁盘上,避免I/O争夺;
⑸ 利用段分离频繁访问的表及其索引(非聚族的)、分离文本和图像数据。段的目的是平衡I/O,避免瓶颈,增加吞吐量,实现并行扫描,提高并发度,最大化磁盘的吞吐量。利用逻辑段功能,分别放置“活性”表及其非聚族索引以平衡I/O。当然最好利用系统的默认段。另外,利用段可以使备份和恢复数据更加灵活,使系统授权更加灵活。
❻ 数据库规划一般要包含那些内容
总体数据规划主要从三个方面去规划:1、管理方面、2、技术方面 3、用户方面。
总体规划的内容包括:战略的业务规划、战略的信息技术规划、战略的数据规划。
❼ 目前主流的分布式数据库系统实现方案有哪些
(1)方案一(数据库保存所有服务器索引信息)
全对称结构,没有中央服务器
web方案:
只从本地数据库检索符合条件的记录,给出结果
每次检索都要从本地服务器的海量数据中进行
数据库方案:
数据库保存所有服务器的索引内容
缓存命中率高的记录,减少检索时间
服务器负载分析:
服务器负载假设:
一百个结点,每结点一百人同时使用,每个结点一万条记录
web服务器:同时一百线程在本地数据库服务器检索
数据库服务器:每次接收一百个查询请求;每个请求要从一百万条索引中检索(最坏的情况);缓冲机制可以稍微减轻负担
数据更新操作:
同时更新所有数据库/只更新本地,服务器间相互同步
方案二(数据库保存本地索引及少量缓冲)
每高校作为一个结点
所有结点全对称结构,网络中没有一个中央服务器
web方案:
接收到请求时同时多线程向其它服务器同时搜索(服务器压力问题?)
数据库方案:
数据库保存本地数据
数据库保存一定量缓冲数据,
服务器负载分析:
服务器负载假设:
一百个结点,每结点一百人同时使用
则每个web服务器同时发起一万个线程向其它数据服务器搜索(oops!)
每个数据库服务器会同时接收到一万个查询请求(oops!)
采用学习过程只能少量减少查询请求和web服务器搜索线程
数据更新操作:
只更新本地
方案三(中央服务器方案一)
每高校一个结点
每结点结构相同,连接到同一个中央服务器
web方案
每个查询向中央服务器进行,由中央服务器实行检索,中央服务器返回检索结果
数据库方案
中央数据库保存所有索引信息
每结点可以只用小型数据库保存本地用户和其它信息即可
服务器负载分析:
服务器负载假设:
一百个结点,每结点一百人同时使用,每结点资料记录一万条
web服务器:同时发起一百个进程向中央数据库查询
数据库服务器(中央):同时接收一万条查询请求并返回大容量结果
数据库服务器(结点):少量工作
数据更新操作:
只更新中央服务器
方案四(中央服务器方案二)
每高校一个结点
每结点结构相同,连接到同一中央服务器
web方案:
每个查询向中央服务器进行,由中央服务器根据查询内容进行转发到结点数据库,再由结点数据库返回结果
数据库方案:
中央服务器保存各结点分类信息,根据页面请求的分类转发查询到相应服务器
服务器负载分析:
服务器负载假设:
一百个结点,每结点一百人同时使用,每结点资料记录一万条,每结点一百个类别
web服务器:同时一百个进程向中央数据库查询
数据库服务器(中央):同时接收一万条请求并转发
数据库服务器(结点):从中央服务器接收查询请求,最坏情况下每结点接收到一万条查询请求
数据更新操作:
只更新本地服务器
分类变化时更新中央服务器
❽ oracle数据库中什么叫方案
schema,一组对象的集合,通常一个schema就是用户名,下面集结这个用户下的所有对象
❾ oracle数据库迁移方案 文档怎么写
Oracle 数据库迁移文档可以按如下格式进行写:
一、需求分析:
数据库所有文件(数据文件、日志文件、临时文件、控制文件)都存放在光纤存储中,但是光纤存储使用时间过长,超过3年,经常出现一些问题,而且光纤存储需要厂家维护,维护方面不是很方便,需要将数据库文件迁移到nas存储中。
二、操作步骤:
1:具体需求
2:保存现有数据文件、控制文件、临时文件、日志文件位置
3:停止监听,并关闭数据库
4:移动所有数据文件、控制文件、临时文件、日志文件到新的位置
5:启动数据库到nomount状态,并更改控制文件位置,关闭数据库
6:启动数据库到mount状态
7:更改数据文件、临时文件、日志文件位置
7:打开数据库
8:重启验证