db2数据库优化
A. DB2数据库更新数据缓慢,求优化建议
你这样写很不好,看起来写的是一句sql,反而速度慢下来了。首先row_number() over() as rownum毫无必要,这样来分页效率不高。然后能不用*就不用*查询。在大数据量和列很多的情况下,会慢很多。
而且你也说了,更新1W条数据需要半个小时。那么可以采用存储过程或者程序来访问。这样会快很多,推荐采用存储过程,110W条数据,就算重建索引等,更新一条应该在200ms一下,一万条,不会那么久的。希望能帮助得到你。
你这样写sql语句,执行时间太久了,会造成假死现象,这样很不好。
B. 基于DB2的数据库应用系统的性能优化
摘要 结合DB 的使用经验 从数据库设计 查询优化 并发控制 客户/服务器模式四个方面来讨论数据库应用系统性能优化的一些原则 方法等
关键词 DB 性能优化 数据库设计 查询优化 并发控制 C/S模式
引言
DB 是一种高性能的大型关系数据库管理系统 广泛的应用在客户/服务器体系结构中 评价系统性能优化的标准有 吞吐量 响应时间 并行能力等 本文从数据库的设计 查询的优化 并发控制以及客户/服务器模式这四个角度来讨论优化系统性能
设计数据库
熟悉业务系统
对业务系统的熟悉程度对整个数据库系统的性能有很大影响 一个对业务不熟悉的设计人员 尽管有丰富的数据库知识 也很难设计出性能最佳的数据库应用系统
规范化与非规范化
数据库被规范化后 减少了数据冗余 数据量变小 数据行变窄 这样DB 的每一页可以包括更多行 那么每一区里的数据量更多 从而加速表的扫描 改进了单个表的查询性能 但是 当查询涉及多个表的时候 需要用很多连接操作把信息从各个表中组合在一起 导致更高的CPU和I/O花销 那么 有很多时候需要在规范化和非规范化之间保持平衡 用适当的冗余信息来减少系统开销 用空间代价来换取时间代价 有订单信息表OrderDetail 它里面记录了投递员信息 收款员信息 物品信息 价格策略 客户信息… 这些信息分别在投递员信息表 收款员信息表 物品信息表 价格策略表 客户信息表中存放 如果按照规范化的要求 OrderDetail查询时就必须要与这么多个表进行连接或者嵌套查询 如果OrderDetail表中的数据量是在百万级的 那么一次查询所需要的时间可能会达到好几个小时 事实上 只要在设计时保证数据的逻辑有效性 很多信息都可以直接冗余在OrderDetail表中 这些冗余的数据能够极大的提高查询的效率 从而减少CPU和I/O操作
数据条带化
如果一个表的记录条数超过一定的规模 那么最基本的查询操作也会受到影响 需要将该表根据日期水平划分 把最近 最经常用的数据和历史的 不经常用的数据划分开来 或是根据地理位置 部门等等进行划分 还有一种划分方式――垂直划分 即把一个属性列很多的表分割成好几个小表 比如把经常用到的属性放在一个表里 不经常用到的属性放在另一个表里 这样可以加快表的扫描 提高效率
选择数据类型
对每一属性选择什么样的数据类型很大程度上依据表的要求 但是在不违背表要求的前提下 选择适当的数据类型可以提高系统性能 比如有text列存放一本书的信息 用BLOB而不是character( ) BLOB存放的是指针或者文件参照变量 真正的文本信息可以放在数据库之外 从而减少数据库存储空间 使得程序运行的速度提高 DB 提供了UDT(User Defined Datatypes)功能 用户可以根据自己的需要定义自己的数据类型
选择索引
索引是数据库中重要的数据结构 它的根本目的就是为了提高查询效率 现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构 使用索引可以快速 直接 有序的存取数据 索引的建立虽然加快了查询 另一方面却将低了数据更新的速度 因为新数据不仅要增加到表中 也要增加到索引中 另外 索引还需要额外的磁盘空间和维护开销 因此 要合理使用索引
●在经常进行连接 但是没有指定为外键的属性列上建立索引
●在频繁进行排序或分组(即进行group by或order by操作)的列上建立索引 按索引来排序或分组 可以提高效率
●在条件表达式中经常用到的不同值较多的列上建立检索 在不同值少的列上不要建立索引
●如果待排序的列有多个 可以在这些列上建立复合索引(pound index) 即索引由多个字段复合而成
查询优化
现在的数据库产品在系统查询优化方面已经做得越来越好 但由于用户提交的SQL语句是系统优化的基础 很难设想一个原本糟糕的查询计划经过系统的优化之后会变得高效 因此用户所写语句的优劣至关重要 下面重点说明改善用户查询计划的解决方案
. 排序
在很多时候 应当简化或避免对大型表进行重复的排序 当能够利用索引自动以适当的次序产生输出时 可以避免排序的步骤 当以下的情况发生时 排序就不能省略
●索引中不包括一个或几个待排序的列
●group by或order by子句中列的次序与索引的次序不一样
●排序的列来自不同的表
为了避免不必要的排序 就要正确地增建索引 合理地合并数据库表 尽管有时可能影响表的规范化 但相对于效率的提高是值得的 如果排序不可避免 那么应当试图简化它 如缩小排序列的范围等
. 主键
主键用整型会极大的提高查询效率 而字符型的比较开销要比整型的比较开销大很多 用字符型数据作主键会使数据插入 更新与查询的效率降低 数据量小的时候这点降低可能不会被注意 可是当数据量大的时候 小的改进也能够提高系统的响应速度
. 嵌套查询
在SQL语言中 一个查询块可以作为另一个查询块中谓词的一个操作数 因此 SQL查询可以层层嵌套 例如在一个大型分布式数据库系统中 有订单表Order 订单信息表OrderDetail 如果需要两表关联查询
SELECT CreateUserFROM Order WHERE OrderNo IN(SELECT OrderNoFROM OrderDetail WHERE Price= )
在这个查询中 找出报纸单价为 元的收订员名单 下层查询返回一组值给上层查询 然后由上层查询块再根据下层块提供的值继续查询 在这种嵌套查询中 对上层查询的每一个值OrderNo 下层查询都要对表OrderDetail进行全部扫描 执行效率显然不会高 在该查询中 有 层嵌套 如果每层都查询 行 那么这个查询就要查询 万行数据 在系统开销中 对表Order的扫描占 % 对表OrderDetail的搜索占 % 如果我们用连接来代替 即
SELECT CreateUserFROM Order OrderDetailWHERE Order OrderNo=OrderDetail OrderNo AND Praice=
那么对表Order的扫描占 % 对表OrderDetail的搜索占 %
而且 一个列的标签同时在主查询和where子句中的查询中出现 那么很可能当主查询中的列值改变之后 子查询必须重新查询一次 查询嵌套层次越多 效率越低 因此应当尽量避免子查询 如果子查询不可避免 那么要在子查询中过滤掉尽可能多的行
. 通配符
在SQL语句中 LIKE关键字支持通配符匹配 但这种匹配特别耗费时间 例如 SELECT * FROM Order WHERE CreateUser LIKE M_ _ _ 即使在CreateUser字段上建立了索引 在这种情况下也还是采用顺序扫描的方式 Order表中有 条记录 就需要比较 次 如果把语句改为SELECT * FROM Order WHERE CreateUser > M AND CreateUser < N 在执行查询时就会利用索引来查询 显然会大大提高速度
. distinct
使用distinct是为了保证在结果集中不出现重复值 但是distinct会产生一张工作表 并进行排序来删除重复记录 这会大大增加查询和I/O的操作次数 因此应当避免使用distinct关键字
. 负逻辑
负逻辑如!= <> not in等 都会导致DB 用表扫描来完成查询 当表较大时 会严重影响系统性能 可以用别的操作来代替
. 临时表
使用临时表时数据库会在磁盘中建立相应的数据结构 因为内存的访问速度远远大于外部存储器的访问速度 在复杂查询中使用临时表时 中间结果会被导入到临时表中 这种磁盘操作会大大降低查询效率 另外 在分布式系统中 临时表的使用还会带来多个查询进程之间的同步问题 所以 在进行复杂查询时最好不要使用临时表
. 存储过程
DB 中的Stored Procere Builder可以产生存储过程 运行并测试存储过程 存储过程可以包含巨大而复杂的查询或SQL操作 经过编译后存储在DB 数据库中 用户在多次使用同样的SQL操作时 可以先把这些SQL操作做成存储过程 在需要用到的地方直接引用其名字进行调用 存储过程在第一次执行时建立优化的查询方案 DB 将查询方案保存在高速缓存里 以后调用运行时可以直接从高速缓存执行 省去了优化和编译的阶段 节省了执行时间 从而提高效率和系统利用率
最优的查询方案按照某些标准选择往往不可行 要根据实际的要求和具体情况 通过比较进行选择 DB 提供的Query Patroller可以对不同的查询方案的查询代价进行比较 通过追踪查询语句 返回查询不同阶段的系统开销 从而作出最佳选择 DB 提供的Performance Monitor也对整个数据库系统的性能进行监控 包括I/O时间 查询次数 排序时间 同步读写时间等等
数据库系统的并发控制也能影响系统性能 多个用户的同时操作可能导致数据的不一致性 DB 为了防止同时修改造成数据丢失和访问未被提交的数据 以及数据的保护读 采用Lock机制来实现控制
lishixin/Article/program/DB2/201311/21921
C. 如何优化一个有100万条记录的数据库表
可以采取两个手段:
第一:将数据库表拆分到不同的库中,比如 tblMEMBER 就可以拆分到 DB1 与 DB2 中去。 实际上,可以拆分到 DB001 ... DB100 甚至更多的库中间去。 DB1 与 DB2 最好不在一块硬盘上。
第二:如果更大量级的数据,则最好拆分到不同的数据库服务器中去。 数据库的拆分带来的是查询等操作的复杂性。简单地可以通过 hash 或者 按序号 匹配不同的数据库。复杂一些,应该设置一个独立的应用服务器(软件)协调其中的操作。
D. db2 merge 操作的优化问题。
easy .
1: number加上索引 ;
2: 查询语句加上with ur 指定隔离级别可以避免锁表
另外:number加上索引之后也就加快delete操作的效率
E. 如何使用 REORG 和 RUNSTATS 命令优化数据库性能
当数据库里某张表上有大量插入操作时,需要在表上做 RUNSTATS 命令保证数据库掌握准确的统计信息。
当数据库里某张表中的记录变化很大时(大量插入、删除、更新操作),需要在表上做 REORG 和 RUNSTATS 一组维护操作来优化查询的性能。有的表,可能初始化后从来都不会有数据量变化,就只需要做一次维护;有的表,一天之内的变化就很大,每天需要做多次维护。
注意,针对数据库对象的大量操作,如反复地删除表,存储过程,会引起系统表中数据的频繁改变,在这种情况下,也要考虑对系统表进行REORG操作。
一个完整的 REORG 表的过程应该是由下面的步骤组成的:
RUNSTATS -> REORGCHK -> REORG -> RUNSTATS -> BIND 或 REBIND
0 执行下面命令前要先连接数据库
1 RUNSTATS
由于在第二步中 REORGCHK 时可以对指定的表进行 RUNSTATS 操作(在 REORGCHK 时指定 UPDATE STATISTICS),所以第一步是可以省略的。如果知道哪些特点的表有数据变化,又可以只执行第一步而省略第二步。
如果表名为 DB2INST1.STAFF,表上有索引,可以执行下面的 RUNSTATS 操作:
db2 runstats on table db2inst1.staff with distribution and detailed indexes all
2 REORGCHK
REORGCHK是根据统计公式计算表是否需要重整。
对于每个表有3个统计公式,对索引有5个统计公式(版本8),如果公式计算结果该表需重整,在输出的 REORG 字段中相应值为*,否则为-。
如果数据库中数据量比较大,在生产系统上要考虑 REORGCHK 的执行时间可能较长,需安排在非交易时间执行。
可以分为对系统表和用户表两部分分别进行 REORGCHK:
1) 针对系统表进行REORGCHK
db2 reorgchk update statistics on table system
使用 UPDATE STATISTICS 参数指定数据库首先执行 RUNSTATS 命令。
2) 针对用户表进行 REORGCHK
db2 reorgchk update statistics on table user
根据统计公式的计算结果(是否有 *),考虑是否必要对表进行 REORG。注意,某些小表的结果可能由于统计信息过少而不准确。
3 REORG TABLE
执行 REORG 可以考虑分为表上有索引和没有索引两种情况:
1) 如果表上有索引
如表名为 DB2INST1.STAFF,索引名为 DB2INST1.STAFF,
REORG 表:
db2 reorg table db2inst1.staff index db2inst1.istaff use tempspace1
建议 REORG 时可以使用USE参数指定数据重排时使用的临时表空间。如果不指定, REORG 工作将会在表所在表空间中原地执行。
如果表上有多个索引,INDEX 参数值请使用最为重要的索引名。
REORG 索引:
db2 reorg indexes all for table db2inst1.staff
2) 如果表上没有索引
如表名为DB2INST1.STAFF, SYSIBM.SYSTABLES
db2 reorg table db2inst1.staff use tempspace1
db2 reorg table sysibm.systables use tempspace1
4 RUNSTATS
参见步骤 1。
5 (可选) 上面命令完成后可以重复第二步,检查 REORG 的结果,如果需要,可以再次执行 REORG 和 RUNSTATS 命令。
6 BIND 或 REBIND
RUNSTATS 命令运行后,应对数据库中的 PACKAGE 进行重新联编,简单地,可以使用 db2rbind 命令来完成。
例如,如果数据库名为 SAMPLE,执行:
db2rbind sample -l db2rbind.out
F. 数据库软件的DB2
IBM公司研制的一种关系型数据库系统。DB2主要应用于大型应用系统,具有较好的可伸缩性,可支持从大型机到单用户环境,应用于OS/2.Windows等平台下。 DB2提供了高层次的数据利用性、完整性、安全性、可恢复性,以及小规模到大规模应用程序的执行能力,具有与平台无关的基本功能和SQL命令。DB2采用了数据分级技术,能够使大型机数据很方便地下载到LAN数据库服务器,使得客户机/服务器用户和基于LAN的应用程序可以访问大型机数据,并使数据库本地化及远程连接透明化。 它以拥有一个非常完备的查询优化器而着称,其外部连接改善了查询性能,并支持多任务并行查询。 DB2具有很好的网络支持能力,每个子系统可以连接十几万个分布式用户,可同时激活上千个活动线程,对大型分布式应用系统尤为适用。除了它可以提供主流的OS/390和VM操作系统,以及中等规模的AS/400系统之外,IBM还提供了跨平台(包括基于UNIX的LINUX,HP-UX,SunSolaris,以及SCOUnixWare;还有用于个人电脑的OS/2操作系统,以及微软的Windows 2000和其早期的系统)的DB2产品。DB2数据库可以通过使用微软的开放数据库连接(ODBC)接口,Java数据库连接(JDBC)接口,或者CORBA接口代理被任何的应用程序访问。7月14日,IBM全球同步发布了一款具有划时代意义的数据库产品——DB2 9(“DB2”是IBM数据库产品系列的名称)。而这款新品最大特点即是率先实现了可扩展标记语言(XML)和关系数据间的无缝交互,而无需考虑数据的格式、平台或位置。DB2的前世今生和未来:对于每个最终站在奖台上泪水盈面的奥运冠军来说,为此刻他或她也许已经付出了5年甚至10年的艰苦努力。相比这些人类的冠军们,这个世界还有另外一种意义上的冠军,它们虽没有泪水,却依然在历史上留下了非凡的轨迹—DB2就是这类冠军中的一员。这个数据库领域里当之无愧的冠军,已用了足足25年来描绘它的轨迹。纪念IBM DB2的诞生BM DB2已经25周岁拉!
G. 优化SQL 查询:如何写出高性能SQL语句
1、深入理解数据库的工作原理和数据存储的方式,不同的数据库的工作原理是不同的,mysql oracle db2等等都是不同的,更不要说一些nosql数据库和newsql数据库了。
2、理解sql语句检索数据的方式。
3、理解索引,知道怎样的字段建立怎样的索引,索引能做什么,不能做什么,合理的建立字段。
4、合理的拆分和合并表,数据放在一张表里面查询肯定比放在多张表里面级联查询要快。
5、会查看执行任务,任何数据库都有查看执行任务的方法,包括nosql数据库和newsql数据库已经一些大数据数据库;同时还要会分析执行任务,分析主要是所以的使用效率和字段数据的检索方式。
6、sql语句只是性能优化的简单方面,性能优化是从整体应用架构开始体现的,优化sql并不能够解决根本问题,当数据量达到一定级别以后,数据就不能使用关系型数据库,而要使用大数据数据库,这样sql就无用了。
7、不要刻意专注sql本身,sql只是一种查询语言,它本身与性能无关,性能优化的本质在于对存储方式和查询检索过程的深入理解。
8、任何系统功能业务的准确性至上,首先保证功能的正确性再考虑性能优化,如果功能就是数据量大,业务复杂,必须要用到低性能sql的检索方式,那么你只能妥协,否则就要弃用sql和关系型数据库另寻它路。