删除数据库重复的数据库
A. Oracle数据库重复数据删除的几种方法
重复的数据可能有这样两种情况,第一种时表中只有某些字段一样,第二种是两行记录完全一样。Oracle数据库重复数据删除技术有如下优势:更大的备份容量、数据能得到持续验证、有更高的数据恢复服务水平、方便实现备份数据的容灾。
一、删除部分字段重复数据先来谈谈如何查询重复的数据吧。
下面语句可以查询出那些数据是重复的:
select
字段1,字段2,count(*)
from
表名
group
by
字段1,字段2
having
count(*)
>
1
将上面的>号改为=号就可以查询出没有重复的数据了。
想要删除这些重复的数据,可以使用下面语句进行删除
delete
from
表名
a
where
字段1,字段2
in
(select
字段1,字段2,count(*)
from
表名
group
by
字段1,字段2
having
count(*)
>
1)
上面的语句非常简单,就是将查询到的数据删除掉。不过这种删除执行的效率非常低,对于大数据量来说,可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:
CREATE
TABLE
临时表
AS
(select
字段1,字段2,count(*)
from
表名
group
by
字段1,字段2
having
count(*)
>
1)
上面这句话就是建立了临时表,并将查询到的数据插入其中。
下面就可以进行这样的删除操作了:
delete
from
表名
a
where
字段1,字段2
in
(select
字段1,字段2
from
临时表);
这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。
这个时候,大家可能会跳出来说,什么?你叫我
B. 删除数据库中重复的数据,只保留一条这个sql 怎么写
有2个办法
1.找出一份不重复的表,导入到临时表,把原先的表数据删除,在把临时表的数据导回去,这个适合没有ID字段的表,语句:
找出唯一数据,把重复去掉并存入中转表:select distinct * into table(中转表名称) from tb(原表)
删除原表数据:delete tb
把中转表数据导入原表:insert into tb select * from table
2.有ID字段的,把相同数据的最大ID当成唯一的
搜索相同数据的最大ID:select max(id) from tb group by 字段1,字段2,...(除ID以外的所有字段)
把重复数据删除 delete from tb where id not in(select max(id) from tb group by 字段1,字段2,...(除ID以外的所有字段))