数据库去掉重复数据库
示例
假设存在一个产品信息表Procts，其表结构如下：
CREATETABLEProcts(
ProctIDint,
ProctNamenvarchar(40),
Unitchar(2),
UnitPricemoney
)
表中数据如图：
*fromProcts_tempdroptableProcts_temp
这样就完成了对表中重复记录的删除。无论表有多大，它的执行速度都是相当快的，而且因为几乎不用写语句，所以它也是很安全的
② Oracle数据库重复数据删除的几种方法
重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第二种是两行记录完全一样。Oracle数据库重复数据删除技术有如下优势：更大的备份容量、数据能得到持续验证、有更高的数据恢复服务水平、方便实现备份数据的容灾。
一、删除部分字段重复数据先来谈谈如何查询重复的数据吧。
下面语句可以查询出那些数据是重复的：
select
字段1,字段2,count(*)
from
表名
group
by
字段1,字段2
having
count(*)
>
1
将上面的>号改为=号就可以查询出没有重复的数据了。
想要删除这些重复的数据，可以使用下面语句进行删除
delete
from
表名
a
where
字段1,字段2
in
(select
字段1,字段2,count(*)
from
表名
group
by
字段1,字段2
having
count(*)
>
1)
上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下：
CREATE
TABLE
临时表
AS
(select
字段1,字段2,count(*)
from
表名
group
by
字段1,字段2
having
count(*)
>
1)
上面这句话就是建立了临时表，并将查询到的数据插入其中。
下面就可以进行这样的删除操作了：
delete
from
表名
a
where
字段1,字段2
in
(select
字段1，字段2
from
临时表);
这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。
这个时候，大家可能会跳出来说，什么?你叫我
③ Mysql去掉重复数据的做法：distinct , group by。以及数据库的拓展
一张user表 中的name字段，里面有10个张三。我要只查询出一个张三。
SQL： select distinct name from user
如果还要查询出id
SQL: select distinct name,id from user
SQL ：select name from user group by name
group by理解：表里的某一个字段（比如：name） 当出现相同的数据时，group by就将这2条数据合二为一。name就显示一条 数据了。 但是name达到合二为一了，这2条数据的其他数据怎么办呢？ 这时候需要配合聚合函数的使用。
where条件：分组前的条件，配合任何关键字使用
Having 条件：分组后的条件 （事后条件） ,只配合group by使用。having条件通常使用聚合函数
SQL ：select deptno,sum(sal) from emp group by deptno having sum(sal) > 9000;
SQL： select deptno,count(*) from emp where sal >1000 group by deptno haing sum(sal) > 8000
拓展：
聚合函数定义：聚合函数对一组值进行计算并返回单一的值。（以下都属于聚合函数）
count(*) : 不包括空值。返回对行数目的计数。计算出有多少行，多少条数据。
count() : 包含空值。返回对数目的计数。计算表里有多少行，相当于多少条数据。
sum() : 求和运算
max(); 最大值
min(): 最小值
avg(): 平均值
④ 教你删除Oracle数据库中重复没用的数据
在对数据库进行操作过程中我们可能会碰到这种情况 表中的数据可能重复出现 使我们对数据库的操作过程中带来很多的不便 那么怎么删除这些重复没有用的数据呢?
重复数据删除技术可以提供更大的备份容量 实现更长时间的数据保留 还能实现备份数据的持续验证 进步数据恢复服务水平 方便实现数据容灾等 重复的数据可能有这样两种情况 第一种时表中只有某些字段一样 第二种是两行记录完全一样 Oracle数据库重复数据删除技术有如下优势 更大的备份容量 数据能得到持续验证 有更高的数据恢复服务水平 方便实现备份数据的容灾
一 删除部分字段重复数据
先来谈谈如何查询重复的数据吧
下面语句可以查询出那些数据是重复的
select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) >
将上面的>号改为=号就可以查询出没有重复的数据了
想要删除这些重复的数据 可以使用下面语句进行删除
delete from 表名 a where 字段 字段 in
(select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) > )
上面的语句非常简单 就是将查询到的数据删除掉 不过这种删除执行的效率非常低 对于大数据量来说 可能会将数据库吊死 所以我建议先将查询到的重复的数据插入到一个暂时表中 然后对进行删除 这样 执行删除的时候就不用再进行一次查询了 如下
create TABLE 暂时表 AS
(select 字段 字段 count(*) from 表名 group by 字段 字段 having count(*) > )
上面这句话就是建立了暂时表 并将查询到的数据插入其中
下面就可以进行这样的删除操作了
delete from 表名 a where 字段 字段 in (select 字段 字段 from 暂时表);
这种先建暂时表再进行删除的操作要比直接用一条语句进行删除要高效得多
这个时候 大家可能会跳出来说 什么?你叫我们执行这种语句 那不是把所有重复的全都删除吗?而我们想保留重复数据中最新的一条记录啊!大家不要急 下面我就讲一下如何进行这种操作
在oracle中 有个隐藏了自动rowid 里面给每条记录一个唯一的rowid 我们假如想保留最新的一条记录
我们就可以利用这个字段 保留重复数据中rowid最大的一条记录就可以了
下面是查询重复数据的一个例子
以下是引用片段 selecta rowid a *from表名awherea rowid!=(selectmax(b rowid)from表名bwherea 字段 =b 字段 anda 字段 =b 字段 )
下面我就来讲解一下 上面括号中的语句是查询出重复数据中rowid最大的一条记录
而外面就是查询出除了rowid最大之外的其他重复的数据了
由此 我们要删除重复数据 只保留最新的一条数据 就可以这样写了
deletefrom表名awherea rowid!=(selectmax(b rowid)from表名bwherea 字段 =b 字段 anda 字段 =b 字段 )
随便说一下 上面语句的执行效率是很低的 可以考虑建立暂时表 讲需要判定重复的字段 rowid插入暂时表中 然后删除的时候在进行比较
createtable暂时表asselecta 字段 a 字段 MAX(a ROWID)dataidfrom正式表aGROUPBYa 字段 a 字段 ;deletefrom表名awherea rowid!=(selectb dataidfrom暂时表bwherea 字段 =b 字段 anda 字段 =b 字段 );mit;
二 完全删除重复记录
对于表中两行记录完全一样的情况 可以用下面语句获取到去掉重复数据后的记录
select distinct * from 表名
可以将查询的记录放到暂时表中 然后再将原来的表记录删除 最初将暂时表的数据导回原来的表中 如下
createTABLE暂时表AS(selectdistinct*from表名);truncatetable正式表; 注 原先由于笔误写成了droptable正式表; 现在已经改正过来insertinto正式表(select*from暂时表);droptable暂时表;
假如想删除一个表的重复数据 可以先建一个暂时表 将去掉重复数据后的数据导入到暂时表 然后在从暂时表将数据导入正式表中 如下
insertINTOt_table_bakselectdistinct*fromt_table;
三 怎样快速删除oracle数据库
最快的方法就进入注册表 在运行 里输入regedit
依次展开HKEY_LOCAL_MACHINE SOFARE
找到ORACLE节点 删除
然后删除ORACLE数据文件 安装的时候选的路径
lishixin/Article/program/Oracle/201311/18677
⑤ mysql数据库删除重复数据
直接拿1楼的来改吧，
delete from zhszty_ebook
where id not in(
select * from (select max(id) from zhszty_ebook group by url
) as tmp);------------mysql有个特性，对于表进行修改，删除操作，子查询不能和外层的查询的表一样，所以在加个select就可以了。其他数据库按照楼上的那个是没问题的
⑥ 如何删除数据库中的重复数据
有两个意义上的重复记录
①完全重复的记录，也即所有字段均重复的记录。
②部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复，比较容易解决，使用
selectdistinct*fromtableName
这样就可以得到无重复记录的结果集。然后通过临时表实现对数据的维护。
selectdistinct*into#TmpfromtableName
droptabletableName
select*intotableNamefrom#Tmp
droptable#Tmp
#Tmp为什么系统参数，tableName为要操作的表名。
2、第二类重复问题通常要求保留重复记录中的第一条记录，操作方法如下：
假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集
selectidentity(int,1,1)asautoID,*into#TmpfromtableName
selectmin(autoID)asautoIDinto#Tmp2from#TmpgroupbyName,autoID
select*from#TmpwhereautoIDin(selectautoIDfrom#tmp2)
最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）
⑦ 如何查找和删除数据库中的重复数据
法一:
用Group
by语句
此查找很快的select
count(num),
max(name)
from
student
–查找表中num列重复的，列出重复的记录数，并列出他的name属性group
by
numhaving
count(num)
>;1
–按num分组后找出表中num列重复，即出现次数大于一次delete
from
student(上面Select的)这样的话就把所有重复的都删除了。—–慎重法二:当表比较大(例如10万条以上)时,这个方法的效率之差令人无法忍受,需要另想办法:—-
执行下面SQL语句后就可以显示所有DRAWING和DSNO相同且重复的记录SELECT
*
FROM
EM5_PIPE_PREFABWHERE
ROWID!=(SELECT
MAX(ROWID)
FROM
EM5_PIPE_PREFAB
D
–D相当于First,SecondWHERE
EM5_PIPE_PREFAB.DRAWING=D.DRAWING
ANDEM5_PIPE_PREFAB.DSNO=D.DSNO);—-
执行下面SQL语句后就可以删除所有DRAWING和DSNO相同且重复的记录DELETE
FROM
EM5_PIPE_PREFABWHERE
ROWID!=(SELECT
MAX(ROWID)
FROM
EM5_PIPE_PREFAB
DWHERE
EM5_PIPE_PREFAB.DRAWING=D.DRAWING
ANDEM5_PIPE_PREFAB.DSNO=D.DSNO);法一:
用Group
by语句
此查找很快的select
count(num),
max(name)
from
student
–查找表中num列重复的，列出重复的记录数，并列出他的name属性group
by
numhaving
count(num)
>;1
–按num分组后找出表中num列重复，即出现次数大于一次delete
from
student(上面Select的)这样的话就把所有重复的都删除了。—–慎重法二:当表比较大(例如10万条以上)时,这个方法的效率之差令人无法忍受,需要另想办法:—-
执行下面SQL语句后就可以显示所有DRAWING和DSNO相同且重复的记录SELECT
*
FROM
EM5_PIPE_PREFABWHERE
ROWID!=(SELECT
MAX(ROWID)
FROM
EM5_PIPE_PREFAB
D
–D相当于First,SecondWHERE
EM5_PIPE_PREFAB.DRAWING=D.DRAWING
ANDEM5_PIPE_PREFAB.DSNO=D.DSNO);—-
执行下面SQL语句后就可以删除所有DRAWING和DSNO相同且重复的记录DELETE
FROM
EM5_PIPE_PREFABWHERE
ROWID!=(SELECT
MAX(ROWID)
FROM
EM5_PIPE_PREFAB
DWHERE
EM5_PIPE_PREFAB.DRAWING=D.DRAWING
ANDEM5_PIPE_PREFAB.DSNO=D.DSNO);
⑧ 如何查找和删除数据库中的重复数据
如何查找和删除数据库中的重复数据
以Excel2010版本为例，可以直接使用数据→删除重复项的功能来实现删除重复数据。
此功能Excel2007及以上版本均可，WPS中也有这样的功能。另外还可以使用公式法去重复，常用的函数是Countif函数。
⑨ sql中如何删除一个表中重复的记录
sql中删除一个表中的重复记录可以采用如下步骤：
1、把a_dist表的记录用distinct去重，结果放到临时表中。
select distinct * into #temp from a_dist;
2、把a_dist表的记录全部删除。
delete from a_dist;
3、把临时表中的数据信息导进到a_dist表中，并删除临时表。
insert into a_distselect * from #temp;
drop table #temp;
(9)数据库去掉重复数据库扩展阅读：
SQL (结构化查询语言)是用于执行查询的语法。在数据库上执行的大部分工作都由 SQL 语句完成。SQL 语言包含用于更新、插入和删除记录的语法。
增删改查指令构成了 SQL 的 DML 部分：
SELECT- 从数据库表中获取数据
UPDATE- 更新数据库表中的数据
DELETE- 从数据库表中删除数据
INSERT INTO- 向数据库表中插入数据
⑩ 删除数据库中重复数据的几个方法
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) > 1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0
方法二
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复，比较容易解决，使用 select distinct * from tableName 就可以得到无重复记录的结果集。
如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下：
假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）