資料庫去重語句

① 如何解決Oracle資料庫中重復數據的方法步驟

在平時的開發中，我們經常遇到數據表中出現重復的數據，那麼該如何解決呢？這里介紹兩種情況下的數據去重方法，一、完全重復數據去重；二、部分欄位數據重復去重。
一、完全重復數據去重方法
對於表中完全重復數據去重，可以採用以下SQL語句。
Code
CREATETABLE"#temp"AS(SELECTDISTINCT*FROM表名);--創建臨時表，並把DISTINCT 去重後的數據插入到臨時表中
truncateTABLE表名;--清空原表數據
INSERTINTO表名(SELECT*FROM"#temp");--將臨時表數據插入到原表中
DROPTABLE"#temp";--刪除臨時表
具體思路是，首先創建一個臨時表，然後將DISTINCT之後的表數據插入到這個臨時表中；然後清空原表數據；再講臨時表中的數據插入到原表中；最後刪除臨時表。
二、部分數據去重方法
首先查找重復數據
select欄位1,欄位2,count(*)from表名groupby欄位1,欄位2havingcount(*) > 1
將上面的>號改為=號就可以查詢出沒有重復的數據了。
想要刪除這些重復的數據，可以使用下面語句進行刪除：
deletefrom表名 awhere欄位1,欄位2in
(select欄位1,欄位2,count(*)from表名groupby欄位1,欄位2havingcount(*) > 1)
上面的語句非常簡單，就是將查詢到的數據刪除掉。不過這種刪除執行的效率非常低，對於大數據量來說，可能會將資料庫卡死。
基於上述情況，可以先將查詢到的重復的數據插入到一個臨時表中，然後對進行刪除，這樣，執行刪除的時候就不用再進行一次查詢了。如下：
CREATETABLE臨時表AS
(select欄位1,欄位2,count(*)from表名groupby欄位1,欄位2havingcount(*) > 1)
下面就可以進行這樣的刪除操作了：
deletefrom表名 awhere欄位1,欄位2in(select欄位1，欄位2from臨時表);
先建臨時表再進行刪除的操作要比直接用一條語句進行刪除要高效得多。
上面的語句會把所有重復的全都刪除，在oracle中，有個隱藏了自動rowid，裡面給每條記錄一個唯一的rowid，我們如果想保留最新的一條記錄，我們就可以利用這個欄位，保留重復數據中rowid最大的一條記錄就可以了。
下面是查詢重復數據的一個例子：
selecta.rowid,a.*from表名 a
wherea.rowid !=
(
selectmax(b.rowid)from表名 b
wherea.欄位1 = b.欄位1and
a.欄位2 = b.欄位2
)
上面括弧中的語句是查詢出重復數據中rowid最大的一條記錄。而外面就是查詢出除了rowid最大之外的其他重復的數據了。
由此，我們要刪除重復數據，只保留最新的一條數據，就可以這樣寫了：
deletefrom表名 a
wherea.rowid !=
(
selectmax(b.rowid)from表名 b
wherea.欄位1 = b.欄位1and
a.欄位2 = b.欄位2
)
同理，上述代碼的執行效率畢竟低，所以我們可以考慮建立臨時表，將需要判斷重復的欄位、rowid插入臨時表中，然後刪除的時候在進行比較。
createtable臨時表as
selecta.欄位1,a.欄位2,MAX(a.ROWID) dataidfrom正式表 aGROUPBYa.欄位1,a.欄位2;
deletefrom表名 a
wherea.rowid !=
(
selectb.dataidfrom臨時表 b
wherea.欄位1 = b.欄位1and
a.欄位2 = b.欄位2
);
commit;