sqldistincton

A. 關於sql查詢b表中存在，a表中不存在的數據

這實際上是求非交集（差集）問題，sql語句求差集相對於求交集的辦法要少得多。

求差集方法中，使用not in關鍵字進行篩選在邏輯上最容易理解，很多人都會想到利用到它，數據量不大時還行，但是它有個重大缺陷，那就是在碰到大數據表的情況下其運行效率極低，有沒有可被利用的索引效率都一樣極差。我曾在利用大數據表的測試中，發現not in 語句常常要花費數小時才能返回結果，最誇張的例子耗時竟然超過一天！在返回結果前數據查詢會處在"假死"狀態，讓人感覺是返回了空集似的，其實不是那樣的，只是資料庫引擎尚未完成運算而已。

在有可被利用的索引情況下，我們可以利用非存在not exists子句來篩選出兩表之間的差集，其運行效率是非常高的。以題主的語句為例可改寫如下:

原來使用not in篩選差集，大數據表效率極差:
SELECT ipdz FROM ipdz_b WHERE ipdz not in(select ipdz_d from zj_b);

而使用not exists篩選差集，大數據表有索引可利用時返回結果酒快多了:
select b.ipdz from ipdz_b b where not exists(
select 1 from zj_b a where a.ipdz_d=b.ipdz);

請留意不要踩not exists的坑！盡管它在有可被利用的索引時運行效率極高，但是如果沒可利用的索引它會跟not in一樣在遇到大數據表時, 運行運行效率也很糟！

在沒有索引可被利用的情況下，建議利用左(右)聯接出現的null值來求出差集，但是需要留意並小心處理因兩表連接所導致的記錄行變多問題。

下面是以題主的表結構為例的sql語句寫法，其返回結果集的速度還是很不錯的：

left join 篩選差集：
select b.ipdz from ipdz_b b left join zj_b a on
a.ipdz_d=b.ipdz where a.ipdz_d is null;

這里假設a表的ipdz_d是唯一的，如果非唯一需調整如下

select b.ipdz from ipdz_b b left join (
select distinct ipzd_d from zj_b) a on
a.ipdz_d=b.ipdz where a.ipdz_d is null;

總結：

小數據量not in隨便用，此方法邏輯簡單，語句易於編寫;
大數據量在有可利用的索引情況下，建議首選 not exists(因為效率最高);
大數據量時，有沒有可被利用的索引not in都要避免使用。而not exists 在沒索引可利用時也應避免使用，此時建議使用左left join或右連接返回差集會有比較好的表現。

後兩種方法在邏輯上不太好理解，還要處理因連接導致的記錄行變多問題，語句編寫相對麻煩。

B. sql 如何過濾重復記錄

問題背景

在一個多表查詢的sql中正常情況下產生的數據都是唯一的，但因為資料庫中存在錯誤(某張表中存在相同的外鍵ID)導致我這邊查詢出來的數據就會有重復的問題

下面結果集中UserID：15834存在多個

參考：

MSDN: OVER 子句 (Transact-SQL)

stackoverflow sql query distinct with Row_Number

SQL Trick: row_number() is to SELECT what dense_rank() is to SELECT DISTINCT

C. 用sql語句進行多表連接查詢出現重復數據

1、在電腦上打開要去掉重復數據的資料庫，這里新建一張含有重復數據的user表。