MySQL 去除重復(fù)數(shù)據(jù)實例詳解
MySQL 去除重復(fù)數(shù)據(jù)實例詳解
有兩個意義上的重復(fù)記錄,一是完全重復(fù)的記錄,也即所有字段均都重復(fù),二是部分字段重復(fù)的記錄。對于第一種重復(fù),比較容易解決,只需在查詢語句中使用distinct關(guān)鍵字去重,幾乎所有數(shù)據(jù)庫系統(tǒng)都支持distinct操作。發(fā)生這種重復(fù)的原因主要是表設(shè)計不周,通過給表增加主鍵或唯一索引列即可避免。
select distinct * from t;
對于第二類重復(fù)問題,通常要求查詢出重復(fù)記錄中的任一條記錄。假設(shè)表t有id,name,address三個字段,id是主鍵,有重復(fù)的字段為name,address,要求得到這兩個字段唯一的結(jié)果集。
-- Oracle、MySQL,使用相關(guān)子查詢
select * from t t1 where t1.id = (select min(t2.id) from t t2 where t1.name = t2.name and t1.address = t2.address);
-- Hive只支持在FROM子句中使用子查詢,子查詢必須有名字,并且列必須唯一
select t1.* from t t1, (select name, address, min(id) id from t group by name, address) t2 where t1.id = t2.id;
-- 還可以使用hive的row_number()分析函數(shù)
select t.id, t.name, t.address from (select id, name, address, row_number() over (distribute by name, address sort by id) as rn from t) t where t.rn=1;
感謝閱讀,希望能幫助到大家,謝謝大家對本站的支持!
版權(quán)聲明:本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學(xué)習(xí)參考,不代表本站立場,如有內(nèi)容涉嫌侵權(quán),請聯(lián)系alex-e#qq.com處理。