人妖在线一区,国产日韩欧美一区二区综合在线,国产啪精品视频网站免费,欧美内射深插日本少妇

新聞動態(tài)

MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法

發(fā)布日期:2022-03-11 12:50 | 文章來源:腳本之家

場景:

爬取的數(shù)據(jù)生成數(shù)據(jù)表,結構與另一個主表相同,需要進行合并+去重

解決:(直接舉例)

首先創(chuàng)建兩個表pep,pep2,其中pep是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向pep中插入兩條數(shù)據(jù),pep2中插入一條與pep中相同的一條數(shù)據(jù)

insert into pep(no) values('abc');
insert into pep(no) values('caa');
insert into pep2(no) values('abc');

將pep2的數(shù)據(jù)插入pep中

insert into pep (no) select no from pep2;

分組去重創(chuàng)建新的臨時表tmp

create table tmp select id,no from pep group by no;

注意:創(chuàng)建完這個表的id字段類型已經(jīng)不是主鍵自增

 可能也會報錯
 ```Syntax error or access violation: 1055 Expression #1 of SELECT 
 list is not in GROUP BY clause and contains nonaggregated 
 column 'XXX.Y.ZZZZ' which is not functionally dependent on 
 columns in GROUP BY clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
 解決:執(zhí)行以下兩個命令:
 ```
 mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 
 mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 ```

刪除pep表,并將tmp表重命名為pep

drop table pep;
alter table tmp rename to pep;

查看desc結構和select * from pep發(fā)現(xiàn)id的字段類型變了,這里需要改回原來的類型;

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

還有可以使用join來做去重,更快的還可以添加一個字段(可以是幾個字段+起來的的md5值),給這個字段創(chuàng)建一個唯一索引unique,以后插入數(shù)據(jù)的時候,自動回過濾掉重復的數(shù)據(jù)。

總結

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對本站的支持。

海外服務器租用

版權聲明:本站文章來源標注為YINGSOO的內(nèi)容版權均為本站所有,歡迎引用、轉載,請保持原文完整并注明來源及原文鏈接。禁止復制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務器上建立鏡像,否則將依法追究法律責任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學習參考,不代表本站立場,如有內(nèi)容涉嫌侵權,請聯(lián)系alex-e#qq.com處理。

實時開通

自選配置、實時開通

免備案

全球線路精選!

全天候客戶服務

7x24全年不間斷在線

專屬顧問服務

1對1客戶咨詢顧問

在線
客服

在線客服:7*24小時在線

客服
熱線

400-630-3752
7*24小時客服服務熱線

關注
微信

關注官方微信
頂部