場景：
爬取的數(shù)據(jù)生成數(shù)據(jù)表，結(jié)構(gòu)與另一個主表相同，需要進行合并+去重
解決：（直接舉例）
首先創(chuàng)建兩個表pep，pep2，其中pep是主表
CREATE TABLE IF NOT EXISTS `pep/pep2`( `id` INT UNSIGNED AUTO_INCREMENT, `no` VARCHAR(100) NOT NULL, PRIMARY KEY ( `id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8;
然后向pep中插入兩條數(shù)據(jù)，pep2中插入一條與pep中相同的一條數(shù)據(jù)
insert into pep(no) values('abc');
insert into pep(no) values('caa');
insert into pep2(no) values('abc');
將pep2的數(shù)據(jù)插入pep中
insert into pep (no) select no from pep2;
分組去重創(chuàng)建新的臨時表tmp
create table tmp select id,no from pep group by no;
注意：創(chuàng)建完這個表的id字段類型已經(jīng)不是主鍵自增
可能也會報錯 ```Syntax error or access violation: 1055 Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'XXX.Y.ZZZZ' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by ``` 解決：執(zhí)行以下兩個命令： ``` mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; ```
刪除pep表，并將tmp表重命名為pep
drop table pep; alter table tmp rename to pep;
查看desc結(jié)構(gòu)和select * from pep發(fā)現(xiàn)id的字段類型變了，這里需要改回原來的類型；
alter table pep add primary key (id); alter table pep modify id int auto_increment;
還有可以使用join來做去重，更快的還可以添加一個字段（可以是幾個字段+起來的的md5值），給這個字段創(chuàng)建一個唯一索引unique，以后插入數(shù)據(jù)的時候，自動回過濾掉重復(fù)的數(shù)據(jù)。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。
標簽：昌都 陜西 荊門 北京 黔西 梅河口 鄂爾多斯 駐馬店
巨人網(wǎng)絡(luò)通訊聲明：本文標題《MySQL數(shù)據(jù)表合并去重的簡單實現(xiàn)方法》，本文關(guān)鍵詞 MySQL,數(shù)據(jù)表,合并,去,重的,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
