如何合并去重MySQL數據表

這篇文章將為大家詳細講解有關如何合并去重MySQL數據表，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

場景：

爬取的數據生成數據表，結構與另一個主表相同，需要進行合并+去重

解決：（直接舉例）

首先創建兩個表pep，pep2，其中pep是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向pep中插入兩條數據，pep2中插入一條與pep中相同的一條數據

insert into pep(no) values('abc');
insert into pep(no) values('caa');

insert into pep2(no) values('abc');

將pep2的數據插入pep中

insert into pep (no) select no from pep2;

分組去重創建新的臨時表tmp

create table tmp select id,no from pep group by no;

注意：創建完這個表的id字段類型已經不是主鍵自增

 可能也會報錯
 ```Syntax error or access violation: 1055 Expression #1 of SELECT 
 list is not in GROUP BY clause and contains nonaggregated 
 column 'XXX.Y.ZZZZ' which is not functionally dependent on 
 columns in GROUP BY clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
 解決：執行以下兩個命令：
 ```
 mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 
 mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 ```

刪除pep表，并將tmp表重命名為pep

drop table pep;
alter table tmp rename to pep;

查看desc結構和select * from pep發現id的字段類型變了，這里需要改回原來的類型；

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

還有可以使用join來做去重，更快的還可以添加一個字段（可以是幾個字段+起來的的md5值），給這個字段創建一個唯一索引unique，以后插入數據的時候，自動回過濾掉重復的數據。

關于如何合并去重MySQL數據表就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。