MySQL 数据库中删除重复记录方法总结

本文章总结了关于在mysql数据库中各种删除重复记录的sql语句,下面我们用实例介绍了操作方法,大家可参考一下。

mysql数据库中,经常会遇到重复记录的情况,那么就需要sql删除重复记录,下面为您列举了四种删除重复记录的方式,用于不同的情况,希望对您有所帮助。

1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断

 代码如下复制代码 select * from people  where peopleId in (select   peopleId from   people group by   peopleId having count(peopleId) > 1)    

 

2、SQL删除重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录

 代码如下复制代码 delete from people  where peopleId in (select   peopleId from people group by   peopleId   having count(peopleId) > 1)  and rowid not in (select min(rowid) from   people group by peopleId having count(peopleId )>1)    

  
  

3、查找表中多余的重复记录(多个字段)

 代码如下复制代码 select * from vitae a  where (a.peopleId,a.seq) in   (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)   

 

 
4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录

 代码如下复制代码

delete from vitae a  where (a.peopleId,a.seq) in   (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)  and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

演示数据

表结构:

 

 代码如下复制代码

mysql> desc demo;

+——-+——————+——+—–+———+—————-+

| Field | Type | Null | Key | Default | Extra |

+——-+——————+——+—–+———+—————-+

| id | int(11) unsigned | NO | PRI | NULL | auto_increment |

| site | varchar(100) | NO | MUL | | |

+——-+——————+——+—–+———+—————-+

2 rows in set (0.00 sec)

数据:

mysql> select * from demo order by id;

+—-+————————+

| id | site |

+—-+————————+

| 1 | http://www.111cn.netn |

| 2 | http://安卓主题_www.hzhuti.com |

Ai好记 Ai好记

强大的AI音视频转录与总结工具

Ai好记 311 查看详情 Ai好记

| 3 | http://www.zhutiy.com |

| 4 | http://www.111cn.netn |

| 5 | http://www.zhutiy.com |

+—-+————————+

5 rows in set (0.00 sec)

当没有创建表或创建索引权限的时候,可以用下面的方法:

如果你要删除较旧的重复记录,可以使用下面的语句:

 代码如下复制代码

mysql> delete from a 

-> using demo as a, demo as b

-> where (a.id > b.id)

-> and (a.site = b.site);

Query OK, 2 rows affected (0.12 sec)

 

mysql> select * from demo order by id;

+—-+————————+

| id | site |

+—-+————————+

| 1 | http://www.111cn.netn |

| 2 | http://安卓主题_www.hzhuti.com |

| 3 | http://www.zhutiy.com |

+—-+————————+

3 rows in set (0.00 sec)

如果你要删除较新的重复记录,可以使用下面的语句:

 代码如下复制代码

mysql> delete from a 

-> using demo as a, demo as b

-> where (a.id

-> and (a.site = b.site);

Query OK, 2 rows affected (0.12 sec)

 

mysql> select * from demo order by id;

+—-+————————+

| id | site |

+—-+————————+

| 2 | http://安卓主题_www.hzhuti.com |

| 4 | http://www.111cn.netn |

| 5 | http://www.zhutiy.com |

+—-+————————+

3 rows in set (0.00 sec)

你可以用下面的语句先确认将被删除的重复记录:

 

 代码如下复制代码

mysql> SELECT a.* 

-> FROM demo a, demo b

-> WHERE a.id > b.id

-> AND (a.site = b.site);

+—-+————————+

| id | site |

+—-+————————+

| 1 | http://www.111cn.netn |

| 3 | http://www.zhutiy.com |

+—-+————————+

2 rows in set (0.00 sec)

如果有创建索引的权限,可以用下面的方法:

在表上创建唯一键索引:

 代码如下复制代码

mysql> alter ignore table demo add unique index ukey (site);

Query OK, 5 rows affected (0.46 sec)

Records: 5 Duplicates: 2 Warnings: 0

 

mysql> select * from demo order by id;

+—-+————————+

| id | site |

+—-+————————+

| 1 | http://www.111cn.netn |

| 2 | http://安卓主题_www.hzhuti.com |

| 3 | http://www.zhutiy.com |

+—-+————————+

3 rows in set (0.00 sec)

 

重复记录被删除后,如果需要,可以删除索引:

 代码如下复制代码

mysql> alter table demo drop index ukey;

Query OK, 3 rows affected (0.37 sec)

Records: 3 Duplicates: 0 Warnings: 0

如果有创建表的权限,可以用下面的方法:

创建一个新表,然后将原表中不重复的数据插入新表:

 代码如下复制代码

mysql> create table demo_new as select * from demo group by site;

Query OK, 3 rows affected (0.19 sec)

Records: 3 Duplicates: 0 Warnings: 0

 

mysql> show tables;

+—————-+

| Tables_in_test |

+—————-+

| demo |

| demo_new |

+—————-+

2 rows in set (0.00 sec)

 

mysql> select * from demo order by id;

+—-+————————+

| id | site |

+—-+————————+

| 1 | http://www.111cn.netn |

| 2 | http://安卓主题_www.hzhuti.com |

| 3 | http://www.zhutiy.com |

| 4 | http://www.111cn.netn |

| 5 | http://www.zhutiy.com |

+—-+————————+

5 rows in set (0.00 sec)

 

mysql> select * from demo_new order by id;

+—-+————————+

| id | site |

+—-+————————+

| 1 | http://www.111cn.netn |

| 2 | http://安卓主题_www.hzhuti.com |

| 3 | http://www.zhutiy.com |

+—-+————————+

3 rows in set (0.00 sec)

然后将原表备份,将新表重命名为当前表:

 

 代码如下复制代码

mysql> rename table demo to demo_old, demo_new to demo;

Query OK, 0 rows affected (0.04 sec)

mysql> show tables;

+—————-+

| Tables_in_test |

+—————-+

| demo |

| demo_old |

+—————-+

2 rows in set (0.00 sec)

 

mysql> select * from demo order by id;

+—-+————————+

| id | site |

+—-+————————+

| 1 | http://www.111cn.netn |

| 2 | http://安卓主题_www.hzhuti.com |

| 3 | http://www.zhutiy.com |

+—-+————————+

3 rows in set (0.00 sec)

注意:使用这种方式创建的表会丢失原表的索引信息!

 代码如下复制代码

mysql> desc demo;

+——-+——————+——+—–+———+——-+

| Field | Type | Null | Key | Default | Extra |

+——-+——————+——+—–+———+——-+

| id | int(11) unsigned | NO | | 0 | |

| site | varchar(100) | NO | | | |

+——-+——————+——+—–+———+——-+

2 rows in set (0.00 sec)

如果要保持和原表信息一致,你可以使用 show create table demo; 来查看原表的创建语句,然后使用原表的创建语句创建新表,接着使用 insert … select 语句插入数据,再重命名表即可。

实例

今天无意导入几个测试数据,发现测试数据中,有很多数据记录是相同的,我现在就想删除掉这些数据,
如何查询数据相同记录呢?这个好说,以下语句就可以查看相同记录的了:

 代码如下复制代码 SELECT COUNT(*) AS c, key_word FROM search_keywrod GROUP BY key_word HAVING c > 1 

其中 HAVING c >1 代表相同记录数就有相同的了。

查询相同的是比较容易实现的了,但是想要删除这些重复的,估计就比较麻烦的了,因为你是要删除自身表里的记录,有些朋友可能就会使用到临时表,把相同需要删除的记录,导到时这个临时表,然后再通过临时表来删除主表。或者写一个临时程序,删除掉其中的一条重复记录。

以上二个方法删除重复记录,最大的麻烦就是操作繁琐。而我们今天介绍的就是利用MYSQL自身的语句,不创建临时表,不写程序来删除掉自身的重复记录。请看以下SQL语句:

 代码如下复制代码 SELECT t1.id, t1.key_word  
FROM search_keywrod t1, ( 
SELECT key_word, MIN(id) AS minid  
FROM search_keywrod  
GROUP BY key_word HAVING COUNT(key_word) > 1 
)t2  
WHERE t1.key_word = t2.key_word AND t1.id = t2.minid 

这条语句就跟我们第一条语句是一样的功能,但是这条语句好处就是MIN(id),可以控制是删除大的id重复记录(MAX),还是删除小的id重复记录(MIN)。

OK,经过改良的语句实现了查询,现在就可以利用DELETE FROM语句来删除了。

 代码如下复制代码

DELETE FROM search_keywrod WHERE id IN (SELECT id FROM ( 
 
SELECT t1.id 
FROM search_keywrod t1, ( 
SELECT key_word, MIN(id) AS minid FROM search_keywrod  
GROUP BY key_word HAVING COUNT(key_word) > 1 
)t2  
WHERE t1.key_word = t2.key_word AND t1.id = t2.minid 
 
)t3) 

执行时,请多执行几次,因为每次删除时,只删除掉重复的一次记录,如果你一条记录重复五次,那你就要执行五次的了。所以多执行几次,直到没有可删除的记录了,这样你直接一条语句删除掉重复的mysql记录功能就实现了

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/489450.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月8日 15:00:46
下一篇 2025年11月8日 15:04:58

相关推荐

  • Web 2.0和Web 3.0有什么区别?一文带你搞懂两者的区别

    从互联网诞生至今,我们经历了从静态信息展示到动态交互的巨大变迁。Web 2.0时代,也就是我们当前所处的互联网环境,其核心特征是互动性和用户生成内容。社交媒体、博客、维基百科等都是Web 2.0的典型产物,它们将用户从单纯的信息接收者转变为内容的创造者和传播者。而Web 3.0则代表了一种新的网络范…

    2025年12月11日
    000
  • 使用通配符进行 MySQL 表单查询

    本文旨在指导开发者如何在 PHP 中使用 PDO 连接 MySQL 数据库,并通过表单提交的数据进行模糊查询。文章将详细介绍如何在 SQL 查询语句中使用通配符,以及如何安全地处理用户输入,从而实现灵活且强大的搜索功能。 在使用 PHP 连接 MySQL 数据库并进行表单数据查询时,经常需要用到模糊…

    2025年12月11日
    000
  • PHP如何处理POST请求_PHP POST请求的处理方法与实践

    <blockquote>PHP处理POST请求的核心是通过超全局数组$_POST接收数据,Web服务器解析请求体后由PHP填充该数组,开发者可直接访问如$_POST[‘username’]获取表单值;但需警惕安全风险,如SQL注入、XSS、CSRF及文件上传漏洞,…

    好文分享 2025年12月11日
    000
  • PHP如何过滤数据库查询_PHP数据库查询安全规范

    答案是全面采用预处理语句并结合输入验证、最小权限原则和输出转义等多层防御措施。核心在于不信任用户输入,使用PDO或MySQLi的预处理功能将SQL逻辑与数据分离,通过绑定参数防止恶意代码执行;同时对动态查询部分采用白名单机制或动态生成占位符,在确保安全的前提下实现灵活性。 数据库查询的安全性,在我看…

    2025年12月11日
    000
  • PHP怎么配置缓存_PHP各种缓存配置教程

    PHP的缓存配置,本质上是为了让你的应用跑得更快,更稳定。它不是一个单一的技术,而是一套组合拳,涵盖了从PHP代码本身到数据存储的多个层面。核心观点在于,通过减少重复计算、重复查询或重复加载,来节省资源和时间。常见的手段包括利用操作码缓存(如OpCache)加速脚本执行,以及使用数据缓存(如Redi…

    2025年12月11日
    000
  • PHP代码注入检测手动方法_PHP代码注入手动检测步骤详解

    手动检测PHP代码注入需从输入源、危险函数、数据流和日志入手,通过审查用户输入是否被未经净化地传递给eval()、system()、include()等高风险函数,追踪数据流向,分析日志异常,并结合业务逻辑判断漏洞存在。 手动检测PHP代码注入,本质上就是扮演一个“侦探”的角色,通过细致入微的观察和…

    2025年12月11日
    000
  • php如何执行数据库事务?PHP数据库事务处理与应用

    PHP通过PDO实现数据库事务,确保操作的原子性与数据一致性。首先创建PDO连接并开启事务,执行SQL操作后根据结果提交或回滚。示例中插入用户并更新商品库存,成功则提交,异常则回滚。常见错误包括SQL语法错误、约束违反、连接中断和死锁。应对措施有使用预处理语句、捕获异常、设置重试机制及优化查询减少锁…

    2025年12月11日
    000
  • php如何获取最后插入的记录ID?PHP获取自增ID操作方法

    在PHP中获取最后插入记录ID的方法因数据库扩展而异,MySQLi通过insert_id属性或mysqli_insert_id()函数,PDO则使用lastInsertId()方法,两者均基于当前连接会话确保并发安全,且需紧随INSERT操作执行。 在PHP中获取最后插入的记录ID,通常是为了在数据…

    2025年12月11日
    000
  • PHP如何过滤用户输入_PHP用户输入安全过滤方法详解

    过滤用户输入可降低SQL注入、XSS等风险,核心是对$_GET、$_POST、$_COOKIE处理。使用filter_var()进行通用过滤,如FILTER_SANITIZE_STRING、FILTER_VALIDATE_EMAIL;防SQL注入应使用预处理语句(PDO/MySQLi);防XSS需用…

    2025年12月11日 好文分享
    000
  • php如何获取数据库查询结果的行数?php查询结果行数统计方法

    使用mysqli_num_rows()或PDOStatement::rowCount()可获取PHP查询结果行数,前者适用于mysqli扩展的SELECT语句,后者在PDO中可用于SELECT、UPDATE、DELETE等,但行为因数据库而异;面向对象风格可用mysqli_result::num_r…

    2025年12月11日
    000
  • PHP如何防止UNION注入_PHPUNION注入攻击防护措施

    防止UNION注入的核心是使用参数化查询,通过预处理语句将用户输入作为数据而非SQL代码处理,从而彻底阻断注入路径。 防止PHP中的UNION注入,核心在于永远不要将用户输入直接拼接进SQL查询字符串中,而是要使用参数化查询(预处理语句)。这是最直接、最可靠的防御手段,它能确保用户输入的数据只被当作…

    2025年12月11日
    100
  • PHP代码注入检测注意事项_PHP代码注入检测需要注意的问题

    检测PHP代码注入需重点审查用户输入与代码执行点,确保对GET、POST等输入进行类型验证、白名单过滤及特殊字符转义;禁用eval、assert等高危函数,避免动态代码执行;使用预处理语句防SQL注入,限制文件包含路径,防止恶意文件上传;通过静态与动态分析结合日志监控,及时发现并修复漏洞。 PHP代…

    2025年12月11日
    200
  • PHP怎么配置虚拟主机_PHP虚拟主机设置教程

    配置PHP虚拟主机需选择支持PHP的服务商并购买主机,解析域名至主机IP,上传网站文件到指定目录,通过控制面板设置PHP版本、数据库连接及伪静态规则,最后测试访问。 配置PHP虚拟主机,简单来说,就是让你的网站能够跑起来,并且能用域名访问。这涉及到服务器配置、域名解析以及文件上传等几个关键步骤。 解…

    2025年12月11日
    100
  • PHP如何获取URL中的参数_PHP从URL查询字符串中获取参数的方法

    &lt;blockquote&gt;使用$_GET数组可直接获取URL参数,如$_GET[‘param’];需通过isset()检查参数存在,并用filter_var()验证类型、htmlspecialchars()转义输出以防XSS,预处理语句防SQL注入;…

    好文分享 2025年12月11日
    000
  • 解决AJAX中FormData与额外数据传递难题

    本文旨在解决在使用jQuery AJAX结合FormData进行文件上传时,如何正确地传递额外变量(如ID)到服务器端的问题。我们将深入探讨常见错误及其原因,并提供一个安全高效的解决方案,即通过FormData.append()方法将所有数据统一封装,确保服务器能够正确接收。此外,文章还将强调并提供…

    2025年12月11日
    100
  • 使用 AJAX 上传文件时传递额外数据的方法

    本文档详细介绍了在使用 AJAX 上传文件时,如何正确地将额外数据(如ID)传递到服务器端。重点讲解了 FormData 对象的使用,以及如何避免常见的错误配置,并提供代码示例。同时,本文也强调了服务器端代码安全性,特别是防止 SQL 注入攻击的重要性,并给出了相关的安全建议和资源链接。 通过 Fo…

    2025年12月11日
    000
  • php如何连接到MySQL数据库?php连接MySQL数据库的方法与实践

    PHP连接MySQL推荐使用mysqli或PDO扩展,二者均支持预处理语句以防止SQL注入。mysqli专用于MySQL,提供面向对象和过程式接口;PDO则支持多种数据库,具备更好的可移植性。两者都优于已废弃的旧mysql函数,因后者不支持预处理且存在安全缺陷。实际开发中应通过错误处理机制(如mys…

    2025年12月11日
    000
  • PHP如何防止SQL注入_PHP防范SQL注入攻击的核心策略

    防范SQL注入的核心是预处理语句,它通过将SQL逻辑与数据分离,确保用户输入始终作为数据处理;结合参数绑定,使用PDO或MySQLi扩展可有效阻止恶意SQL执行,从根本上避免注入风险。 PHP防范SQL注入的核心策略,毫无疑问是采用预处理语句(Prepared Statements)配合参数绑定(P…

    2025年12月11日
    000
  • MySQL条件聚合:使用SUM与CASE语句实现字段的按条件求和

    本教程详细介绍了如何在MySQL中实现基于特定条件的字段求和。通过结合SUM()聚合函数和CASE语句,可以精确地对满足特定条件的记录进行数值累加,例如计算特定状态下的总时长,从而解决传统SUM()无法按条件聚合的问题,极大地增强了数据查询的灵活性和精确性。 1. 问题背景与挑战 在数据库查询中,我…

    2025年12月11日
    000
  • WordPress插件开发:自定义数据表的创建与数据初始化策略

    本文探讨在WordPress插件开发中,如何高效地创建自定义数据库表,并在此过程中同步初始化数据。文章将详细介绍dbDelta()函数进行表结构管理,以及$wpdb->insert()和$wpdb->get_results()组合实现数据从现有表到新表的导入,确保插件更新时数据初始化逻辑…

    2025年12月11日
    000

发表回复

登录后才能评论
关注微信