MySQL 大表清理历史数据怎么分批删:主键游标、锁等待与回滚窗口
来源:17golang原创
时间:2026-07-27 14:41:37 273浏览 收藏
线上订单表、日志表一旦积累到几千万行,直接执行一条大范围 DELETE 往往不是“删得快”,反而会把锁等待、undo 日志和主从复制延迟一并拉满。更稳妥的做法是按主键游标切成小批次操作,先确认查询能命中索引,每批提交后实时观察耗时和锁等待情况,碰到业务高峰直接停在批次边界就好,不会出现半半拉拉的状态。
清理历史数据优先采用“主键范围 + 小批事务 + 批次日志”的方式,不要用 OFFSET 翻页,也不要把整个保留周期的数据都塞进同一个事务里;需要回滚撤回的时候也要提前留好归档或备份窗口。
实践要点
- 删除条件要能命中索引,推荐直接用自增主键作为游标推进的依据。
- 每批删 5000~20000 行只是起始参考值,最终要根据锁等待时长、事务耗时和复制延迟情况动态调整。
- 每批独立提交,随手记录 last_id、删除行数和耗时,任务中断失败后可以直接从上一个安全游标位置继续跑。
- 删除操作不等于备份,需要后续恢复的数据要先归档到独立表,或是提前准备好可验证的完整备份。
先确认保留边界和可用索引
以订单操作日志 order_events 为例,业务规则是保留最近 180 天的数据。先把时间边界算成固定的时间值,再核对表结构和索引配置,不要在删除语句的筛选字段外层套函数,导致索引完全失效。
SHOW CREATE TABLE order_events;
SHOW INDEX FROM order_events;
EXPLAIN SELECT id
FROM order_events
WHERE id > 8000000
AND created_at
理想的执行效果是走主键,或者走能完全覆盖筛选条件的联合索引,扫描行数和本批预期删除的行数接近。如果只有 created_at 索引,也可以先按时间筛选,但最好还是通过主键来推进游标,避免每批执行的时候重新扫描已经处理过的历史数据区域。先拿只读查询跑一遍执行计划确认没问题,别急着直接上手删。

为什么主键游标比 OFFSET 更适合清理
LIMIT 10000 OFFSET 500000 要先跳过前面已经扫过的行,翻页越深,扫描和排序的成本波动就越大,完全不可控。主键游标则是把上一批最后一条记录的ID存成 last_id,下一批直接从这个ID往后开始扫就行,完全不用重复走前面的行。
DELETE FROM order_events
WHERE id > :last_id
AND id
这里的 upper_id 可以在任务启动时就取好一个上限值,避免清理过程中不断把新写入的有效数据误卷进删除范围里。每次删除完成后读取受影响的行数,再把本批最后检查到的ID写入 cleanup_checkpoint。如果业务主键不是单调递增的,先建好适配的联合索引再设计游标逻辑。
用小批事务控制锁和日志体积
大事务的问题不只是长期占着锁不放,InnoDB 还要保留全量旧版本,回滚段和复制日志体积会同步暴涨,中途如果出问题,回滚花费的时间甚至可能比删除本身的时间还要长。
START TRANSACTION;
DELETE FROM order_events
WHERE id > 8000000
AND id
实际写清理脚本的时候,要把每批的开始时间、last_id、upper_id、affected_rows 和耗时都写入任务日志。批次事务成功提交之后再推进游标记录进度,不能先写检查点再提交事务,不然进程意外中断会出现“日志显示已经删完,表里数据还在”的不一致问题。

把暂停和回滚设计成任务原生能力
清理脚本至少要预留三个可观测状态:running、paused、failed。检测到锁等待超过预设阈值、复制延迟持续走高或是业务进入高峰区间时,等当前批次执行完后自动进入 paused 状态,不要在一条大删除语句里强行中断。
删除操作本身没办法像普通更新那样直接回滚几小时前的全量数据,要恢复数据通常走两类方案:先把待删行写入归档表校验完行数之后,再删除原表里的对应数据;或者提前做好可恢复的全量备份,提前跑通恢复演练确认流程没问题。归档表也要控制索引数量,不然“先归档再删”的方案会把写放大问题转嫁到另一张大表上。
三种清理方案如何取舍
| 方案 | 优点 | 主要代价 | 适用情况 |
|---|---|---|---|
| 主键游标分批删除 | 实现简单、支持随时暂停 | 需要额外维护任务日志 | 绝大多数没有提前分区的历史数据清理场景 |
| 归档表后删除 | 数据恢复路径清晰可查 | 多一次写入和校验流程 | 待删数据后续仍有合规恢复需求 |
| 分区表按分区清理 | 删除分区速度极快几乎无IO开销 | 前期改表和数据迁移成本高 | 时间分区规则稳定的日志表、流水表 |
如果表天然就是按天或按月写入,后续数据生命周期规则也很明确,可以把分区方案作为长期优化方向。已经建好的非分区大表,不要为了赶一次临时清理任务就大动干戈改全表结构,先用游标分批清理先把性能问题止住,后续再评估迁移分区的必要性。
执行前后的核对清单
- 提前固定cutoff删除边界和upper_id上限,记录任务版本,避免任务每次重启边界自动偏移。
- 用EXPLAIN核对执行计划里的索引命中情况、扫描行数和排序情况。
- 从最小的批量起步跑,全程观察
SHOW PROCESSLIST、锁等待时长、主从复制延迟和磁盘剩余空间的变化。 - 只有在事务提交成功之后才能更新检查点进度,失败的批次完整保留错误信息和当时的输入范围。
- 清理完成后抽查cutoff边界前后的记录,核对归档数据或是备份文件的可恢复性。
相关问题
清理任务能不能用 OFFSET 分页?
不建议这么做。删除操作会动态改变结果集的行数,OFFSET 在批次跳转的时候很容易漏掉记录;用固定上限加主键游标的方案,更容易确认整个扫描过程不会漏扫数据。
每批删除多少行不会锁表?
没有通用的固定数值。可以从 5000 或 10000 行起步测试,以锁等待时长、事务耗时和复制延迟作为判断依据逐步往上调整。
删除旧数据前必须归档吗?
如果这批数据后续还有审计、对账或是找回的需求,就一定要先归档或是提前确认备份文件可恢复;只是随便复制一份文件但没跑过恢复验证,不算完成数据保护。
小结
MySQL 大表清理的核心思路,就是把一次不可控的大删除,拆成有明确边界、有操作日志、支持随时暂停的连续小操作。主键游标用来保证推进过程稳定无重复无遗漏,小批事务用来控制影响面不会波及全库,检查点和备份机制用来保证出问题之后也能有迹可循。先在业务低峰做一轮压测,再把阈值和自动暂停条件写到任务配置里,跑起来就会很稳。
-
374 收藏
-
398 收藏
-
499 收藏
-
384 收藏
-
184 收藏
-
421 收藏
-
419 收藏
-
238 收藏
-
数据库 · MySQL | 19小时前 | MySQL · 回滚 · 数据库运维 · 配置变更 · 系统变量 · MySQL 8.4 SET PERSIST SET PERSIST_ONLY RESET PERSIST mysqld-auto.cnf persisted_variables296 收藏
-
数据库 · MySQL | 19小时前 | MySQL · 回滚 · 数据库运维 · 配置变更 · 系统变量 · MySQL 8.4 SET PERSIST SET PERSIST_ONLY RESET PERSIST mysqld-auto.cnf persisted_variables244 收藏
-
数据库 · MySQL | 20小时前 | MySQL · sql优化 · 数据库运维 · 性能排查 · 优化器提示 · MySQL 8.4 SET_VAR optimizer hint sort_buffer_size SQL 性能隔离497 收藏
-
数据库 · MySQL | 2天前 | MySQL · DDL · 元数据锁 · 性能排查 · performance_schema · MySQL 元数据锁 metadata_locks performance_schema DDL阻塞 Waiting for table metadata lock297 收藏
-
数据库 · MySQL | 2天前 | MySQL · 索引 · 执行计划 · sql优化 · 性能排查 · 执行计划 MySQL 8.4 EXPLAIN FORMAT=JSON cost_info query_cost239 收藏
-
数据库 · MySQL | 2天前 | MySQL · 索引 · 执行计划 · sql优化 · 性能排查 · 执行计划 MySQL 8.4 EXPLAIN FORMAT=JSON cost_info query_cost284 收藏
-
数据库 · MySQL | 2天前 | MySQL · 复制 · 主键 · InnoDB · 数据库迁移 · 数据库迁移 MySQL 8.4 sql_generate_invisible_primary_key 生成不可见主键 my_row_id419 收藏
-
数据库 · MySQL | 2天前 | MySQL · 复制 · 主键 · InnoDB · 数据库迁移 · 数据库迁移 MySQL 8.4 sql_generate_invisible_primary_key 生成不可见主键 my_row_id208 收藏
-
数据库 · MySQL | 2天前 | MySQL · InnoDB · Online DDL · 数据库变更 · 表重建 · MySQL 8.4 ALGORITHM=INSTANT TOTAL_ROW_VERSIONS ERROR 4092 Online DDL234 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习