大体量数据迁移思路

怎么入门数据库编程？需要学习哪些知识点？这是新手们刚接触编程时常见的问题；下面golang学习网就来给大家整理分享一些知识点，希望能够给初学者一些帮助。本篇文章就来介绍《大体量数据迁移思路》，涉及到MySQL、Java，有需要的可以收藏一下

背景

当前系统数据量级别千万级或亿级，单表无法支撑业务量，需要考虑拆表或分表，且迁移同时不能影响线上业务

概况

• 千万或亿级数据量
• 不能影响线上业务，系统24小时运行，不可停机
• 需要拆表迁移数据

方案

考虑到上述情况，在不影响线上业务的情况下，需要将业务数据同步至数据仓库，默认情况下每天凌晨同步前一天的增量&修改数据；再从数据仓库将数据迁移至分表中，可以通过更新时间的字段作为分界线，更新时间小于选定值的数据为初始量，大于选定值得为增量；初始量同步完成后定期同步增量数据，直到写入新表的功能上线

• 数据同步至数仓
• 选定字段分割初始量、增量数据
• 同步初始量数据
• 定期同步增量数据
• 系统上线
• 关闭数据同步
• 下线旧表

好了，本文到此结束，带大家了解了《大体量数据迁移思路》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多数据库知识！