Mysql 数据库的批量插入或更新(Upsert)
来源:SegmentFault
时间:2023-01-17 10:56:07 114浏览 收藏
本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的,希望这篇《Mysql 数据库的批量插入或更新(Upsert)》对你有很大帮助!欢迎收藏,分享给更多的需要的朋友学习~
这个问题已经困扰我一段时间了,对于大量数据的插入或更新,批量操作肯定比每条记录调用一次快得多,新数据可以用 insert 批量插入,老数据可以用 replace into 批量更新。但如果不知道数据是否存在(是否有唯一key和数据库中已有记录重复)想在一批数据库中,插入新记录,更新老记录怎么办?
之前甚至想过封装一个函数,先用 select ... in 批量查询,然后分两组插入和更新,但一方面通用性不佳,另一方面这不是一个原子操作,对于并发的情况,有可能查询的时候记录不存在,插入的时候就已经存在了。
仔细 google 了一下,才发现这种“存在update,不存在insert”的动作,有个专有名词,叫做“upsert”,相当形象。解决方案呢,不同数据库各有自己的解决方案和方言,Mysql 叫做 on duplicate key update,PostgreSql 中叫做 on confict do update。
基本用法
INSERT INTO t1 (a,b,c) VALUES (1,2,3) ON DUPLICATE KEY UPDATE c=c+1;
假设a、b是联合主键或者唯一索引,上面这句话意味着,当数据库中不存在 a=1 且 b=2 的记录,就插入一条 a=1,b=2,c=3 的新记录;如果存在,就把原记录的字段 c,更新为 c+1。如果 a 是单独的组成唯一键字段,那么判断是否存在的时候,就只考虑字段a,如果 a=1 的记录存在,也只会更新字段 c,忽略字段 b。
复用数值
通常情况下,我们 update 的字段,会比 insert 少一点,但是数据是一样的,这时候,再写一遍 values,不但显得多余,而且容易出错,那么就可以用下面的语法:
INSERT INTO t1 (a,b,c) VALUES (1,2,3) ON DUPLICATE KEY UPDATE c = VALUES(c);
于是insert 或 update 字段 c ,结果就是同一个值了。
批量处理
回到最初的问题,刚才这句话如果只能支持一条记录,还是意义不大,好在它像 insert 一样支持批量处理:
INSERT INTO t1 (a,b,c) VALUES (1,2,3),(4,5,6) AS new ON DUPLICATE KEY UPDATE c = VALUES(c);
这样在代码中,就可以拼接多条记录的 SQL 语句,一次性完成 upsert 操作了。
注意:在 mysql 语法上,对于一次 upsert 插入多少条记录,没有任何限制,上限完全取决于客户端和数据库端操作系统,对字符串的长度要求;不过,考虑到网络传输的包大小,建议不要太长,通常认为一条语句不能超过 500 MB 的大小。
至于在 Python 语言中,如何实现 upsert ,请看一下篇。
今天带大家了解了MySQL、数据库、upsert、batch的相关知识,希望对你有所帮助;关于数据库的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~
-
499 收藏
-
244 收藏
-
235 收藏
-
157 收藏
-
101 收藏
-
397 收藏
-
489 收藏
-
209 收藏
-
497 收藏
-
335 收藏
-
467 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习
-
- 发嗲的咖啡
- 这篇技术贴真是及时雨啊,细节满满,赞 👍👍,码起来,关注老哥了!希望老哥能多写数据库相关的文章。
- 2023-03-12 15:38:01
-
- 专注的羊
- 细节满满,码起来,感谢楼主的这篇技术文章,我会继续支持!
- 2023-03-05 01:46:14
-
- 长情的白羊
- 受益颇多,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢作者大大分享技术文章!
- 2023-03-04 00:43:39
-
- 英俊的冷风
- 这篇文章太及时了,太全面了,很有用,已收藏,关注作者大大了!希望作者大大能多写数据库相关的文章。
- 2023-02-25 19:28:49
-
- 文静的电话
- 这篇文章内容真是及时雨啊,细节满满,受益颇多,码住,关注楼主了!希望楼主能多写数据库相关的文章。
- 2023-02-14 17:58:59
-
- 瘦瘦的奇迹
- 这篇文章真是及时雨啊,太详细了,太给力了,已加入收藏夹了,关注博主了!希望博主能多写数据库相关的文章。
- 2023-02-02 22:57:29
-
- 聪慧的钢笔
- 赞 👍👍,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢作者分享博文!
- 2023-01-19 13:00:39