[ pymysql ] 三种插入方式的速度对比
来源：SegmentFault
时间：2023-01-23 16:02:05 450浏览 收藏
亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《[ pymysql ] 三种插入方式的速度对比》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下MySQL、python，希望所有认真读完的童鞋们，都有实质性的提高。
- 方案一：使用 executemany 一次 + commit 一次
- 方案二：使用 execute 10000 次 + commit 一次
- 方案三：使用 （execute + commit） 都 10000 次
生成伪数据
fake: Faker = Faker(locale='zh_CN')
start = time.time()
tables = []
for i in range(10000):
row = (fake.name(), fake.text())
tables.append(row)
# print(row)
end = time.time()
print(f'生成数据完成！ pay time is {end - start} s')
connection: Connection = pymysql.connect(
user='root',
password='yourpassword',
host='192.168.31.203',
port=3306,
database='test_001'
)方案一
print('开始方案一......')
with connection:
# 创建数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = """
create table if not exists `tweet`(
`id` bigint NOT NULL AUTO_INCREMENT,
`username` varchar(255) NOT NULL,
`content` varchar(255) NOT NULL,
PRIMARY KEY (`id`)
)
"""
cursor.execute(sql)
start = time.time()
# 插入数据
with connection.cursor() as cursor:
cursor: Cursor
sql = 'insert into tweet (`username`,`content`) values (%s,%s) '
cursor.executemany(sql, tables)
connection.commit()
end = time.time()
print(f'方案一：插入数据完成！ pay time is {end - start} s')
# 删除数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = 'drop table tweet;'
cursor.execute(sql)
方案二
print('开始方案二......')
connection: Connection = pymysql.connect(
user='root',
password='yourpassword',
host='192.168.31.203',
port=3306,
database='test_001'
)
with connection:
# 创建数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = """
create table if not exists `tweet`(
`id` bigint NOT NULL AUTO_INCREMENT,
`username` varchar(255) NOT NULL,
`content` varchar(255) NOT NULL,
PRIMARY KEY (`id`)
)
"""
cursor.execute(sql)
start = time.time()
# 插入数据
with connection.cursor() as cursor:
cursor: Cursor
for row in tables:
sql = 'insert into tweet (`username`,`content`) values (%s,%s) '
cursor.execute(sql, row)
connection.commit()
end = time.time()
print(f'方案二：插入数据完成！ pay time is {end - start} s')
# 删除数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = 'drop table tweet;'
cursor.execute(sql)
方案三
print('开始方案三......')
connection: Connection = pymysql.connect(
user='root',
password='yourpassword',
host='192.168.31.203',
port=3306,
database='test_001'
)
with connection:
# 创建数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = """
create table if not exists `tweet`(
`id` bigint NOT NULL AUTO_INCREMENT,
`username` varchar(255) NOT NULL,
`content` varchar(255) NOT NULL,
PRIMARY KEY (`id`)
)
"""
cursor.execute(sql)
start = time.time()
# 插入数据
with connection.cursor() as cursor:
cursor: Cursor
for row in tables:
sql = 'insert into tweet (`username`,`content`) values (%s,%s) '
cursor.execute(sql, row)
connection.commit()
end = time.time()
print(f'方案三：插入数据完成！ pay time is {end - start} s')
# 删除数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = 'drop table tweet;'
cursor.execute(sql)运行结果
生成数据完成！ pay time is 1.2480072975158691 s 开始方案一...... 方案一：插入数据完成！ pay time is 2.1816399097442627 s 开始方案二...... 方案二：插入数据完成！ pay time is 27.0793399810791 s 开始方案三...... 方案三：插入数据完成！ pay time is 247.8990249633789 s
可以看到
速度：方案一 > 方案二 > 方案三
完整代码
import pymysql
from pymysql.connections import Connection
from pymysql.cursors import Cursor
from faker import Faker
import time
fake: Faker = Faker(locale='zh_CN')
start = time.time()
tables = []
for i in range(10000):
row = (fake.name(), fake.text())
tables.append(row)
# print(row)
end = time.time()
print(f'生成数据完成！ pay time is {end - start} s')
connection: Connection = pymysql.connect(
user='root',
password='yourpassword',
host='192.168.31.203',
port=3306,
database='test_001'
)
print('开始方案一......')
with connection:
# 创建数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = """
create table if not exists `tweet`(
`id` bigint NOT NULL AUTO_INCREMENT,
`username` varchar(255) NOT NULL,
`content` varchar(255) NOT NULL,
PRIMARY KEY (`id`)
)
"""
cursor.execute(sql)
start = time.time()
# 插入数据
with connection.cursor() as cursor:
cursor: Cursor
sql = 'insert into tweet (`username`,`content`) values (%s,%s) '
cursor.executemany(sql, tables)
connection.commit()
end = time.time()
print(f'方案一：插入数据完成！ pay time is {end - start} s')
# 删除数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = 'drop table tweet;'
cursor.execute(sql)
# --------------------------------------------------------------------
print('开始方案二......')
connection: Connection = pymysql.connect(
user='root',
password='yourpassword',
host='192.168.31.203',
port=3306,
database='test_001'
)
with connection:
# 创建数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = """
create table if not exists `tweet`(
`id` bigint NOT NULL AUTO_INCREMENT,
`username` varchar(255) NOT NULL,
`content` varchar(255) NOT NULL,
PRIMARY KEY (`id`)
)
"""
cursor.execute(sql)
start = time.time()
# 插入数据
with connection.cursor() as cursor:
cursor: Cursor
for row in tables:
sql = 'insert into tweet (`username`,`content`) values (%s,%s) '
cursor.execute(sql, row)
connection.commit()
end = time.time()
print(f'方案二：插入数据完成！ pay time is {end - start} s')
# 删除数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = 'drop table tweet;'
cursor.execute(sql)
# --------------------------------------------------------------------
print('开始方案三......')
connection: Connection = pymysql.connect(
user='root',
password='yourpassword',
host='192.168.31.203',
port=3306,
database='test_001'
)
with connection:
# 创建数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = """
create table if not exists `tweet`(
`id` bigint NOT NULL AUTO_INCREMENT,
`username` varchar(255) NOT NULL,
`content` varchar(255) NOT NULL,
PRIMARY KEY (`id`)
)
"""
cursor.execute(sql)
start = time.time()
# 插入数据
with connection.cursor() as cursor:
cursor: Cursor
for row in tables:
sql = 'insert into tweet (`username`,`content`) values (%s,%s) '
cursor.execute(sql, row)
connection.commit()
end = time.time()
print(f'方案三：插入数据完成！ pay time is {end - start} s')
# 删除数据表
with connection.cursor() as cursor:
cursor: Cursor
sql = 'drop table tweet;'
cursor.execute(sql)
今天关于《[ pymysql ] 三种插入方式的速度对比》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于mysql的内容请关注golang学习网公众号！
声明：本文转载于：SegmentFault 如有侵犯，请联系study_golang@163.com删除
相关阅读
更多>
-
499 收藏
-
244 收藏
-
235 收藏
-
157 收藏
-
101 收藏
最新阅读
更多>
-
465 收藏
-
440 收藏
-
427 收藏
-
253 收藏
-
260 收藏
-
373 收藏
课程推荐
更多>
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 立即学习 541次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 立即学习 506次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 立即学习 484次学习
评论列表
-
- 无聊的高跟鞋
- 细节满满，码住，感谢作者的这篇文章，我会继续支持！
- 2023-02-09 09:04:16
-
- 自觉的黑米
- 太给力了，一直没懂这个问题，但其实工作中常常有遇到...不过今天到这，看完之后很有帮助，总算是懂了，感谢作者大大分享文章内容！
- 2023-02-03 04:30:14
-
- 妩媚的砖头
- 这篇博文真是及时雨啊，太详细了，太给力了，码住，关注博主了！希望博主能多写数据库相关的文章。
- 2023-01-30 14:05:50
-
- 开心的巨人
- 这篇技术贴真是及时雨啊，楼主加油！
- 2023-01-29 08:47:39
-
- 聪慧的舞蹈
- 这篇技术文章真是及时雨啊，细节满满，感谢大佬分享，已加入收藏夹了，关注作者大大了！希望作者大大能多写数据库相关的文章。
- 2023-01-28 17:24:20
-
- 感动的发夹
- 好细啊，码起来，感谢楼主的这篇技术贴，我会继续支持！
- 2023-01-25 15:37:09
-
- 鲤鱼龙猫
- 很棒，一直没懂这个问题，但其实工作中常常有遇到...不过今天到这，帮助很大，总算是懂了，感谢作者大大分享博文！
- 2023-01-25 01:37:26