Pandas读取SQL数据库全攻略

本文深入解析了使用Pandas的read_sql安全高效读取SQL数据库的四大关键实践：必须传入SQLAlchemy Engine而非原始连接以避免TypeError；务必通过params参数传递WHERE条件变量，杜绝SQL注入风险；面对大数据量时应启用chunksize实现流式分批读取，防止内存溢出；以及针对datetime字段识别异常问题，提供驱动升级、parse_dates强制解析和类型校验等实用解决方案——帮你绕开90%的生产环境踩坑点。

read_sql 读取 SQL 查询结果时，必须传 engine 而不是 connection

很多人卡在 read_sql 报错 TypeError: read_sql() missing 1 required positional argument: 'con'，其实是因为混淆了 con 参数的类型。它要的是一个 SQLAlchemy Engine 实例（比如 create_engine(...) 返回的），不是原始的 sqlite3.Connection 或 psycopg2.connection。

常见错误写法：conn = sqlite3.connect("db.db"); pd.read_sql("SELECT * FROM t", conn) —— 这会失败。

• 正确做法：用 sqlalchemy.create_engine 构建 engine，再传给 con=engine
• MySQL/PostgreSQL 需要安装对应驱动（pymysql、psycopg2），否则 create_engine 初始化就报错
• SQLite 可直接用 "sqlite:///xxx.db"，但注意三个斜杠；相对路径默认从当前工作目录算起，不是脚本所在目录

WHERE 条件里含 Python 变量，别拼字符串，用 params 防注入

直接用 f-string 或 % 拼接 SQL 是高危操作，尤其变量来自用户输入或文件。Pandas 的 read_sql 支持 params 参数透传给底层 driver，自动处理转义和类型适配。

错误示例：f"SELECT * FROM users WHERE age > {min_age}" —— 遇到 min_age = "18; DROP TABLE users;" 就完蛋。

• 安全写法：写成 read_sql("SELECT * FROM users WHERE age > %(min_age)s", engine, params={"min_age": min_age})
• 不同数据库占位符不同：?（SQLite）、%s（MySQL）、%(name)s（PostgreSQL），统一用命名式最稳妥
• params 只支持 WHERE 值替换，不能用于表名、列名或 ORDER BY 字段——这些得靠白名单校验后拼接

大数据量查询别用 read_sql 全拉，加 chunksize 流式读

查几百万行还用 read_sql("SELECT * FROM huge_table", engine)，内存直接爆，Python 进程可能被系统 kill。这不是 Pandas 的 bug，是设计使然：它默认把整个结果集 load 到内存构造成 DataFrame。

现象：程序卡住、内存占用飙升、Jupyter kernel restart。

• 加 chunksize=10000，返回的是 Iterator[pd.DataFrame]，每次只读 1 万行
• 适合做分批处理：统计、清洗、写入其他库，避免一次性 hold 所有数据
• 注意：chunksize 不影响 SQL 执行逻辑，只是客户端侧分页；真要服务端分页得手写 LIMIT/OFFSET 或游标查询

datetime 字段读出来是 object 类型？检查数据库时区和 SQLAlchemy 类型映射

PostgreSQL 的 TIMESTAMP WITH TIME ZONE 或 MySQL 的 DATETIME 读进 Pandas 后变成 object，而不是 datetime64[ns]，后续 dt.year 就报错。这通常不是 Pandas 问题，而是 driver 或 engine 层没正确识别类型。

• 确认数据库字段实际类型：用 SELECT column_name, data_type FROM information_schema.columns 查
• 升级 sqlalchemy 和对应 driver（旧版对时区支持弱）
• 强制转换：加 parse_dates=["created_at"] 参数，或之后调 df["created_at"] = pd.to_datetime(df["created_at"])
• SQLite 没原生 datetime 类型，存的是字符串或整数，必须靠 parse_dates 或自定义 dtype

真正麻烦的不是语法，是 database URL 写错、driver 没装、时区隐式转换、大表没分块——这些地方一漏，查半天都看不出哪错了。

好了，本文到此结束，带大家了解了《Pandas读取SQL数据库全攻略》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！