Python sqlglot 实现跨方言SQL转换

Python 的 sqlglot 确实支持将 MySQL SQL 转换为 SparkSQL，但远非“一键无忧”——它要求显式声明源方言（如 `dialect="mysql"`）、手动处理 MySQL 特有函数（如 `GROUP_CONCAT`、`IF`）、类型（如 `INT UNSIGNED`）、变量逻辑（如 `@var := @var + 1`，必须重写为窗口函数）及语义差异（如 `TIMESTAMPDIFF` 与 `months_between` 的返回类型不一致），且转换结果仅保证语法可解析，不保障语义等价；真正安全落地需结合 AST 结构校验、子查询别名补全、CTE 依赖检查，并辅以真实数据测试来兜底那些“看起来一样、跑起来不同”的隐性陷阱。

sqlglot 能不能把 MySQL 的 SQL 转成 SparkSQL？

能，但默认不自动处理方言特有函数和类型，得手动指定目标 dialect 并留意隐式行为。

• parse 时必须用 dialect="mysql" 显式声明源方言，否则 sqlglot 会按通用 SQL 解析，丢失 INT UNSIGNED、JSON_EXTRACT 这类 MySQL 特性
• transform 或 generate 到 spark 时，JSON_EXTRACT(col, '$.a') 会被转成 get_json_object(col, '$.a') —— 这是 sqlglot 内置的映射，但像 GROUP_CONCAT 这种 MySQL 独占函数不会自动降级，会直接报错
• SparkSQL 不支持 IFNULL，sqlglot 会转成 COALESCE，但如果你用了 IF(condition, a, b)，它默认不转，得靠 replace 规则手动干预

为什么 sqlglot.transpile 输出的 SparkSQL 运行时报错？

常见原因是字段别名作用域、CTE 引用顺序或隐式类型推导不一致，不是语法转换失败，而是语义等价没保障。

• MySQL 允许在 ORDER BY 里直接写别名（如 SELECT a+1 AS x ORDER BY x），SparkSQL 要求显式写出表达式或加子查询，sqlglot 默认不重写，得用 identify=True + pretty=True 检查生成结构
• 嵌套 CTE 如 WITH t1 AS (...), t2 AS (SELECT * FROM t1) SELECT * FROM t2，SparkSQL 要求 CTE 定义顺序严格前置，而 sqlglot 不做依赖拓扑排序，若原始 SQL 里 t2 引用了未定义的 t1，它也不会报错，只是原样输出
• TIMESTAMPDIFF(MONTH, a, b) 在 MySQL 中返回整数，在 SparkSQL 中对应 months_between(b, a)，但后者返回 double，精度和空值行为不同 —— sqlglot 只做函数名替换，不插类型 cast

怎么安全地把带变量的 MySQL SQL（如 @var := @var + 1）转给 Spark？

不能直接转。sqlglot 不解析或模拟 MySQL 用户变量逻辑，这类语句必须先人工重写为窗口函数或 JOIN 形式，再喂给 sqlglot。

• @var := @var + 1、@var := IF(@prev = col, @var + 1, 1) 这类状态变量，sqlglot 会当作普通标识符保留，生成的 SparkSQL 里变成未定义变量，运行即报错
• 正确做法是先用正则或 AST 遍历识别出变量赋值模式，替换成 ROW_NUMBER() OVER (PARTITION BY ... ORDER BY ...) 或 SUM(1) OVER (...)，再让 sqlglot 处理标准语法部分
• 如果必须保留变量逻辑（比如调试中间态），建议用 sqlglot.parse 提取 AST 后，对 Var 类型节点打标记，后续 pipeline 跳过转换或抛出明确提示

transpile 后要不要校验 AST 结构？

要，尤其当源 SQL 来自不可控输入（如用户提交、日志提取）时，AST 校验比字符串比对更可靠。

• 用 sqlglot.parse(sql, dialect="mysql").find_all(sqlglot.exp.Column) 检查所有列引用是否都在 FROM 子句中声明，避免漏掉隐式 JOIN 导致 Spark 推断失败
• 对含子查询的语句，检查 Subquery 节点是否都有别名（SparkSQL 要求子查询必须有 alias），可用 node.alias_or_name 判断，空则需补 AS tmp
• 生成后执行 sqlglot.parse(generated_sql, dialect="spark") 看是否抛异常 —— 这步能捕获大部分语法级问题，但无法验证函数语义是否等价

实际用的时候，最麻烦的不是语法转换，是那些“看起来一样、跑起来不一样”的细节：比如 MySQL 的 STR_TO_DATE('2023-01-01', '%Y-%m-%d') 转 Spark 后变成 to_date('2023-01-01', 'yyyy-MM-dd')，格式串大小写敏感，少个 y 就全 null。这种得靠测试数据兜底，不能只信 transpile 输出。

好了，本文到此结束，带大家了解了《Python sqlglot 实现跨方言SQL转换》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！