Python xml.etree.ElementTree.iterparse 怎样流式读取大 XML

处理大 XML 时，直接使用 ET.parse() 或把所有节点收集到列表，容易让整棵树长期留在内存里。更稳妥的做法是使用 xml.etree.ElementTree.iterparse() 按事件读取，在 end 事件中拿到完整元素，处理完立即清理；如果记录是某个父节点的直接子节点，还要把它从父节点移除。

官方地址：https://docs.python.org/3/library/xml.etree.elementtree.html

先区分增量读取与增量释放

iterparse() 的“流式”主要指解析器逐步报告事件、逐步构建元素树，并不表示旧元素会自动从树中消失。官方文档明确说明：树会增量构建，但不会增量释放；如果不再需要已经处理的内容，应主动清理。

因此大文件处理有两个独立问题：读取端用迭代器避免一次性把输入转换成完整对象，内存端用 clear() 或从父节点删除子元素，避免处理过的节点继续被根节点引用。

用 end 事件提取完整记录

start 事件只保证解析器已经看到开始标签的右尖括号，属性可以读取，但文本和子节点不一定已经准备好。需要读取记录文本、子节点字段或完整属性时，应等到同一元素的 end 事件。

下面的例子假设 XML 中存在多个 record 元素，每条记录包含 id 和 name 子节点。生成器逐条产出字典，调用方可以写入数据库、转换成 CSV，或继续交给队列处理。

from __future__ import annotations

import xml.etree.ElementTree as ET
from collections.abc import Iterator


def read_records(source: str) -> Iterator[dict[str, str]]:
    # 只监听 end 事件，确保 record 的文本和子节点已经完整。
    context = ET.iterparse(source, events=("end",))
    try:
        for event, elem in context:
            # 这里只处理目标记录，避免把无关节点交给业务层。
            if elem.tag != "record":
                continue

            # 用 get 处理可选字段，避免缺少 name 时直接抛出 AttributeError。
            name_node = elem.find("name")
            yield {
                "id": elem.get("id", ""),
                "name": name_node.text.strip() if name_node is not None and name_node.text else "",
            }
            # 记录已经交给调用方，清掉它的属性、文本和子节点。
            elem.clear()
    finally:
        # 新版本提供 close；旧版本没有该方法时保持兼容，不伪造调用。
        close = getattr(context, "close", None)
        if close is not None:
            close()

这里的 yield 会把一条记录交给调用者；调用者没有继续迭代时，解析也会停在当前位置。elem.clear() 只清空元素内容，若根节点仍保存大量空的 record 子元素，树的节点数量仍可能继续增长，还需要下一节的父节点移除策略。

处理后清理节点并限制树增长

当目标记录是 root 的直接子元素，可以在记录结束事件中同时执行 root.remove(elem) 和 elem.clear()。前者解除父节点对该记录的引用，后者清理记录自身持有的文本、属性和子节点。

import xml.etree.ElementTree as ET


def stream_direct_records(source: str):
    # 同时监听 start 和 end，先拿到根节点，再处理它的直接 record 子节点。
    context = ET.iterparse(source, events=("start", "end"))
    root = None
    try:
        for event, elem in context:
            if event == "start" and root is None:
                # 第一个 start 元素就是文档根节点。
                root = elem
                continue

            if event == "end" and elem.tag == "record":
                # end 事件意味着 record 的子节点和文本已经可读。
                yield {"id": elem.get("id", ""), "text": (elem.text or "").strip()}
                if root is not None:
                    # 记录是 root 的直接子节点时，移除引用以防根节点持续变大。
                    root.remove(elem)
                elem.clear()
    finally:
        # 文件名作为 source 时，尽量关闭迭代器持有的内部文件对象。
        close = getattr(context, "close", None)
        if close is not None:
            close()

这段写法的前提是 record 确实是根节点的直接子节点；如果记录嵌套在多个层级，不能盲目对根节点调用 remove。应在遍历时维护父节点栈，或只对已知的直接父节点删除。删错父节点会引发 ValueError，比不清理更难排查。

命名空间、阻塞读取与版本边界

带命名空间的 XML 中，元素标签通常是 {URI}record 形式，不能直接拿 elem.tag == "record" 判断。可以在代码中定义命名空间映射，再用完整限定名比较；不要因为 XML 前缀看起来短，就把前缀当成稳定的标签值。

import xml.etree.ElementTree as ET

NS = {"m": "urn:example:message"}

# 监听结束事件，按完整命名空间路径读取业务字段。
for event, elem in ET.iterparse("messages.xml", events=("end",)):
    if elem.tag == f"{{{NS['m']}}}record":
        # 命名空间匹配成功后再读取字段，避免同名标签串台。
        code = elem.findtext("m:code", default="", namespaces=NS)
        print(code)
        # 处理完成后清理当前记录，避免无界保留。
        elem.clear()

iterparse() 会进行阻塞式读取，适合普通文件或可接受阻塞的文件对象；如果需求是完全非阻塞的增量输入，应评估 XMLPullParser。另外，旧代码里显式传入 parser= 的写法已经是长期弃用参数，迁移时优先使用默认解析器或按官方文档设计自定义目标，不要把弃用参数当成内存释放开关。

建立错误与验收清单

最终可以用四个问题验收：是否只在完整元素可读时处理；是否在业务输出后清理；是否按真实父节点控制树增长；是否把阻塞读取与非阻塞需求区分开。做到这四点，iterparse 才真正适合大 XML，而不是只把一次性解析改成了一个看起来像迭代器的接口。

iterparse 会把整个 XML 一次性读进内存吗？

它按事件增量读取并构建树，但已经构建的元素不会自动逐步释放。大文件仍要主动清理，必要时从父节点移除。

为什么要用 end 而不是 start？

start 事件时元素的属性已可用，但文本和子节点可能尚未完整；需要完整记录时等待 end 更稳妥。

只调用 elem.clear() 够吗？

不一定。它会清空元素内容，但父节点仍可能保留大量空元素；对于已知的直接子节点，应结合父节点 remove。