Python爬虫解析嵌套评论：递归遍历层级结构详解

本文深入解析了Python爬虫中处理嵌套评论树形结构的核心难点与实战方案：针对易触发RecursionError的深层递归，强调通过显式depth限制、空值防护和生成器yield优化来保障稳定性；对比jsonpath-ng的便捷递归提取与Python函数的灵活兜底能力，指出字段不一致时的手动解析必要性；揭露HTML评论解析中class名动态化的陷阱，倡导以语义属性（如data-comment-id）和DOM结构锚点替代脆弱的CSS选择器；并重点警示mutable默认参数等隐蔽陷阱，辅以环状引用等边界场景的应对策略——让开发者真正掌控递归，而非被递归所困。

评论数据是字典嵌套列表，直接 for 循环会漏掉子评论

很多 API 返回的评论结构类似：comment 对象里有 replies 字段，它是个列表，每个元素又是带 replies 的评论——典型的树形结构。用两层 for 硬写，第三层就断了；用 while + 队列又容易绕晕。

真正该做的是递归函数，但别手写栈或搞深拷贝——Python 默认递归深度是 1000，而某些热门帖子的评论嵌套可能超 200 层，一不小心就 RecursionError: maximum recursion depth exceeded。

• 定义函数时加个 depth 参数，主动控制递归层数（比如限制 ≤5）
• 把 replies 列表传进去前先判空：if not comment.get("replies"):，避免键不存在时报 KeyError
• 别在递归里拼接字符串或构造新字典，改用生成器 yield，内存更稳

用 jsonpath-ng 解析 JSON 嵌套字段比手写递归更省事

如果你只是想“提取所有评论内容”，根本不用自己遍历树。jsonpath-ng 支持递归下降操作符 $..content，能一次捞出所有层级的 content 字段值。

但它不是标准库，得 pip install jsonpath-ng；而且对字段名不一致的场景（比如有的叫 text，有的叫 body）无能为力，这时候还是得切回 Python 函数。

• 安装后用 parse("$..replies") 可以定位所有回复数组，再逐个处理
• 注意 jsonpath-ng 返回的是匹配对象列表，要调用 .find(data) 才真正执行解析
• 如果原始数据里有 None 或缺失字段，.find() 不报错但结果为空，得提前过滤

requests + BeautifulSoup 解析 HTML 嵌套评论时，class 名动态变化是最大坑

网页评论区常靠 JS 渲染，class 名带哈希（如 comment_abc123）、或用 CSS-in-JS 生成随机类名。用 soup.select(".comment-item") 可能一开始有效，换一页就失效。

更稳的方式是找结构锚点：比如每个评论块都包裹在