Rvest爬虫实战：NPB数据抓取技巧分享

各位小伙伴们，大家好呀！看看今天我又给各位带来了什么文章？本文标题是《Rvest爬虫实战：抓取NPB官网数据技巧》，很明显是关于文章的文章哈哈哈，其中内容主要会涉及到等等，如果能帮到你，觉得很不错的话，欢迎各位多多点评和分享！

本文详解如何使用 R 语言的 rvest 包稳定抓取 npb.jp 网站上的棒球统计表格，重点解决 SSL 证书错误、动态结构识别与 CSS 选择器失效等常见问题，并提供可复用的健壮代码方案。

在使用 rvest 抓取日本职业棒球联盟（NPB）官网（如 https://npb.jp/bis/eng/2022/stats/std_c.html）时，初学者常遇到“无法定位表格”的问题——这并非因为网页结构复杂，而多源于三个关键因素：HTTPS 证书验证失败、HTML 实际结构与开发者工具显示不一致、以及过度嵌套的 CSS 选择器导致节点匹配失败。

原始代码中使用的 CSS 选择器 #stdivmaintbl > table > tbody > tr > td > div:nth-child(1) 过于具体且依赖 DOM 渲染路径，而 NPB 官网实际采用的是语义化类名（如 .stdtblmain）包裹表格，且页面中存在多个同类型表格（例如投手/打者统计），直接硬编码层级极易断裂。

✅ 推荐做法是：优先使用语义清晰的 class 名称定位，避免深度层级依赖。实测表明，.stdtblmain 是该页面所有主统计表的统一容器类，配合 html_table() 可自动解析其内部

library(rvest)
library(magrittr)

# 方案一：绕过 SSL 证书问题（推荐用于调试）
# 将网页另存为本地 HTML 文件（右键 → “另存为” → 纯文本 HTML）
url <- "baseball.html"  # 替换为你的本地路径
tables <- url %>% 
  read_html() %>% 
  html_nodes(".stdtblmain") %>% 
  html_table(header = TRUE, fill = TRUE)

# 获取第一个主表（通常为打者综合统计）
df_batters <- tables[[1]]
head(df_batters[, 1:10])  # 查看前10列预览

⚠️ 注意事项：

• 证书错误处理：若直接读取 URL 报错 SSL certificate problem（常见于 macOS 或旧版 libcurl），请先用浏览器保存网页源码为 baseball.html，再本地读取；或临时启用证书忽略（仅限测试环境）：

  Sys.setenv("CURL_CA_BUNDLE" = "")  # 不推荐生产环境使用

• 表格空值与合并单元格：NPB 表格大量使用 rowspan/colspan 和空

df_pitchers <- tables[[2]]  # 第二个主表常为投手数据