R语言获取NBER工作论文编号技巧

本文揭秘了在 R 中高效、稳定获取 NBER 工作论文编号及完整元数据（标题、作者、摘要、发布日期等）的最优实践——摒弃易失效的 HTML 爬虫，直接调用 NBER 官方 RESTful API 并用 jsonlite 解析结构化 JSON 响应，不仅彻底规避 JavaScript 动态渲染导致的抓取失败问题，还显著提升速度与可靠性，同时合法合规地获取远超编号需求的丰富学术信息，为经济学研究者和数据工作者提供了一键可复用的技术方案。

本文介绍使用 NBER 官方 RESTful API 替代传统 HTML 爬虫的方法，通过 jsonlite 直接解析结构化 JSON 数据，稳定、快速、免渲染地提取工作论文编号及标题、作者、摘要等元信息。

NBER（美国国家经济研究局）网站虽提供公开工作论文列表，但其前端采用 JavaScript 动态渲染，直接使用 rvest 抓取 .paper-card__paper_number 类选择器会返回空结果（character(0)），根本原因在于目标内容并非静态 HTML，而是由客户端 JS 从 API 异步加载的。因此，绕过浏览器渲染、直连后端 API 是更可靠、高效且合规的方案。

NBER 提供了稳定的公开 REST API（如 https://www.nber.org/api/v1/working_page_listing/...），返回标准 JSON 格式数据，每页最多支持 100 条记录，字段丰富（含 url、title、displaydate、abstract、authors 等），远超单纯抓取编号的需求。

以下是在 R 中调用该 API 的完整实现：

library(dplyr)
library(jsonlite)
library(tidyr)

# 构造第一页 API 请求 URL（已编码，对应 Financial Economics 主题）
base_url <- "https://www.nber.org/api/v1/working_page_listing/contentType/working_paper/_/_/search"
query_params <- list(
  facet = "topics%3AFinancial%20Economics",
  page = 1,
  perPage = 100,
  sortBy = "public_date"
)
url_to_json <- modify_url(base_url, query = query_params)

# 获取并解析 JSON 响应
json_data <- fromJSON(url_to_json, simplifyVector = TRUE)
results_df <- as_tibble(json_data$results)

# 从 paper URL 中提取 WP 编号（如 "/papers/w31424" → "31424"）
results_df <- results_df %>%
  mutate(
    wp_id = str_extract(url, "(?<=/w)\\d+"),  # 推荐：正则精准匹配
    displaydate = as.character(displaydate),
    abstract = as.character(abstract)
  )

# 查看关键字段
results_df %>%
  select(displaydate, title, wp_id, abstract) %>%
  head(10)

✅ 关键优势说明：

• 稳定性高：不依赖页面 DOM 结构变化，API 接口长期维护；
• 性能优异：单次请求仅传输几 KB JSON，比加载完整 HTML+JS 快 5–10 倍；
• 信息完备：天然包含作者、摘要、发布日期、PDF 链接等，无需额外解析；
• 合规友好：符合 NBER 的数据使用政策，避免触发反爬机制。

? 分页与批量获取：
API 支持 page 参数分页。若需获取全部结果，可循环请求（注意速率限制，建议添加 Sys.sleep(0.5)）：

# 获取前 3 页（共最多 300 篇）
all_pages <- lapply(1:3, function(p) {
  url_p <- modify_url(base_url, query = c(query_params, page = p))
  json_p <- fromJSON(url_p, simplifyVector = TRUE)
  as_tibble(json_p$results) %>%
    mutate(wp_id = str_extract(url, "(?<=/w)\\d+"))
})
papers_all <- bind_rows(all_pages) %>% distinct(wp_id, .keep_all = TRUE)

⚠️ 注意事项：

• 不要高频请求（建议 ≥ 0.5 秒间隔），尊重 robots.txt 及服务端限流；
• urltools::modify_url() 或 httr::modify_url() 可安全构建带参数的 URL（避免手动拼接编码错误）；
• 若 str_extract(url, "(?<=/w)\\d+") 失败，请先检查 url 字段是否存在且格式为 /papers/wXXXXX；
• 如需导出为 CSV：write_csv(papers_all, "nber_fin_econ_papers.csv")。

综上，面对现代动态网页，优先探索官方 API 是数据获取的最佳实践。本方案不仅解决了“抓不到 WP 编号”的问题，更将一次简单需求升级为可持续、可扩展的学术数据采集流程。

到这里，我们也就讲完了《R语言获取NBER工作论文编号技巧》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！