结构中，并且在查看页面源代码时无法找到这些数据，那么很有可能这些数据是通过JavaScript动态加载的。此时，传统的HTML解析方法将无法奏效。
V8包：在R中执行JavaScript
为了克服动态网页抓取的挑战，我们需要一个能够在R环境中模拟浏览器执行JavaScript能力的工具。V8包正是为此而生。它提供了对Google V8 JavaScript引擎的R语言接口，允许用户在R中创建JavaScript上下文，执行JavaScript代码，并获取JavaScript环境中变量的值。这使得我们能够直接处理那些通过JavaScript加载或计算出的数据。
实施步骤：抓取动态加载的国家数据
以下我们将通过一个具体案例，演示如何利用httr和V8包抓取FATF网站上的国家数据。
步骤1：识别并获取JavaScript源文件
首先，我们需要确定包含目标数据的JavaScript文件。通常，这需要对网页进行一些检查（例如使用浏览器开发者工具的网络请求选项卡），以找出在页面加载过程中请求的JavaScript文件。对于FATF网站的案例，我们发现国家数据存储在一个名为country-data-multi-lang.js的JavaScript文件中。
使用httr包，我们可以像获取普通网页一样获取这个JavaScript文件的内容。
library(httr)
library(V8)
library(dplyr)
library(tidyr)
# 目标JavaScript文件的URL
js_url <- paste0('https://www.fatf-gafi.org/media/fatf/fatfv20/',
'js/country-data-multi-lang.js')
# 使用GET请求获取JavaScript文件内容
js_content <- content(GET(js_url), 'text')
# 此时js_content变量中包含了JavaScript代码的字符串步骤2：初始化V8引擎并执行JS代码
获取到JavaScript代码后，我们需要在R中创建一个V8上下文（即一个独立的JavaScript运行环境），然后将这段JavaScript代码加载并执行。
# 创建一个V8上下文
ct <- v8()
# 在V8上下文中执行JavaScript代码
# 这将运行js_content中的所有JS语句，包括变量定义等
ct$eval(js_content)
执行ct$eval(js_content)后，js_content中定义的任何全局变量都将在ct这个V8上下文中可用。在我们的案例中，经过分析，我们知道所需数据存储在一个名为countries的JavaScript变量中。
步骤3：提取和整理数据
JavaScript代码执行完毕后，我们可以使用ct$get()方法从V8上下文中提取指定变量的值。V8包会自动将JavaScript的数据结构（如数组、对象）转换为R中对应的列表或数据框。由于countries变量是一个嵌套的数据结构，我们需要使用tidyr和dplyr进行进一步的整理。
# 从V8上下文中获取名为"countries"的变量
# V8会自动将其转换为R的数据结构，通常是嵌套的列表或数据框
country_data <- ct$get("countries")
# 对嵌套数据进行整理：
# 1. unnest(cols = c(groups))：展开'groups'列中的嵌套数据
# 2. select(c(1:2,4:14,16))：选择所需的列，这里根据实际输出进行调整
# 3. filter(!is.na(name))：过滤掉可能存在的空行或无效数据
final_data <- country_data %>%
unnest(cols = c(groups)) %>%
select(c(1:2,4:14,16)) %>% # 根据实际数据结构调整列索引
filter(!is.na(name))
# 查看最终整理好的数据
print(final_data)完整代码示例：
library(httr)
library(V8)
library(dplyr)
library(tidyr)
# 1. 识别并获取JavaScript源文件
js_url <- paste0('https://www.fatf-gafi.org/media/fatf/fatfv20/',
'js/country-data-multi-lang.js')
js_content <- content(GET(js_url), 'text')
# 2. 初始化V8引擎并执行JS代码
ct <- v8()
ct$eval(js_content)
# 3. 提取和整理数据
final_data <- ct$get("countries") %>%
unnest(cols = c(groups)) %>%
select(c(1:2,4:14,16)) %>% # 根据实际数据结构调整列索引
filter(!is.na(name))
# 打印结果
print(final_data)
# 示例输出（部分）
#> # A tibble: 209 × 14
#> name code FATF APG CFATF EAG ESAAMLG GABAC GAFILAT GIABA MENAFATF
#>
#> 1 Afghanist… AF "" "mbr" "" "obs" "" "" "" "" ""
#> 2 Albania AL "" "" "" "" "" "" "" "" ""
#> 3 Algeria DZ "" "" "" "" "" "" "" "" "mbr"
#> 4 Andorra AD "" "" "" "" "" "" "" "" ""
#> 5 Angola AO "" "" "" "mbr" "" "" "" "" ""
#> # … with 200 more rows, and 3 more variables: MONEYVAL ,
#> # jurisdiction , id 注意事项与最佳实践
- 适用场景： V8包非常适合处理数据直接嵌入在JavaScript文件中的情况，或者当JavaScript逻辑相对简单，不涉及复杂的DOM操作或异步请求时。对于需要模拟用户交互、处理大量AJAX请求或渲染完整页面的场景，可能需要更强大的工具，如R中的RSelenium（基于Selenium WebDriver的无头浏览器）。
- 查找数据源的技巧： 使用浏览器开发者工具是关键。在“网络”（Network）选项卡中，您可以监视页面加载时所有的HTTP请求，包括JavaScript文件。通常，文件名或响应内容会暗示其是否包含所需数据。您也可以在“元素”（Elements）选项卡中查看动态生成的HTML，并在“源”（Sources）选项卡中调试JavaScript代码以理解其逻辑。
- 数据后处理： V8包提取的数据通常是R中的列表或数据框。对于嵌套结构，tidyr包的unnest()函数是强大的工具，可以帮助您将嵌套数据展平为更易于分析的格式。dplyr则用于选择、过滤和转换数据。
- JavaScript变量名： 确保您ct$get()中使用的变量名与JavaScript文件中实际定义的变量名完全匹配。
- 编码： 在读取网页内容或JavaScript文件时，指定正确的编码（如encoding = "UTF-8"）可以避免乱码问题。
总结
当传统基于HTML解析的网页抓取方法遇到瓶颈时，特别是在面对由JavaScript动态生成内容的现代网站时，V8包提供了一个强大而灵活的解决方案。通过在R环境中直接执行JavaScript代码并提取其内部变量，我们能够高效地获取到这些隐藏在动态逻辑背后的宝贵数据。掌握这种技术，将极大地扩展您在R语言中进行网页数据抓取的能力。
终于介绍完啦！小伙伴们，这篇关于《R语言抓取动态网页：V8包解析JS教程》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！
