登录
首页 >  文章 >  python教程

Selenium抓取Google地图评分与评论技巧

时间：2025-08-03 23:24:35 104浏览 收藏

本文详细介绍了如何利用Python和Selenium抓取Google地图上的商家评分与评论数据，尤其针对动态网页元素定位难题提供了实用解决方案。文章强调了避免使用脆弱的绝对XPath，提倡采用更稳健的相对XPath定位策略，并通过示例代码演示了如何从Google地图搜索结果中准确提取每个商家的独立评分信息。此外，还深入探讨了如何处理动态加载内容，包括滚动加载和元素位置稳定性的判断，以及使用`find_elements`处理可能为空的结果。本教程旨在帮助初学者掌握网页数据抓取的核心技巧，构建更稳定、更高效的数据抓取程序，并强调在实际应用中需遵守网站规则和道德规范。

使用Selenium从Google地图高效提取商家评分和评论数

本教程详细指导如何使用Python和Selenium从Google地图页面提取商家（如花园）的评分和评论数量。文章聚焦于解决动态网页元素定位的常见问题，特别是如何通过相对XPath和稳健的定位策略，准确获取每个搜索结果的独立评分数据，并提供了完整的示例代码和关键注意事项，帮助初学者有效进行网页数据抓取。

引言

在网页数据抓取领域，Selenium作为一款强大的自动化测试工具，因其能够模拟用户行为、处理JavaScript渲染的动态内容而备受青睐。Google地图这类高度交互式的Web应用，其内容通常是动态加载的，传统的静态HTML解析方法难以奏效。本教程将深入探讨如何利用Selenium从Google地图中准确提取商家（如特定城市的景点）的评分和评论数量，并重点解决在处理动态列表时常见的元素定位挑战。

初始问题分析：XPath定位的误区

在尝试从Google地图搜索结果列表中提取每个商家的评分时，初学者常犯的一个错误是使用绝对XPath。例如，"/html/body/div[3]/div[8]/div[9]/div/div/div[1]/div[2]/div/div[1]/div/div/div[2]/div[1]" 这样的路径虽然在DOM结构固定时可能有效，但其存在严重局限性：

  1. 脆弱性： 任何微小的页面结构调整（如添加或删除一个div）都可能导致绝对XPath失效。
  2. 上下文问题： 当我们遍历一个包含多个搜索结果的列表时，每个result变量代表列表中的一个独立元素（例如，一个标签）。如果使用一个从文档根目录开始的绝对XPath来定位评分，它将始终指向页面上的第一个或特定位置的评分，而不是当前result元素对应的评分。评分元素通常位于result元素所在的卡片容器内，是result元素的兄弟或表兄弟元素，而不是其直接子孙，因此直接在其上应用绝对路径是无效的。

正确的做法是，从当前循环中的result元素出发，使用相对XPath来定位其关联的评分信息。

解决方案：利用相对XPath与上下文定位

解决上述问题的关键在于理解元素之间的相对关系，并利用相对XPath进行定位。

  1. 向上导航到父容器： 我们知道result变量通常代表的是列表中的一个链接元素（例如，）。而评分信息往往位于这个链接的父级容器中，或者与这个链接同级的某个兄弟容器中。为了能够访问到评分，我们需要首先从result元素向上导航到其共同的父容器。在XPath中，..操作符用于选择当前节点的父节点。

  2. 向下定位评分元素： 一旦我们到达了正确的父容器，就可以在该容器的上下文中向下查找评分元素。通过观察Google地图的HTML结构，可以发现评分通常包含在一个具有特定类名的元素中，例如MW4etd。这是一个相对稳定的类名，适合作为定位器。

  3. 组合XPath： 将上述两步结合起来，我们可以构建一个稳健的相对XPath：..//*[@class='MW4etd']。

  4. 处理多个匹配和空结果： 使用find_elements而不是find_element，因为它会返回一个列表。即使只有一个匹配项，它也会返回一个包含该项的列表。更重要的是，如果某个商家没有评分，find_elements会返回一个空列表，这允许我们通过检查列表的长度来优雅地处理这种情况，避免因尝试访问不存在的元素而引发错误。

完整代码示例

下面是结合了上述改进的完整Python代码，用于从Google地图提取指定数量的商家名称和评分：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
import time

# 配置Chrome选项，保持浏览器开启
chrome_options = Options()
chrome_options.add_experimental_option("detach", True)

driver = webdriver.Chrome(options=chrome_options)
actionChains = ActionChains(driver)
wait = WebDriverWait(driver, 20) # 设置显式等待时间

# 辅助函数：等待元素位置稳定，用于处理滚动时的元素抖动
def wait_for_element_location_to_be_stable(element):
    initial_location = element.location
    previous_location = initial_location
    start_time = time.time()
    while time.time() - start_time < 1: # 持续1秒内位置不变则认为稳定
        current_location = element.location
        if current_location != previous_location:
            previous_location = current_location
            start_time = time.time() # 位置变化，重置计时器
        time.sleep(0.4) # 短暂暂停，避免CPU占用过高

# 1. 导航到Google主页并接受Cookie（如果弹出）
driver.get("https://www.google.com/")
try:
    # 尝试点击Google的Cookie同意按钮
    wait.until(EC.element_to_be_clickable((By.ID, "L2AGLb"))).click()
except:
    print("未找到或无需点击Cookie同意按钮。")

# 2. 导航到Google地图
driver.get("https://www.google.com/maps")

# 等待页面加载并显示搜索框
time.sleep(3) # 简单等待，可替换为显式等待

# 3. 输入搜索查询并回车
search_box = wait.until(EC.presence_of_element_located((By.ID, "searchboxinput")))
search_box.send_keys("jardins in toulouse")
search_box.send_keys(Keys.RETURN)

# 等待搜索结果加载
time.sleep(5) # 简单等待，可替换为显式等待

# 4. 滚动加载更多结果
# 获取初始结果列表
results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))

break_condition = False
# 找到一个可以作为滚动焦点的元素，例如搜索框或地图左侧的空白区域
# 'zero-input' ID通常指向搜索框，作为滚动后焦点元素，确保滚动条可见
focus_element = driver.find_element(By.ID, 'searchboxinput') # 调整焦点元素为搜索框

while not break_condition:
    initial_last_element = results[-1] # 记录当前列表的最后一个元素

    # 滚动到最后一个元素
    actionChains.scroll_to_element(initial_last_element).perform()

    # 滚动后将焦点移回可操作区域，并模拟向下键以确保内容加载
    actionChains.move_to_element(focus_element).click().perform()
    for _ in range(3): # 多次按向下键，确保滚动条到底部
        actionChains.send_keys(Keys.ARROW_DOWN).perform()
        time.sleep(0.5)

    # 等待最后一个元素的位置稳定，确保页面渲染完成
    wait_for_element_location_to_be_stable(initial_last_element)

    # 重新获取所有结果，检查是否有新元素加载
    results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))

    # 如果最后一个元素没有变化，说明已经滚动到底部，没有更多新结果
    if results[-1] == initial_last_element:
        break_condition = True
    else:
        print(f"已加载 {len(results)} 个结果，继续滚动...")

print(f"共找到 {len(results)} 个结果。")

# 5. 遍历结果并提取名称和评分
# 限制在提取前100个结果（如果存在）
for i, result in enumerate(results[:100], start=1):
    name = result.get_attribute('aria-label')

    # **核心修改**：使用相对XPath定位评分元素
    # 从当前result元素向上导航到父级，然后查找class为'MW4etd'的元素
    ratings = result.find_elements(By.XPATH, "..//*[@class='MW4etd']")

    # 检查是否找到了评分元素，并提取文本
    rating = ratings[0].text if len(ratings) > 0 else "评分不可用"

    print(f"结果 {i}: {name} - 评分: {rating}")

# 6. 关闭浏览器
driver.quit()

注意事项与最佳实践

  1. 定位器选择：

  2. 等待策略：

  3. 滚动加载：

  4. 错误处理与健壮性：

  5. 数据清洗：

  6. 反爬机制与道德规范：

总结

通过本教程，我们学习了如何使用Python和Selenium从Google地图等动态网站中准确提取数据。核心要点在于：

掌握这些技巧，将使您能够构建更稳定、更高效的网页数据抓取程序。在实际应用中，还需要根据具体网站的结构和反爬机制，灵活调整策略。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~

相关阅读
更多>
最新阅读
更多>
课程推荐
更多>