本文详细介绍了如何使用Selenium库从Google地图搜索结果中高效地提取商家评分和评论数量。教程涵盖了Selenium环境配置、动态页面滚动加载更多结果的策略、以及关键的元素定位技巧，特别是针对Google地图动态内容中评分和评论的准确XPath定位。通过示例代码和最佳实践，帮助读者掌握从复杂Web应用中抓取数据的专业方法。
1. 环境准备与Selenium基础配置
在开始之前，请确保您的python环境中已安装selenium库，并下载了与您的chrome浏览器版本兼容的chromedriver。
首先，导入必要的Selenium模块，并进行基本的WebDriver配置。Options().add_experimental_option(“detach”, True) 选项可以使浏览器在脚本执行完毕后不立即关闭，方便调试。
from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.support.ui import WebDriverWaitimport time# 配置Chrome选项，使其在脚本结束后保持打开chrome_options = Options()chrome_options.add_experimental_option("detach", True)# 初始化WebDriver、ActionChains和WebDriverWaitdriver = webdriver.Chrome(options=chrome_options)actionChains = ActionChains(driver)wait = WebDriverWait(driver, 20)# 定义一个辅助函数，用于等待元素位置稳定def wait_for_element_location_to_be_stable(element): """ 等待一个元素的位置在一段时间内保持不变，以确保页面加载稳定。 这对于动态加载的元素特别有用。 """ initial_location = element.location previous_location = initial_location start_time = time.time() while time.time() - start_time < 1: # 等待1秒钟，期间位置未变化则认为稳定 current_location = element.location if current_location != previous_location: previous_location = current_location start_time = time.time() # 位置变化，重置计时器 time.sleep(0.4) # 短暂等待，避免CPU占用过高# 导航到Google主页并接受Cookie（如果弹出）driver.get("https://www.google.com/")try: # 尝试点击Google的Cookie同意按钮 cookie_accept_button = wait.until(EC.element_to_be_clickable((By.ID, "L2AGLb"))) cookie_accept_button.click()except: print("未找到或无需点击Cookie同意按钮。")# 导航到Google地图driver.get("https://www.google.com/maps")# 等待页面加载并输入搜索查询time.sleep(3) # 给予页面足够时间加载search_box = wait.until(EC.presence_of_element_located((By.ID, "searchboxinput")))search_box.send_keys("jardins in toulouse")search_box.send_keys(Keys.RETURN)# 等待搜索结果加载time.sleep(5)
2. 动态加载结果的滚动机制
Google地图的搜索结果通常是动态加载的，这意味着初次加载时可能只显示一部分结果。为了获取更多结果，需要模拟用户向下滚动的行为。本教程采用了一种鲁棒的滚动策略，通过滚动到列表中的最后一个元素并发送“向下箭头”键来触发新内容的加载，并判断滚动是否停止（即没有新内容加载出来）。
# 获取初始结果列表# 这里的'hfpxzc'是Google地图中每个商家/地点的链接元素的通用类名results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))break_condition = False# 找到一个可以聚焦的元素，通常是搜索框或者地图上的某个固定元素# 这里使用'zero-input'作为示例，实际中可能需要根据页面结构调整focus_element = driver.find_element(By.ID, 'zero-input')while not break_condition: # 记录当前列表的最后一个元素 temp_last_element = results[-1] # 滚动到最后一个元素，确保其在视图中 actionChains.scroll_to_element(results[-1]).perform() # 将焦点移到某个元素并点击，然后发送向下箭头键，确保滚动事件被触发 # 这一步是为了确保滚动条或页面本身响应键盘事件 actionChains.move_to_element(focus_element).click().perform() for _ in range(3): # 多次发送向下箭头键，确保滚动足够 actionChains.send_keys(Keys.ARROW_DOWN).perform() time.sleep(0.5) # 短暂暂停以允许页面响应 # 等待最后一个元素的位置稳定，这有助于判断页面是否已停止加载 wait_for_element_location_to_be_stable(temp_last_element) # 重新获取所有结果，检查是否有新元素加载 results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']"))) # 如果新的结果列表的最后一个元素与之前的最后一个元素相同， # 并且列表长度不再增加，则认为已滚动到底部 if results[-1] == temp_last_element and len(results) > len(set(results)): # 简单的去重判断，确保不是重复元素 break_condition = True elif len(results) >= 100: # 如果已经获取了足够数量的结果，也可以停止 break_condition = True
注意： 上述滚动逻辑中的 len(results) > len(set(results)) 检查是为了更严谨地判断是否加载了新元素，因为 results[-1] == temp_last_element 可能在某些情况下误判。更可靠的方法是比较新旧列表的长度，或者检查新列表中是否包含旧列表的所有元素且有新增。此处简化为当最后一个元素相同时，假设已到底部，或达到目标数量。
3. 精准提取商家评分和评论数
这是解决原始问题的核心部分。原始代码使用了一个绝对XPath，这在迭代多个结果时是无效的。正确的做法是使用相对XPath，从当前迭代的商家元素（result）出发来定位其相关的评分和评论元素。
Google地图中，每个商家/地点的信息通常在一个“卡片容器”内。result 变量（即 //a[@class=’hfpxzc’]）是这个卡片容器内的链接元素。评分（例如“4.1”）通常在一个具有特定类名（如 MW4etd）的 span 元素中，而评论数量（例如“(123)”）则可能紧邻评分，或者在另一个具有特定属性的 span 元素中。
定位策略：
从 result 元素向上移动到其父级（..），因为评分和评论通常不是 hfpxzc 链接的直接子元素。在父级或其子孙元素中，寻找具有特定类名或文本模式的元素。评分：通常是 //*[@class=’MW4etd’]。评论数：通常是包含括号数字的文本，例如 //span[contains(text(), ‘(‘) and contains(text(), ‘)’)]。
# 循环遍历结果并提取名称、评分和评论数# 限制在获取前100个结果（如果存在）for i, result in enumerate(results[:100], start=1): name = result.get_attribute('aria-label') # 提取评分 # 评分通常在当前商家链接元素的父级容器内，具有'MW4etd'类 ratings_elements = result.find_elements(By.XPATH, "..//*[@class='MW4etd']") rating = ratings_elements[0].text if len(ratings_elements) > 0 else "评分不可用" # 提取评论数量 # 评论数量通常是包含在括号内的数字，与评分元素相邻或在同一父级下 # 这里使用一个更通用的XPath来查找包含括号的文本，以适应不同的HTML结构 review_count_elements = result.find_elements(By.XPATH, "..//span[contains(text(), '(') and contains(text(), ')')]") review_count = review_count_elements[0].text if len(review_count_elements) > 0 else "评论数不可用" print(f"结果 {i}: 名称: {name} - 评分: {rating} - 评论数: {review_count}")# 关闭浏览器driver.quit()
4. 注意事项与最佳实践
XPath的鲁棒性： 避免使用绝对XPath，因为它们对页面结构的变化非常敏感。优先使用相对XPath (. 或 .. 开头) 或 CSS 选择器，结合元素的类名、ID、文本内容或属性来定位。等待策略： 动态网页内容需要强大的等待机制。WebDriverWait 结合 expected_conditions 比简单的 time.sleep() 更可靠，因为它会等待直到条件满足或超时。wait_for_element_location_to_be_stable 这样的自定义等待函数对于处理元素移动或重绘的情况非常有用。错误处理： 使用 find_elements 而不是 find_element 来查找可能不存在的元素。find_elements 会返回一个列表，如果元素不存在则返回空列表，这允许你通过检查列表长度来避免 NoSuchElementException。模拟真实用户行为： 模拟鼠标点击、键盘输入和滚动等操作，可以减少被网站识别为自动化脚本的风险。效率与性能： 频繁的 time.sleep() 会降低脚本执行效率。在确保页面加载完成的前提下，尽量减少不必要的等待时间。反爬机制： Google地图等大型网站有复杂的反爬机制。频繁或大量的请求可能导致IP被封禁或需要验证码。考虑使用代理IP、降低请求频率、模拟用户代理等策略。道德与法律： 在进行任何形式的网络抓取之前，请务必阅读并遵守目标网站的服务条款和隐私政策。尊重网站的数据所有权，并确保您的抓取行为合法合规。
总结
本教程提供了一个使用Selenium从Google地图提取商家评分和评论数的完整解决方案。通过理解动态内容加载机制和掌握正确的元素定位策略，您可以有效地从复杂的Web应用中提取所需数据。记住，Web抓取是一个不断适应和学习的过程，随着网站结构的变化，您的抓取脚本也可能需要随之更新。
以上就是使用Selenium从Google地图提取商家评分和评论数的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1364956.html
微信扫一扫 
支付宝扫一扫 
