本文旨在提供一个使用Selenium从Google地图动态加载页面中准确提取商家评分和评论数的教程。针对初学者在处理动态内容和构建稳定XPath定位器时常遇到的问题，文章详细阐述了如何通过相对XPath、父级元素定位以及条件判断来克服这些挑战，确保数据提取的准确性和代码的健壮性。
1. 环境准备与基础配置
在使用selenium进行网页抓取前，需要确保安装了必要的库和浏览器驱动。本教程以chrome浏览器为例。
from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.support.ui import WebDriverWaitimport time# 配置Chrome选项，保持浏览器打开状态chrome_options = Options()chrome_options.add_experimental_option("detach", True)# 初始化WebDriverdriver = webdriver.Chrome(options=chrome_options)actionChains = ActionChains(driver)wait = WebDriverWait(driver, 20) # 设置显式等待时间
2. 页面导航与动态加载处理
访问Google地图并执行搜索是抓取数据的第一步。由于Google地图的内容是动态加载的，特别是搜索结果列表，因此需要实现滚动机制来加载所有数据。
def wait_for_element_location_to_be_stable(element): """ 等待元素位置稳定，避免因页面滚动导致元素位置变化而出现定位问题。 """ initial_location = element.location previous_location = initial_location start_time = time.time() while time.time() - start_time < 1: # 在1秒内位置没有变化则认为稳定 current_location = element.location if current_location != previous_location: previous_location = current_location start_time = time.time() # 位置变化，重置计时器 time.sleep(0.4)# 导航到Google主页并接受Cookiesdriver.get("https://www.google.com/")driver.find_element(By.ID, "L2AGLb").click() # 点击接受Cookies按钮# 导航到Google地图driver.get("https://www.google.com/maps")time.sleep(3) # 等待页面加载# 输入搜索查询并回车search_box = driver.find_element(By.ID, "searchboxinput")search_box.send_keys("jardins in toulouse")search_box.send_keys(Keys.RETURN)time.sleep(5) # 等待搜索结果加载# 滚动加载所有结果results = driver.find_elements(By.XPATH, "//a[@class='hfpxzc']") # 初始结果列表focus_element = driver.find_element(By.ID, 'zero-input') # 用于滚动后重新聚焦的元素break_condition = Falsewhile not break_condition: temp = results[-1] # 记录当前列表的最后一个元素 actionChains.scroll_to_element(results[-1]).perform() # 滚动到最后一个元素 actionChains.move_to_element(focus_element).click().perform() # 聚焦到非滚动区域，确保滚动条可控 # 模拟键盘向下滚动，确保新内容加载 for _ in range(3): actionChains.send_keys(Keys.ARROW_DOWN).perform() time.sleep(0.5) wait_for_element_location_to_be_stable(temp) # 等待页面稳定 # 重新获取所有结果，检查是否加载了新内容 results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']"))) if results[-1] == temp: # 如果最后一个元素没有变化，说明已到达底部 break_condition = True
3. 准确提取评分和评论数
在获取到所有商家列表元素后，关键在于如何从每个商家卡片中准确提取评分和评论数。原始尝试中使用绝对XPath (/html/body/div[3]/…) 是不可取的，因为这种路径极易因页面结构变化而失效，且不能在循环中针对每个独立的商家卡片使用。
问题分析：每个商家结果（results 列表中的 result 元素，其XPath为//a[@class=’hfpxzc’]）代表一个独立的商家卡片。评分和评论数通常位于该卡片的某个子元素或同级元素的子元素中。直接使用绝对XPath会定位到页面上第一个匹配的元素，而不是当前迭代的商家卡片内的元素。
解决方案：相对XPath与上下文定位
正确的做法是使用相对于当前商家卡片元素的相对XPath来定位评分信息。
确定评分元素的位置： 观察Google地图的DOM结构，可以发现评分（例如“4.1”）通常位于商家名称的父级元素中，或者与商家名称元素相邻的某个容器内。在给定的案例中，评分元素具有一个独特的类名 MW4etd。
构建相对XPath：
result 变量代表一个 元素，它是一个商家卡片的链接。评分信息通常不在 元素内部，而是在其父级容器中。因此，我们需要先向上移动到父级元素，即使用 ..。从父级元素向下查找带有特定类名 MW4etd 的元素。最终的相对XPath为 ..//*[@class=’MW4etd’]。这里的 * 表示任何元素，@class=’MW4etd’ 匹配具有该类名的元素。
处理可能缺失的评分： 有些商家可能没有评分。使用 find_elements 会返回一个列表，如果找不到元素，则返回空列表。通过检查列表长度可以判断是否存在评分，从而避免索引错误。
# 遍历结果并提取名称、评分和评论数for i, result in enumerate(results[:100], start=1): # 限制提取前100个结果 name = result.get_attribute('aria-label') # 获取商家名称 # 使用相对XPath定位评分元素 # `..` 表示当前元素的父级 # `//*[@class='MW4etd']` 表示在父级下查找所有class为'MW4etd'的元素 ratings = result.find_elements(By.XPATH, "..//*[@class='MW4etd']") # 检查是否找到了评分元素 if len(ratings) > 0: rating_text = ratings[0].text # 评分文本通常包含评分值和评论数，例如 "4.1 (123)" # 可以进一步解析以分离评分和评论数 if '(' in rating_text and ')' in rating_text: parts = rating_text.split('(') rating_value = parts[0].strip() review_count = parts[1].replace(')', '').strip() else: rating_value = rating_text.strip() review_count = "N/A" # 或其他默认值 else: rating_value = "评分不可用" review_count = "评论数不可用" print(f"结果 {i}: {name} - 评分: {rating_value} - 评论数: {review_count}")# 关闭浏览器driver.quit()
4. 注意事项与总结
XPath的健壮性： 优先使用相对XPath和具有唯一性的属性（如id、class、name、data-*属性）进行定位，避免使用绝对XPath。显式等待（WebDriverWait）： 在页面加载或元素出现时，使用 WebDriverWait 结合 expected_conditions 比 time.sleep() 更可靠，因为它会等待直到条件满足或超时。动态内容处理： 对于滚动加载的页面，需要实现有效的滚动机制，并结合循环和条件判断来确定何时停止滚动。错误处理： 使用 find_elements 而不是 find_element 可以避免在元素不存在时抛出 NoSuchElementException，而是返回空列表，便于进行条件判断。数据解析： 提取到的文本可能需要进一步的字符串处理（如 split()、replace()、strip()）来获取所需的数据片段。道德与法律： 在进行网页抓取时，请务必遵守网站的服务条款和robots.txt协议，并注意抓取频率，避免对网站服务器造成过大负担。
通过本教程，您应该能够掌握使用Selenium从Google地图等动态网站中准确、健壮地提取所需数据的方法。关键在于理解页面结构、灵活运用定位策略以及处理动态加载内容的技巧。
以上就是使用Selenium从Google地图提取评分与评论数：一个实践指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1364950.html
微信扫一扫 
支付宝扫一扫 
