本教程详细介绍了如何使用Python和Selenium库从Google Maps抓取特定地点的评分星级和评论数量。文章涵盖了Selenium环境配置、Google Maps导航与搜索、处理动态加载内容（如滚动加载）、以及通过精确的XPath定位和正则表达式解析来提取目标数据。通过一个完整的代码示例，本教程旨在帮助读者构建健壮的Google Maps数据抓取解决方案，并提供了相关的最佳实践与注意事项。
引言：Google Maps数据抓取的挑战
google maps作为一个高度动态的web应用，其内容通常通过javascript异步加载，并且在用户滚动页面时持续加载更多数据。这使得传统的静态网页抓取工具难以应对。selenium作为一款强大的浏览器自动化工具，能够模拟用户行为，如点击、输入、滚动等，因此成为抓取此类动态网站的理想选择。本文将聚焦于如何利用selenium从google maps中准确提取地点的评分和评论数量，并解决在定位元素时常见的xpath问题。
环境准备与初始化
在开始之前，请确保您已安装Python和Selenium库，并下载了与您的Chrome浏览器版本兼容的ChromeDriver。
pip install selenium
Selenium导入与WebDriver配置
首先，导入必要的Selenium模块，并配置Chrome WebDriver。add_experimental_option(“detach”, True) 选项可以使浏览器在脚本执行完毕后不立即关闭，方便调试。
from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.support.ui import WebDriverWaitimport timeimport re # 用于解析评分和评论数量# 配置Chrome选项chrome_options = Options()chrome_options.add_experimental_option("detach", True) # 保持浏览器开启# 初始化WebDriverdriver = webdriver.Chrome(options=chrome_options)actionChains = ActionChains(driver) # 用于执行复杂的用户交互，如滚动wait = WebDriverWait(driver, 20) # 显式等待，最长等待20秒
辅助函数：wait_for_element_location_to_be_stable
在处理动态加载的页面时，元素的位置可能会在加载过程中发生变化。此辅助函数用于等待元素的位置稳定，确保后续操作的准确性。
def wait_for_element_location_to_be_stable(element): """ 等待给定元素的位置稳定，避免因元素位置变化导致的StaleElementReferenceException。 """ initial_location = element.location previous_location = initial_location start_time = time.time() while time.time() - start_time < 1: # 在1秒内位置没有变化则认为稳定 current_location = element.location if current_location != previous_location: previous_location = current_location start_time = time.time() # 位置变化，重置计时器 time.sleep(0.4) # 短暂等待
导航与搜索操作
接下来，我们将导航到Google Maps并执行搜索查询。
# 访问Google主页并同意Cookies（如果出现）driver.get("https://www.google.com/")try: # 尝试查找并点击同意Cookies按钮，此ID可能因地区而异 wait.until(EC.element_to_be_clickable((By.ID, "L2AGLb"))).click()except: print("未找到或无需点击Cookies同意按钮。")# 访问Google Mapsdriver.get("https://www.google.com/maps")# 等待页面加载并找到搜索框time.sleep(3) # 简单等待，可替换为显式等待search_box = wait.until(EC.presence_of_element_located((By.ID, "searchboxinput")))# 输入搜索查询并回车search_box.send_keys("jardins in toulouse")search_box.send_keys(Keys.RETURN)# 等待搜索结果加载time.sleep(5) # 简单等待，可替换为更精确的等待条件
动态加载与滚动机制
Google Maps的搜索结果通常是懒加载的，即只有当用户滚动到页面底部时，才会加载更多结果。为了获取更多数据，我们需要模拟滚动操作。
# 定位第一个结果列表中的元素，用于滚动操作# hfpxzc 是每个地点结果卡片的链接元素的classresults = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))# 模拟滚动以加载更多结果break_condition = False# 找到一个可以作为滚动焦点的元素，通常是侧边栏的某个固定元素focus_element = driver.find_element(By.ID, 'zero-input') # 这是一个常见的Google Maps侧边栏输入框IDwhile not break_condition: # 记录当前列表中的最后一个元素 temp_last_element = results[-1] # 滚动到最后一个元素 actionChains.scroll_to_element(temp_last_element).perform() # 模拟点击焦点元素，确保滚动条激活 actionChains.move_to_element(focus_element).click().perform() # 模拟按下几次向下箭头键，确保滚动发生 for _ in range(3): actionChains.send_keys(Keys.ARROW_DOWN).perform() time.sleep(0.5) # 等待最后一个元素的位置稳定，确认滚动已完成 wait_for_element_location_to_be_stable(temp_last_element) # 重新获取所有结果元素 results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']"))) # 如果新的结果列表的最后一个元素与之前的最后一个元素相同，说明已滚动到底部，没有更多新内容加载 if results[-1] == temp_last_element: break_condition = True
核心：准确提取评分与评论
这是整个抓取过程的关键部分。原始的问题在于，尝试使用绝对XPath或不正确的相对XPath来定位评分元素，导致无法在循环中正确获取每个结果的评分。
XPath定位策略：从绝对到相对
Google Maps中每个地点结果是一个独立的卡片。评分和评论数量通常位于该卡片内部。因此，我们需要从当前结果元素 (result) 的上下文出发，使用相对XPath来定位其内部的评分元素。
原始的 rating_xpath = “/html/body/div[3]/div[8]/div[9]/div/div/div[1]/div[2]/div/div[1]/div/div/div[2]/div[1]” 是一个绝对XPath，它只能定位到页面上的第一个（或特定位置的）评分元素，并且不适用于循环中的每个 result 元素。正确的做法是，从 result 元素（它是一个 标签，class 为 hfpxzc）向上回溯到其父容器，然后向下查找包含评分信息的元素。通过观察HTML结构，可以发现评分信息通常位于 标签的父级或祖父级元素中，并有一个独特的class。答案中指出的 MW4etd 是一个非常关键的class。.. 表示当前元素的父节点。所以，..//*[@class=’MW4etd’] 的含义是：从当前 result 元素的父节点开始，在任意层级的后代中查找所有 class 属性为 MW4etd 的元素。
MW4etd 类：解析综合文本
通常，Google Maps的评分和评论数量是作为一个文本字符串显示在一个元素中，例如 “4.5 (1,234)”。这个字符串包含星级评分和评论数量。我们需要使用正则表达式来从中提取这两个数值。
数据解析：正则表达式提取评分和评论数
# 循环遍历前100个结果（或所有已加载的结果）for i, result in enumerate(results[:100], start=1): name = result.get_attribute('aria-label') # 获取地点的名称 # 使用相对XPath定位评分和评论元素 # ratings_elements 是一个列表，因为 find_elements 返回所有匹配的元素 ratings_elements = result.find_elements(By.XPATH, "..//*[@class='MW4etd']") rating_value = "N/A" review_count = "N/A" if len(ratings_elements) > 0: full_text = ratings_elements[0].text # 获取包含评分和评论的完整文本 # 使用正则表达式从文本中提取评分和评论数量 # 模式解释: # (d+.?d*) : 匹配一个或多个数字，可选的小数点和数字 (例如 4.1, 5) - 这是评分 # s* : 匹配零个或多个空格 # ( : 匹配开括号 (需要转义) # (d{1,3}(?:,d{3})*) : 匹配数字，可能包含逗号 (例如 1,234) - 这是评论数量 # ) : 匹配闭括号 (需要转义) match = re.search(r'(d+.?d*)s*((d{1,3}(?:,d{3})*))', full_text) if match: rating_value = float(match.group(1)) # 提取评分 # 提取评论数量，并移除逗号以便转换为整数 review_count = int(match.group(2).replace(',', '')) else: # 如果没有找到 (评分) 格式，尝试只提取评分数字 single_rating_match = re.search(r'(d+.?d*)', full_text) if single_rating_match: rating_value = float(single_rating_match.group(1)) print(f"Result {i}: {name} - Rating: {rating_value} - Reviews: {review_count}")# 关闭浏览器driver.quit()
完整代码示例
将上述所有代码片段整合，形成一个完整的、可运行的Python脚本。
from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.support.ui import WebDriverWaitimport timeimport re# --- 配置与初始化 ---chrome_options = Options()chrome_options.add_experimental_option("detach", True) # 保持浏览器开启，方便调试driver = webdriver.Chrome(options=chrome_options)actionChains = ActionChains(driver)wait = WebDriverWait(driver, 20)# --- 辅助函数 ---def wait_for_element_location_to_be_stable(element): """ 等待给定元素的位置稳定，避免因元素位置变化导致的StaleElementReferenceException。 """ initial_location = element.location previous_location = initial_location start_time = time.time() while time.time() - start_time 0: full_text = ratings_elements[0].text match = re.search(r'(d+.?d*)s*((d{1,3}(?:,d{3})*))', full_text) if match: rating_value = float(match.group(1)) review_count = int(match.group(2).replace(',', '')) else: single_rating_match = re.search(r'(d+.?d*)', full_text) if single_rating_match: rating_value = float(single_rating_match.group(1)) print(f"Result {i}: {name} - Rating: {rating_value} - Reviews: {review_count}")# --- 清理 ---driver.quit()
注意事项与优化建议
XPath的健壮性： 尽量使用相对XPath和具有稳定性的CSS选择器或class名称。避免使用过于依赖DOM结构的绝对XPath，因为它们在页面结构微小变化时很容易失效。异常处理与数据缺失： 在实际项目中，应使用 try-except 块来捕获可能出现的 NoSuchElementException 或 StaleElementReferenceException 等异常，以提高脚本的健壮性。对于可能不存在的元素，使用 find_elements（返回列表）而非 find_element（抛出异常），并检查列表长度。反爬策略与伦理：延时（time.sleep）： 在每次操作之间加入适当的延时，模拟人类行为，避免因请求频率过高而被网站封禁IP。用户代理（User-Agent）： 模拟常见的浏览器User-Agent。无头模式： 在生产环境中，可以启用Chrome的无头模式（chrome_options.add_argument(“–headless”)），这样浏览器界面不会显示，节省资源。IP代理： 如果需要大规模抓取，考虑使用IP代理池。遵守网站条款： 在抓取任何网站数据之前，请务必查阅其服务条款，确保您的行为符合规定。性能优化：显式等待（WebDriverWait）： 优先使用 WebDriverWait 和 expected_conditions 来等待元素出现或满足特定条件，而不是简单的 time.sleep()。这可以提高脚本的效率和稳定性。无图模式： 禁用图片加载可以显著加快页面加载速度：chrome_options.add_argument(“–blink-settings=imagesEnabled=false”)。
总结
通过本教程，您应该已经掌握了使用Selenium从Google Maps抓取动态加载数据（如地点评分和评论数量）的核心技术。关键在于理解动态内容的加载机制、正确使用XPath进行元素定位，以及通过正则表达式对提取的文本数据进行精细解析。结合适当的错误处理和优化策略，您可以构建出高效且健壮的Web抓取解决方案。
以上就是使用Selenium从Google Maps提取地点评分与评论数据教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1365018.html
微信扫一扫 
支付宝扫一扫 
