本教程详细介绍了如何使用selenium自动化处理动态网页上的下拉菜单，以展开所有隐藏的子类别并提取其链接。通过识别并迭代点击“展开”图标，结合有效的元素定位和链接过滤策略，我们能够高效地从复杂网页结构中抓取所需数据，特别适用于需要深入导航多层级内容的场景。
在进行网页数据抓取时，经常会遇到动态加载或折叠的菜单和列表。为了访问这些隐藏的内容，特别是其中的链接，我们需要模拟用户交互，例如点击“展开”按钮或图标。本教程将以一个具体的案例为例，演示如何使用Python和Selenium库，自动化地展开网页上所有的下拉菜单，并从中提取所需的子类别链接。
1. 环境准备与初始化
首先，确保您已安装Python、Selenium库以及相应的WebDriver（如ChromeDriver）。
from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECimport time # 仅用于演示，实际项目中推荐使用显式等待# 目标网页URLURL = "https://albiononline2d.com/en/item"# 初始化Chrome WebDriverdriver = webdriver.Chrome()# 设置隐式等待，在查找元素时，如果元素未立即出现，WebDriver会等待指定时间driver.implicitly_wait(5)# 访问目标URLdriver.get(URL)# 初始化ActionChains，用于执行更复杂的交互，如鼠标悬停action = webdriver.ActionChains(driver)
2. 自动化展开所有下拉菜单
对于动态网页，展开菜单通常涉及到点击一个“加号”或“展开”图标。关键在于，当一个菜单被展开后，页面结构可能会发生变化，导致之前找到的元素变得“陈旧”（StaleElementReferenceException）或列表顺序改变。因此，一种稳健的方法是在每次点击后重新查找所有可展开的图标。
在本例中，我们观察到展开图标具有 icon expand-icon ion-plus-round 类。我们将通过CSS选择器 span[class=”icon expand-icon ion-plus-round”] 来定位它们。
# 循环点击所有“展开”图标# 注意：这里使用了一个循环，每次都重新查找所有可展开的图标，# 并点击第一个找到的图标。这是因为点击一个图标可能会改变页面DOM，# 使得之前的元素列表失效，或者新的可展开图标会出现在列表的起始位置。# 这种策略确保我们总是点击当前可用的、尚未展开的第一个图标。try: # 使用显式等待，直到至少有一个展开图标出现 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')) ) # 持续查找并点击，直到没有可点击的展开图标为止 while True: # 重新查找所有可展开的图标 pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]') if not pluses: # 如果没有找到任何展开图标，说明所有菜单已展开 print("所有下拉菜单已展开。") break # 点击第一个找到的展开图标 # 使用try-except来处理可能出现的元素不可交互的情况 try: pluses[0].click() # 短暂等待，确保页面有时间响应点击并更新DOM time.sleep(0.5) except Exception as e: print(f"点击展开图标时发生错误: {e}") # 如果无法点击第一个，尝试移除它并继续，或者跳出循环 break except Exception as e: print(f"初始化查找展开图标时发生错误: {e}")
3. 提取所有子类别链接
在所有下拉菜单都展开后，我们可以开始提取目标链接。在本例中，所有类别和子类别链接都位于一个 list-group 类的元素内，并且子类别链接的 href 属性中包含 subcat 字符串。
# 定位包含所有类别和子类别的父容器# 假设只有一个主要的 list-groupitem_categories_container = driver.find_elements(By.CLASS_NAME, 'list-group')[0]# 查找容器内所有的标签（链接）all_links = item_categories_container.find_elements(By.TAG_NAME, 'a')# 过滤出所有子类别链接subcat_links = []for link_element in all_links: href = link_element.get_attribute('href') if href and 'subcat' in href: # 检查href是否存在且包含'subcat' subcat_links.append(href)# 打印或处理提取到的子类别链接print("n提取到的子类别链接:")for link in subcat_links: print(link)# 完成操作后关闭浏览器driver.quit()
完整代码示例
将以上所有代码片段整合，形成一个完整的自动化脚本：
from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECimport timeURL = "https://albiononline2d.com/en/item"driver = webdriver.Chrome()driver.implicitly_wait(5) # 设置隐式等待driver.get(URL)print("正在尝试展开所有下拉菜单...")try: # 使用显式等待，直到至少有一个展开图标出现 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')) ) while True: pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]') if not pluses: print("所有下拉菜单已展开。") break try: # 点击第一个可展开的图标 pluses[0].click() time.sleep(0.5) # 短暂等待页面更新 except Exception as e: print(f"点击展开图标时发生错误或无更多可点击图标: {e}") break # 出现错误或无法点击时退出循环except Exception as e: print(f"初始化查找展开图标时发生错误: {e}")print("开始提取子类别链接...")subcat_links = []try: # 再次使用显式等待，确保主类别列表加载完成 item_categories_container = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, 'list-group')) ) all_links = item_categories_container.find_elements(By.TAG_NAME, 'a') for link_element in all_links: href = link_element.get_attribute('href') if href and 'subcat' in href: subcat_links.append(href) print("n提取到的子类别链接:") for link in subcat_links: print(link)except Exception as e: print(f"提取链接时发生错误: {e}")finally: driver.quit() # 确保最后关闭浏览器
注意事项与最佳实践
元素定位器的选择： 优先使用稳定且唯一的定位器，如ID、CSS选择器或XPath。对于本例，span[class=”icon expand-icon ion-plus-round”] 是一个有效的CSS选择器。动态元素处理： 对于会改变DOM结构的交互，务必在每次交互后重新查找相关元素。本教程中 while True 循环内重新调用 driver.find_elements() 是处理动态内容的有效策略。等待机制：隐式等待 (implicitly_wait)：设置一个全局的等待时间，WebDriver会在查找元素时等待这段时间。适用于大多数元素加载场景。显式等待 (WebDriverWait + expected_conditions)：更精确和健壮的等待方式，可以等待特定条件（如元素可见、可点击）达成。例如，EC.presence_of_element_located 用于等待元素出现在DOM中。在处理动态内容时，推荐结合使用显式等待以提高脚本的稳定性。time.sleep()：应尽量避免使用，因为它会无条件暂停脚本，浪费时间且可能导致不稳定。仅在调试或确定需要固定延迟时少量使用。错误处理： 使用 try-except 块来捕获可能发生的异常（如 StaleElementReferenceException、NoSuchElementException），使脚本更健壮。目标网站结构： 在编写自动化脚本前，务必通过浏览器开发者工具仔细分析目标网页的DOM结构和元素属性，这有助于选择正确的定位器和交互策略。资源管理： 始终在脚本结束时调用 driver.quit() 来关闭浏览器并释放资源。
总结
通过本教程，我们学习了如何使用Selenium自动化处理动态网页上的下拉菜单。核心策略是：利用CSS选择器定位“展开”图标，并通过循环和在每次点击后重新查找元素的方式，确保所有菜单被成功展开。随后，我们通过过滤链接的 href 属性来准确提取目标子类别链接。掌握这些技术，将使您能够更有效地从复杂的、交互式的网页中抓取所需数据。
以上就是使用Selenium自动化展开所有动态下拉菜单并抓取子类别链接的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1380184.html
微信扫一扫 
支付宝扫一扫 
