本教程旨在指导读者如何使用python结合selenium和beautifulsoup库，有效抓取包含切换按钮等动态交互元素的网页数据。文章将详细阐述传统静态网页抓取方法在处理此类场景时的局限性，并提供一套完整的解决方案，通过模拟用户浏览器行为来获取动态加载的内容，最终实现对目标数据的精确提取。
在现代网页应用中，许多内容并非在页面首次加载时就全部呈现，而是通过JavaScript动态生成或在用户交互（如点击按钮、滚动页面）后加载。对于这类动态网页，仅依赖requests库获取原始HTML并结合BeautifulSoup进行解析的方法往往会失效，因为它只能获取到页面初始的静态内容，而无法捕获JavaScript执行后的变化。本教程将以抓取一个包含“每场比赛数据”切换按钮的体育统计网站为例，详细介绍如何利用Selenium模拟浏览器行为，进而获取动态数据。
理解动态网页抓取的挑战
当目标网站（例如https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html）中的数据需要通过点击一个切换按钮（如“Per Game”与“Total Stats”之间的切换）才能显示时，requests库获取的HTML源代码将只包含默认状态下的数据。这是因为JavaScript负责处理按钮点击事件并更新DOM，而requests不执行JavaScript。此时，我们需要一个能够模拟真实浏览器环境并执行JavaScript的工具——Selenium。
引入Selenium进行浏览器自动化
Selenium是一个强大的Web自动化测试工具，但它也能被广泛用于网页抓取。通过Selenium，我们可以启动一个真实的浏览器实例（如Chrome、Firefox），控制其导航到指定URL，模拟用户点击、输入等交互行为，并最终获取到JavaScript执行后的页面内容。
1. 环境准备
首先，确保你的Python环境中安装了必要的库：
立即学习“Python免费学习笔记（深入）”；
pip install selenium beautifulsoup4 pandas requests
此外，你需要下载对应浏览器的WebDriver。以Chrome为例，你需要下载chromedriver，并将其放置在系统PATH中，或者在代码中指定其路径。chromedriver的版本必须与你安装的Chrome浏览器版本相匹配。
2. 初始化WebDriver
在使用Selenium之前，需要初始化一个WebDriver实例。这里我们以Chrome为例：
from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# 配置Chrome选项chrome_options = Options()# 可以选择添加无头模式，使浏览器在后台运行，不显示GUI# chrome_options.add_argument('--headless')# 最大化窗口，有时有助于确保元素可见chrome_options.add_argument('--start-maximized')# 禁用GPU加速，在某些环境下可能避免问题chrome_options.add_argument('--disable-gpu')# 禁用沙箱模式，在某些Linux环境中可能需要# chrome_options.add_argument('--no-sandbox')# 初始化Chrome WebDriver# 如果chromedriver不在PATH中，需要指定executable_pathdriver = webdriver.Chrome(options=chrome_options)
3. 导航到目标URL
使用driver.get()方法让浏览器导航到目标网页：
url = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html'driver.get(url)
4. 定位并模拟点击切换按钮
这是抓取动态内容的关键步骤。我们需要找到负责切换“Per Game”数据的按钮，并模拟点击它。为了确保页面元素已经加载完成，我们应该使用显式等待（WebDriverWait）。
首先，通过浏览器开发者工具检查目标按钮的HTML结构，找到其唯一的标识符（如ID、class或XPath）。在本例中，切换“每场比赛数据”的按钮ID为basic_school_stats_per_match_toggle。
from selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as EC# 设置显式等待，最长等待20秒wait = WebDriverWait(driver, 20)# 等待切换按钮出现并可点击# 使用By.ID定位元素toggle_button = wait.until(EC.element_to_be_clickable((By.ID, 'basic_school_stats_per_match_toggle')))# 模拟点击按钮# 可以直接使用 .click() 方法toggle_button.click()# 或者使用JavaScript执行点击，有时更稳定# driver.execute_script("arguments[0].click();", toggle_button)# 等待页面内容更新，例如等待某个关键元素出现或数据加载完成# 这里我们假设点击后数据会立即更新，如果页面有异步加载，可能需要更长的等待或等待特定数据元素wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'table.modified'))) # 假设表格内容会更新
5. 获取更新后的页面HTML
按钮点击并页面内容更新后，我们可以通过driver.page_source获取当前页面的完整HTML源代码，其中包含了动态加载的数据。
html_source = driver.page_source
6. 关闭WebDriver
完成操作后，务必关闭浏览器实例以释放资源：
driver.quit()
使用BeautifulSoup解析动态内容
现在我们已经获得了包含动态数据的HTML源代码，接下来的步骤与静态网页抓取类似，使用BeautifulSoup进行解析和数据提取。
from bs4 import BeautifulSoupimport pandas as pddef parse_dynamic_html(html_content): soup = BeautifulSoup(html_content, 'html.parser') # 尝试找到包含统计数据的表格 # 根据页面结构，这里可能需要更精确的定位 table = soup.find('table', class_='modified') # 假设切换后表格的class是'modified' if not table: print("未找到目标表格。") return [] team_stats_list = [] # 提取表头 headers = [th.text.strip() for th in table.find('thead').find_all('th') if th.text.strip()] # 遍历表格的每一行数据 for row in table.find('tbody').find_all('tr'): # 排除可能是表头的行，或者根据实际情况调整 if row.find('th', {'data-stat': 'ranker'}): # 跳过排名行 continue team_data = {} # 遍历行中的每个数据单元格 for cell in row.find_all(['th', 'td']): # th可能包含队伍名称 stat_name = cell.get('data-stat') if stat_name: team_data[stat_name] = cell.text.strip() # 过滤并提取我们需要的“每场比赛”数据 if team_data.get('school_name'): # 确保是有效数据行 extracted_stats = { 'Team': team_data.get('school_name', 'N/A'), 'FG%': team_data.get('fg_pct', 'N/A'), 'ORB/G': team_data.get('orb_per_g', 'N/A'), # 注意这里是per_g后缀 'AST/G': team_data.get('ast_per_g', 'N/A'), 'STL/G': team_data.get('stl_per_g', 'N/A'), 'BLK/G': team_data.get('blk_per_g', 'N/A'), 'TOV/G': team_data.get('tov_per_g', 'N/A'), 'PF/G': team_data.get('pf_per_g', 'N/A') } team_stats_list.append(extracted_stats) return team_stats_list# 将数据转换为DataFrame并保存def save_to_csv(data, filename='team_per_game_stats.csv'): if data: df = pd.DataFrame(data) df.to_csv(filename, index=False, encoding='utf-8') print(f"数据已成功保存到 {filename}") else: print("没有数据可保存。")
完整代码示例
将上述步骤整合，形成一个完整的抓取脚本：
from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom bs4 import BeautifulSoupimport pandas as pdimport timedef scrape_dynamic_sports_stats(url): chrome_options = Options() # 启用无头模式，在后台运行浏览器，不显示图形界面 chrome_options.add_argument('--headless') chrome_options.add_argument('--start-maximized') chrome_options.add_argument('--disable-gpu') chrome_options.add_argument('--no-sandbox') # 适用于某些Linux环境 driver = None try: driver = webdriver.Chrome(options=chrome_options) print(f"导航到URL: {url}") driver.get(url) wait = WebDriverWait(driver, 20) # 最长等待20秒 # 等待并点击“Per Game”切换按钮 # 按钮ID是 'basic_school_stats_per_match_toggle' toggle_button_id = 'basic_school_stats_per_match_toggle' print(f"尝试定位并点击切换按钮 (ID: {toggle_button_id})...") toggle_button = wait.until(EC.element_to_be_clickable((By.ID, toggle_button_id))) toggle_button.click() print("切换按钮点击成功。") # 给予页面一些时间来加载和渲染新的数据 time.sleep(3) # 获取更新后的页面HTML html_source = driver.page_source print("成功获取动态页面HTML。") # 使用BeautifulSoup解析HTML soup = BeautifulSoup(html_source, 'html.parser') # 找到目标表格 table = soup.find('table', class_='modified') # 根据页面检查，切换后的表格class可能仍然是modified if not table: print("错误：未找到目标统计表格。") return [] team_stats_list = [] # 遍历表格行，提取数据 for row in table.find('tbody').find_all('tr'): team_data = {} # 确保只处理包含数据的行 if row.find('th', {'data-stat': 'ranker'}): # 跳过表头或非数据行 continue for cell in row.find_all(['th', 'td']): stat_name = cell.get('data-stat') if stat_name: team_data[stat_name] = cell.text.strip() # 提取我们关心的“每场比赛”数据 if team_data.get('school_name'): extracted_stats = { 'Team': team_data.get('school_name', 'N/A'), 'FG%': team_data.get('fg_pct', 'N/A'), 'ORB/G': team_data.get('orb_per_g', 'N/A'), 'AST/G': team_data.get('ast_per_g', 'N/A'), 'STL/G': team_data.get('stl_per_g', 'N/A'), 'BLK/G': team_data.get('blk_per_g', 'N/A'), 'TOV/G': team_data.get('tov_per_g', 'N/A'), 'PF/G': team_data.get('pf_per_g', 'N/A') } team_stats_list.append(extracted_stats) return team_stats_list except Exception as e: print(f"抓取过程中发生错误: {e}") return [] finally: if driver: driver.quit() # 确保在任何情况下都关闭浏览器# 主程序执行if __name__ == "__main__": target_url = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html' per_game_stats = scrape_dynamic_sports_stats(target_url) if per_game_stats: df = pd.DataFrame(per_game_stats) csv_filename = 'team_per_game_stats_dynamic.csv' df.to_csv(csv_filename, index=False, encoding='utf-8') print(f"数据已成功保存到 {csv_filename}") else: print("未获取到任何数据。")
注意事项与最佳实践
WebDriver路径： 确保chromedriver（或其他浏览器驱动）的版本与你的浏览器版本匹配，并正确配置其路径。显式等待： 使用WebDriverWait和expected_conditions是处理动态网页的关键。它能让你的脚本在元素出现或变得可交互时才继续执行，避免因页面加载速度不一导致的错误。隐式等待： driver.implicitly_wait(seconds)可以设置一个全局的等待时间，WebDriver会在查找元素时等待指定时间，直到元素出现。但显式等待通常更精确。无头模式： 在生产环境中，建议使用–headless选项启动浏览器，这样浏览器会在后台运行，不显示图形界面，可以提高效率并减少资源消耗。User-Agent： 虽然Selenium模拟真实浏览器，但在某些情况下，网站仍可能通过JavaScript检测到自动化行为。设置合适的User-Agent有时可以帮助规避反爬机制（通过chrome_options.add_argument(“user-agent=…”)）。错误处理： 使用try…except…finally块来捕获可能发生的异常，并在finally块中确保driver.quit()被调用，以避免浏览器进程残留。时间延迟： 在某些复杂交互后，可能需要使用time.sleep()进行短暂的硬性等待，以确保页面完全渲染或异步请求完成，但应尽量优先使用显式等待。元素定位： 优先使用ID、CSS选择器或XPath等精确且稳定的定位方式。避免使用过于泛化的类名或文本内容定位，因为它们可能随网站更新而改变。
总结
通过结合Selenium的浏览器自动化能力和BeautifulSoup的HTML解析能力，我们可以有效地应对动态网页抓取带来的挑战。Selenium负责模拟用户交互、等待页面加载并获取JavaScript执行后的HTML内容，而BeautifulSoup则专注于从这些内容中提取所需的数据。掌握这种组合技术，将大大扩展你的网页抓取能力，让你能够处理更复杂的现代网站。
以上就是使用Python和Selenium抓取动态网页数据教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1378977.html
微信扫一扫 
支付宝扫一扫 
