本文详细介绍了如何使用Python结合Selenium和BeautifulSoup库来抓取包含动态内容的网页数据。针对需要用户交互（如点击Toggle按钮）才能显示的数据，教程阐述了Selenium如何模拟浏览器行为，定位并点击动态元素，获取更新后的页面HTML，再利用BeautifulSoup进行高效解析。文章提供了完整的代码示例、环境配置指南以及处理动态网页数据的最佳实践。
在进行网页数据抓取时，我们经常会遇到内容通过JavaScript动态加载或根据用户交互（如点击按钮、下拉菜单）才显示的情况。传统的requests库只能获取页面的初始HTML内容，对于这类动态数据则无能为力。本文将以抓取一个体育网站中通过“Per Game”Toggle按钮切换显示的动态数据为例，详细讲解如何结合使用Selenium进行浏览器自动化和BeautifulSoup进行HTML解析。
动态网页抓取挑战
许多现代网站利用JavaScript和AJAX技术来构建交互式用户界面。例如，在https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html这个网站上，球队统计数据默认显示的是“Total Stats”，而“Per Game”数据则需要点击页面上的Toggle按钮才能显示。如果仅仅使用requests库获取页面内容，返回的HTML中将不包含“Per Game”数据，因为这些数据是在浏览器执行JavaScript后才呈现的。
为了解决这个问题，我们需要一个能够模拟真实浏览器行为的工具，即Selenium。
立即学习“Python免费学习笔记（深入）”；
Selenium：模拟浏览器行为
Selenium是一个强大的自动化测试工具，但它也可以用于网页抓取。它允许我们控制一个真实的浏览器（如Chrome、Firefox），执行点击、输入、滚动等操作，并获取这些操作后的页面HTML内容。
环境配置
首先，确保你的Python环境中安装了必要的库：
pip install selenium beautifulsoup4 pandas
其次，你需要下载与你的Chrome浏览器版本兼容的ChromeDriver。访问ChromeDriver官方网站下载对应版本，并将其可执行文件放置在系统PATH中，或者在代码中指定其路径。
使用Selenium模拟点击
以下代码展示了如何使用Selenium启动Chrome浏览器，导航到目标URL，然后定位并点击“Per Game”Toggle按钮：
from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECimport time# 配置Chrome浏览器选项options = webdriver.ChromeOptions()options.add_argument('--start-maximized') # 浏览器最大化显示# options.add_argument('--headless') # 启用无头模式，不显示浏览器界面# options.add_argument('--disable-gpu') # 无头模式下建议禁用GPU加速# options.add_argument('--no-sandbox') # 无头模式下可能需要# options.add_argument('--disable-dev-shm-usage') # 无头模式下可能需要# 初始化WebDriver# 如果ChromeDriver不在系统PATH中，需要指定executable_pathdriver = webdriver.Chrome(options=options) try: # 导航到目标URL driver.get('https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html') # 等待页面加载完成，特别是等待Toggle按钮出现 # 这里我们等待ID为'basic_school_stats_per_match_toggle'的元素出现 toggle_button = WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, 'basic_school_stats_per_match_toggle')) ) # 点击Toggle按钮 # 可以使用.click()方法，但有时JavaScript按钮使用execute_script更稳定 driver.execute_script("arguments[0].click();", toggle_button) # 等待数据加载完成，可以根据实际情况调整等待时间 # 例如，等待表格内容更新或某个特定元素出现 time.sleep(2) # 简单等待2秒，确保数据加载完毕 # 获取点击后的页面HTML源码 html_source = driver.page_sourceexcept Exception as e: print(f"An error occurred: {e}") html_source = Nonefinally: # 关闭浏览器 driver.quit()if html_source: print("Successfully obtained HTML after toggle click.") # 现在可以将html_source传递给BeautifulSoup进行解析else: print("Failed to obtain HTML.")
代码解析：
webdriver.ChromeOptions(): 用于配置Chrome浏览器的启动选项。例如，–start-maximized使浏览器窗口最大化。–headless选项可以在不显示浏览器界面的情况下运行Selenium，这对于服务器部署或后台抓取非常有用。webdriver.Chrome(options=options): 初始化Chrome浏览器驱动。driver.get(url): 浏览器导航到指定的URL。WebDriverWait(driver, 20).until(…): 这是Selenium中处理异步加载的关键。它会等待最多20秒，直到满足expected_conditions中指定的条件。EC.presence_of_element_located((By.ID, ‘element_id’)): 等待ID为element_id的元素出现在DOM中。By.ID: 指定通过元素的ID来定位。其他常用的定位策略包括By.CLASS_NAME、By.CSS_SELECTOR、By.XPATH等。driver.execute_script(“arguments[0].click();”, toggle_button): 执行JavaScript代码来点击元素。虽然toggle_button.click()通常也有效，但execute_script在某些复杂或隐藏的元素上可能更可靠。time.sleep(2): 在点击后，通常需要等待一段时间让页面内容更新。这里使用简单的time.sleep()，更健壮的方法是等待特定数据元素出现。driver.page_source: 获取当前浏览器页面的完整HTML内容，这正是我们需要的，因为其中包含了点击Toggle按钮后动态加载的数据。driver.quit(): 关闭浏览器实例，释放资源。这在finally块中执行，确保无论是否发生错误都会关闭浏览器。
BeautifulSoup：解析HTML数据
获取到包含动态内容的html_source后，我们就可以使用BeautifulSoup库来解析它，提取所需的数据。
from bs4 import BeautifulSoupimport pandas as pdimport csvdef parse_dynamic_html(html_source): """ 使用BeautifulSoup解析HTML源码，提取球队的“Per Game”统计数据。 """ soup = BeautifulSoup(html_source, 'html.parser') # 查找包含统计数据的表格 # 在Sports-Reference网站，Per Game数据通常在ID为'basic_school_stats'的表格中 # 并且其内容会随着toggle变化 table = soup.find('table', id='basic_school_stats') if not table: print("未找到统计数据表格。") return [] team_stats_list = [] # 查找表头，用于生成CSV文件头 headers = [th.text.strip() for th in table.find('thead').find_all('th') if th.text.strip()] # 移除第一个空的th if headers and headers[0] == 'Rk': # 通常第一个是排名，可以去除或保留 headers = headers[1:] # 遍历表格的每一行 for row in table.find('tbody').find_all('tr'): team_data = {} # 查找所有td元素，并根据data-stat属性提取数据 for td in row.find_all('td'): data_stat = td.get('data-stat') if data_stat: team_data[data_stat] = td.text.strip() if team_data: # 确保行有数据 # 提取我们关心的特定“Per Game”数据 # 注意：这里的data-stat名称应与网站实际的“Per Game”数据字段对应 # 例如，'school_name'、'fg_pct'、'orb_per_g'、'ast_per_g'等 extracted_row = [ team_data.get('school_name', 'N/A'), team_data.get('g', 'N/A'), # 比赛场次 team_data.get('fg_pct', 'N/A'), # 投篮命中率 team_data.get('orb_per_g', 'N/A'), # 场均进攻篮板 team_data.get('ast_per_g', 'N/A'), # 场均助攻 team_data.get('stl_per_g', 'N/A'), # 场均抢断 team_data.get('blk_per_g', 'N/A'), # 场均盖帽 team_data.get('tov_per_g', 'N/A'), # 场均失误 team_data.get('pf_per_g', 'N/A') # 场均犯规 ] team_stats_list.append(extracted_row) return team_stats_list, headersdef write_to_csv(data, headers, filename): """ 将提取的数据写入CSV文件。 """ # 调整headers以匹配我们提取的数据顺序 output_headers = ['Team', 'Games', 'FG%', 'ORB/G', 'AST/G', 'STL/G', 'BLK/G', 'TOV/G', 'PF/G'] with open(filename, 'w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(output_headers) for row in data: writer.writerow(row) print(f"数据已成功写入到 {filename}")# 假设我们已经通过Selenium获取了html_source# ... (上述Selenium代码块) ...# 示例：如果html_source已获取if html_source: team_per_game_stats, original_headers = parse_dynamic_html(html_source) if team_per_game_stats: csv_filename = 'team_per_game_stats.csv' write_to_csv(team_per_game_stats, original_headers, csv_filename) else: print("未提取到任何球队统计数据。")else: print("HTML源码获取失败，无法进行解析。")
代码解析：
BeautifulSoup(html_source, ‘html.parser’): 使用BeautifulSoup解析Selenium获取的HTML源码。soup.find(‘table’, id=’basic_school_stats’): 定位到包含数据的表格。通常，动态加载的数据会更新现有表格的内容，因此我们仍需查找原始表格的ID或类名。row.find_all(‘td’): 遍历表格的每一行，然后查找该行中的所有数据单元格。td.get(‘data-stat’): 体育数据网站通常会使用data-stat属性来标识每个单元格代表的统计类别，这比单纯依赖文本内容或列顺序更加健壮。数据提取和存储: 根据data-stat属性从team_data字典中获取所需数据，并将其整理成列表，最终写入CSV文件。
完整代码示例
将Selenium操作和BeautifulSoup解析结合起来，形成一个完整的抓取脚本：
from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom bs4 import BeautifulSoupimport pandas as pdimport csvimport timedef scrape_dynamic_sports_stats(url, toggle_id, output_csv_filename): """ 抓取包含动态Toggle按钮的体育网站数据。 Args: url (str): 目标网站URL。 toggle_id (str): Toggle按钮的HTML ID。 output_csv_filename (str): 输出CSV文件的名称。 """ options = webdriver.ChromeOptions() options.add_argument('--start-maximized') # 生产环境建议使用无头模式 # options.add_argument('--headless') # options.add_argument('--disable-gpu') # options.add_argument('--no-sandbox') # options.add_argument('--disable-dev-shm-usage') driver = webdriver.Chrome(options=options) html_source = None try: driver.get(url) # 等待Toggle按钮出现并点击 print(f"等待Toggle按钮 '{toggle_id}'...") toggle_button = WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, toggle_id)) ) driver.execute_script("arguments[0].click();", toggle_button) print("Toggle按钮已点击。等待数据加载...") # 等待数据加载完成，可以更智能地等待某个元素状态变化 # 例如，等待表格中某个“Per Game”特有的列头出现 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, "th[data-stat='orb_per_g']")) ) time.sleep(1) # 额外等待一小段时间确保所有内容渲染 html_source = driver.page_source print("成功获取点击后的页面HTML源码。") except Exception as e: print(f"Selenium操作失败: {e}") finally: driver.quit() if not html_source: print("HTML源码获取失败，无法进行解析。") return # 使用BeautifulSoup解析HTML soup = BeautifulSoup(html_source, 'html.parser') table = soup.find('table', id='basic_school_stats') if not table: print("未找到统计数据表格。") return team_stats_data = [] output_headers = ['Team', 'Games', 'FG%', 'ORB/G', 'AST/G', 'STL/G', 'BLK/G', 'TOV/G', 'PF/G'] for row in table.find('tbody').find_all('tr'): team_data = {} for td in row.find_all('td'): data_stat = td.get('data-stat') if data_stat: team_data[data_stat] = td.text.strip() if team_data.get('school_name'): # 确保有球队名称才处理 extracted_row = [ team_data.get('school_name', 'N/A'), team_data.get('g', 'N/A'), team_data.get('fg_pct', 'N/A'), team_data.get('orb_per_g', 'N/A'), team_data.get('ast_per_g', 'N/A'), team_data.get('stl_per_g', 'N/A'), team_data.get('blk_per_g', 'N/A'), team_data.get('tov_per_g', 'N/A'), team_data.get('pf_per_g', 'N/A') ] team_stats_data.append(extracted_row) if team_stats_data: with open(output_csv_filename, 'w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(output_headers) for row in team_stats_data: writer.writerow(row) print(f"数据已成功写入到 {output_csv_filename}") else: print("未提取到任何球队统计数据。")# 调用主函数target_url = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html'toggle_button_id = 'basic_school_stats_per_match_toggle' # "Per Game" Toggle按钮的IDoutput_file = 'men_2024_per_game_stats.csv'scrape_dynamic_sports_stats(target_url, toggle_button_id, output_file)
注意事项与最佳实践
选择合适的等待策略：time.sleep()是一种简单的等待方式，但在实际应用中不够健壮。WebDriverWait结合expected_conditions是更推荐的方法，它可以等待特定元素出现、可见、可点击，或者等待某个文本内容发生变化。定位器选择：优先使用ID (By.ID)，因为它通常是唯一的且查找效率高。如果ID不可用，可以尝试CSS选择器 (By.CSS_SELECTOR) 或XPath (By.XPATH)，它们非常灵活但可能更复杂。无头模式：在服务器上运行或不需要可视化浏览器操作时，使用options.add_argument(‘–headless’)可以显著提高性能并减少资源消耗。错误处理：使用try-except-finally块来捕获可能发生的异常（如元素未找到、网络错误），并确保在任何情况下都能关闭浏览器驱动 (driver.quit())。User-Agent：虽然Selenium模拟真实浏览器，但有时网站仍可能检查User-Agent。可以在ChromeOptions中设置自定义的User-Agent。代理IP：对于大规模抓取，考虑使用代理IP池以避免IP被封禁。遵守网站规则：在抓取任何网站数据前，请务必阅读其robots.txt文件和服务条款，并遵守相关规定。避免高频请求，以免对网站服务器造成不必要的负担。数据字段确认：在解析BeautifulSoup时，务必仔细检查目标网站的HTML结构，尤其是data-stat属性或类名，因为它们可能随时间或网站更新而变化。
总结
通过结合Selenium的浏览器自动化能力和BeautifulSoup的HTML解析能力，我们可以有效地处理各种动态网页，抓取那些需要用户交互才能显示的数据。Selenium负责模拟用户行为（如点击Toggle按钮）并获取更新后的页面内容，而BeautifulSoup则专注于从这些内容中结构化地提取所需信息。掌握这种组合技术，将大大扩展你的网页抓取能力。
以上就是使用Python和Selenium抓取动态网页数据：处理Toggle按钮的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1379256.html
微信扫一扫 
支付宝扫一扫 
