本教程详细介绍了如何使用Python爬取由交互式按钮（如切换开关）控制的动态网页内容。文章首先解释了传统`requests`和`BeautifulSoup`组合在处理JavaScript渲染内容时的局限性，随后引入了`Selenium`作为解决方案，通过模拟浏览器行为来点击按钮并获取更新后的页面HTML。最终，结合`BeautifulSoup`解析动态加载的数据，并提供了完整的代码示例和注意事项。
动态网页爬取挑战与Selenium的引入
在进行网页数据抓取时，我们经常会遇到内容并非直接包含在初始HTML响应中的情况。许多现代网站利用JavaScript动态加载数据、渲染页面元素，或根据用户交互（如点击按钮、滚动页面）来更新内容。对于这类动态网页，仅仅使用requests库获取原始HTML并结合BeautifulSoup进行解析是不足以获取到所有数据的，因为requests只获取服务器返回的静态HTML，而不会执行页面上的JavaScript。
本教程将以一个具体的场景为例：从一个体育统计网站抓取“每场比赛”数据。该网站的统计数据在“总计”和“每场比赛”之间通过一个切换按钮进行切换。为了获取“每场比赛”的数据，我们需要模拟用户点击这个切换按钮，让页面加载或显示相应的动态内容。此时，Selenium就成为了一个强大的工具。
Selenium是一个自动化测试工具，它能够模拟用户在浏览器中的各种操作，包括打开网页、点击按钮、填写表单、执行JavaScript等。通过Selenium，我们可以驱动一个真实的浏览器（如Chrome、Firefox）来加载网页、执行JavaScript，并等待页面内容更新，然后获取到浏览器渲染后的完整HTML内容，再交由BeautifulSoup进行解析。
立即学习“Python免费学习笔记（深入）”；
环境准备与依赖安装
在开始之前，请确保你的Python环境中安装了以下库：
selenium: 用于浏览器自动化。beautifulsoup4: 用于HTML解析。pandas: （可选）用于数据处理和导出。
此外，由于Selenium需要驱动真实的浏览器，你还需要下载对应浏览器的WebDriver。例如，如果你使用Chrome浏览器，需要下载ChromeDriver，并将其可执行文件放置在系统PATH中，或者在代码中指定其路径。
你可以通过以下命令安装这些库：
pip install selenium beautifulsoup4 pandas
爬取动态数据的核心步骤
爬取由切换按钮控制的动态数据通常遵循以下步骤：
初始化Selenium WebDriver：启动一个浏览器实例。导航到目标URL：使用WebDriver打开目标网页。定位并模拟点击切换按钮：等待按钮加载完成，然后通过Selenium的API模拟用户点击操作。等待页面内容更新：由于点击操作可能触发数据加载或页面渲染，需要等待一段时间，确保目标数据已经显示在页面上。获取动态HTML内容：从WebDriver中获取浏览器当前渲染的完整HTML源代码。使用BeautifulSoup解析HTML：将获取到的动态HTML传递给BeautifulSoup进行解析。提取所需数据：根据HTML结构定位并提取目标数据。关闭WebDriver：完成爬取后关闭浏览器实例。
示例代码：抓取体育网站“每场比赛”数据
我们将以https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html为例，抓取其中“每场比赛”的统计数据。
import pandas as pdfrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom bs4 import BeautifulSoupimport csvimport timedef scrape_dynamic_team_stats(url, output_filename='team_per_game_stats.csv'): """ 使用Selenium和BeautifulSoup从动态网站爬取“每场比赛”的球队统计数据。 Args: url (str): 目标网页的URL。 output_filename (str): 数据保存的CSV文件名。 """ # 1. 初始化Selenium WebDriver # 配置Chrome选项，例如最大化窗口，可以根据需要添加headless模式等 options = webdriver.ChromeOptions() options.add_argument('--start-maximized') # options.add_argument('--headless') # 如果不需要显示浏览器窗口，可以使用无头模式 # options.add_argument('--disable-gpu') # 无头模式下建议禁用GPU driver = None try: driver = webdriver.Chrome(options=options) print(f"正在打开网页: {url}") driver.get(url) # 2. 定位并模拟点击切换按钮 # 目标网站的“每场比赛”切换按钮的ID是 'basic_school_stats_per_match_toggle' # 使用WebDriverWait等待元素加载完成，最多等待20秒 print("等待切换按钮加载...") toggle_button = WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, 'basic_school_stats_per_match_toggle')) ) # 使用JavaScript点击按钮，因为有时Selenium的click()方法可能被元素遮挡 print("点击'每场比赛'切换按钮...") driver.execute_script("arguments[0].click();", toggle_button) # 3. 等待页面内容更新 # 给予页面足够的时间来加载或显示新的“每场比赛”数据 # 实际等待时间可能需要根据网站响应速度调整 print("等待数据更新...") time.sleep(5) # 简单等待，更健壮的方法是等待特定元素出现或数据变化 # 4. 获取动态HTML内容 html_source = driver.page_source print("已获取页面HTML源代码。") # 5. 使用BeautifulSoup解析HTML soup = BeautifulSoup(html_source, 'html.parser') # 6. 提取所需数据 # 目标表格通常有一个特定的ID或class # 在这个网站，主要的统计表格是 'basic_school_stats' table = soup.find('table', id='basic_school_stats') if not table: print("未找到统计表格。") return [] team_stats = [] # 提取表头 headers = [th.text.strip() for th in table.find('thead').find_all('th') if th.text.strip()] # 清理表头，例如移除排名列等 # headers = ['Rk', 'School', 'G', 'W', 'L', 'W-L%', 'SRS', 'SOS', 'ORtg', 'DRtg', 'NRtg', 'Pace', 'FTr', '3PAr', 'TS%', 'TRB%', 'AST%', 'STL%', 'BLK%', 'eFG%', 'TOV%', 'ORB%', 'FT/FGA'] # 简化为我们关注的列 target_headers = ['School', 'FG%', 'ORB', 'AST', 'STL', 'BLK', 'TOV', 'PF'] # 对应data-stat属性 team_stats.append(target_headers) # 添加处理后的表头 # 遍历表格的每一行 for row in table.find('tbody').find_all('tr'): if 'class' in row.attrs and 'thead' in row.attrs['class']: # 跳过重复的表头行 continue # 提取每列数据，通过data-stat属性定位 school_name_tag = row.find('td', {'data-stat': 'school_name'}) fg_pct_tag = row.find('td', {'data-stat': 'fg_pct'}) orb_tag = row.find('td', {'data-stat': 'orb'}) ast_tag = row.find('td', {'data-stat': 'ast'}) stl_tag = row.find('td', {'data-stat': 'stl'}) blk_tag = row.find('td', {'data-stat': 'blk'}) tov_tag = row.find('td', {'data-stat': 'tov'}) pf_tag = row.find('td', {'data-stat': 'pf'}) if school_name_tag: # 确保找到球队名称 team_data = [ school_name_tag.text.strip(), fg_pct_tag.text.strip() if fg_pct_tag else 'N/A', orb_tag.text.strip() if orb_tag else 'N/A', ast_tag.text.strip() if ast_tag else 'N/A', stl_tag.text.strip() if stl_tag else 'N/A', blk_tag.text.strip() if blk_tag else 'N/A', tov_tag.text.strip() if tov_tag else 'N/A', pf_tag.text.strip() if pf_tag else 'N/A' ] team_stats.append(team_data) # 7. 将数据写入CSV文件 with open(output_filename, 'w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerows(team_stats) print(f"数据已成功写入到 {output_filename}") return team_stats except Exception as e: print(f"爬取过程中发生错误: {e}") return [] finally: # 8. 关闭WebDriver if driver: driver.quit() print("浏览器已关闭。")# 执行爬取url_to_scrape = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html'scraped_data = scrape_dynamic_team_stats(url_to_scrape)if scraped_data: # 打印前几行数据以供检查 print("n抓取到的部分数据:") for row in scraped_data[:5]: print(row)
注意事项与最佳实践
WebDriver路径：确保你的ChromeDriver（或其他浏览器驱动）与浏览器版本匹配，并且其路径已正确配置。如果不在系统PATH中，你需要在webdriver.Chrome()中指定executable_path参数。等待机制：使用WebDriverWait和expected_conditions是处理动态加载元素的最佳实践。简单的time.sleep()虽然可以工作，但效率较低且不够健壮，因为它无法保证在指定时间内元素一定加载完成。对于更复杂的动态内容，可能需要等待特定的数据元素出现，而不仅仅是按钮。Headless模式：在生产环境中或服务器上运行爬虫时，通常会使用–headless选项，让浏览器在后台运行，不显示图形界面，以节省资源。错误处理：在实际应用中，应添加更完善的错误处理机制，例如try-except-finally块来捕获异常并确保WebDriver被正确关闭。网站服务条款与robots.txt：在爬取任何网站之前，务必查阅其服务条款（Terms of Service）和robots.txt文件，了解网站的爬取政策。遵守这些规定是负责任的爬虫行为。反爬机制：许多网站有反爬机制，例如IP封禁、验证码、请求频率限制等。Selenium在一定程度上可以规避一些简单的反爬，但对于复杂的机制，可能需要结合代理IP、User-Agent轮换、验证码识别等技术。资源消耗：Selenium会启动一个完整的浏览器实例，相比requests，其资源消耗（CPU、内存）更高。在大规模爬取时，需要谨慎考虑。CSS选择器与XPath：除了By.ID，Selenium还支持通过CSS选择器（By.CSS_SELECTOR）或XPath（By.XPATH）来定位元素，这在处理没有唯一ID或复杂结构的元素时非常有用。
总结
通过本教程，我们学习了如何利用Selenium和BeautifulSoup的组合来有效爬取动态网页内容。Selenium负责模拟用户交互并获取浏览器渲染后的HTML，而BeautifulSoup则专注于从这些HTML中高效地提取所需数据。掌握这种技术组合，将使你能够应对绝大多数现代网站的爬取挑战，从而获取到传统方法无法触及的宝贵数据。在实践中，请务必遵守网站的爬取政策，并采用健壮的编程实践来构建你的爬虫。
以上就是如何使用Python爬取动态网站中由按钮控制的数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1379910.html
微信扫一扫 
支付宝扫一扫 
