当 `pandas.read_html` 无法从网页中提取表格时，通常是由于表格内容通过 javascript 动态加载。本教程将指导您如何利用浏览器开发者工具识别后台数据请求，并使用 `requests` 库模拟这些 xhr 请求，直接获取原始 json 数据。随后，我们将这些数据转换为 `pandas.dataframe`，从而有效解决动态网页数据抓取难题，实现高效、稳定的数据提取。
深入理解 pandas.read_html 的局限性
pandas.read_html 是一个极其便捷的工具，能够从静态 HTML 页面中快速识别并提取表格数据。它通过解析 HTML 结构中的
标签来工作。然而，在现代 Web 开发中，许多网页的内容，特别是表格数据，并非直接嵌入在初始加载的 HTML 中。相反，它们通常通过 JavaScript 在页面加载完成后异步地从服务器请求（例如，使用 AJAX 或 XHR 请求）并动态渲染到 DOM 中。
在这种情况下，当您尝试使用 pd.read_html 访问一个包含动态加载表格的 URL 时，它只会看到初始的静态 HTML 骨架，而不会等待 JavaScript 执行并填充表格内容。因此，read_html 返回一个空列表是预期的行为，因为它在初始 HTML 中找不到任何
标签。
例如，对于以下代码，如果目标网页的表格是动态加载的，dfs 将会是一个空列表：
import pandas as pd# 尝试使用 read_html 提取数据dfs = pd.read_html("https://anex.us/grades/?dept=ENGR&number=102")print(dfs) # 预期输出：[]
即使尝试使用 Selenium 等工具获取渲染后的 HTML，如果表格内容是通过独立的 API 请求获取并填充的，直接获取 outerHTML 也可能只得到一个空表格结构，因为数据本身并未被捕获。
立即学习“前端免费学习笔记（深入）”；
解决方案：模拟 XHR 请求直接获取数据
解决动态加载表格问题的关键在于绕过浏览器渲染过程，直接模拟页面在后台发出的数据请求。这通常涉及以下步骤：
1. 使用浏览器开发者工具识别数据源
这是最关键的一步。大多数现代浏览器都提供了强大的开发者工具，可以帮助我们监控网络活动。
打开目标网页： 在浏览器中打开包含目标表格的网页（例如：https://anex.us/grades/?dept=ENGR&number=102）。打开开发者工具： 通常通过按 F12 键或右键点击页面并选择“检查”/“检查元素”来打开。切换到“网络”（Network）选项卡： 此选项卡会显示页面加载过程中所有的网络请求。筛选 XHR/Fetch 请求： 为了更容易找到数据请求，可以筛选只显示 XHR 或 Fetch 类型的请求。这些通常是页面通过 JavaScript 异步获取数据的请求。刷新页面或触发数据加载： 如果表格数据在页面加载时就出现，刷新页面会显示相关的请求。如果表格数据是用户交互（如点击按钮、选择下拉菜单）后才加载的，则需要执行相应操作。分析请求： 仔细查看这些 XHR 请求。寻找那些返回 JSON 或其他结构化数据（如 CSV）的请求。请求 URL： 记录下实际发送数据请求的 URL。这通常与浏览器地址栏的 URL 不同。请求方法： 确定是 GET 还是 POST 请求。请求载荷（Payload/Form Data）： 如果是 POST 请求，查看其发送了哪些数据（例如，查询参数、表单数据）。这些数据通常是筛选条件，如示例中的 dept 和 number。响应预览（Response/Preview）： 检查服务器返回的数据格式，通常是 JSON。
通过分析示例网页，我们可以发现，当页面加载时，它向 https://anex.us/grades/getData/ 发送了一个 POST 请求，并带有 dept 和 number 参数。
2. 使用 requests 库模拟请求
一旦识别出数据源及其请求参数，我们就可以使用 Python 的 requests 库来模拟这个请求。
import requestsimport pandas as pd# 1. 确定数据接口 URLurl = 'https://anex.us/grades/getData/'# 2. 构建请求载荷 (Payload)# 这些参数是从浏览器开发者工具的 "Payload" 或 "Form Data" 中获取的payload = {'dept': 'ENGR', 'number': '102'}# 3. 设置请求头 (Headers)# 模仿浏览器请求，特别是 User-Agent，可以避免某些网站的反爬虫机制headers = { 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0'}# 4. 发送 POST 请求# 使用 data 参数传递表单数据response = requests.post(url, data=payload, headers=headers)# 5. 检查响应状态码if response.status_code == 200: # 6. 解析 JSON 响应 # 大多数动态数据接口会返回 JSON 格式的数据 data = response.json() # 7. 将 JSON 数据转换为 pandas DataFrame # 根据 JSON 结构，找到包含实际数据列表的键 if 'classes' in data: df = pd.DataFrame(data['classes']) print(df) else: print("JSON 响应中未找到 'classes' 键。")else: print(f"请求失败，状态码: {response.status_code}") print(response.text) # 打印响应内容以帮助调试
示例输出
运行上述代码，您将获得一个包含所需表格数据的 pandas.DataFrame：
dept number section A B C D F I S U Q X prof year semester gpa0 ENGR 102 20 18 17 8 2 3 0 0 0 1 0 AMINI N 2018 FALL 2.93751 ENGR 102 21 18 31 15 4 1 0 0 0 0 0 KOOLA P 2018 FALL 2.884057971014492 ENGR 102 22 10 28 16 2 3 0 0 0 0 0 SHAW S 2018 FALL 2.677966101694923 ENGR 102 26 9 24 10 4 6 0 0 0 0 0 SUBRAMANIAN R 2018 FALL 2.490566037735854 ENGR 102 201 21 12 1 1 0 0 0 0 0 0 IJAZ M 2018 FALL 3.51428571428571.. ... ... ... .. .. .. .. .. .. .. .. .. .. ... ... ... ...486 ENGR 102 507 27 14 7 2 5 0 0 0 13 0 IJAZ M 2023 SPRING 3.01818181818182487 ENGR 102 508 24 7 10 1 4 0 0 0 4 0 IJAZ M 2023 SPRING 3488 ENGR 102 540 12 3 2 1 0 0 0 0 0 0 ALVARADO L 2023 SPRING 3.44444444444444489 ENGR 102 550 1 1 6 1 2 0 0 0 0 0 KOOLA P 2023 SPRING 1.81818181818182490 ENGR 102 551 1 1 7 2 3 0 0 0 3 0 VILLAREAL S 2023 SPRING 1.64285714285714[491 rows x 17 columns]
注意事项与最佳实践
User-Agent： 在 headers 中设置 User-Agent 是一个好习惯，可以模拟浏览器请求，减少被网站识别为爬虫的风险。有些网站会检查 User-Agent。请求方法： 确保使用正确的 HTTP 请求方法（GET 或 POST）。requests.get() 用于 GET 请求，requests.post() 用于 POST 请求。数据格式： GET 请求的参数通常放在 URL 中或通过 params 参数传递；POST 请求的表单数据通过 data 参数传递，JSON 数据通过 json 参数传递。Cookies 和会话： 对于需要登录或维护会话状态的网站，可能需要使用 requests.Session() 对象来管理 Cookies。错误处理： 始终检查 response.status_code 以确保请求成功，并处理可能的异常（如网络错误、JSON 解析失败）。反爬虫机制： 某些网站有更复杂的反爬虫机制，例如验证码、IP 限制、JavaScript 混淆等。在这种情况下，可能需要结合使用 selenium 或更高级的代理池、打码平台等。法律与道德： 在抓取任何网站数据之前，请务必查阅网站的 robots.txt 文件和使用条款。遵守网站规定，不要对服务器造成过大负担。
总结
当 pandas.read_html 无法满足动态网页的数据提取需求时，通过浏览器开发者工具定位并模拟底层的 XHR 数据请求，是获取结构化数据的有效且高效的方法。requests 库提供了强大的功能来构建和发送这些请求，配合 pandas 库，可以轻松地将获取到的 JSON 数据转换为可分析的 DataFrame。掌握这一技能，将大大扩展您从复杂网页中提取数据的能力。
以上就是从动态网页中高效提取表格数据：超越 pandas read_html 的方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1378372.html
微信扫一扫 
支付宝扫一扫 
