在网页抓取过程中，由于网站采用动态内容加载或内部API调用，同一页面可能返回不同的HTML结构，导致传统解析方法失效。本文将深入探讨这一常见问题，并提供一套基于异步HTTP请求和API调用的解决方案，利用httpx、trio和pandas等库，实现稳定高效的数据提取，特别适用于处理复杂网站的表格数据。
网页抓取中的HTML结构不一致问题
在进行网页数据抓取时，开发者常会遇到同一url在不同时间或不同请求方式下返回不同html内容的情况。这通常是由于现代网站的复杂性所致，例如：
客户端渲染 (Client-Side Rendering, CSR)：页面内容由JavaScript在浏览器端动态生成，requests库获取的原始HTML可能不包含最终呈现的数据。内容交付网络 (CDN) 或负载均衡：请求可能被路由到不同的服务器，这些服务器可能返回略有差异的HTML版本。A/B 测试或个性化内容：网站根据用户特征或测试目的，向不同用户展示不同布局或内容。内部API调用：许多网站通过内部API获取数据，然后使用JavaScript将其注入到DOM中。直接请求原始URL可能只返回一个加载器页面或一个包含API调用脚本的骨架HTML。
在上述案例中，用户观察到对IBM文档页面的请求有时返回预期的结构化HTML（包含表格数据），有时却返回一个包含大量JavaScript变量和错误提示（如error.sorryText）的非预期HTML。这强烈暗示了网站可能通过API动态加载主要内容，而直接的requests.get有时未能触发或捕获到正确的API响应。
解决方案：识别并利用内部API
解决这类问题的关键在于模拟浏览器行为，并识别网站用于获取实际内容的内部API。通常，这需要借助浏览器的开发者工具（F12）来检查网络请求。
核心思路：
模拟浏览器行为：设置User-Agent等HTTP请求头，让服务器认为我们是正常的浏览器访问。异步请求：对于现代网站，异步HTTP客户端可以更高效地处理多个请求，尤其是在需要进行多次API调用以获取完整内容时。API发现与利用：通过分析初始HTML内容，找到指向实际数据API的线索，然后直接调用该API获取结构化数据。
示例代码详解
以下是针对IBM文档页面抓取问题的解决方案，它采用了httpx进行异步HTTP请求，trio作为异步运行时，并通过正则表达式从初始页面中提取API路径，最终使用pandas直接解析表格。
立即学习“前端免费学习笔记（深入）”；
import httpximport trioimport reimport pandas as pd# 模拟浏览器行为，设置User-Agent头headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/113.0'}async def main(): # 使用httpx.AsyncClient创建异步HTTP客户端，并设置base_url和headers async with httpx.AsyncClient(headers=headers, base_url='https://www.ibm.com/docs') as client: # 第一次请求：访问原始URL，获取包含API线索的HTML # 注意：这里的params 'topic': 't-accessdateval' 对应了原始URL的查询参数 params = { 'topic': 't-accessdateval' } r = await client.get('en/imdm/12.0', params=params) # 从响应文本中通过正则表达式提取内部API的路径 # 观察发现，在非预期HTML中，有一个 "oldUrl" 字段指向了实际内容的API路径 match = re.search(r'"oldUrl":"(.*?)"', r.text) if not match: print("未能找到 oldUrl，可能页面结构已改变或请求失败。") return # 构建新的API URL nurl = "api/v1/content/" + match.group(1) # 第二次请求：访问内部API，获取包含实际数据的JSON或HTML片段 # 'parsebody': 'true' 和 'lang': 'en' 是API所需的参数，确保返回完整且英文的内容 params = { 'parsebody': 'true', 'lang': 'en' } r = await client.get(nurl, params=params) # 使用pandas的read_html功能直接从HTML内容中解析表格 # attrs={'class': 'defaultstyle'} 用于指定要解析的表格的CSS类名，提高准确性 try: df = pd.read_html(r.content, attrs={'class': 'defaultstyle'})[0] print(df) except ValueError as e: print(f"未能从响应中解析表格，错误信息: {e}") print("响应内容片段:", r.text[:500]) # 打印部分响应内容以便调试if __name__ == "__main__": # 使用trio运行异步主函数 trio.run(main)
代码解析要点：
httpx与trio：httpx是一个现代的HTTP客户端，支持同步和异步请求。在这里，我们使用其异步模式，结合trio这个异步I/O框架，能够更高效地处理网络请求，尤其是在需要并发处理多个URL时。User-Agent：设置User-Agent头部是模拟浏览器行为的关键一步，可以有效避免某些网站的反爬虫机制。两次请求策略：第一次请求：目标是获取包含实际内容API路径的初始页面。即使这个页面不直接包含数据，它也可能提供线索。在这个案例中，”oldUrl”:”(.*?)” 是一个重要的指示器，它指向了内容API的实际路径。第二次请求：使用从第一次请求中提取的API路径，构造新的URL并发送请求。这次请求的目标是获取实际的结构化数据。parsebody=true和lang=en是该API所需的特定参数，用于确保返回完整且格式正确的内容。re.search：利用正则表达式从HTML文本中精确提取所需信息，这里是oldUrl的值。pandas.read_html：这是一个非常强大的功能，可以直接从HTML字符串或文件路径中识别并解析标签，将其转换为DataFrame对象。通过attrs={‘class’: ‘defaultstyle’}参数，可以指定只解析具有特定CSS类名的表格，提高解析的准确性。
注意事项与最佳实践
开发者工具是你的朋友：当遇到抓取困难时，始终优先使用浏览器的开发者工具（F12）来检查网络请求（Network Tab）。观察页面加载过程中发出的XHR/Fetch请求，通常能发现数据API。请求头的重要性：除了User-Agent，有时还需要模拟其他请求头，如Referer、Accept-Language、Cookie等，以更真实地模拟浏览器行为。错误处理：在实际项目中，需要增加更健壮的错误处理机制，例如对re.search未找到匹配项、pd.read_html解析失败等情况进行捕获和处理。网站变化：网站结构和API可能会随时间改变。定期检查你的爬虫代码，并根据网站更新进行调整。遵守Robots协议：在进行网页抓取时，务必遵守网站的robots.txt文件规定，并尊重网站的使用条款。异步编程的优势：对于需要处理大量URL或进行多次API调用的场景，异步HTTP客户端（如httpx与asyncio/trio）能够显著提高抓取效率。
总结
面对网页抓取中HTML结构不一致的问题，简单的requests + BeautifulSoup组合可能力不从心。通过深入理解现代网站的工作机制，特别是其对API的依赖，我们可以采用更高级的策略。本教程展示了如何利用httpx进行异步请求，通过解析初始页面发现内部API，并直接调用这些API来获取结构化数据，最终借助pandas.read_html高效地提取表格内容。这种方法不仅解决了HTML结构不一致的问题，也为处理更复杂的动态网站提供了有力的工具。
以上就是应对动态网页爬取中HTML结构不一致的策略的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1519725.html
微信扫一扫 
支付宝扫一扫 
