本教程深入探讨了网络爬虫在抓取动态网页时，因HTML结构不一致而导致失败的常见问题。针对IBM文档网站的案例，我们揭示了直接请求可能返回不完整或错误页面的原因，并提供了一种通过识别并调用网站内部API来稳定获取目标数据（特别是表格数据）的专业解决方案，确保爬取过程的可靠性和效率。
引言：动态网页抓取中的HTML结构不一致问题
在进行网页抓取（web scraping）时，开发者经常会遇到一个棘手的问题：同一个url在不同时间或不同请求方式下，返回的html结构可能大相径庭。这通常发生在目标网站采用现代前端技术，如单页应用（spa）或大量依赖javascript进行内容渲染时。当爬虫直接使用http请求库（如python的requests）访问这类页面时，它可能只会获取到初始的、未经过javascript渲染的html骨架，或者是一个指示加载失败、错误信息的页面，而非用户在浏览器中看到的完整内容。
例如，在抓取IBM文档网站的特定页面时，我们观察到两种截然不同的HTML响应：一种是包含所需表格数据的预期结构，另一种则是一个充斥着JavaScript翻译字符串（如”error.sorryText”）的错误或加载中页面，其中不包含任何目标数据。这种不一致性严重阻碍了爬虫的稳定运行，并导致数据提取失败。
问题分析：隐藏在表象之下的真实数据源
直接使用requests.get()获取到的不完整或错误HTML，通常是以下几种情况的体现：
客户端渲染（Client-Side Rendering, CSR）： 页面内容主要由浏览器执行JavaScript后动态生成。requests库无法执行JavaScript，因此只能获取到原始的HTML骨架。API驱动的内容： 网站通过内部API获取数据，然后JavaScript将这些数据填充到HTML模板中。直接访问初始URL可能只会返回一个加载器或空白模板。重定向或错误处理： 初始请求可能触发内部重定向，或者在某些条件下（如缺少必要的参数、User-Agent不匹配等）返回错误页面。
在本例中，出现大量”error.sorryText”等JavaScript翻译字符串的HTML，强烈暗示了页面内容是通过JavaScript动态加载的，并且在某些情况下，前端渲染过程未能成功完成，导致返回了错误提示信息。这意味着我们所需的数据并非直接嵌入在初始HTML中，而是通过某种后端API接口提供。
解决方案核心：发现并利用内部API
解决这类问题的关键在于绕过复杂的前端渲染逻辑，直接与网站的后端API进行交互。许多现代网站，尤其是内容管理系统，都会通过内部API提供结构化的数据。通过模拟浏览器行为，识别并直接请求这些API，我们可以获取到稳定、纯净的数据，而无需处理前端渲染的复杂性。
立即学习“前端免费学习笔记（深入）”；
如何发现这些内部API？最常用的方法是使用浏览器的开发者工具（通常通过F12键打开），在“网络”（Network）选项卡中监控页面加载时发出的所有HTTP请求。通过分析这些请求的URL、请求方法、参数和响应内容，通常可以找到承载目标数据的API接口。
对于IBM文档的案例，即便没有直接通过开发者工具分析，我们也可以从“不预期”的HTML响应中找到线索。响应文本中包含的”oldUrl”:”(.*?)”模式，暗示了一个内部URL路径，这很可能是实际内容API的入口。
实战：稳定抓取IBM文档表格数据
我们将使用httpx进行异步HTTP请求，re进行正则表达式匹配，以及pandas进行高效的HTML表格解析。
环境准备与工具选择
httpx: 一个现代化的、支持异步请求的HTTP客户端。相比于requests，它在处理并发请求时更具优势，并且API设计更贴近现代Python实践。trio: 一个友好的、并发和I/O库，用于运行异步代码。re: Python内置的正则表达式模块，用于从文本中提取特定模式。pandas: 强大的数据分析库，其read_html函数能够直接从HTML字符串或文件解析表格数据，极大简化了表格抓取过程。
首先，确保安装了所有必要的库：
pip install httpx trio pandas
步骤一：首次请求与API路径提取
我们首先向原始URL发送一个HTTP GET请求。关键在于，即使这个请求返回的是“不预期”的HTML，我们也要仔细检查其内容，寻找指向实际数据API的线索。在本例中，我们发现了一个”oldUrl”:”(.*?)”的模式，它包含了指向实际内容API的相对路径。
import httpximport trioimport reimport pandas as pd# 模拟浏览器User-Agent，有助于避免被网站识别为爬虫headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/113.0'}async def fetch_table_data(identifier: str): """ 异步获取指定标识符的表格数据。 """ async with httpx.AsyncClient(headers=headers, base_url='https://www.ibm.com/docs') as client: # 1. 首次请求原始URL，获取包含API路径的初始HTML initial_url_path = f'en/imdm/12.0' params_initial = {'topic': f'tables-{identifier}'} # 使用动态标识符构建参数 try: r_initial = await client.get(initial_url_path, params=params_initial) r_initial.raise_for_status() # 检查HTTP状态码 # 2. 从初始响应中提取实际内容API的路径 # 注意：这里假设"oldUrl"模式是稳定的。实际应用中可能需要更复杂的解析 match = re.search(r'"oldUrl":"(.*?)"', r_initial.text) if not match: print(f"警告: 未在 {identifier} 的初始响应中找到 'oldUrl'。跳过。") return pd.DataFrame() # 返回空DataFrame relative_api_path = match.group(1) # 3. 构建完整的API URL # 例如：api/v1/content/en/imdm/12.0?topic=t-accessdateval api_endpoint_path = "api/v1/content/" + relative_api_path # 4. 请求内部API获取真实内容 params_api = { 'parsebody': 'true', # 可能指示API返回完整HTML体 'lang': 'en' # 指定语言 } r_api = await client.get(api_endpoint_path, params=params_api) r_api.raise_for_status() # 检查HTTP状态码 # 5. 使用pandas直接解析API响应中的HTML表格 # 寻找class为'defaultstyle'的表格 df_list = pd.read_html(r_api.content, attrs={'class': 'defaultstyle'}) if not df_list: print(f"警告: 未在 {identifier} 的API响应中找到指定表格。") return pd.DataFrame() df = df_list[0] # 假设我们需要从原始页面的结构中获取 Table 名称和 Description # 这部分可能需要重新评估，因为API响应可能直接包含这些信息或需要从其他地方获取 # 对于本示例，我们简化为只获取表格数据 # 如果需要 Table 名称和 Description，可能需要从 API 响应的其他部分解析 # 或者在原始请求的BeautifulSoup解析中获取，但前提是原始请求返回的是预期HTML # 鉴于本教程主要解决HTML不一致问题，我们聚焦于稳定获取表格 # 示例中原始代码有： # Table = soup.find("h1", class_="topictitle1").get_text(strip=True).strip() # description = soup.find('p', class_='shortdesc').get_text(strip=True) # 我们可以尝试从r_api.text中用BeautifulSoup解析这些信息 soup_api = BeautifulSoup(r_api.text, "html.parser") table_name_element = soup_api.find("h1", class_="topictitle1") description_element = soup_api.find('p', class_='shortdesc') table_name = table_name_element.get_text(strip=True) if table_name_element else "" description = description_element.get_text(strip=True) if description_element else "" # 将这些信息添加到DataFrame中 df.insert(0, "Table", table_name) df["Description"] = description # 原始代码中的 feature_list 处理，这里简化，如果需要可以进一步从soup_api中提取 # div_element = soup_api.find('div', class_='p') # if div_element: # a_elements = div_element.find_all('a') # feature_list = [a.get_text(strip=True) for a in a_elements] # for i, feature in enumerate(feature_list): # df[f"Feature_{i+1}"] = feature return df except httpx.HTTPStatusError as e: print(f"HTTP错误获取 {identifier}: {e}") return pd.DataFrame() except httpx.RequestError as e: print(f"请求错误获取 {identifier}: {e}") return pd.DataFrame() except Exception as e: print(f"处理 {identifier} 时发生未知错误: {e}") return pd.DataFrame()async def main(): # 假设 'identifiers.csv' 包含一个名为 'Identifier' 的列 # 例如：identifiers.csv 内容 # Identifier # t-accessdateval # another_table_id df_identifiers = pd.read_csv('identifiers.csv') tasks = [] for index, row in df_identifiers.iterrows(): identifier = row['Identifier'] tasks.append(fetch_table_data(identifier)) results = await trio.gather(*tasks) # 合并所有结果 df_combined = pd.concat(results, ignore_index=True) print(df_combined) # 保存到CSV df_combined.to_csv('combined_table_data_api.csv', index=False)if __name__ == "__main__": trio.run(main)
步骤二：请求内部API获取真实内容
在提取到oldUrl后，我们将其与网站的基础API路径（/api/v1/content/）结合，构造出完整的API请求URL。同时，我们添加了parsebody=true和lang=en等参数，这些参数通常用于指示API返回完整的HTML内容或指定语言。
步骤三：高效解析表格数据
从API获取到的响应通常包含更稳定、更纯净的HTML。此时，pandas库的read_html函数便能大显身手。它能够直接从HTML内容中识别并解析表格，并将其转换为DataFrame对象，省去了手动使用BeautifulSoup遍历
、、元素的繁琐过程。我们通过attrs={‘class’: ‘defaultstyle’}指定了要查找的表格的CSS类，以确保精确匹配目标表格。
此外，为了完善数据，我们可以在获取到API响应后，使用BeautifulSoup从其中提取h1标题和p描述等非表格信息，并将它们整合到最终的DataFrame中。
完整代码示例
上述代码片段已整合为一个完整的异步爬虫脚本。它首先从identifiers.csv读取标识符，然后为每个标识符异步地执行API请求和数据提取，最后将所有结果合并并保存到combined_table_data_api.csv。
注意事项与最佳实践
模拟浏览器行为： 始终在请求头中设置User-Agent，以模拟真实浏览器访问，这有助于避免被网站识别为爬虫并阻止访问。异步编程： 对于需要抓取大量页面的场景，使用httpx和trio等异步库可以显著提高效率和并发性能。动态内容检测： 在抓取任何网站之前，务必使用浏览器开发者工具（Network tab）检查其内容加载方式。观察是否有XHR/Fetch请求，这通常是内部API的指示。API稳定性： 内部API的结构可能随时变化，网站所有者可能会在不通知的情况下修改它们。因此，基于内部API的爬虫需要定期维护和测试。错误处理： 在实际应用中，应增加健壮的错误处理机制（如try-except块），以应对网络问题、API响应格式变化或解析失败等情况。遵守Robots协议和网站使用条款： 在进行任何抓取活动之前，请务必查阅目标网站的robots.txt文件和使用条款，确保您的行为合法合规。
总结
当面对动态加载内容或HTML结构不一致的网页抓取挑战时，仅仅依赖直接的HTTP请求和简单的HTML解析往往不足以应对。本教程通过一个具体的案例，展示了一种更高级、更稳定的解决方案：通过分析初始HTML响应，识别并直接调用网站的内部API来获取原始数据。结合httpx的异步能力、re的模式匹配以及pandas.read_html的高效表格解析，我们能够构建出更加健壮和高效的网络爬虫，从而稳定地获取所需数据。理解网站背后的数据加载机制，是解决复杂抓取问题的关键。
以上就是应对动态网页抓取挑战：通过内部API获取稳定HTML数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1519804.html
微信扫一扫 
支付宝扫一扫 
