本教程深入探讨了使用python进行网络爬虫时，如何解决`beautifulsoup`无法抓取动态加载内容的问题。当目标网页的`
`标签看似为空时，通常是由于内容通过ajax请求异步加载。文章将指导读者通过浏览器开发者工具识别并直接请求xhr接口，从而成功获取并解析所需数据，有效应对现代网页的动态特性。
引言：静态爬取与动态内容的挑战
在进行网页数据抓取时，Python的requests库结合BeautifulSoup是常用的工具组合。requests负责获取网页的原始HTML内容，而BeautifulSoup则用于解析这些HTML并提取所需数据。然而，随着现代网页技术的发展，越来越多的网站采用JavaScript进行内容渲染，通过AJAX（Asynchronous JavaScript and XML）异步加载数据。这意味着，当requests.get()获取到网页的初始HTML时，其中可能并不包含所有可见的内容，尤其是那些由JavaScript在页面加载完成后才填充的数据。
当尝试使用BeautifulSoup查找一个看似存在于页面上的
标签（例如，通过soup.find(‘ul’, id=’demoFour’)），却得到一个空的或不完整的标签时，这通常就是动态加载内容在作祟。传统的静态HTML解析方法在这种情况下会失效，因为目标数据尚未被嵌入到初始的HTML文档中。
识别动态加载：浏览器开发者工具的应用
解决动态内容抓取问题的关键在于识别数据是如何被异步加载的。浏览器提供的开发者工具是实现这一目标不可或缺的利器。以下是使用开发者工具（以Chrome为例）查找动态加载数据的步骤：
打开目标网页： 在浏览器中打开你想要抓取数据的网页。打开开发者工具： 按下F12键（或右键点击页面选择“检查”），打开开发者工具面板。切换到“Network”标签页： 这个标签页会显示浏览器加载页面时发起的所有网络请求。筛选XHR请求： 在“Network”标签页中，通常有一个筛选器或分类选项，选择“XHR”或“Fetch/XHR”。这会只显示由JavaScript发起的异步数据请求。刷新页面或触发数据加载： 如果页面上的数据是初次加载就出现的，直接刷新页面。如果数据是通过用户交互（如点击按钮、滚动）才出现的，则需要执行相应的交互操作。检查请求详情： 观察XHR请求列表。找到那些看起来与你目标数据相关的请求。点击请求，查看其“Headers”（请求头、请求URL、请求方法、请求参数）、“Payload”（POST请求的请求体）和“Response”（服务器返回的数据）。请求URL： 这是你需要直接请求的API接口地址。请求方法： 可能是GET或POST。Response： 仔细检查响应内容，通常是JSON或XML格式，确认其中是否包含你想要抓取的数据。
通过上述步骤，你就能定位到真正提供数据的API接口，而非依赖于初始的HTML页面。
立即学习“Python免费学习笔记（深入）”；
解决方案：直接请求XHR接口
一旦通过开发者工具识别出提供数据的XHR接口，接下来的任务就是使用Python的requests库直接向该接口发送请求。这种方法绕过了前端JavaScript的渲染过程，直接从数据源获取原始数据。
通常，这些XHR接口会返回JSON格式的数据，这比解析HTML要简单得多。requests库可以直接将JSON响应解析为Python字典或列表，方便后续处理。
实战案例：爬取动态加载的议员列表
让我们以抓取斯里兰卡议会成员列表为例。初始的HTML页面中
标签可能为空，但通过观察开发者工具，可以发现成员数据是通过一个POST请求异步加载的。
目标分析：我们需要从一个API接口获取议员的ID、姓名和详情页URL。这个接口支持按字母筛选，所以我们需要遍历所有英文字母来获取完整的列表。
代码实现：
导入所需库：requests用于发送HTTP请求，string用于生成英文字母序列。
构建字母迭代循环：议员列表是按字母分类的，我们可以遍历大写字母A-Z，为每个字母发送一个请求。
构造XHR请求URL和方法：通过开发者工具分析，我们发现数据是从 https://www.parliament.lk/members-of-parliament/directory-of-members/index2.php?option=com_members&task=all&tmpl=component&letter={letter}&wordfilter=&search_district= 这个URL通过POST方法获取的，其中{letter}是动态变化的字母参数。
发送POST请求并解析JSON响应：使用requests.post()方法发送请求，并通过result.json()将响应内容解析为Python对象。
提取并存储关键数据：遍历JSON响应中的每个议员条目，提取其mem_intranet_id（ID）、member_sname_eng（英文姓名）以及构造其详情页的url。
完整代码示例：
from bs4 import BeautifulSoupimport requestsimport string# 用于存储所有议员数据的列表data = []# 遍历所有大写英文字母 (A-Z)for letter in list(string.ascii_uppercase): # 构造请求的URL。这个URL是根据开发者工具中XHR请求的实际地址确定的。 # 它是一个POST请求，并且通过letter参数筛选不同字母开头的议员。 xhr_url = f'https://www.parliament.lk/members-of-parliament/directory-of-members/index2.php?option=com_members&task=all&tmpl=component&letter={letter}&wordfilter=&search_district=' try: # 发送POST请求到XHR接口 # 注意：这里可能需要根据实际情况添加headers，例如User-Agent，以模拟浏览器行为 result = requests.post(xhr_url) result.raise_for_status() # 检查HTTP请求是否成功 (状态码200) # 解析JSON响应 members_json = result.json() # 遍历JSON数组中的每个议员信息 for member_info in members_json: # 提取所需信息并构造详情页URL member_id = member_info.get('mem_intranet_id') member_name = member_info.get('member_sname_eng') member_url = f"https://www.parliament.lk/en/members-of-parliament/directory-of-members/viewMember/{member_id}" # 将提取的信息添加到数据列表中 data.append({ 'url': member_url, 'id': member_id, 'name': member_name }) except requests.exceptions.RequestException as e: print(f"请求字母 {letter} 时发生错误: {e}") except ValueError as e: print(f"解析字母 {letter} 的JSON响应时发生错误: {e}")# 打印抓取到的部分数据# print(data[:5]) # 打印前5条数据print(f"共抓取到 {len(data)} 条议员数据。")
输出示例：
运行上述代码后，data列表将包含类似以下的议员信息：
[{'url': 'https://www.parliament.lk/en/members-of-parliament/directory-of-members/viewMember/3266', 'id': '3266', 'name': 'A. Aravindh Kumar'}, {'url': 'https://www.parliament.lk/en/members-of-parliament/directory-of-members/viewMember/50', 'id': '50', 'name': 'Abdul Haleem'}, {'url': 'https://www.parliament.lk/en/members-of-parliament/directory-of-members/viewMember/3325', 'id': '3325', 'name': 'Ajith Rajapakse'}, {'url': 'https://www.parliament.lk/en/members-of-parliament/directory-of-members/viewMember/3296', 'id': '3296', 'name': 'Akila Ellawala'}, {'url': 'https://www.parliament.lk/en/members-of-parliament/directory-of-members/viewMember/3355', 'id': '3355', 'name': 'Ali Sabri Raheem'}, ...]
注意事项与最佳实践
在进行动态内容抓取时，除了上述核心方法，还需要考虑以下几点以确保爬虫的健壮性和合规性：
请求参数与头部（Headers）： 有些XHR请求可能需要特定的User-Agent、Referer、Cookie或其他自定义请求头才能成功获取数据。这些信息同样可以在开发者工具的“Headers”标签页中找到。模拟这些头部信息可以帮助你的爬虫更像一个真实的浏览器。请求体（Payload）： 对于POST请求，Payload部分包含了发送给服务器的数据。在requests.post()方法中，这通常通过data或json参数传递。错误处理： 网络请求可能会失败，JSON解析也可能出错。务必使用try-except块来捕获requests.exceptions.RequestException和ValueError等异常，提高爬虫的鲁棒性。频率限制与延迟： 频繁地向服务器发送请求可能会被视为恶意行为，导致IP被封禁。在请求之间添加适当的延迟（time.sleep()）是一种良好的实践。反爬机制： 现代网站可能部署更复杂的反爬机制，如验证码、IP限制、请求频率分析等。当遇到这些情况时，可能需要更高级的技术，如使用代理IP池、模拟登录、或者结合Selenium等自动化测试工具来模拟浏览器行为。合法合规： 在进行任何网络爬取活动之前，请务必查阅网站的robots.txt文件，了解其爬取政策。同时，遵守当地法律法规，尊重网站的数据所有权和隐私政策。
总结
当BeautifulSoup在静态HTML中无法找到所需内容时，不要立即放弃。这通常意味着你面对的是一个动态加载内容的网站。通过熟练运用浏览器开发者工具，识别并直接请求提供数据的XHR接口，是解决这类问题的有效途径。掌握这一技术，将极大地扩展你的网络爬虫能力，使其能够应对更广泛的现代网页结构。记住，理解数据源的加载机制是成功爬取动态网页数据的关键。
以上就是动态内容抓取实战：Python爬取AJAX加载的列表数据的详细内容，更多请关注php中文网其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1598856.html
微信扫一扫 
支付宝扫一扫 
