本文介绍了如何从使用 JavaScript 动态加载数据的网页中抓取数据，以伦敦交通局 (TfL) 自行车数据为例。我们将演示如何通过分析浏览器的开发者工具来查找 API 请求，并使用 Python 和 BeautifulSoup 库解析 XML 响应，提取所需的数据文件 URL。本教程适用于初学者，并提供清晰的代码示例和步骤说明。
动态网页数据抓取：寻找隐藏的API
许多现代网站使用 JavaScript 动态加载数据。这意味着当你访问网页时，最初看到的可能只是一个框架，而实际的数据是在后台通过 API 请求加载的。直接使用 requests 和 BeautifulSoup 抓取网页内容通常只能获取到初始的 HTML 代码，而无法获取到动态加载的数据。
在这种情况下，我们需要分析网页的网络请求，找到加载数据的 API 接口。常用的方法是使用浏览器的开发者工具。
步骤如下：
打开目标网页（例如：https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d）。打开浏览器的开发者工具（通常按 F12 键）。切换到 “Network”（网络）选项卡。刷新网页，观察网络请求。筛选 “XHR” 或 “Fetch/XHR” 请求，查找包含数据的文件。
通过分析 TfL 自行车数据的网页，我们可以发现一个名为 https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500 的 API 请求，它返回一个 XML 文件，其中包含了所有数据文件的 URL。
使用 BeautifulSoup 解析 XML 数据
找到 API 接口后，我们可以使用 requests 获取 XML 数据，然后使用 BeautifulSoup 解析 XML，提取所需的数据文件 URL。
以下是一个示例代码：
import requestsfrom bs4 import BeautifulSoupsoup=BeautifulSoup(requests.get('https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500').text, 'xml')for c in soup.select('contents key'): if c.text.startswith('usage-stats') and c.text.endswith('.csv'): print('https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d'+c.text)
代码解释：
import requests: 导入 requests 库，用于发送 HTTP 请求。from bs4 import BeautifulSoup: 导入 BeautifulSoup 库，用于解析 HTML 和 XML。requests.get(‘https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500’).text: 发送 GET 请求到 API 接口，获取 XML 数据。BeautifulSoup(…, ‘xml’): 使用 BeautifulSoup 解析 XML 数据。注意这里需要指定解析器为 ‘xml’。soup.select(‘contents key’): 使用 CSS 选择器 contents key 找到所有包含文件名的 XML 标签。if c.text.startswith(‘usage-stats’) and c.text.endswith(‘.csv’): 过滤文件名，只保留以 ‘usage-stats’ 开头且以 ‘.csv’ 结尾的文件。print(‘https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d’+c.text): 打印完整的 URL。
运行结果：
https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577dusage-stats/01aJourneyDataExtract10Jan16-23Jan16.csvhttps://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577dusage-stats/01b Journey Data Extract 24Jan16-06Feb16.csvhttps://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577dusage-stats/01bJourneyDataExtract24Jan16-06Feb16.csvhttps://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577dusage-stats/02aJourneyDataExtract07Fe16-20Feb2016.csvhttps://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577dusage-stats/02bJourneyDataExtract21Feb16-05Mar2016.csvhttps://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577dusage-stats/03JourneyDataExtract06Mar2016-31Mar2016.csv...
总结
本教程介绍了如何从动态网页中抓取数据，关键在于找到加载数据的 API 接口，并使用合适的工具解析返回的数据。对于 XML 数据，可以使用 BeautifulSoup 配合 ‘xml’ 解析器进行解析。掌握这些技巧可以帮助你从各种复杂的网页中提取所需的数据。
注意事项：
在抓取数据时，请遵守网站的 robots.txt 协议，并尊重网站的服务条款。频繁的抓取可能会给网站带来负担，请合理控制抓取频率。如果网站的反爬虫机制比较严格，可能需要使用代理 IP、设置请求头等方法来规避反爬虫策略。
以上就是从动态网页抓取数据：TfL自行车数据抓取教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1367143.html
微信扫一扫 
支付宝扫一扫 
