当网页的URL在切换页面时保持不变，传统的基于URL参数递增的爬取方法将失效。本文将详细介绍如何识别并利用POST请求及其携带的表单数据来模拟分页操作，从而成功抓取这类动态加载的数据。我们将使用requests库发送POST请求，结合BeautifulSoup进行HTML解析，并最终利用pandas整理数据，实现高效、稳定的多页数据抓取。
理解静态URL下的动态分页
在进行网页数据抓取时，我们经常会遇到URL在页面之间保持不变，但页面内容却能动态更新的情况。这通常意味着网站通过JavaScript执行异步请求（如AJAX）来加载新数据，而不是通过传统的页面跳转。对于分页功能，这通常表现为：
URL不变：无论点击哪一页，浏览器地址栏中的URL始终是同一个。内容更新：页面的表格、列表等区域内容会随之变化。POST请求：通过浏览器开发者工具（Network Tab）观察，会发现每次翻页时都发送了一个POST请求，而不是GET请求。这个POST请求会携带一些表单数据（Form Data），其中包含了当前页码、排序方式等关键信息。
最初尝试使用requests.get和pd.read_html时，由于requests.get只获取了初始页面的内容，且没有模拟后续的POST请求，因此无法获取到其他页的数据。解决此问题的关键在于模拟这些POST请求，并正确构造其携带的表单数据。
识别POST请求与表单数据
要成功模拟分页，首先需要识别出网站在翻页时发送的POST请求以及其Form Data。以下是操作步骤：
立即学习“Python免费学习笔记（深入）”；
打开目标网页：在浏览器中打开目标网站，例如：https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview。打开开发者工具：按下F12键（或右键点击页面 -> 检查），打开浏览器的开发者工具。切换到“网络”（Network）选项卡：确保该选项卡处于激活状态。执行分页操作：在网页上点击下一页按钮，观察“网络”选项卡中新出现的请求。检查POST请求：找到一个通常是XHR（XMLHttpRequest）类型的POST请求，其URL与当前页面URL相似或相同。查看请求载荷（Payload）：点击该POST请求，查看其“Payload”或“Form Data”部分。这里会列出所有随请求发送的键值对。通常会有一个参数用于表示页码，例如pageNum、page等。
通过上述步骤，我们可以发现该网站在翻页时发送的是POST请求，并且其表单数据中包含pageNum等关键字段。
使用Python模拟POST请求进行数据抓取
识别了POST请求和其表单数据后，我们就可以使用Python的requests库来模拟这些请求，并通过BeautifulSoup解析返回的HTML内容。
1. 导入必要的库
import requestsimport pandas as pdfrom bs4 import BeautifulSoup
2. 定义请求URL和初始表单数据
根据开发者工具中观察到的信息，定义目标URL和POST请求所需的表单数据。pageNum是我们需要在循环中修改的参数。
url = "https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview"# 从开发者工具的Network -> Payload中获取的表单数据data = { "folder": "auctionResults", "loginID": "00", "pageNum": "1", # 初始页码，后续会在循环中修改 "orderBy": "AdvNum", "orderDir": "asc", "justFirstCertOnGroups": "1", "doSearch": "true", "itemIDList": "", "itemSetIDList": "", "interest": "", "premium": "", "itemSetDID": "",}
3. 循环发送POST请求并解析数据
我们将遍历所需的页码范围，在每次循环中更新data字典中的pageNum，然后发送POST请求。获取到响应内容后，使用BeautifulSoup解析HTML，提取表格数据。
all_data = [] # 用于存储所有页面的数据# 假设我们需要抓取前N页数据，这里以抓取前2页为例 (range(1, 3)表示页码1和2)# 请根据实际需求修改循环范围for page_num in range(1, 3): data["pageNum"] = str(page_num) # 更新页码参数 # 发送POST请求 response = requests.post(url, data=data) # 检查请求是否成功 if response.status_code == 200: soup = BeautifulSoup(response.content, "html.parser") # 查找包含数据的表格行。根据网页结构，数据行通常在id为'searchResults'的表格中， # 并跳过前两行（通常是表头和不相关行）。 # 请根据实际网页的HTML结构调整选择器。 for row in soup.select("#searchResults tr")[2:]: tds = [td.text.strip() for td in row.select("td")] all_data.append(tds) else: print(f"请求第 {page_num} 页失败，状态码: {response.status_code}")
4. 将数据整理成Pandas DataFrame
抓取到的数据以列表的列表形式存储在all_data中。我们可以定义列名，然后将其转换为Pandas DataFrame，以便于后续的数据分析和处理。
# 定义DataFrame的列名，根据网页表格的实际列数和内容调整columns = [ "SEQ NUM", "Tax Year", "Notices", "Parcel ID", "Face Amount", "Winning Bid", "Sold To",]df = pd.DataFrame(all_data, columns=columns)# 打印DataFrame的最后10行，验证数据print(df.tail(10).to_markdown(index=False)) # index=False可以避免打印DataFrame的索引
完整示例代码
import requestsimport pandas as pdfrom bs4 import BeautifulSoup# 定义请求URLurl = "https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview"# 从浏览器开发者工具的Network -> Payload中获取的表单数据# 这些参数是网站用于处理分页和过滤的关键信息data = { "folder": "auctionResults", "loginID": "00", "pageNum": "1", # 初始页码，将在循环中动态更新 "orderBy": "AdvNum", "orderDir": "asc", "justFirstCertOnGroups": "1", "doSearch": "true", "itemIDList": "", "itemSetIDList": "", "interest": "", "premium": "", "itemSetDID": "",}all_data = [] # 用于存储从所有页面抓取到的数据# 循环遍历页码。例如，range(1, 3) 将抓取第1页和第2页。# 如果需要抓取所有3000个数据点，需要根据网站实际总页数调整循环范围。# 可以先抓取一页，找到总页数信息，或者设置一个较大的上限。for page_num in range(1, 3): # 示例：抓取前两页 data["pageNum"] = str(page_num) # 更新POST请求中的页码参数 try: # 发送POST请求，携带更新后的表单数据 response = requests.post(url, data=data) response.raise_for_status() # 检查请求是否成功，如果状态码不是200，则抛出异常 # 使用BeautifulSoup解析HTML内容 soup = BeautifulSoup(response.content, "html.parser") # 定位到包含数据行的表格。 # 这里使用CSS选择器`#searchResults tr`来选择id为'searchResults'元素下的所有`tr`标签。 # `[2:]`表示跳过前两行，因为它们通常是表头或其他非数据行。 for row in soup.select("#searchResults tr")[2:]: # 提取每行中的所有`td`标签的文本内容，并去除首尾空格 tds = [td.text.strip() for td in row.select("td")] all_data.append(tds) except requests.exceptions.RequestException as e: print(f"请求第 {page_num} 页时发生错误: {e}") continue # 继续尝试下一页# 定义DataFrame的列名，与网页表格的列对应columns = [ "SEQ NUM", "Tax Year", "Notices", "Parcel ID", "Face Amount", "Winning Bid", "Sold To",]# 将收集到的数据转换为Pandas DataFramedf = pd.DataFrame(all_data, columns=columns)# 打印DataFrame的最后10行，用于验证数据抓取结果print("抓取到的数据（最后10行）:")print(df.tail(10).to_markdown(index=False))# 示例输出（与原问题答案一致）# | SEQ NUM | Tax Year | Notices | Parcel ID | Face Amount | Winning Bid | Sold To |# |---------|----------|---------|-----------|-------------|-------------|---------|# | 000094 | 2020 | | 00031-18-001-000 | $905.98 | $81.00 | 00005517 |# | 000095 | 2020 | | 00031-18-002-000 | $750.13 | $75.00 | 00005517 |# | 000096 | 2020 | | 00031-18-003-000 | $750.13 | $75.00 | 00005517 |# | 000097 | 2020 | | 00031-18-004-000 | $750.13 | $75.00 | 00005517 |# | 000098 | 2020 | | 00031-18-007-000 | $750.13 | $76.00 | 00005517 |# | 000099 | 2020 | | 00031-18-008-000 | $905.98 | $84.00 | 00005517 |# | 000100 | 2020 | | 00031-19-001-000 | $1,999.83 | $171.00 | 00005517 |# | 000101 | 2020 | | 00031-19-004-000 | $1,486.49 | $131.00 | 00005517 |# | 000102 | 2020 | | 00031-19-006-000 | $1,063.44 | $96.00 | 00005517 |# | 000103 | 2020 | | 00031-20-001-000 | $1,468.47 | $126.00 | 00005517 |
注意事项与总结
动态页码范围：示例代码中的range(1, 3)仅抓取了前两页。在实际应用中，您可能需要找到网站显示的总页数，或者通过循环抓取直到页面返回空数据或重复数据来确定结束条件。User-Agent：为了更好地模拟浏览器行为，建议在requests.post请求中添加User-Agent头信息。
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36"}response = requests.post(url, data=data, headers=headers)
错误处理：在实际的爬虫项目中，务必加入健壮的错误处理机制，例如try-except块来捕获网络请求失败、解析错误等异常。爬取频率：请务必遵守网站的robots.txt协议，并控制爬取频率，避免对目标网站造成过大压力，甚至导致IP被封禁。可以使用time.sleep()在请求之间增加延迟。HTML结构变化：网站的HTML结构可能会更新，导致BeautifulSoup的选择器失效。因此，定期检查并调整选择器是必要的。Cookies和Session：某些网站可能需要维护会话（Session）或发送特定的Cookies。如果遇到登录或需要保持状态的情况，可能需要使用requests.Session()对象。
通过上述方法，即使面对URL保持静态的动态分页网站，我们也能利用Python的requests和BeautifulSoup库，结合对POST请求的理解，成功地抓取到所需的多页数据。这种方法对于处理许多现代Web应用中的动态内容加载场景都非常有效。
以上就是使用Python抓取静态URL分页数据的策略的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1594562.html
微信扫一扫 
支付宝扫一扫 
