本教程旨在解决python网络爬虫中处理分页数据和数据持久化到excel的常见问题。文章将详细指导如何构建分页url、循环遍历多页、使用列表字典结构高效收集数据，并利用pandas的`excelwriter`一次性将所有抓取结果准确保存到excel文件，从而避免文件覆盖、`filenotfounderror`等错误，提升爬虫的健壮性和效率。
在进行网页抓取时，处理包含多页内容的网站是一个普遍的需求。然而，在实现分页抓取并将其结果保存到文件时，开发者经常会遇到一些挑战，例如如何正确地迭代所有页面、如何避免文件在循环中被意外覆盖，以及如何处理FileNotFoundError等文件操作异常。本教程将通过一个实际案例，详细阐述如何构建一个高效且健壮的分页爬虫，并将抓取到的结构化数据保存到Excel文件中。
一、理解分页抓取的核心策略
分页抓取的核心在于识别并构造不同页面的URL，然后通过循环依次请求这些URL，提取数据。
1. 构建分页URL
大多数网站的分页URL都遵循一定的模式，通常包含一个表示页码的参数。例如，https://www.example.com/catalog/?q=item&page={n}，其中{n}是页码。我们需要观察目标网站的URL结构，找出这个规律。
# 示例：构建分页URLbase_url = "https://www.jumia.ma/catalog/?q=pc&page="page_number = 1url = f"{base_url}{page_number}#catalog-listing"
2. 循环控制与页面请求
使用while循环是实现分页抓取的常见方式。在每次循环中，我们更新页码，构造新的URL，然后发送HTTP请求获取页面内容。
立即学习“Python免费学习笔记（深入）”；
import requestsimport timedef fetch_page_content(page_num): url = f"https://www.jumia.ma/catalog/?q=pc&page={page_num}#catalog-listing" try: html_text = requests.get(url).text return html_text except requests.exceptions.RequestException as e: print(f"请求页面 {page_num} 失败: {e}") return None# 示例循环结构max_pages = 5 # 假设最多抓取5页current_page = 1while current_page <= max_pages: page_content = fetch_page_content(current_page) if page_content: # 在这里处理页面内容 pass current_page += 1 time.sleep(2) # 添加延迟，避免对服务器造成过大压力
3. 请求延迟与网站友好性
在进行网络爬取时，务必添加适当的延迟（time.sleep()）以模拟人类行为，避免在短时间内发送大量请求，这可能导致IP被封禁或对目标网站造成不必要的负担。同时，建议查阅网站的robots.txt文件，了解其爬取政策。
二、高效数据收集与结构化
在循环中收集数据时，避免在每次迭代都创建一个新的DataFrame并追加到文件，这种方式效率低下且容易出错。更推荐的做法是，在循环内部将每页的数据收集到一个临时的结构中，待所有页面抓取完毕后，再统一处理和保存。
1. 使用列表字典存储数据
将每条抓取到的记录存储为一个字典，然后将这些字典添加到列表中。这种“列表字典”的结构非常适合后续转换为Pandas DataFrame。
from bs4 import BeautifulSoupfrom bs4 import Tag # 导入Tag类型用于类型检查def parse_page_data(html_content): soup = BeautifulSoup(html_content, "lxml") computers = soup.find_all("a", class_="core") page_data = [] for computer in computers: name_element = computer.find("h3", class_="name") price_element = computer.find("div", class_="prc") original_price_element = computer.find("div", class_="old") promo_element = computer.find("div", class_="bdg _dsct _sm") # 健壮的数据提取：检查元素是否存在 name = name_element.text.strip() if name_element else "N/A" price = price_element.text.strip() if price_element else "N/A" original_price = original_price_element.text.strip() if original_price_element else "N/A" promo = promo_element.text.strip() if promo_element else "N/A" page_data.append({ 'name': name, 'price': price, 'original_price': original_price, 'promo': promo }) return page_data# 整合到分页循环中all_data = []max_pages = 5current_page = 1while current_page <= max_pages: html_content = fetch_page_content(current_page) if html_content: page_records = parse_page_data(html_content) all_data.extend(page_records) # 将当前页的数据添加到总列表中 current_page += 1 time.sleep(2)
健壮的元素查找与数据提取： 在抓取过程中，某些HTML元素可能在特定页面或特定商品上不存在。直接访问.text或.strip()会导致AttributeError。因此，在访问元素的属性前，应先判断元素是否存在，例如使用if element: element.text.strip() else “N/A”。
三、使用Pandas将数据保存到Excel
当所有数据都收集到一个列表中后，使用Pandas将其转换为DataFrame并保存到Excel就变得非常简单和高效。
1. pd.DataFrame的创建
从列表字典创建DataFrame是Pandas的常见操作。
import pandas as pd# 假设 all_data 已经包含了所有抓取到的数据df = pd.DataFrame(all_data)
2. pd.ExcelWriter的使用
pd.ExcelWriter是Pandas用于写入Excel文件的推荐方式。它提供了灵活的写入选项，并且能确保文件操作的正确性。
避免常见文件写入错误：原始代码中出现的FileNotFoundError: [Errno 2] No such file or directory: ‘output.xlsx’错误，通常是由于尝试以追加模式（mode=’a’）打开一个尚不存在的文件时，内部机制未能正确处理。当文件不存在时，最简单的做法是让pd.ExcelWriter默认创建它，而不是强制指定追加模式。
如果需要完全覆盖现有文件或创建新文件，最简洁且推荐的方式是：
# 假设 df 已经包含了所有需要保存的数据output_filename = "output.xlsx"with pd.ExcelWriter(output_filename) as writer: df.to_excel(writer, sheet_name="sheet1", index=False) # index=False 避免将DataFrame索引写入Excel
这种方式会在文件不存在时创建它，如果文件已存在则会完全覆盖。对于分页抓取，通常是先抓取所有数据，然后一次性写入，所以这种覆盖模式是合适的。
如果确实需要在现有文件中追加数据到新工作表，并且确保文件存在，可以先创建文件，或使用mode=’a’和if_sheet_exists=’replace’（或’new’、’overlay’），但这需要确保文件路径是正确的，且openpyxl引擎能找到文件。对于本例，一次性写入所有数据更简单。
四、完整示例代码
结合上述策略，以下是优化后的分页抓取并保存到Excel的完整代码：
import pandas as pdfrom bs4 import BeautifulSoupimport requestsimport timedef find_computers(): """ 抓取Jumia网站PC分类下多页的电脑信息。 """ all_collected_data = [] # 用于存储所有页面抓取到的数据 max_pages = 5 # 设置要抓取的最大页数，可以根据实际情况调整 current_page = 1 while current_page <= max_pages: print(f"正在抓取第 {current_page} 页...") url = f"https://www.jumia.ma/catalog/?q=pc&page={current_page}#catalog-listing" try: html_text = requests.get(url, timeout=10).text # 增加请求超时 soup = BeautifulSoup(html_text, "lxml") computers = soup.find_all("a", class_="core") if not computers: print(f"第 {current_page} 页未找到商品，可能已达最后一页或页面结构改变。") break # 如果当前页没有找到商品，则认为已到达最后一页，停止循环 for computer in computers: name_element = computer.find("h3", class_="name") price_element = computer.find("div", class_="prc") original_price_element = computer.find("div", class_="old") promo_element = computer.find("div", class_="bdg _dsct _sm") # 健壮性检查：确保元素存在才提取文本 name = name_element.text.strip() if name_element else "N/A" price = price_element.text.strip() if price_element else "N/A" original_price = original_price_element.text.strip() if original_price_element else "N/A" promo = promo_element.text.strip() if promo_element else "N/A" all_collected_data.append({ 'name': name, 'price': price, 'original_price': original_price, 'promo': promo }) except requests.exceptions.RequestException as e: print(f"请求第 {current_page} 页失败: {e}") except Exception as e: print(f"处理第 {current_page} 页时发生错误: {e}") current_page += 1 time.sleep(6) # 每次请求后暂停6秒，避免请求过于频繁 return all_collected_dataif __name__ == "__main__": print("开始抓取数据...") data_to_save = find_computers() if data_to_save: df = pd.DataFrame(data_to_save) output_filename = "output.xlsx" try: with pd.ExcelWriter(output_filename, engine="openpyxl") as writer: df.to_excel(writer, sheet_name="sheet1", index=False) print(f"所有数据已成功保存到 {output_filename} 的 'sheet1' 中。") except Exception as e: print(f"保存数据到Excel时发生错误: {e}") else: print("未抓取到任何数据，未生成Excel文件。")
五、注意事项与最佳实践
遵守网站规则： 在进行任何网络爬取之前，请务必阅读目标网站的robots.txt文件和使用条款，确保您的行为合法合规。错误处理： 在代码中加入try-except块来处理网络请求失败、HTML元素缺失等潜在错误，提高程序的健壮性。请求延迟： 严格控制请求频率，使用time.sleep()函数添加延迟，避免给目标网站服务器带来过大压力，降低被封禁的风险。数据结构化： 优先使用列表字典来收集数据，因为它能自然地映射到Pandas DataFrame的行和列结构。一次性写入： 对于分页抓取，通常建议在所有数据收集完毕后，一次性将其写入文件，而不是在循环中频繁地打开和关闭文件或追加数据，这可以提高效率并减少文件操作的复杂性。index=False： 在使用df.to_excel()时，通常会设置index=False以避免将Pandas DataFrame的默认索引写入Excel文件，除非您确实需要。
通过遵循本教程中的方法和最佳实践，您可以构建出更高效、更稳定的Python网络爬虫，并有效地管理抓取到的数据。
以上就是Python网络爬虫：高效处理分页数据与Pandas Excel存储实践的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381773.html
微信扫一扫 
支付宝扫一扫 
