本教程详细介绍了如何使用python的requests和beautifulsoup库，从动态asp网站抓取pdf文件。文章涵盖了http post请求、html解析、pdf链接识别，以及如何利用网页显示文本作为文件名保存下载内容，实现自动化且智能的文档管理。
引言
在日常工作中，我们经常需要从网站下载大量文件，尤其是PDF文档。然而，网站提供的下载链接通常只包含技术性的文件名，而非用户友好的显示名称。本教程旨在解决这一问题，指导您如何利用Python编写脚本，从特定网页（例如ASP站点）抓取PDF文件，并将其保存为网页上显示的标题名称，从而实现更智能、更高效的文档管理。我们将重点关注如何解析HTML以获取正确的下载链接和对应的显示名称，以及如何利用Python的HTTP库完成文件下载。
环境准备
在开始之前，请确保您的Python环境中安装了以下库：
requests: 用于发送HTTP请求，包括POST和GET请求。BeautifulSoup4: 用于解析HTML和XML文档，方便提取所需数据。lxml: BeautifulSoup的解析器，通常推荐安装以提高解析速度和兼容性。
您可以使用pip命令进行安装：
pip install requests beautifulsoup4 lxml
核心技术概览
本教程将综合运用以下Python库和技术：
立即学习“Python免费学习笔记（深入）”；
requests库:requests.post(): 用于向服务器发送POST请求，模拟表单提交，以获取动态生成的内容。requests.get(): 用于下载文件内容。headers: 设置请求头，模拟浏览器行为，避免被网站拒绝。data或json: 传递POST请求的表单数据。BeautifulSoup库:BeautifulSoup(html_content, “lxml”): 初始化解析器，将HTML内容转换为可操作的对象。find_all(‘a’, {‘href’: True}): 查找所有带有href属性的标签。link.get(‘href’): 获取标签的href属性值（即链接）。link.text: 获取标签的文本内容（即显示名称）。os模块:os.path.join(): 安全地拼接文件路径，自动处理不同操作系统的路径分隔符。os.makedirs(path, exist_ok=True): 创建目录，exist_ok=True参数确保如果目录已存在不会抛出错误。文件操作:with open(full_path, ‘wb’) as fh:: 以二进制写入模式打开文件，确保正确保存下载的二进制内容。
实现步骤详解
我们将通过一个具体的例子来演示如何实现从ASP网站下载PDF并自定义文件名。假设我们需要从一个ASP网站根据“班级”和“科目”筛选后，下载其中列出的PDF文件。
1. 定义配置与初始化
首先，导入必要的库，并定义目标URL、请求头以及文件保存路径。
import osimport requestsfrom bs4 import BeautifulSoupfrom urllib import parse as urlparse # 尽管本例中不直接使用urlparse.quote，但了解其用途很重要# 定义目标网站URLBASE_URL = "https://www.svpo.nl/curriculum.asp"# 定义请求头，模拟浏览器行为HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}# 定义PDF文件保存的根目录OUTPUT_ROOT_PATH = r'c:ooks' # 使用原始字符串避免反斜杠转义问题# 定义需要遍历的班级和科目klassen = ['1e klas']vakken = ['Wiskunde']# 可以扩展为更多班级和科目# vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis',# 'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',# 'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal',# 'Loopbaanorientatie','NLT']downloaded_links = [] # 用于存储已下载的链接，可选
2. 遍历筛选条件并发送POST请求
网站内容通常是根据用户选择动态生成的。我们需要模拟用户选择“班级”和“科目”的过程，通过发送POST请求获取对应的HTML内容。
for klas in klassen: for vak in vakken: # 构建当前班级和科目的保存路径 # os.path.join 会智能处理路径分隔符 current_save_path = os.path.join(OUTPUT_ROOT_PATH, klas, vak) # 创建目录，如果目录已存在则不报错 os.makedirs(current_save_path, exist_ok=True) print(f"正在处理: 班级 '{klas}', 科目 '{vak}'") print(f"文件将保存到: {current_save_path}") # 构建POST请求的表单数据 payload = {'vak': vak, 'klas_en_schoolsoort': klas} # 发送POST请求获取网页内容 try: response = requests.post(BASE_URL, data=payload, headers=HEADERS) response.raise_for_status() # 检查HTTP请求是否成功 (200 OK) html_content = response.text except requests.exceptions.RequestException as e: print(f"请求失败，跳过: {e}") continue
3. 解析HTML并提取PDF链接及显示名称
获取到HTML内容后，使用BeautifulSoup进行解析，找出所有指向PDF文件的标签，并提取它们的href属性（下载链接）和text内容（显示名称）。
# 使用BeautifulSoup解析HTML内容 soup = BeautifulSoup(html_content, "lxml") # 查找所有带有href属性的标签 all_links = soup.find_all('a', {'href': True}) for link_tag in all_links: url_raw = link_tag.get('href') # 获取原始链接 # 检查链接是否指向PDF文件（不区分大小写） if url_raw and url_raw.lower().endswith('.pdf'): # 某些网站的URL可能包含反斜杠，需要替换为正斜杠以确保URL有效 download_url = url_raw.replace('', '/') # 提取标签的文本内容作为文件名 # 注意：这里直接使用link_tag.text作为文件名，然后添加.pdf后缀 # 需要对文件名进行清理，以防包含非法字符 raw_filename = link_tag.text.strip() # 简单清理文件名，移除Windows不允许的字符 # 实际应用中可能需要更复杂的清理逻辑 invalid_chars = r':"/|?*' cleaned_filename = "".join(c for c in raw_filename if c not in invalid_chars) # 组合最终的文件名 final_filename = f"{cleaned_filename}.pdf" print(f" 发现PDF: {final_filename}") print(f" 下载链接: {download_url}") # 构造完整的本地文件路径 full_local_path = os.path.join(current_save_path, final_filename) print(f" 保存路径: {full_local_path}")
4. 下载PDF文件并保存到本地
使用requests.get()下载PDF文件的内容，并将其写入到之前构造的本地文件路径中。
# 检查文件是否已存在，避免重复下载 if os.path.exists(full_local_path): print(f" 文件 '{final_filename}' 已存在，跳过下载。") continue try: # 发送GET请求下载PDF内容 pdf_response = requests.get(download_url, headers=HEADERS, stream=True) pdf_response.raise_for_status() # 检查下载请求是否成功 # 将下载内容写入文件 with open(full_local_path, 'wb') as fh: for chunk in pdf_response.iter_content(chunk_size=8192): fh.write(chunk) print(f" 成功下载 '{final_filename}'") downloaded_links.append(download_url) # 记录已下载的链接 except requests.exceptions.RequestException as e: print(f" 下载 '{final_filename}' 失败: {e}") print('---') # 分隔符，便于查看输出
完整示例代码
将上述步骤整合到一起，形成一个完整的Python脚本：
import osimport requestsfrom bs4 import BeautifulSoupfrom urllib import parse as urlparse# 定义目标网站URLBASE_URL = "https://www.svpo.nl/curriculum.asp"# 定义请求头，模拟浏览器行为HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}# 定义PDF文件保存的根目录OUTPUT_ROOT_PATH = r'c:ooks' # 使用原始字符串避免反斜杠转义问题# 定义需要遍历的班级和科目klassen = ['1e klas']vakken = ['Wiskunde']# 可以扩展为更多班级和科目# vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis',# 'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',# 'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal',# 'Loopbaanorientatie','NLT']downloaded_links = [] # 用于存储已下载的链接，可选print("开始PDF下载任务...")for klas in klassen: for vak in vakken: # 构建当前班级和科目的保存路径 current_save_path = os.path.join(OUTPUT_ROOT_PATH, klas, vak) os.makedirs(current_save_path, exist_ok=True) # 创建目录，如果目录已存在则不报错 print(f"--- 正在处理: 班级 '{klas}', 科目 '{vak}' ---") print(f"文件将保存到: {current_save_path}") # 构建POST请求的表单数据 payload = {'vak': vak, 'klas_en_schoolsoort': klas} try: # 发送POST请求获取网页内容 response = requests.post(BASE_URL, data=payload, headers=HEADERS, timeout=10) # 设置超时 response.raise_for_status() # 检查HTTP请求是否成功 (200 OK) html_content = response.text except requests.exceptions.RequestException as e: print(f" 请求网页失败，跳过当前组合: {e}") continue # 使用BeautifulSoup解析HTML内容 soup = BeautifulSoup(html_content, "lxml") # 查找所有带有href属性的标签 all_links = soup.find_all('a', {'href': True}) for link_tag in all_links: url_raw = link_tag.get('href') # 获取原始链接 # 检查链接是否指向PDF文件（不区分大小写） if url_raw and url_raw.lower().endswith('.pdf'): # 某些网站的URL可能包含反斜杠，需要替换为正斜杠以确保URL有效 download_url = url_raw.replace('', '/') # 提取标签的文本内容作为文件名 raw_filename = link_tag.text.strip() # 清理文件名：移除Windows不允许的字符 # 实际应用中可能需要更复杂的清理逻辑，例如处理过长文件名 invalid_chars = r':"/|?*' cleaned_filename = "".join(c for c in raw_filename if c not in invalid_chars) if not cleaned_filename: # 如果清理后文件名为空，则使用URL中的文件名作为备用 cleaned_filename = os.path.basename(download_url).split('?')[0] # 移除URL参数 cleaned_filename = cleaned_filename.rsplit('.', 1)[0] if '.' in cleaned_filename else cleaned_filename # 组合最终的文件名，确保有.pdf后缀 final_filename = f"{cleaned_filename}.pdf" print(f" 发现PDF: '{final_filename}'") print(f" 下载链接: {download_url}") # 构造完整的本地文件路径 full_local_path = os.path.join(current_save_path, final_filename) print(f" 保存路径: {full_local_path}") # 检查文件是否已存在，避免重复下载 if os.path.exists(full_local_path): print(f" 文件 '{final_filename}' 已存在，跳过下载。") continue try: # 发送GET请求下载PDF内容，使用stream=True和iter_content分块下载 pdf_response = requests.get(download_url, headers=HEADERS, stream=True, timeout=30) pdf_response.raise_for_status() # 检查下载请求是否成功 # 将下载内容写入文件 with open(full_local_path, 'wb') as fh: for chunk in pdf_response.iter_content(chunk_size=8192): fh.write(chunk) print(f" 成功下载 '{final_filename}'") downloaded_links.append(download_url) # 记录已下载的链接 except requests.exceptions.RequestException as e: print(f" 下载 '{final_filename}' 失败: {e}") except IOError as e: print(f" 写入文件 '{final_filename}' 失败: {e}")print("所有任务完成。")print(f"共下载了 {len(downloaded_links)} 个PDF文件。")
注意事项与最佳实践
文件名合法性:Windows、macOS和Linux对文件名有不同的限制。示例代码中对文件名进行了基本清理，移除了Windows不允许的字符。在实际应用中，您可能需要更健壮的逻辑来处理特殊字符、文件名长度限制以及编码问题。如果link.text为空或清理后为空，应有备用方案，例如使用URL中的文件名。错误处理:网络请求可能失败（如连接超时、DNS解析失败）。使用try-except requests.exceptions.RequestException可以捕获这些错误。response.raise_for_status()是一个好习惯，它会在HTTP状态码表示错误时（如4xx或5xx）抛出异常。文件写入也可能失败（如磁盘空间不足、权限问题），应使用try-except IOError捕获。User-Agent:许多网站会检查User-Agent请求头，以识别请求来源。模拟常见的浏览器User-Agent可以有效避免被网站阻止。URL编码与解码:虽然requests库通常能很好地处理URL编码，但如果URL中包含非ASCII字符或特殊符号，确保它们被正确编码（例如使用urllib.parse.quote）是重要的。本例中，requests自动处理了大部分情况。网站访问频率与爬虫道德:自动化脚本应遵守网站的robots.txt协议，并控制访问频率，避免对网站服务器造成过大负担。过于频繁的请求可能导致IP被封禁。URL中的反斜杠:在Windows环境下，某些网站的URL路径可能错误地使用反斜杠作为分隔符。Python的requests库通常期望URL使用正斜杠/。因此，url_raw.replace(”, ‘/’)是一个重要的处理步骤。分块下载:对于大型文件，使用stream=True参数和iter_content()方法进行分块下载，可以有效管理内存，避免一次性将整个文件加载到内存中。
总结
通过本教程，您学习了如何利用Python的requests和BeautifulSoup库，高效地从动态网站下载PDF文件，并根据网页上显示的标题自定义文件名。这不仅提升了自动化能力，也使得下载的文档更具可读性和管理性。结合错误处理和最佳实践，您可以构建出稳定可靠的网页内容抓取和下载解决方案。请记住，在进行任何网络爬取活动时，始终要尊重网站的使用条款和robots.txt协议。
以上就是从网站下载PDF并自定义文件名的Python教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1601021.html
微信扫一扫 
支付宝扫一扫 
