在web数据抓取和自动化任务中，从网站下载文件是一项常见需求。然而，有时我们希望下载的文件名不仅仅是url中自带的名称，而是网页上显示给用户的、更具描述性的文本。例如，一个链接可能显示为“chapter 3 – weird science”，但其指向的pdf文件url可能包含难以理解的编码或不友好的文件名。本教程将指导您如何使用python实现这一目标，从动态生成的asp页面中抓取pdf文件，并以其对应的链接文本作为文件名进行保存。
前置条件
在开始之前，请确保您的Python环境中安装了以下库：
requests: 用于发送HTTP请求，包括POST和GET。BeautifulSoup4: 用于解析HTML内容，方便提取所需数据。
您可以通过以下命令安装它们：
pip install requests beautifulsoup4 lxml
核心概念与步骤
整个过程可以分解为以下几个关键步骤：
发送HTTP POST请求获取页面内容：对于一些动态网站，如本例中的ASP页面，可能需要通过POST请求提交表单数据（如课程、班级信息）才能获取到包含PDF链接的HTML内容。解析HTML，提取PDF链接及其对应的显示文本：使用BeautifulSoup解析响应的HTML，找到所有指向PDF文件的标签，并同时获取其href属性（PDF链接）和标签内部的文本内容（我们希望作为文件名的部分）。构建本地保存路径：根据下载文件的分类需求，创建相应的本地目录结构。自定义文件名：利用第2步获取到的链接文本作为文件名，并添加.pdf后缀。下载PDF文件并保存到本地：对每个PDF链接发送HTTP GET请求，获取文件二进制内容，然后将其写入到本地指定路径。
详细实现
我们将通过一个具体的例子来演示上述步骤。假设我们需要从一个教育网站下载特定班级和科目的PDF资料。
立即学习“Python免费学习笔记（深入）”；
1. 导入所需库
首先，导入我们将用到的所有库：
import osimport requestsfrom bs4 import BeautifulSoupfrom urllib import parse as urlparse # 尽管在本例中可能不直接用于URL编码，但了解其用途很重要
2. 配置请求参数和目标路径
定义目标URL、HTTP请求头、要查询的班级和科目，以及本地文件保存的根目录。
# 定义目标URL和HTTP请求头base_url = "https://www.svpo.nl/curriculum.asp"headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}# 定义要查询的班级和科目klassen = ['1e klas']vakken = ['Wiskunde'] # 可以扩展为更多科目# 定义PDF文件保存的根目录# 使用原始字符串r''以避免转义问题，并确保路径分隔符的正确性path_out_root = r'c:ooks'
3. 遍历科目和班级，获取并下载PDF
这是核心逻辑部分，我们将循环遍历定义的班级和科目，对每个组合执行以下操作：
构建POST请求的payload。发送POST请求获取包含PDF链接的HTML。解析HTML，找到所有包含href属性的标签。过滤出.pdf链接。关键步骤：使用link.text作为文件名。下载PDF文件。
for klas in klassen: for vak in vakken: # 构建当前科目和班级的本地保存路径 # os.path.join 确保跨操作系统的路径兼容性 current_save_path = os.path.join(path_out_root, klas, vak) # 创建目录，如果已存在则忽略错误 os.makedirs(current_save_path, exist_ok=True) # 构建POST请求的表单数据 payload = {'vak': vak, 'klas_en_schoolsoort': klas} # 发送POST请求获取HTML内容 print(f"正在获取 {klas} - {vak} 的课程页面...") response_page = requests.post(base_url, data=payload, headers=headers) response_page.raise_for_status() # 检查请求是否成功 # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response_page.text, "lxml") # 查找所有带有href属性的标签 all_links = soup.find_all('a', {'href': True}) for link_tag in all_links: pdf_url = link_tag.get('href') # 检查链接是否以.pdf结尾（不区分大小写） if pdf_url and pdf_url.lower().endswith('.pdf'): # 统一URL中的路径分隔符，将反斜杠替换为正斜杠 # 某些网站的URL可能使用反斜杠，这在标准URL中是非法的 pdf_url = pdf_url.replace('', '/') # 构建完整的PDF下载链接（如果原始链接是相对路径，需要拼接base_url） # 这里假设pdf_url已经是完整的URL，如果不是，需要进一步处理 # 例如：full_pdf_url = urlparse.urljoin(base_url_of_page_containing_link, pdf_url) # 提取链接文本作为文件名，并添加.pdf后缀 # link_tag.text 获取标签的显示文本 filename = link_tag.text.strip() + '.pdf' # 构建完整的本地文件路径 full_local_path = os.path.join(current_save_path, filename) print(f" - 发现PDF: {filename}") print(f" 下载地址: {pdf_url}") print(f" 保存至: {full_local_path}") try: # 发送GET请求下载PDF文件 response_pdf = requests.get(pdf_url, stream=True) # 使用stream=True处理大文件 response_pdf.raise_for_status() # 检查PDF下载请求是否成功 # 以二进制写入模式保存文件 with open(full_local_path, 'wb') as f: for chunk in response_pdf.iter_content(chunk_size=8192): f.write(chunk) print(f" 下载成功: {filename}") except requests.exceptions.RequestException as e: print(f" 下载失败 {pdf_url}: {e}") except IOError as e: print(f" 文件写入失败 {full_local_path}: {e}") print('---')
完整示例代码
将上述所有代码片段整合，形成一个完整的Python脚本：
import osimport requestsfrom bs4 import BeautifulSoupfrom urllib import parse as urlparse # 导入urlparse以备不时之需，尽管本例中未直接使用其编码功能# 定义目标URL和HTTP请求头base_url = "https://www.svpo.nl/curriculum.asp"headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}# 定义要查询的班级和科目klassen = ['1e klas']vakken = ['Wiskunde']# 可以扩展为更多科目，例如：# vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis', # 'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',# 'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal', # 'Loopbaanorientatie','NLT']# 定义PDF文件保存的根目录# 使用原始字符串r''以避免转义问题，并确保路径分隔符的正确性path_out_root = r'c:ooks'print("开始下载PDF文件...")for klas in klassen: for vak in vakken: # 构建当前科目和班级的本地保存路径 # os.path.join 确保跨操作系统的路径兼容性 current_save_path = os.path.join(path_out_root, klas, vak) # 创建目录，如果已存在则忽略错误 os.makedirs(current_save_path, exist_ok=True) print(f"--- 处理班级: {klas}, 科目: {vak} ---") # 构建POST请求的表单数据 payload = {'vak': vak, 'klas_en_schoolsoort': klas} try: # 发送POST请求获取HTML内容 print(f"正在请求 {base_url} (POST) 获取课程页面...") response_page = requests.post(base_url, data=payload, headers=headers, timeout=10) response_page.raise_for_status() # 检查请求是否成功，如果状态码不是2xx则抛出异常 print("课程页面获取成功。") # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response_page.text, "lxml") # 查找所有带有href属性的标签 all_links = soup.find_all('a', {'href': True}) pdf_found_count = 0 for link_tag in all_links: pdf_url = link_tag.get('href') # 检查链接是否以.pdf结尾（不区分大小写），并且链接不为空 if pdf_url and pdf_url.lower().endswith('.pdf'): pdf_found_count += 1 # 统一URL中的路径分隔符，将反斜杠替换为正斜杠 # 某些网站的URL可能使用反斜杠，这在标准URL中是非法的 pdf_url = pdf_url.replace('', '/') # 提取链接文本作为文件名，并添加.pdf后缀 # link_tag.text 获取标签的显示文本，并去除首尾空白 filename = link_tag.text.strip() + '.pdf' # 确保文件名在文件系统中的合法性，例如移除特殊字符 # 这里可以添加额外的清理逻辑，例如： # import re # filename = re.sub(r'[/:*?"|]', '', filename) # 移除Windows不允许的字符 # 构建完整的本地文件路径 full_local_path = os.path.join(current_save_path, filename) print(f" - 发现PDF (No.{pdf_found_count}):") print(f" 原始链接: {pdf_url}") print(f" 自定义文件名: {filename}") print(f" 保存路径: {full_local_path}") try: # 发送GET请求下载PDF文件 # stream=True 允许我们分块下载，适用于大文件，避免一次性加载到内存 response_pdf = requests.get(pdf_url, stream=True, headers=headers, timeout=30) response_pdf.raise_for_status() # 检查PDF下载请求是否成功 # 以二进制写入模式保存文件 with open(full_local_path, 'wb') as f: for chunk in response_pdf.iter_content(chunk_size=8192): # 每次读取8KB f.write(chunk) print(f" 下载成功: {filename}") except requests.exceptions.RequestException as e: print(f" 下载失败 {pdf_url}: {e}") except IOError as e: print(f" 文件写入失败 {full_local_path}: {e}") print('---') if pdf_found_count == 0: print(f" 未在 {klas} - {vak} 页面中找到任何PDF链接。") except requests.exceptions.RequestException as e: print(f"获取 {klas} - {vak} 课程页面失败: {e}") except Exception as e: print(f"处理 {klas} - {vak} 时发生未知错误: {e}")print("所有PDF下载任务完成。")
注意事项与最佳实践
错误处理：在网络请求和文件操作中，错误是常见的。使用try-except块捕获requests.exceptions.RequestException（网络错误、HTTP错误）和IOError（文件写入错误）可以增强脚本的健壮性。User-Agent：设置User-Agent请求头是模拟浏览器行为的重要一步，可以避免某些网站的反爬虫机制。路径管理：始终使用os.path.join()来拼接路径，这能确保脚本在不同操作系统（Windows、Linux、macOS）上的兼容性，因为它们使用不同的路径分隔符。os.makedirs(path, exist_ok=True)则可以避免目录已存在时抛出错误。文件名合法性：从网页文本中提取的文件名可能包含操作系统不允许的字符（如、/、:、*、?、”、、|）。在保存文件前，最好对文件名进行清理，替换或移除这些非法字符，以避免文件创建失败。大文件下载：对于可能较大的PDF文件，使用requests.get(url, stream=True)并结合response.iter_content(chunk_size=…)进行分块下载，可以避免将整个文件一次性加载到内存中，从而节省内存资源。URL处理：注意处理URL中的路径分隔符。在Windows系统中，文件路径可能使用反斜杠，但标准URL通常使用正斜杠/。本教程中pdf_url.replace(”, ‘/’)是必要的。此外，如果href属性提供的是相对路径，您需要使用urlparse.urljoin()来构建完整的URL。超时设置：在requests.post和requests.get中添加timeout参数，可以防止请求长时间无响应导致脚本挂起。
总结
通过本教程，您应该已经掌握了如何使用Python的requests和BeautifulSoup库，从动态网页中抓取PDF文件，并根据链接的显示文本自定义文件名。这种方法不仅提高了下载文件的可读性和管理效率，也展示了Python在网页自动化和数据处理方面的强大能力。记住，在进行任何网页抓取活动时，请务必遵守网站的服务条款和相关法律法规。
以上就是使用Python从网页下载PDF并根据链接文本自定义文件名教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1598987.html
微信扫一扫 
支付宝扫一扫 
