本教程详细介绍了如何使用Python从ASP网站下载PDF文件，并根据HTML “ 标签的显示文本来命名本地文件。通过`requests`库处理HTTP请求和`BeautifulSoup`解析HTML，我们能够准确提取下载链接和用户友好的文件名，解决了直接使用URL文件名不直观的问题。文章涵盖了环境设置、HTML解析、URL处理、文件下载与保存等关键步骤，并提供了完整的示例代码和注意事项。
在自动化数据抓取和文件下载的场景中，我们经常需要从网站上下载文件，并以一种更具描述性或用户友好的方式来命名这些文件，而不是简单地沿用URL中自带的文件名。特别是在处理动态生成的页面或链接时，HTML 标签的文本内容往往能提供比URL本身更清晰的文件描述。本教程将以从ASP网站下载PDF文件为例，详细讲解如何利用Python实现这一目标。
1. 准备工作
在开始之前，我们需要安装一些必要的Python库。requests库用于处理HTTP请求，而BeautifulSoup（通常与解析器如lxml或html.parser配合使用）则用于解析HTML内容。
pip install requests beautifulsoup4 lxml
接下来，导入所需的模块：
立即学习“Python免费学习笔记（深入）”；
import osimport requestsfrom bs4 import BeautifulSoup
2. 发送HTTP POST请求获取页面内容
许多网站，尤其是ASP站点，会通过POST请求来动态加载内容。我们需要模拟这种请求以获取包含PDF链接的HTML页面。这通常涉及构建请求的URL、headers以及请求体（payload）。
# 目标网站的基础URLbase_url = "https://www.svpo.nl/curriculum.asp"# 模拟浏览器发送请求的User-Agent，以避免被网站识别为爬虫headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}# 示例：定义需要请求的课程和科目klassen = ['1e klas']vakken = ['Wiskunde']# 定义文件保存的根目录output_root_path = r'c:ooks' # 使用原始字符串避免反斜杠转义问题# 循环处理每个课程和科目for klas in klassen: for vak in vakken: # 构建当前科目和课程的输出路径 current_output_path = os.path.join(output_root_path, klas, vak) # 如果目录不存在，则创建它。exist_ok=True 避免目录已存在时报错 os.makedirs(current_output_path, exist_ok=True) # 构建POST请求的payload payload = {'vak': vak, 'klas_en_schoolsoort': klas} # 发送POST请求获取页面内容 try: response = requests.post(base_url, data=payload, headers=headers, timeout=10) response.raise_for_status() # 检查HTTP请求是否成功 (200 OK) print(f"成功获取 {klas} - {vak} 的页面内容。") except requests.exceptions.RequestException as e: print(f"获取 {klas} - {vak} 页面内容失败: {e}") continue # 跳过当前科目，处理下一个
3. 解析HTML内容提取PDF链接和名称
获取到页面HTML内容后，我们需要使用BeautifulSoup来解析它，找到所有指向PDF文件的链接，并提取其文本内容作为文件名。
# 使用lxml解析器解析HTML内容 soup = BeautifulSoup(response.text, "lxml") # 查找所有带有'href'属性的标签 all_links = soup.find_all('a', {'href': True}) for link_tag in all_links: pdf_url = link_tag.get('href') # 检查链接是否以'.pdf'结尾（不区分大小写） if pdf_url and pdf_url.lower().endswith('.pdf'): # 提取标签的文本内容作为文件名 # 例如：Chapter 3 - Weird science -> "Chapter 3 - Weird science" display_name = link_tag.text.strip() # 处理URL路径和文件名 # 网站URL中可能使用反斜杠，HTTP URL应使用正斜杠 pdf_url = pdf_url.replace('', '/') # 构造本地保存的文件名。注意添加'.pdf'后缀 # 示例： "Chapter 3 - Weird science" -> "Chapter 3 - Weird science.pdf" filename = f"{display_name}.pdf" # 构建完整的本地文件路径 full_file_path = os.path.join(current_output_path, filename) print(f"发现PDF: {display_url}，将保存为: {full_file_path}") # 下载并保存PDF文件 try: pdf_response = requests.get(pdf_url, stream=True, timeout=15) # 使用stream=True处理大文件 pdf_response.raise_for_status() with open(full_file_path, 'wb') as f: for chunk in pdf_response.iter_content(chunk_size=8192): f.write(chunk) print(f"成功下载并保存: {filename}") except requests.exceptions.RequestException as e: print(f"下载 {pdf_url} 失败: {e}") except IOError as e: print(f"保存文件 {full_file_path} 失败: {e}") print('---')
4. 完整示例代码
以下是整合了所有步骤的完整Python脚本，用于从ASP网站下载PDF文件并根据链接文本自定义文件名。
import osimport requestsfrom bs4 import BeautifulSoupdef download_pdfs_with_custom_names(base_url, output_root_path, klassen, vakken): """ 从指定ASP网站下载PDF文件，并根据HTML链接文本自定义文件名。 Args: base_url (str): 目标网站的URL。 output_root_path (str): 文件保存的根目录。 klassen (list): 包含课程名称的列表。 vakken (list): 包含科目名称的列表。 """ headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36' } print(f"开始从 {base_url} 下载PDF文件https://www.php.cn/link/263b1241243ca2dbeb358777ceabc4a2e4c") for klas in klassen: for vak in vakken: current_output_path = os.path.join(output_root_path, klas, vak) os.makedirs(current_output_path, exist_ok=True) print(f"--- 处理 {klas} - {vak} ---") payload = {'vak': vak, 'klas_en_schoolsoort': klas} # 1. 发送POST请求获取页面内容 try: response = requests.post(base_url, data=payload, headers=headers, timeout=10) response.raise_for_status() # 检查HTTP请求是否成功 print(f"成功获取 {klas} - {vak} 的页面内容。") except requests.exceptions.RequestException as e: print(f"获取 {klas} - {vak} 页面内容失败: {e}") continue # 2. 解析HTML内容提取PDF链接和名称 soup = BeautifulSoup(response.text, "lxml") all_links = soup.find_all('a', {'href': True}) pdfs_found = False for link_tag in all_links: pdf_url = link_tag.get('href') if pdf_url and pdf_url.lower().endswith('.pdf'): pdfs_found = True display_name = link_tag.text.strip() # 统一URL中的斜杠，确保HTTP请求正确 pdf_url = pdf_url.replace('', '/') # 构造本地保存的文件名 filename = f"{display_name}.pdf" # 清理文件名中可能存在的非法字符（Windows/Linux路径限制） # 这是一个简单的清理，更健壮的方案可能需要正则表达式 # 这里假设 display_name 已经相对干净 invalid_chars = ':"/|?*' for char in invalid_chars: filename = filename.replace(char, '_') full_file_path = os.path.join(current_output_path, filename) print(f" - 发现PDF: {pdf_url}") print(f" 将保存为: {full_file_path}") # 3. 下载并保存PDF文件 try: # 使用 stream=True 和 iter_content 处理大文件，节省内存 pdf_response = requests.get(pdf_url, stream=True, timeout=15) pdf_response.raise_for_status() with open(full_file_path, 'wb') as f: for chunk in pdf_response.iter_content(chunk_size=8192): f.write(chunk) print(f" 成功下载并保存: {filename}") except requests.exceptions.RequestException as e: print(f" 下载 {pdf_url} 失败: {e}") except IOError as e: print(f" 保存文件 {full_file_path} 失败: {e}") if not pdfs_found: print(f" - 未在 {klas} - {vak} 页面中找到任何PDF链接。") print("所有PDF下载任务完成。")# 配置参数并运行脚本if __name__ == "__main__": target_base_url = "https://www.svpo.nl/curriculum.asp" output_directory = r'c:ooks' # Windows路径建议使用原始字符串 # 示例课程和科目列表，可以根据需要扩展 target_klassen = ['1e klas'] target_vakken = ['Wiskunde'] # target_vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis', # 'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde', # 'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal', # 'Loopbaanorientatie','NLT'] download_pdfs_with_custom_names(target_base_url, output_directory, target_klassen, target_vakken)
5. 注意事项与最佳实践
错误处理： 在网络请求和文件操作中，错误是常见的。示例代码中包含了try-except块来捕获requests相关的异常（如网络连接问题、HTTP状态码非200）和IOError（如文件写入权限问题），这对于程序的健壮性至关重要。User-Agent： 设置User-Agent请求头是模拟浏览器行为的关键。一些网站会检查此头信息，如果缺失或设置为默认值，可能会拒绝请求。URL中的反斜杠： 在Windows路径中，反斜杠是分隔符。但在HTTP URL中，正斜杠/才是标准分隔符。某些网站的href属性可能会错误地使用反斜杠。在下载前，务必使用pdf_url.replace(”, ‘/’)进行替换，以确保URL的正确性。文件名合法性： link.text可能包含特殊字符，在某些操作系统（尤其是Windows）中，这些字符不允许出现在文件名中（例如:”/|?*）。在保存文件前，建议对filename进行清理，替换或移除这些非法字符，以避免IOError。示例代码中提供了一个简单的清理方式。大文件下载： 对于大型PDF文件，使用requests.get(url, stream=True)并在iter_content中分块写入文件，可以避免一次性将整个文件加载到内存中，从而节省内存并提高效率。超时设置： 在requests.post和requests.get中设置timeout参数可以防止程序因网络无响应而无限期等待。os.path.join： 使用os.path.join来拼接文件路径是跨平台兼容的最佳实践，它会自动根据操作系统的不同使用正确的路径分隔符。os.makedirs(https://www.php.cn/link/263b1241243ca2dbeb358777ceabc4a2e4c, exist_ok=True)： 创建目录时，使用exist_ok=True可以避免在目录已存在时抛出错误，使代码更简洁。
总结
本教程详细演示了如何使用Python的requests和BeautifulSoup库，从动态生成的网页中提取PDF下载链接和用户友好的显示名称，并将其保存到本地文件系统。通过自定义文件名，我们不仅提高了下载文件的可读性，也展示了Python在网页内容自动化处理方面的强大能力。掌握这些技术，您可以更高效地进行网络数据抓取和文件管理。
以上就是使用Python从网站下载PDF并根据HTML文本自定义文件名的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1598726.html
微信扫一扫 
支付宝扫一扫 
