本教程详细介绍了如何在Google Colab环境中，无需挂载Google Drive，从公共Google Drive链接下载并解压ZIP文件。文章分析了常见的`BadZipFile`错误原因，提供了使用`requests`库构建正确下载URL的方法，并重点推荐了更便捷、鲁棒的`gdown`库，以确保文件能够被正确识别和处理，从而实现可复现的数据集下载流程。
在数据科学和机器学习项目中，经常需要从外部源下载数据集。Google Drive因其便捷的共享功能，常被用作数据集的托管平台。然而，在Google Colaboratory (Colab) Notebook中直接从公共Google Drive链接下载并解压ZIP文件时，开发者可能会遇到一些挑战，特别是当不希望挂载个人Google Drive以保持环境的可复现性时。本文将深入探讨如何高效、正确地在Colab中完成这一任务。
一、理解Google Drive文件下载机制与常见问题
直接从Google Drive的共享链接（例如https://drive.google.com/drive/folders/… 或 https://drive.google.com/file/d/…）尝试下载文件，往往不会直接得到文件本身，而是会收到一个HTML页面。这是因为Google Drive在提供文件下载前，通常会经过一个中间页面，用于显示文件信息、病毒扫描警告（针对大文件）或权限验证。
当使用requests库或wget命令尝试下载这类链接时，如果接收到的内容是HTML而不是实际的ZIP文件二进制数据，那么尝试使用zipfile模块解压时就会抛出BadZipFile: File is not a zip file的错误。
诊断方法：检查Content-Type头部
在尝试解压前，检查HTTP响应的Content-Type头部是诊断此类问题的关键。如果Content-Type显示为text/html而不是application/zip，则说明下载到的并非ZIP文件。
import requestsfile_id = '1fdFu5NGXe4rTLYKD5wOqk9dl-eJOefXo' # 替换为你的Google Drive文件IDdownload_url = f'https://drive.google.com/uc?export=download&id={file_id}'response = requests.get(download_url)print(f"Content-Type: {response.headers.get('Content-Type')}")
如果输出显示Content-Type: text/html，则需要调整下载策略。
二、使用requests库下载并解压ZIP文件
要从Google Drive直接下载文件，需要构造一个特定的下载URL，通常格式为 https://drive.google.com/uc?export=download&id=FILE_ID。其中，FILE_ID是Google Drive文件中唯一的标识符，可以从文件的共享链接中提取（例如，https://drive.google.com/file/d/FILE_ID/view）。
步骤：
获取文件ID： 从Google Drive文件的共享链接中提取FILE_ID。构造下载URL： 使用https://drive.google.com/uc?export=download&id=FILE_ID格式。发送HTTP请求： 使用requests.get()获取文件内容。处理大文件下载： 对于超过一定大小的文件，Google Drive可能会显示病毒扫描警告。这会导致首次请求返回一个包含“Download anyway”按钮的HTML页面。为了绕过此页面，通常需要跟随重定向或在请求中加入特定的cookie。解压ZIP文件： 将下载的二进制内容传递给zipfile模块进行解压。
以下是一个完整的示例代码：
import requestsimport ioimport zipfileimport os# 替换为你的Google Drive文件IDfile_id = '1fdFu5NGXe4rTLYKD5wOqk9dl-eJOefXo' # 示例ID，请替换为实际ZIP文件的IDdownload_url = f'https://drive.google.com/uc?export=download&id={file_id}'# 目标保存路径output_path = '/content/downloaded_zip.zip'extraction_dir = '/content/extracted_data/'print(f"尝试从 {download_url} 下载文件...")# 处理Google Drive大文件下载时的病毒扫描警告# Google Drive对于大文件可能会返回一个警告页面，需要模拟点击“下载”def download_file_from_google_drive(id, destination): URL = "https://drive.google.com/uc?export=download" session = requests.Session() response = session.get(URL, params = { 'id' : id }, stream = True) token = get_confirm_token(response) if token: params = { 'id' : id, 'confirm' : token } response = session.get(URL, params = params, stream = True) save_response_content(response, destination) def get_confirm_token(response): for key, value in response.cookies.items(): if key.startswith('download_warning'): return value return Nonedef save_response_content(response, destination): CHUNK_SIZE = 32768 with open(destination, "wb") as f: for chunk in response.iter_content(CHUNK_SIZE): if chunk: # filter out keep-alive new chunks f.write(chunk)# 执行下载try: download_file_from_google_drive(file_id, output_path) print(f"文件已下载到: {output_path}") # 检查下载的文件是否是有效的ZIP文件 if not os.path.exists(output_path) or os.path.getsize(output_path) == 0: print("错误：下载的文件为空或不存在。请检查文件ID和权限。") else: # 解压ZIP文件 os.makedirs(extraction_dir, exist_ok=True) with zipfile.ZipFile(output_path, 'r') as zip_ref: zip_ref.extractall(extraction_dir) print(f"ZIP文件已成功解压到: {extraction_dir}")except Exception as e: print(f"下载或解压过程中发生错误: {e}") print("请确认文件ID是否正确，以及文件是否设置为公开访问。")
注意事项：
file_id必须是正确的Google Drive文件ID。上述download_file_from_google_drive函数包含了处理Google Drive病毒扫描警告的逻辑，对于大文件下载尤为重要。请确保目标ZIP文件已设置为“任何人都可以查看”或具有适当的共享权限。
三、推荐方案：利用gdown库简化流程
gdown是一个专门用于从Google Drive下载文件的Python库，它封装了处理Google Drive下载链接、病毒扫描警告等复杂逻辑，使得下载过程更加简洁和鲁棒。对于在Colab中进行数据下载，gdown是高度推荐的工具。
步骤：
安装gdown： 在Colab Notebook中运行pip install gdown。使用gdown下载： 直接调用gdown.download()函数，传入文件ID和目标路径。解压ZIP文件： 使用zipfile模块解压下载的文件。
# 1. 安装 gdown 库!pip install gdown -qimport gdownimport zipfileimport os# 替换为你的Google Drive文件IDfile_id = '1fdFu5NGXe4rTLYKD5wOqk9dl-eJOefXo' # 示例ID，请替换为实际ZIP文件的IDoutput_path = '/content/downloaded_zip.zip'extraction_dir = '/content/extracted_data/'print(f"使用 gdown 从 Google Drive 下载文件 ID: {file_id}")try: # 2. 使用 gdown 下载文件 # quiet=False 会显示下载进度 gdown.download(id=file_id, output=output_path, quiet=False) print(f"文件已下载到: {output_path}") # 检查下载的文件是否是有效的ZIP文件 if not os.path.exists(output_path) or os.path.getsize(output_path) == 0: print("错误：下载的文件为空或不存在。请检查文件ID和权限。") else: # 3. 解压ZIP文件 os.makedirs(extraction_dir, exist_ok=True) with zipfile.ZipFile(output_path, 'r') as zip_ref: zip_ref.extractall(extraction_dir) print(f"ZIP文件已成功解压到: {extraction_dir}")except Exception as e: print(f"下载或解压过程中发生错误: {e}") print("请确认文件ID是否正确，以及文件是否设置为公开访问。")# 验证解压内容 (可选)# print("n解压后的文件列表:")# for root, dirs, files in os.walk(extraction_dir):# for name in files:# print(os.path.join(root, name))
gdown库的优点在于它能够自动处理Google Drive的各种下载重定向和警告，使得代码更加简洁和健壮。
四、注意事项与常见问题
文件ID的准确性： 确保使用的file_id是目标ZIP文件的正确ID。错误的ID会导致下载失败或下载到错误的文件。文件公开权限： 目标Google Drive文件必须设置为“任何人都可以查看”或具有适当的共享权限，否则即使有了正确的下载URL，也无法访问。验证下载内容： 在解压之前，始终建议检查下载文件的大小或Content-Type，以确保确实下载到了ZIP文件而不是HTML页面或其他错误响应。wget命令： 虽然本文主要推荐Python库，但如果偏好命令行工具，wget也可以用于下载。同样需要使用正确的下载URL，并可能需要额外的参数来处理重定向和证书问题，例如：
!wget --no-check-certificate -O '/content/file.zip' 'https://drive.google.com/uc?export=download&id=YOUR_FILE_ID'
但wget在处理Google Drive的大文件病毒扫描警告时可能不如gdown灵活。
五、总结
在Google Colab中从公共Google Drive下载并解压ZIP文件，关键在于理解Google Drive的下载机制，并构造正确的下载URL。对于大多数场景，推荐使用gdown库，它提供了一种简洁而强大的解决方案，能够自动处理Google Drive下载的复杂性。如果需要更精细的控制，requests库配合正确的逻辑也可以实现。无论选择哪种方法，始终要确保文件ID的正确性以及文件的公共可访问性，以保证数据下载流程的顺畅和可复现。
以上就是从Google Drive下载并解压ZIP文件至Colab Notebook的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1383003.html
微信扫一扫 
支付宝扫一扫 
