流式传输通过分块处理避免内存溢出，适用于大文件读写、网络下载及Web服务。使用yield按块读取文件，结合requests.stream=True实现高效下载，Flask中用生成器响应文件请求，临时处理推荐tempfile安全操作，核心是保持边读边处理，合理设置缓冲区大小以平衡性能与资源消耗。
在处理大文件或网络传输时，流式传输能有效降低内存占用，提升程序稳定性。Python 提供了多种方式实现文件的流式读取和写入，关键在于避免一次性加载整个文件到内存中。
使用分块读取处理大文件
对大文件进行流式读取时，推荐按固定大小的块逐步读取，这样可以控制内存使用量。
示例如下：
def read_file_in_chunks(file_path, chunk_size=8192): with open(file_path, 'rb') as f: while True: chunk = f.read(chunk_size) if not chunk: break yield chunk
这个函数每次返回一个数据块，适合用于上传、哈希计算或转发场景。chunk_size 通常设为 4KB 到 64KB 之间，根据实际 I/O 性能调整。
立即学习“Python免费学习笔记（深入）”；
结合 HTTP 实现文件流式下载
使用 requests 库可以从网络流式下载大文件，避免内存溢出。
操作方法：
import requestsdef download_file_stream(url, save_path):with requests.get(url, stream=True) as r:r.raise_for_status()with open(save_path, 'wb') as f:for chunk in r.iter_content(chunk_size=8192):f.write(chunk)
设置 stream=True 后，响应内容不会立即下载，而是通过 iter_content 按需获取数据块，适合处理视频、镜像等大文件下载。
服务端实现文件流式响应（Flask 示例）
在 Web 服务中，可以通过生成器将本地文件分块返回给客户端，减少内存压力。
from flask import Flask, Responseimport osapp = Flask(name)
def generate_file(filename):with open(filename, 'rb') as f:while True:chunk = f.read(8192)if not chunk:breakyield chunk
@app.route('/download')def download():file_path = 'large_file.zip'return Response(generate_file(file_path),mimetype='application/octet-stream',headers={'Content-Disposition': 'attachment; filename=large_file.zip'})
Response 接收生成器后会逐步发送数据，适用于提供文件下载接口。
使用 tempfile 进行安全的中间流处理
若需对流数据做临时处理（如解压、转码），建议使用 tempfile 避免手动管理路径和权限问题。
示例：
import tempfileimport shutildef process_upload_stream(stream):with tempfile.NamedTemporaryFile(delete=False) as tmpfile:shutil.copyfileobj(stream, tmpfile, length=64*1024)temp_path = tmpfile.name
# 后续处理 temp_path 中的文件return temp_path
copyfileobj 支持任意类文件对象之间的高效复制，length 参数控制内部缓冲区大小。
基本上就这些。关键是保持“边读边处理”的思路，避免 load all into memory 的模式。合理设置缓冲区大小，兼顾性能与资源消耗。
以上就是Python 文件流式传输的实现技巧的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381645.html
微信扫一扫 
支付宝扫一扫 
