按行读取适合文本文件，内存占用低；2. 按块读取可控制读取量，适用于二进制或需自定义解析的场景，注意避免行截断。
处理大文件时，不能一次性将全部内容加载到内存中，否则会导致内存溢出。Python提供了多种流式读取大文件的方法，既能节省内存，又能高效处理数据。以下是两种常用且实用的流式读取方式。
1. 按行逐行读取（for line in file）
这是最常见也最推荐的方式。利用文件对象的迭代特性，每次只读取一行，适合处理按行分隔的日志、CSV等文本文件。
这种方法的优点是代码简洁、内存占用低、可读性强。
示例代码：
with open('large_file.txt', 'r', encoding='utf-8') as f: for line in f: # 去除换行符并处理每一行 line = line.strip() if line: # 忽略空行 print(line) # 或进行其他处理
说明： 文件对象本身就是可迭代的，Python会自动以行为单位进行缓冲读取，不会把整个文件加载进内存。
立即学习“Python免费学习笔记（深入）”；
2. 按固定块大小读取（使用 read(chunk_size)）
当文件不是按行组织，或者你需要更精细地控制每次读取的数据量时，可以使用固定大小的块来读取，比如每次读取 8KB 或 64KB。
这种方式适用于二进制文件或需要自定义解析逻辑的场景。
示例代码：
chunk_size = 8192 # 每次读取 8KBwith open('large_file.txt', 'r', encoding='utf-8') as f: while True: chunk = f.read(chunk_size) if not chunk: # 读取结束 break # 处理当前块 print(chunk, end='')
注意： 如果按块读取的是文本文件，需小心不要在行中间切断内容。若需保持行完整性，可在块拼接后按 n 分割处理。
基本上就这些。按行读取适合大多数文本处理场景，而按块读取更适合精细控制或非文本文件。选择哪种方式，取决于你的文件类型和处理需求。不复杂但容易忽略细节。
以上就是Python流式读取大文件的两种方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382373.html
微信扫一扫 
支付宝扫一扫 
