Python文件操作核心是open()函数和with语句,通过指定模式(如’r’、’w’、’a’)和编码(如’utf-8’、’gbk’)实现安全读写;使用with可自动关闭文件,避免资源泄漏;处理大文件时应逐行迭代或分块读取,防止内存溢出;需注意路径、权限和编码一致性,防止乱码或文件丢失。

Python读写文本文件,核心在于使用内置的
open()
函数。它就像是文件操作的大门,通过不同的模式参数,我们可以告诉Python是要读取文件内容、写入新内容、追加内容,还是做更复杂的操作。理解这个函数及其搭配的上下文管理器
with
语句,是高效且安全地处理文本文件的关键。
解决方案
在Python里,处理文本文件通常围绕着
open()
函数展开。这个函数返回一个文件对象,我们通过它来执行读写操作。
最基础的用法是这样的:
立即学习“Python免费学习笔记(深入)”;
# 写入文件# 'w' 模式会创建新文件或覆盖已有文件try: with open('my_document.txt', 'w', encoding='utf-8') as f: f.write("这是我写的第一行文本。n") f.write("第二行内容也来了。n") print("文件写入成功。")except IOError as e: print(f"写入文件时发生错误: {e}")# 读取文件# 'r' 模式用于读取文件,如果文件不存在会抛出FileNotFoundErrortry: with open('my_document.txt', 'r', encoding='utf-8') as f: content = f.read() # 读取所有内容 print("n读取到的文件内容:") print(content)except FileNotFoundError: print("文件不存在,无法读取。")except IOError as e: print(f"读取文件时发生错误: {e}")# 追加内容# 'a' 模式会在文件末尾追加内容try: with open('my_document.txt', 'a', encoding='utf-8') as f: f.write("这是追加的新内容。n") print("n内容追加成功。")except IOError as e: print(f"追加文件时发生错误: {e}")# 逐行读取try: print("n逐行读取文件内容:") with open('my_document.txt', 'r', encoding='utf-8') as f: for line_num, line in enumerate(f, 1): print(f"第{line_num}行: {line.strip()}") # strip() 去掉行尾的换行符except FileNotFoundError: print("文件不存在,无法读取。")except IOError as e: print(f"读取文件时发生错误: {e}")
这里我强调一下
with open(...) as f:
这种写法。它真的太重要了!它保证了文件无论在读写过程中是否发生错误,最终都会被正确关闭,释放系统资源。我早期写代码时,经常忘记
f.close()
,结果就是文件句柄泄露,尤其是在循环里操作大量文件时,那真是个灾难。
with
语句完美解决了这个问题,让代码更健壮、更简洁。
Python文件读写中的编码问题:为什么我的文本文件读出来是乱码?
这个问题,老实说,我一开始也踩过不少坑,尤其是和不同操作系统、不同语言环境打交道的时候。文件编码问题,本质上是字符和字节之间转换的“翻译”问题。我们看到的文本是字符,但计算机存储的是字节序列。如果编码和解码使用的规则不一致,那自然就成了乱码。
最常见的场景是:你在Windows系统用记事本保存了一个GBK编码的文本文件,然后用Python在Linux环境下,默认以UTF-8去读取它。结果就是一堆看不懂的字符。
解决办法其实很简单,就是明确指定
open()
函数中的
encoding
参数。
# 假设有一个GBK编码的文件 'gbk_test.txt'# 你可以手动创建一个,比如在Windows记事本里输入中文,然后“另存为”选择GBK编码# gbk_test.txt 的内容可能是 "你好,世界!"# 错误示范:不指定编码或指定错误编码try: with open('gbk_test.txt', 'r', encoding='utf-8') as f: content = f.read() print("尝试用UTF-8读取GBK文件(通常会乱码):") print(content)except UnicodeDecodeError as e: print(f"解码错误发生:{e}")except FileNotFoundError: print("文件不存在,请确保创建了gbk_test.txt")# 正确示范:指定正确的编码try: with open('gbk_test.txt', 'r', encoding='gbk') as f: content = f.read() print("n用GBK编码正确读取GBK文件:") print(content)except FileNotFoundError: print("文件不存在,请确保创建了gbk_test.txt")except Exception as e: print(f"读取时发生其他错误: {e}")# 写入文件时也同样重要,确保写入的编码和你期望的一致try: with open('output_utf8.txt', 'w', encoding='utf-8') as f: f.write("这是一个UTF-8编码的文本。n") print("n成功写入UTF-8文件。") with open('output_gbk.txt', 'w', encoding='gbk') as f: f.write("这是一个GBK编码的文本。n") print("成功写入GBK文件。")except Exception as e: print(f"写入文件时发生错误: {e}")
常用的编码有
'utf-8'
(推荐,跨平台兼容性最好)、
'gbk'
(中文Windows系统常见)、
'latin-1'
(单字节编码,处理一些特殊字符或二进制数据时可能用到)。如果你不确定文件的编码,可以尝试一些库,比如
chardet
,它能帮你猜测文件的编码,但这也不是100%准确的。最好的做法还是在文件创建时就约定好编码,或者在文档中明确指出。
Python大文件读写优化:如何高效处理TB级数据?
处理大文件,特别是那种GB甚至TB级别的文件,直接
f.read()
把所有内容加载到内存里,那绝对是个糟糕的主意,分分钟内存溢出,程序崩溃。高效处理大文件的核心思想是:分块读取,流式处理,避免一次性加载全部内容。
Python的文件对象本身就是可迭代的(iterable),这意味着我们可以直接在
for
循环中迭代它,每次读取一行内容,而不是一次性读取整个文件。
def process_large_file(filepath): line_count = 0 word_count = 0 char_count = 0 print(f"开始处理大文件: {filepath}") try: with open(filepath, 'r', encoding='utf-8') as f: for line in f: # 每次只读取一行 line_count += 1 char_count += len(line) word_count += len(line.split()) # 简单统计单词 # 这里可以对每一行进行具体的处理,比如解析、过滤、写入到另一个文件等 if line_count % 100000 == 0: # 每处理10万行打印一次进度 print(f"已处理 {line_count} 行...") print(f"n文件处理完成。总行数: {line_count}, 总字数: {char_count}, 总词数: {word_count}") except FileNotFoundError: print(f"错误: 文件 '{filepath}' 不存在。") except Exception as e: print(f"处理文件时发生错误: {e}")# 示例:创建一个模拟的大文件# 注意:实际生成一个GB级别的文件可能需要一些时间# with open('large_data.txt', 'w', encoding='utf-8') as f:# for i in range(5000000): # 500万行# f.write(f"这是第 {i+1} 行数据,包含一些随机的文本内容,用于测试大文件处理。n")# print("模拟大文件 'large_data.txt' 创建完成。")# process_large_file('large_data.txt') # 实际运行时请取消注释
这种逐行读取的方式,内存占用非常小,因为它每次只在内存中保留一行数据。对于需要对文件内容进行复杂处理,但又不能一次性加载的情况,这无疑是最佳实践。
除了逐行读取,如果文件是结构化的,比如CSV或JSON,可以考虑使用相应的库(如
csv
模块、
json
模块)来流式解析,它们通常也提供了迭代器接口,避免一次性加载。
Python文件操作的常见陷阱与最佳实践:避免数据丢失和资源泄漏
文件操作看似简单,但实际开发中,一不小心就可能踩坑,导致数据丢失、程序崩溃,甚至系统资源耗尽。
忘记关闭文件句柄(或不使用
with
语句):这是最常见也最危险的错误。如果文件没有正确关闭,操作系统会一直认为这个文件被占用,可能导致其他程序无法访问,甚至文件损坏。在某些系统上,未关闭的文件句柄数量达到上限,程序会崩溃。
最佳实践:始终使用
with open(...) as f:
语句。 它是Python处理文件I/O的黄金法则,能自动处理文件关闭,即使在读写过程中发生异常。
路径问题:相对路径与绝对路径的混淆:当你使用相对路径时,Python会相对于当前工作目录(current working directory)来查找文件。如果你从不同的位置运行脚本,或者脚本被其他程序调用,当前工作目录可能不是你预期的,导致
FileNotFoundError
。
最佳实践:对于脚本依赖的固定文件,考虑使用绝对路径,或者基于脚本文件自身的路径来构建路径。
os.path
模块是你的好帮手。
import os
获取当前脚本文件所在的目录
script_dir = os.path.dirname(os.path.abspath(file))
构建相对于脚本目录的文件路径
file_path = os.path.join(script_dir, ‘data’, ‘my_data.txt’)print(f”文件将查找或创建在: {file_path}”)
确保目录存在
os.makedirs(os.path.dirname(file_path), exist_ok=True)
权限问题:在尝试写入文件到受保护的目录(如
/root
或
C:Program Files
)时,如果没有足够的权限,会遇到
PermissionError
。
最佳实践:确保程序运行的用户有足够的权限去读写目标文件或目录。或者,将文件保存到用户有权限的目录,如用户的主目录、临时目录或程序数据目录。
编码不一致导致乱码:前面已经详细讨论过。
最佳实践:在
open()
函数中明确指定
encoding
参数,并尽量统一使用
'utf-8'
编码。
覆盖文件而非追加:不小心使用
'w'
模式打开一个已存在的文件,会清空原有内容,造成数据丢失。
最佳实践:在需要追加内容时,使用
'a'
模式。如果确实需要覆盖,确保这是你期望的行为,或者在覆盖前备份原文件。对于创建新文件,如果文件已存在则报错的场景,可以使用
'x'
模式。
这些看似细枝末节的地方,往往是导致程序不稳定、数据错误的关键。养成良好的文件操作习惯,能省去后期大量的调试时间。
以上就是Python怎样读写文本文件_Python文件读写技巧总结的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1368943.html
微信扫一扫
支付宝扫一扫