Python怎样读写文本文件_Python文件读写技巧总结

Python文件操作核心是open()函数和with语句,通过指定模式(如’r’、’w’、’a’)和编码(如’utf-8’、’gbk’)实现安全读写;使用with可自动关闭文件,避免资源泄漏;处理大文件时应逐行迭代或分块读取,防止内存溢出;需注意路径、权限和编码一致性,防止乱码或文件丢失。

python怎样读写文本文件_python文件读写技巧总结

Python读写文本文件,核心在于使用内置的

open()

函数。它就像是文件操作的大门,通过不同的模式参数,我们可以告诉Python是要读取文件内容、写入新内容、追加内容,还是做更复杂的操作。理解这个函数及其搭配的上下文管理器

with

语句,是高效且安全地处理文本文件的关键。

解决方案

在Python里,处理文本文件通常围绕着

open()

函数展开。这个函数返回一个文件对象,我们通过它来执行读写操作。

最基础的用法是这样的:

立即学习“Python免费学习笔记(深入)”;

# 写入文件# 'w' 模式会创建新文件或覆盖已有文件try:    with open('my_document.txt', 'w', encoding='utf-8') as f:        f.write("这是我写的第一行文本。n")        f.write("第二行内容也来了。n")    print("文件写入成功。")except IOError as e:    print(f"写入文件时发生错误: {e}")# 读取文件# 'r' 模式用于读取文件,如果文件不存在会抛出FileNotFoundErrortry:    with open('my_document.txt', 'r', encoding='utf-8') as f:        content = f.read() # 读取所有内容        print("n读取到的文件内容:")        print(content)except FileNotFoundError:    print("文件不存在,无法读取。")except IOError as e:    print(f"读取文件时发生错误: {e}")# 追加内容# 'a' 模式会在文件末尾追加内容try:    with open('my_document.txt', 'a', encoding='utf-8') as f:        f.write("这是追加的新内容。n")    print("n内容追加成功。")except IOError as e:    print(f"追加文件时发生错误: {e}")# 逐行读取try:    print("n逐行读取文件内容:")    with open('my_document.txt', 'r', encoding='utf-8') as f:        for line_num, line in enumerate(f, 1):            print(f"第{line_num}行: {line.strip()}") # strip() 去掉行尾的换行符except FileNotFoundError:    print("文件不存在,无法读取。")except IOError as e:    print(f"读取文件时发生错误: {e}")

这里我强调一下

with open(...) as f:

这种写法。它真的太重要了!它保证了文件无论在读写过程中是否发生错误,最终都会被正确关闭,释放系统资源。我早期写代码时,经常忘记

f.close()

,结果就是文件句柄泄露,尤其是在循环里操作大量文件时,那真是个灾难。

with

语句完美解决了这个问题,让代码更健壮、更简洁。

Python文件读写中的编码问题:为什么我的文本文件读出来是乱码?

这个问题,老实说,我一开始也踩过不少坑,尤其是和不同操作系统、不同语言环境打交道的时候。文件编码问题,本质上是字符和字节之间转换的“翻译”问题。我们看到的文本是字符,但计算机存储的是字节序列。如果编码和解码使用的规则不一致,那自然就成了乱码。

最常见的场景是:你在Windows系统用记事本保存了一个GBK编码的文本文件,然后用Python在Linux环境下,默认以UTF-8去读取它。结果就是一堆看不懂的字符。

解决办法其实很简单,就是明确指定

open()

函数中的

encoding

参数。

# 假设有一个GBK编码的文件 'gbk_test.txt'# 你可以手动创建一个,比如在Windows记事本里输入中文,然后“另存为”选择GBK编码# gbk_test.txt 的内容可能是 "你好,世界!"# 错误示范:不指定编码或指定错误编码try:    with open('gbk_test.txt', 'r', encoding='utf-8') as f:        content = f.read()        print("尝试用UTF-8读取GBK文件(通常会乱码):")        print(content)except UnicodeDecodeError as e:    print(f"解码错误发生:{e}")except FileNotFoundError:    print("文件不存在,请确保创建了gbk_test.txt")# 正确示范:指定正确的编码try:    with open('gbk_test.txt', 'r', encoding='gbk') as f:        content = f.read()        print("n用GBK编码正确读取GBK文件:")        print(content)except FileNotFoundError:    print("文件不存在,请确保创建了gbk_test.txt")except Exception as e:    print(f"读取时发生其他错误: {e}")# 写入文件时也同样重要,确保写入的编码和你期望的一致try:    with open('output_utf8.txt', 'w', encoding='utf-8') as f:        f.write("这是一个UTF-8编码的文本。n")    print("n成功写入UTF-8文件。")    with open('output_gbk.txt', 'w', encoding='gbk') as f:        f.write("这是一个GBK编码的文本。n")    print("成功写入GBK文件。")except Exception as e:    print(f"写入文件时发生错误: {e}")

常用的编码有

'utf-8'

(推荐,跨平台兼容性最好)、

'gbk'

(中文Windows系统常见)、

'latin-1'

(单字节编码,处理一些特殊字符或二进制数据时可能用到)。如果你不确定文件的编码,可以尝试一些库,比如

chardet

,它能帮你猜测文件的编码,但这也不是100%准确的。最好的做法还是在文件创建时就约定好编码,或者在文档中明确指出。

Python大文件读写优化:如何高效处理TB级数据?

处理大文件,特别是那种GB甚至TB级别的文件,直接

f.read()

把所有内容加载到内存里,那绝对是个糟糕的主意,分分钟内存溢出,程序崩溃。高效处理大文件的核心思想是:分块读取,流式处理,避免一次性加载全部内容。

Python的文件对象本身就是可迭代的(iterable),这意味着我们可以直接在

for

循环中迭代它,每次读取一行内容,而不是一次性读取整个文件。

def process_large_file(filepath):    line_count = 0    word_count = 0    char_count = 0    print(f"开始处理大文件: {filepath}")    try:        with open(filepath, 'r', encoding='utf-8') as f:            for line in f: # 每次只读取一行                line_count += 1                char_count += len(line)                word_count += len(line.split()) # 简单统计单词                # 这里可以对每一行进行具体的处理,比如解析、过滤、写入到另一个文件等                if line_count % 100000 == 0: # 每处理10万行打印一次进度                    print(f"已处理 {line_count} 行...")        print(f"n文件处理完成。总行数: {line_count}, 总字数: {char_count}, 总词数: {word_count}")    except FileNotFoundError:        print(f"错误: 文件 '{filepath}' 不存在。")    except Exception as e:        print(f"处理文件时发生错误: {e}")# 示例:创建一个模拟的大文件# 注意:实际生成一个GB级别的文件可能需要一些时间# with open('large_data.txt', 'w', encoding='utf-8') as f:#     for i in range(5000000): # 500万行#         f.write(f"这是第 {i+1} 行数据,包含一些随机的文本内容,用于测试大文件处理。n")# print("模拟大文件 'large_data.txt' 创建完成。")# process_large_file('large_data.txt') # 实际运行时请取消注释

这种逐行读取的方式,内存占用非常小,因为它每次只在内存中保留一行数据。对于需要对文件内容进行复杂处理,但又不能一次性加载的情况,这无疑是最佳实践。

除了逐行读取,如果文件是结构化的,比如CSV或JSON,可以考虑使用相应的库(如

csv

模块、

json

模块)来流式解析,它们通常也提供了迭代器接口,避免一次性加载。

Python文件操作的常见陷阱与最佳实践:避免数据丢失和资源泄漏

文件操作看似简单,但实际开发中,一不小心就可能踩坑,导致数据丢失、程序崩溃,甚至系统资源耗尽。

忘记关闭文件句柄(或不使用

with

语句):这是最常见也最危险的错误。如果文件没有正确关闭,操作系统会一直认为这个文件被占用,可能导致其他程序无法访问,甚至文件损坏。在某些系统上,未关闭的文件句柄数量达到上限,程序会崩溃。

最佳实践始终使用

with open(...) as f:

语句。 它是Python处理文件I/O的黄金法则,能自动处理文件关闭,即使在读写过程中发生异常。

路径问题:相对路径与绝对路径的混淆:当你使用相对路径时,Python会相对于当前工作目录(current working directory)来查找文件。如果你从不同的位置运行脚本,或者脚本被其他程序调用,当前工作目录可能不是你预期的,导致

FileNotFoundError

最佳实践:对于脚本依赖的固定文件,考虑使用绝对路径,或者基于脚本文件自身的路径来构建路径。

os.path

模块是你的好帮手。

import os

获取当前脚本文件所在的目录

script_dir = os.path.dirname(os.path.abspath(file))

构建相对于脚本目录的文件路径

file_path = os.path.join(script_dir, ‘data’, ‘my_data.txt’)print(f”文件将查找或创建在: {file_path}”)

确保目录存在

os.makedirs(os.path.dirname(file_path), exist_ok=True)


权限问题:在尝试写入文件到受保护的目录(如

/root

C:Program Files

)时,如果没有足够的权限,会遇到

PermissionError

最佳实践:确保程序运行的用户有足够的权限去读写目标文件或目录。或者,将文件保存到用户有权限的目录,如用户的主目录、临时目录或程序数据目录。

编码不一致导致乱码:前面已经详细讨论过。

最佳实践:在

open()

函数中明确指定

encoding

参数,并尽量统一使用

'utf-8'

编码。

覆盖文件而非追加:不小心使用

'w'

模式打开一个已存在的文件,会清空原有内容,造成数据丢失。

最佳实践:在需要追加内容时,使用

'a'

模式。如果确实需要覆盖,确保这是你期望的行为,或者在覆盖前备份原文件。对于创建新文件,如果文件已存在则报错的场景,可以使用

'x'

模式。

这些看似细枝末节的地方,往往是导致程序不稳定、数据错误的关键。养成良好的文件操作习惯,能省去后期大量的调试时间。

以上就是Python怎样读写文本文件_Python文件读写技巧总结的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1368943.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月14日 09:12:58
下一篇 2025年12月14日 09:13:14

相关推荐

  • python怎么使用字典_python字典常用方法汇总

    Python字典的核心特性包括键值对映射、高效查找(O(1)时间复杂度)、可变性、键的唯一性和可哈希性,以及从Python 3.7+保持插入顺序。这些特性使其在数据建模、配置管理、缓存实现等场景中成为不可或缺的高效工具。 Python字典是键值对的无序集合(在Python 3.7+中,它们保持插入顺…

    好文分享 2025年12月14日
    000
  • python怎么读取txt文件_python文件读写步骤

    Python读取txt文件需用open()函数配合with语句确保资源释放,推荐逐行迭代或分块读取大文件,并明确指定encoding解决编码问题。 Python读取txt文件主要依赖内置的 open() 函数,它能打开文件并返回一个文件对象,接着可以使用文件对象的方法如 read() 、 readl…

    2025年12月14日
    000
  • 如何使用 Numba 加速 Python 中的嵌套循环

    本文旨在提供一种使用 Numba 库加速 Python 中嵌套循环计算的方法。通过使用 Numba 的 JIT 编译和并行计算功能,可以将原本耗时较长的嵌套循环代码的执行速度显著提高,从而更高效地完成计算任务。文章将提供详细的代码示例和优化技巧,帮助读者理解和应用这些技术。 使用 Numba 加速嵌…

    2025年12月14日
    000
  • Python如何操作列表_Python列表常用方法汇总

    Python列表是可变有序序列,支持增删改查、切片和排序等操作,适用于需动态修改且顺序重要的数据场景,其灵活性高于元组和集合,但需注意迭代修改、浅拷贝陷阱及性能优化,如用列表推导式和deque提升效率。 Python列表是Python编程中最基础也最强大的数据结构之一,它本质上是一个动态数组,允许存…

    2025年12月14日
    000
  • Python中协程如何实现 Python中协程编程教程

    Python中实现协程依赖async/await语法和asyncio库,通过事件循环调度,实现单线程内高效并发处理I/O密集型任务。使用async def定义协程函数,await暂停执行并让出控制权,避免阻塞。相比多线程和多进程,协程开销小、调度由程序控制,适合高并发I/O场景,但需避免阻塞调用。常…

    2025年12月14日
    000
  • Python怎样处理日期时间_Python时间操作指南一览

    Python处理日期时间的核心是datetime模块,掌握date、time、datetime、timedelta和tzinfo类是基础。应优先使用感知时间(aware datetime)并借助zoneinfo或pytz处理时区,避免夏令时和时区混淆问题。格式化与解析主要依赖strftime和str…

    2025年12月14日
    000
  • Python中字符串常用方法总结 Python中字符串操作技巧

    掌握Python字符串方法可提升数据处理效率。1. 常用方法包括len、lower、upper、strip、replace、split、startswith、endswith、find、count、join、format及f-strings,用于长度获取、大小写转换、空白去除、替换、分割、匹配判断、…

    2025年12月14日
    000
  • 使用 Numba 加速 Python 嵌套循环计算

    本文将介绍如何使用 Numba 库中的 Just-In-Time (JIT) 编译技术,显著提升 Python 中嵌套循环计算的执行速度。通过简单地添加装饰器,可以将耗时的循环代码转换为高效的机器码,从而大幅缩短计算时间。此外,本文还探讨了如何利用 Numba 的并行计算能力,进一步加速计算过程,充…

    2025年12月14日
    000
  • Python如何操作文件路径_Python路径处理指南汇总

    Python处理文件路径推荐使用pathlib,因其面向对象、跨平台且可读性强;os.path虽稳定但为函数式操作,适合旧项目;避免字符串拼接以防兼容性问题。 Python处理文件路径的核心在于两个强大且灵活的模块: os.path 和 pathlib 。它们提供了一套跨平台、安全且高效的方法,帮助…

    2025年12月14日
    000
  • Python怎么解析JSON数据_PythonJSON处理技巧总结

    Python解析JSON核心是使用json模块的loads、load、dumps和dump函数,实现字符串与文件的相互转换。1. json.loads()将JSON字符串转为Python对象,适用于API响应等字符串数据;2. json.load()直接从文件读取并解析JSON;3. json.du…

    2025年12月14日
    000
  • Python如何实现多线程_Python多线程编程指南分享

    Python多线程依赖threading模块,适用于I/O密集型任务,但受GIL限制无法在CPU密集型任务中实现真正并行;通过Lock、Queue等机制可解决共享数据的竞态条件;对于并行计算需求,应选用multiprocessing或多线程结合异步IO的混合模型。 Python实现多线程主要依赖于内…

    2025年12月14日
    000
  • Python如何生成随机数_Python随机数生成方法详解

    Python生成随机数主要依赖random模块,该模块提供生成伪随机数的多种方法,包括random()、uniform()、randint()等函数用于生成浮点数和整数,choice()、sample()、shuffle()用于序列操作,并可通过seed()设置种子实现可重现性;需注意其生成的是伪随…

    2025年12月14日
    000
  • python怎么爬取网页数据_python爬虫入门实战步骤

    答案是明确目标与初步侦察,使用requests库发送请求获取网页HTML,再用BeautifulSoup解析并提取所需数据,实战中需先通过浏览器开发者工具分析目标结构,判断数据是否动态加载,再制定爬取策略。 要说Python怎么爬取网页数据,其实核心就那么几步:发出请求、解析内容、提取数据。简单点讲…

    2025年12月14日
    000
  • 优化Pandas数据处理:告别慢速循环,拥抱高效Merge

    本教程探讨了Pandas中常见的性能瓶颈:使用itertuples()和apply(axis=1)进行行级数据处理和数据查找。通过一个实际案例,我们将展示如何利用Pandas的向量化操作和merge()函数,将慢速的循环查找和数据整合过程,转换为高效、简洁且可扩展的数据处理方案,显著提升代码性能和可…

    2025年12月14日
    000
  • Python如何爬取网页数据_Python网络爬虫步骤详解

    答案:Python爬取网页数据需经历发送请求、解析内容和存储数据三步。首先用requests库获取网页HTML,结合headers和timeout参数模拟浏览器行为;接着使用BeautifulSoup或lxml解析HTML,通过标签、CSS选择器或XPath提取目标信息;若内容由JavaScript…

    2025年12月14日
    000
  • Python中函数如何定义 Python中函数定义详解

    Python函数通过def定义,支持多种参数类型和return语句返回结果,合理使用可提升代码复用性与可维护性。 在Python中定义函数,核心就是使用 def 关键字,后面跟着你给函数起的名字,然后是一对括号,里面可以放参数(也可以不放),最后以冒号结尾。函数体的内容需要缩进,这是Python的规…

    2025年12月14日
    000
  • Python中异常怎么处理 Python中异常处理详解

    Python中处理异常的核心是try-except-else-finally结构,用于捕获和处理运行时错误,提升程序健壮性。try块包含可能出错的代码,except捕获特定异常,else在无异常时执行,finally无论是否发生异常都会执行,常用于资源清理。常见误区包括:过度捕获Exception导…

    2025年12月14日
    000
  • Python中集合怎么使用 Python中集合使用教程

    集合是Python中用于存储唯一元素且无序的数据结构,支持高效去重和成员检测。它可通过花括号或set()函数创建,能执行交集、并集、差集等数学运算。集合元素必须为不可变类型(如数字、字符串、元组),不可变集合frozenset可作为字典键或嵌套在其他集合中。使用时需注意:{}创建的是字典而非集合,空…

    2025年12月14日
    000
  • 双向交替选择排序:一种改进的选择排序算法实现

    本文详细介绍了如何实现一种改进的选择排序算法,该算法在奇数迭代中将最大元素放置到未排序区间的右端,在偶数迭代中将最小元素放置到未排序区间的左端。通过引入左右指针动态管理排序区间,并修正了常见的索引和范围错误,确保了排序的正确性与效率。 1. 算法背景与挑战 选择排序(selection sort)是…

    2025年12月14日
    000
  • Python中if语句如何正确使用 Python中if语句使用指南

    Python中if语句通过if、elif、else实现条件分支,依赖缩进和冒号定义代码块,支持比较、逻辑、成员运算符及真值性判断,可结合all()、any()、条件表达式和字典映射提升简洁性与可读性。 Python中的 if 语句是构建条件逻辑的基石,它让程序能够根据特定条件的真假,灵活地选择执行不…

    2025年12月14日 好文分享
    000

发表回复

登录后才能评论
关注微信