答案：Python通过csv模块读写CSV文件，需注意编码、分隔符和引号处理；读取时用csv.reader配合with open确保文件正确关闭，指定encoding避免乱码；写入时使用csv.writer并设置newline=”防止空行；处理特殊字符可配置delimiter、quotechar和quoting参数；对于大文件，可采用逐行迭代或pandas分块读取chunksize来降低内存消耗。
Python读写CSV文件，简单来说，就是利用
csv
模块，把数据变成字符串然后写入，或者把字符串解析成数据。这事儿听起来简单，但细节不少，尤其是处理编码、分隔符、引号这些问题的时候。
解决方案
Python通过内置的
csv
模块可以轻松地读取和写入CSV（逗号分隔值）文件。以下是基本的操作指南：
1. 读取CSV文件：
import csvdef read_csv_file(filename): """读取CSV文件并返回数据列表。""" data = [] try: with open(filename, 'r', encoding='utf-8') as csvfile: csv_reader = csv.reader(csvfile) header = next(csv_reader) # 跳过标题行，如果存在的话 for row in csv_reader: data.append(row) except FileNotFoundError: print(f"文件未找到: {filename}") except Exception as e: print(f"读取文件时发生错误: {e}") return data# 示例用法csv_data = read_csv_file('example.csv')if csv_data: for row in csv_data: print(row)
这里用了
with open()
，保证文件在使用完后会自动关闭，是个好习惯。
encoding='utf-8'
是为了处理中文或其他特殊字符，避免乱码。
csv.reader
会把每一行变成一个列表。
next(csv_reader)
跳过表头，这个根据你的文件有没有表头来决定要不要用。
立即学习“Python免费学习笔记（深入）”；
2. 写入CSV文件：
import csvdef write_csv_file(filename, data, header=None): """将数据写入CSV文件。""" try: with open(filename, 'w', newline='', encoding='utf-8') as csvfile: csv_writer = csv.writer(csvfile) if header: csv_writer.writerow(header) # 写入标题行 csv_writer.writerows(data) # 写入数据行 except Exception as e: print(f"写入文件时发生错误: {e}")# 示例用法data_to_write = [ ['Alice', 25, 'Engineer'], ['Bob', 30, 'Doctor'], ['Charlie', 22, 'Student']]header = ['Name', 'Age', 'Occupation'] # 可选write_csv_file('output.csv', data_to_write, header)
'w'
模式是写入模式，会覆盖原有文件。
newline=''
是为了防止写入时出现空行，在Windows系统上尤其重要。
csv.writer
负责把数据写入文件。
writerow
写入一行，
writerows
写入多行。
如何处理CSV文件中的特殊字符？
CSV文件里经常会有逗号、引号之类的特殊字符，这些字符如果处理不好，会导致数据解析错误。
csv
模块提供了
quoting
和
quotechar
参数来处理这些问题。
quoting
: 控制引号的使用。常用的值有：
csv.QUOTE_MINIMAL
: 只有包含分隔符、引号或换行符的字段才会被引号包围。
csv.QUOTE_ALL
: 所有字段都被引号包围。
csv.QUOTE_NONNUMERIC
: 所有非数字字段都被引号包围。
csv.QUOTE_NONE
: 永远不使用引号。如果字段中包含分隔符，会抛出
csv.Error
异常。
quotechar
: 定义引号字符，默认为双引号
"
。
例如，如果你的CSV文件使用竖线
|
作为分隔符，并且使用单引号
'
作为引号字符，你可以这样读取：
import csvdef read_csv_with_custom_delimiter(filename): """使用自定义分隔符和引号读取CSV文件。""" data = [] try: with open(filename, 'r', encoding='utf-8') as csvfile: csv_reader = csv.reader(csvfile, delimiter='|', quotechar="'") for row in csv_reader: data.append(row) except FileNotFoundError: print(f"文件未找到: {filename}") except Exception as e: print(f"读取文件时发生错误: {e}") return data# 示例用法custom_csv_data = read_csv_with_custom_delimiter('custom.csv')if custom_csv_data: for row in custom_csv_data: print(row)
写入的时候也类似，只需要在
csv.writer
中指定
delimiter
、
quotechar
和
quoting
参数即可。
如何处理大型CSV文件？
如果CSV文件非常大，一次性读取到内存可能会导致内存溢出。这时候，可以使用迭代器逐行读取，或者使用
pandas
库的分块读取功能。
1. 使用迭代器：
Zyro推出的AI图片背景移除工具
145 查看详情 
csv.reader
本身就是一个迭代器，可以逐行读取数据，无需一次性加载到内存。
import csvdef process_large_csv(filename): """逐行处理大型CSV文件。""" try: with open(filename, 'r', encoding='utf-8') as csvfile: csv_reader = csv.reader(csvfile) header = next(csv_reader) # 跳过标题行 for row in csv_reader: # 在这里处理每一行数据 process_row(row) except FileNotFoundError: print(f"文件未找到: {filename}") except Exception as e: print(f"读取文件时发生错误: {e}")def process_row(row): """处理单行数据的函数。""" # 例如，打印第一列数据 print(row[0])# 示例用法process_large_csv('large.csv')
2. 使用
pandas
分块读取：
pandas
库提供了
read_csv
函数的
chunksize
参数，可以指定每次读取的行数。
import pandas as pddef process_large_csv_with_pandas(filename, chunksize=1000): """使用pandas分块读取大型CSV文件。""" try: for chunk in pd.read_csv(filename, chunksize=chunksize): # 在这里处理每个数据块 process_chunk(chunk) except FileNotFoundError: print(f"文件未找到: {filename}") except Exception as e: print(f"读取文件时发生错误: {e}")def process_chunk(chunk): """处理数据块的函数。""" # 例如，打印每个数据块的行数 print(len(chunk))# 示例用法process_large_csv_with_pandas('large.csv', chunksize=10000)
pandas
的
read_csv
函数功能强大，可以处理各种复杂的CSV文件格式。
chunksize
参数指定了每次读取的行数，可以根据你的内存大小进行调整。
如何避免CSV文件读写中的编码问题？
编码问题是CSV文件读写中常见的坑。如果CSV文件使用了非UTF-8编码，读取时可能会出现乱码。为了避免这个问题，应该始终指定正确的编码方式。
读取文件时，指定
encoding
参数：
with open(filename, 'r', encoding='gbk') as csvfile: # 例如，使用GBK编码 csv_reader = csv.reader(csvfile) # ...
常用的编码方式有
utf-8
、
gbk
、
gb2312
、
latin1
等。如果不知道文件的编码方式，可以尝试使用
chardet
库进行检测。
写入文件时，同样指定
encoding
参数：
with open(filename, 'w', newline='', encoding='utf-8') as csvfile: csv_writer = csv.writer(csvfile) # ...
保持读取和写入的编码方式一致，可以避免乱码问题。
总的来说，Python读写CSV文件并不难，但需要注意细节，尤其是处理特殊字符和编码问题。使用
csv
模块提供的各种参数，以及
pandas
库的分块读取功能，可以轻松地处理各种复杂的CSV文件。记住，实践是检验真理的唯一标准，多写代码，多踩坑，才能真正掌握这些技巧。
以上就是python如何读取和写入csv文件_python CSV文件读写操作指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372160.html
微信扫一扫 
支付宝扫一扫 
