python处理csv文件最高效的方式是使用内置csv模块。1. 读取csv文件可使用csv.reader将每行解析为列表，或使用csv.dictreader将每行转为字典，便于通过字段名访问数据；2. 写入csv文件可使用csv.writer写入列表数据，或使用csv.dictwriter写入字典数据，并支持自动写入表头；3. 处理大型csv文件时应逐行迭代，避免一次性加载全部数据至内存；4. 编码问题可通过open()函数指定encoding参数解决，读取时需匹配文件实际编码，写入时推荐使用utf-8-sig防止乱码；5. csv模块支持自定义分隔符（delimiter）、引用字符（quotechar）、引用策略（quoting）、双引号转义（doublequote）及跳过空格（skipinitialspace），以适应非标准格式的csv文件。
Python处理CSV文件，最直接且高效的方式就是利用其内置的csv模块。这个模块提供了一套完善的工具集，能够轻松应对CSV文件的读写操作，无论是简单的文本数据还是需要特殊处理的复杂结构，它都能很好地胜任，避免了手动解析逗号、引号等繁琐细节。
解决方案
使用Python的csv模块处理CSV文件，核心在于理解其reader和writer对象，以及更便捷的DictReader和DictWriter。
1. 读取CSV文件
立即学习“Python免费学习笔记（深入）”；
最基础的读取方式是使用csv.reader。它会把CSV文件的每一行解析成一个列表（list），列表中的每个元素对应一个字段。
import csv# 假设有一个名为 'data.csv' 的文件# content of data.csv:# name,age,city# Alice,30,New York# Bob,24,London# Charlie,35,Paristry: with open('data.csv', 'r', newline='', encoding='utf-8') as csvfile: csv_reader = csv.reader(csvfile) header = next(csv_reader) # 通常第一行是表头，可以单独读取 print(f"表头: {header}") for row in csv_reader: print(f"数据行: {row}")except FileNotFoundError: print("文件 'data.csv' 未找到。")except Exception as e: print(f"读取文件时发生错误: {e}")# 我个人更偏爱使用 DictReader，因为它能把每一行数据变成一个字典，# 用列名（即表头）作为键访问数据，比通过索引数字要直观和健壮得多。print("n--- 使用 DictReader 读取 ---")try: with open('data.csv', 'r', newline='', encoding='utf-8') as csvfile: csv_dict_reader = csv.DictReader(csvfile) # DictReader 会自动将第一行识别为字段名 print(f"字段名: {csv_dict_reader.fieldnames}") for row_dict in csv_dict_reader: print(f"姓名: {row_dict['name']}, 年龄: {row_dict['age']}, 城市: {row_dict['city']}")except FileNotFoundError: print("文件 'data.csv' 未找到。")except Exception as e: print(f"使用 DictReader 读取文件时发生错误: {e}")
2. 写入CSV文件
写入操作与读取类似，使用csv.writer或csv.DictWriter。
import csv# 写入操作时，通常需要指定 'w' 模式，并且 newline='' 是非常重要的，# 它能防止在Windows系统上写入空行。data_to_write = [ ['Product', 'Price', 'Quantity'], ['Laptop', 1200, 50], ['Mouse', 25, 200], ['Keyboard', 75, 150]]try: with open('products.csv', 'w', newline='', encoding='utf-8') as csvfile: csv_writer = csv.writer(csvfile) csv_writer.writerows(data_to_write) # writerows 可以一次写入多行 print("n'products.csv' 文件写入成功。")except Exception as e: print(f"写入文件时发生错误: {e}")# 使用 DictWriter 写入，需要先定义好字段名（fieldnames），它会作为CSV的表头。dict_data_to_write = [ {'name': 'David', 'age': 28, 'city': 'Berlin'}, {'name': 'Eve', 'age': 32, 'city': 'Rome'}]fieldnames = ['name', 'age', 'city'] # 字段顺序也很重要try: with open('new_users.csv', 'w', newline='', encoding='utf-8') as csvfile: csv_dict_writer = csv.DictWriter(csvfile, fieldnames=fieldnames) csv_dict_writer.writeheader() # 写入表头 csv_dict_writer.writerows(dict_data_to_write) # 写入多行字典数据 print("'new_users.csv' 文件写入成功。")except Exception as e: print(f"使用 DictWriter 写入文件时发生错误: {e}")
在实际项目中，我发现DictReader和DictWriter用起来更顺手，因为它们直接映射了Python字典的数据结构，与我们处理数据时的思维模式更贴合。当然，如果数据量非常大，或者对内存占用有极致要求，csv.reader逐行迭代的特性可能会更受欢迎。
如何高效读取大型CSV文件，避免内存溢出？
当你面对一个动辄几百兆甚至上G的CSV文件时，直接一股脑儿地把它全读进内存，那基本上就是自寻烦恼，程序多半会直接崩溃或者卡死。Python的csv模块在设计上就考虑到了这一点，它的reader和DictReader对象都是迭代器。这意味着它们并不会一次性把所有数据都加载到内存里，而是当你需要一行数据时，它就读取一行，处理完再读取下一行。
所以，高效读取大型CSV文件的关键就在于利用这种迭代特性，逐行处理数据。你看到的for row in csv_reader:或者for row_dict in csv_dict_reader:这种循环模式，就是最典型的内存友好型处理方式。我们不应该尝试将整个CSV文件转换成一个列表的列表（list(csv_reader)），除非你确定文件很小，或者你的机器内存足够充裕。
例如，如果你只想统计某个字段的总和，完全没必要把所有数据都存起来：
AI图片生成和修图
99 查看详情 
import csv# 假设 'sales_data.csv' 有大量销售数据，其中包含 'amount' 字段# product,amount,date# A,100.5,2023-01-01# B,200.0,2023-01-02# ... (millions of rows)total_sales = 0.0try: with open('sales_data.csv', 'r', newline='', encoding='utf-8') as csvfile: reader = csv.DictReader(csvfile) # 确保 'amount' 字段存在 if 'amount' not in reader.fieldnames: print("错误: CSV文件中缺少 'amount' 字段。") else: for row in reader: try: total_sales += float(row['amount']) except ValueError: # 处理非数字的 'amount' 值，比如跳过或者记录日志 print(f"警告: 无法将 '{row['amount']}' 转换为数字，跳过此行。") print(f"n总销售额: {total_sales:.2f}")except FileNotFoundError: print("文件 'sales_data.csv' 未找到。")except Exception as e: print(f"处理销售数据时发生错误: {e}")这种逐行处理的模式，无论是对内存还是CPU，压力都小得多，是处理大数据文件的不二法门。
处理CSV时常见的编码问题与解决方案是什么？
遇到乱码，十有八九是编码没对上。CSV文件本质上是纯文本，它的内容是用某种字符编码（比如UTF-8、GBK、Latin-1等）保存的。如果你用错误的编码去读取它，就会出现UnicodeDecodeError，或者更隐蔽的——读出来的是一堆“问号”或“方框”。同样，写入时如果编码不当，别人打开你的CSV文件也可能看到乱码。
常见问题及解决方案：
UnicodeDecodeError： 这是最直接的错误提示，意味着你尝试用一种编码去解码不属于它的字节序列。
原因： 最常见的是CSV文件是GBK编码（尤其是国内很多老旧系统导出的），但你用默认的UTF-8去读。
解决方案： 在open()函数中明确指定encoding参数。
# 尝试用GBK编码读取try: with open('some_gbk_encoded.csv', 'r', newline='', encoding='gbk') as f: reader = csv.reader(f) for row in reader: print(row)except UnicodeDecodeError: print("尝试GBK编码失败，可能是其他编码。")except FileNotFoundError: print("文件未找到。")
如何确定编码？ 有时你需要一些工具来帮助判断，比如Notepad++打开文件后看右下角的编码显示，或者使用Python的chardet库来猜测文件的编码。
# pip install chardetimport chardetdef detect_encoding(file_path): with open(file_path, 'rb') as f: # 以二进制模式读取，因为要检测原始字节 raw_data = f.read(100000) # 读取文件前100KB来猜测 result = chardet.detect(raw_data) return result['encoding'], result['confidence']# encoding, confidence = detect_encoding('unknown_encoding.csv')# print(f"检测到编码: {encoding}, 置信度: {confidence}")# 然后再用检测到的编码去打开文件
写入时乱码： 你写入的CSV文件，别人打开是乱码。
原因： 你可能使用了UTF-8编码写入，但对方的软件（比如Excel）默认以GBK或ANSI（Windows-1252）编码打开。解决方案：最稳妥的是始终使用encoding='utf-8-sig'。utf-8-sig会在文件开头添加一个BOM（Byte Order Mark），很多软件（包括Excel）会识别这个BOM，从而正确地以UTF-8编码打开文件。
with open('output_for_excel.csv', 'w', newline='', encoding='utf-8-sig') as f:writer = csv.writer(f)writer.writerow(['姓名', '城市'])writer.writerow(['张三', '北京'])
如果明确知道对方只支持GBK，那就直接用encoding='gbk'写入。
总而言之，处理CSV编码问题，核心就是明确地、正确地指定open()函数中的encoding参数。
除了基本的读写，csv模块还能实现哪些高级操作？
csv模块虽然看起来简单，但它提供了一些参数，可以帮助我们处理那些不那么“规矩”的CSV文件，或者在特定场景下提供更细粒度的控制。
自定义分隔符（delimiter）：有时CSV文件并不那么“规矩”，比如它可能用分号（;）而不是逗号（,）做分隔符，或者用制表符（t）分隔（这种文件通常被称为TSV，Tab-Separated Values）。delimiter参数就是用来指定这个分隔符的。
# 假设 'semicolon_data.csv' 是用分号分隔的# name;age;city# Alice;30;New Yorkimport csvwith open('semicolon_data.csv', 'r', newline='', encoding='utf-8') as f: reader = csv.reader(f, delimiter=';') # 指定分号为分隔符 for row in reader: print(f"分号分隔数据: {row}")# 写入时也可以指定data = [['A', 'B'], ['C', 'D']]with open('tab_separated.tsv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f, delimiter='t') # 指定制表符 writer.writerows(data)print("n'tab_separated.tsv' 已写入，使用制表符分隔。")
自定义引用字符与引用方式（quotechar, quoting）：当字段内容本身包含分隔符（比如一个描述文本里有逗号），或者包含换行符时，CSV标准会用一个引用字符（通常是双引号"）把整个字段括起来。csv模块可以自动处理这些情况，但你也可以自定义。
quotechar：指定用于引用字段的字符，默认为"。quoting：指定何时进行引用。这是个枚举类型，常用的有：csv.QUOTE_MINIMAL (默认)：只引用那些包含特殊字符（分隔符、引用字符、换行符）的字段。csv.QUOTE_ALL：引用所有字段。csv.QUOTE_NONNUMERIC：引用所有非数字字段。csv.QUOTE_NONE：不引用任何字段（如果字段包含特殊字符，可能会导致解析错误）。
# 示例：写入包含逗号的字段data_with_comma = [['Item', 'Description'], ['Book', 'A great read, highly recommended']]with open('quoted_data.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f, quoting=csv.QUOTE_MINIMAL) # 默认行为，但明确写出 writer.writerows(data_with_comma)print("n'quoted_data.csv' 已写入，包含引用字段。")# 打开 'quoted_data.csv' 会看到 "A great read, highly recommended" 被双引号括起来# 如果想所有字段都加引号data_all_quoted = [['Value1', 'Value2'], ['Hello', 'World']]with open('all_quoted.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f, quoting=csv.QUOTE_ALL) writer.writerows(data_all_quoted)print("'all_quoted.csv' 已写入，所有字段都被引用。")
处理双引号转义（doublequote）：在被引用的字段中，如果引用字符本身出现，它通常会被重复两次进行转义（例如"He said ""Hello""."）。doublequote参数控制是否启用这种转义，默认为True。
# 假设 CSV 包含 "He said ""Hello""."# 通过 reader 读取时，它会自动处理双引号的转义# 写入时，如果字段内容是 'He said "Hello".'，writer 会自动将其转义为 '"He said ""Hello""."''
跳过空行（skipinitialspace）：如果CSV文件在分隔符后面有额外的空格，skipinitialspace=True可以告诉reader自动跳过这些空格。
# 假设 'spaced_data.csv' 内容是:# name, age# Alice, 30import csvwith open('spaced_data.csv', 'r', newline='', encoding='utf-8') as f: reader = csv.reader(f, skipinitialspace=True) for row in reader: print(f"跳过空格后的数据: {row}") # 30前面没有空格了
这些高级选项让csv模块在处理各种“奇形怪状”的CSV文件时，依然保持了强大的适应性和灵活性。在面对非标准格式的CSV时，我通常会先用文本编辑器打开文件，观察其分隔符和引用规则，然后相应地调整csv.reader或csv.writer的参数。
以上就是如何使用Python处理CSV文件？csv模块实践的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1362862.html
微信扫一扫 
支付宝扫一扫 
