使用pandas的chunksize参数分块读取大型csv文件可避免内存溢出。1. 通过pd.read_csv设置chunksize参数，返回textfilereader对象进行迭代处理；2. 每次迭代处理一个dataframe块，减少内存占用；3. 可在循环内执行过滤、聚合等操作，并累积结果；4. 配合dtype和usecols进一步优化内存与速度；5. 对需多次使用的数据，可转换为parquet或feather等高效二进制格式。该方法有效缓解内存压力并提升大数据处理效率。
Python高效读取大型CSV文件，核心在于避免一次性加载整个文件到内存，最直接且常用的方法就是利用pandas.read_csv函数的chunksize参数进行分块处理。这样可以将一个庞大的文件拆分成若干个可管理的小块，逐一处理，极大缓解内存压力。
解决方案
当处理数GB甚至数十GB的CSV文件时，直接用pd.read_csv('your_large_file.csv')很可能会导致程序崩溃，提示内存不足。这时，chunksize参数就成了救星。它不会返回一个DataFrame，而是一个可迭代的TextFileReader对象。你可以像遍历列表一样遍历这个对象，每次迭代都会得到一个指定大小的DataFrame块。
立即学习“Python免费学习笔记（深入）”；
import pandas as pdimport os# 假设我们有一个非常大的CSV文件，比如 'big_data.csv'# 为了演示，我们先创建一个虚拟的大文件# 如果你已经有大文件，可以跳过这部分file_path = 'big_data.csv'if not os.path.exists(file_path): print(f"创建虚拟大文件 '{file_path}'...") data = {'col1': range(10_000_000), 'col2': [f'text_{i}' for i in range(10_000_000)]} df_temp = pd.DataFrame(data) df_temp.to_csv(file_path, index=False) print("虚拟大文件创建完成。")# 定义一个合适的块大小，比如每次读取10万行chunk_size = 100_000total_rows_processed = 0sum_of_col1 = 0print(f"n开始分块读取文件 '{file_path}'...")try: # read_csv返回的是一个迭代器 for i, chunk in enumerate(pd.read_csv(file_path, chunksize=chunk_size)): print(f"正在处理第 {i+1} 个数据块，包含 {len(chunk)} 行。") # 在这里对每个chunk进行操作，比如： # 1. 过滤数据 # filtered_chunk = chunk[chunk['some_column'] > value] # 2. 聚合统计 # daily_summary = chunk.groupby('date_column')['value_column'].sum() # 3. 简单的数据处理，例如累加某一列 if 'col1' in chunk.columns: # 确保列存在 sum_of_col1 += chunk['col1'].sum() total_rows_processed += len(chunk) print(f"n所有数据块处理完毕。总共处理了 {total_rows_processed} 行。") print(f"col1 的总和为: {sum_of_col1}")except MemoryError: print("即使使用chunksize，内存仍然不足。尝试减小chunk_size或优化处理逻辑。")except Exception as e: print(f"读取或处理文件时发生错误: {e}")# 清理演示文件（可选）# os.remove(file_path)# print(f"已删除虚拟大文件 '{file_path}'。")
上面的代码片段展示了如何使用chunksize参数来迭代处理大型CSV文件。在循环内部，你可以对每个chunk（它本身就是一个DataFrame）执行任何你需要的pandas操作，例如数据清洗、转换、聚合等。这样，内存中始终只保留当前正在处理的数据块，而不是整个文件。
为什么直接读取大文件会“爆内存”？
这其实是个很直接的问题，但很多人在实际操作中才真正体会到它的痛点。当你用pd.read_csv()去读一个几GB甚至几十GB的CSV文件时，Pandas的默认行为是尝试把整个文件的数据一次性加载到计算机的内存（RAM）中。想象一下，如果你的电脑只有8GB内存，而你试图加载一个10GB的文件，那肯定会“爆”啊！这就是所谓的“内存溢出”（MemoryError）。
这种现象的根本原因在于，Pandas为了提供高效的数据操作，会将数据组织成DataFrame结构，这需要占用连续的内存空间。而且，CSV文件中的数据类型通常是字符串，Pandas在读取时需要推断每列的数据类型。如果某些列包含混合类型数据（比如数字和文本），Pandas可能会默认使用占用内存更大的object类型（通常是字符串），这会进一步加剧内存消耗。此外，文件越大，需要存储的数据单元就越多，自然对内存的需求也就越高。所以，对于大型文件，一次性加载就如同试图将一头大象塞进一个冰箱，结果必然是冰箱“爆炸”。
chunksize参数具体怎么用，有什么注意事项？
chunksize参数是pd.read_csv方法的一个关键点，它将读取过程从“一次性”变成了“分批次”。当你设置了chunksize，read_csv返回的就不是一个DataFrame，而是一个TextFileReader对象，你可以把它想象成一个可以逐块提供DataFrame的“数据生成器”或者“迭代器”。每次你从这个迭代器中取出一个元素，它就会给你一个大小为chunksize的DataFrame。
具体用法：
就像上面代码示例那样，你把它放在一个for循环里：
for chunk in pd.read_csv('your_file.csv', chunksize=100000): # 在这里处理每个chunk process_data(chunk)
注意事项：
选择合适的chunksize： 这没有一个放之四海而皆准的答案，它取决于你的系统内存大小、CSV文件的列数、数据类型以及你在每个块上执行的操作复杂度。
太小： 如果chunksize设置得太小（比如100行），你会发现读取速度可能变慢。这是因为每次迭代都需要执行文件I/O操作，频繁的磁盘读写会增加开销。太大： 如果chunksize仍然太大，你可能会再次遇到内存问题。目标是找到一个平衡点，让每个chunk都能舒适地装进内存，并且处理起来效率高。一个好的起点可能是10万到100万行，然后根据实际运行情况调整。动态调整： 有时，你可能需要根据文件大小或可用内存，动态计算chunksize。例如，如果你知道文件大约有多少行，可以将其除以一个你认为合适的块数。
累积结果： 由于数据是分块处理的，如果你需要对整个文件进行聚合（比如计算总和、平均值、分组统计），你需要手动在循环外部定义一个变量来累积每个块的结果。例如，上面代码中的sum_of_col1。
索引问题： 默认情况下，每个chunk的DataFrame索引都会从0开始。如果你需要保留原始文件的行号或者自定义索引，可能需要额外处理。通常，这在分块处理中不是大问题，因为我们更多关注的是数据内容本身，而不是其在文件中的原始行号。
最终合并（如果需要）： 多数情况下，分块处理是为了避免内存问题，所以最终结果可能也是聚合后的、较小的数据集。如果你真的需要将所有处理过的chunk合并成一个大的DataFrame（这通常意味着你一开始就不应该分块处理，除非是处理完后数据量大幅减少），你需要将每个处理过的chunk存储到一个列表中，然后在循环结束后使用pd.concat()。但这要非常小心，如果合并后的数据仍然很大，又会回到内存问题。
错误处理： 在处理大型文件时，网络中断、文件损坏等都可能导致读取失败。在循环中加入try-except块是个好习惯，可以捕获并处理这些异常，提高程序的健壮性。
除了分块处理，还有哪些优化大型CSV读取的策略？
分块处理是应对内存溢出的“核武器”，但还有很多其他策略可以作为补充，或者在特定场景下提供更优的性能：
明确指定数据类型（dtype）： 这是我个人觉得最被低估但效果显著的优化手段。CSV文件默认所有列都是字符串，Pandas在读取时会尝试推断最佳数据类型。但这种推断并不总是最优的，比如一个只有0和1的列可能会被推断成int64，但实际上用bool或int8就足够了，内存占用会小得多。
# 预先定义好每列的数据类型dtype_mapping = { 'column_id': 'int32', 'timestamp': 'datetime64[ns]', 'value': 'float32', 'category': 'category' # 使用category类型可以大幅节省内存}df = pd.read_csv('large_file.csv', dtype=dtype_mapping)
对于类别型数据（重复值很多但种类有限的字符串），使用'category'类型能带来巨大的内存节省。
只读取需要的列（usecols）： 如果你的CSV文件有几十上百列，但你只需要其中几列进行分析，那么完全没必要加载所有列。
df = pd.read_csv('large_file.csv', usecols=['col1', 'col5', 'col10'])
这能显著减少内存占用和读取时间。
使用C引擎（engine='c'）： Pandas的read_csv默认使用C解析引擎，它通常比Python引擎更快。但在某些特殊情况下（例如，文件包含不规则的引用或分隔符），Pandas可能会回退到Python引擎。明确指定engine='c'可以确保使用更快的解析器，尽管这通常是默认行为。
低内存模式（low_memory=True）： read_csv有一个low_memory参数，默认为True。当Pandas检测到列中存在混合数据类型时，它会尝试分块读取文件以推断数据类型，然后合并这些块。这有助于减少内存使用，但有时可能会导致类型推断不准确。通常，如果你已经在使用chunksize或明确指定了dtype，这个参数的影响就小了。
将CSV转换为更高效的二进制格式： 如果你需要多次读取同一个大型数据集，将CSV文件一次性转换成Parquet、Feather或HDF5等二进制格式会大大提高后续读取的速度和效率。这些格式通常具有更紧凑的存储方式、支持列式存储（只读取需要的列更快）和更快的I/O。
# 第一次读取（可能需要分块）并保存为Parquet# 假设 df_processed 是你处理后的完整DataFrame# df_processed.to_parquet('large_file.parquet', index=False)# 后续读取就快多了# df_from_parquet = pd.read_parquet('large_file.parquet')
这种方式在数据仓库和大数据处理中非常常见，因为它们是为高效数据存取而设计的。
考虑Dask或Vaex等外部库： 如果你的数据量实在太大，即使分块处理也显得力不从心，或者你需要进行更复杂的、超出内存的计算，那么可以考虑使用专门为大数据集设计的库，如Dask或Vaex。它们提供了类似Pandas的API，但能够在内存之外进行计算（out-of-core computation），甚至可以利用多核CPU或分布式集群。不过，这些库的学习曲线相对陡峭一些。
综合来看，针对大型CSV文件的读取，我的建议是：先尝试用chunksize解决内存问题；同时，务必结合dtype和usecols来优化内存和速度；如果数据需要反复使用，投资将其转换为二进制格式绝对是值得的。至于Dask或Vaex，它们是当你真正进入“大数据”领域时才需要考虑的“重型武器”。
以上就是Python如何高效读取大型CSV文件？pandas分块处理详细教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1364356.html
微信扫一扫 
支付宝扫一扫 
