Pandas处理大规模CSV文件写入速度优化
在使用Pandas处理海量数据时，to_csv()函数的写入速度常常成为瓶颈。本文以一个处理约2000万条记录的案例为例，分析to_csv()写入速度慢的原因，并提供高效的解决方案。
问题：
代码使用glob模块读取多个压缩的CSV文件，用pd.concat合并成一个大型数据帧stage，再使用to_csv()写入CSV文件。读取数据耗时2分钟，而写入却耗时55分钟。代码片段如下：
import osimport globimport pandas as pdsrc_files = glob.glob(os.path.join('/my/path', "*.csv.gz"))stage = pd.DataFrame() # 初始化DataFrame，避免重复appendfor file_ in sorted(src_files): iter_csv = pd.read_csv(file_, sep=',', index_col=False, header=0, low_memory=False, iterator=True, chunksize=100000, compression='gzip', memory_map=True, encoding='utf-8') for chunk in iter_csv: stage = pd.concat([stage, chunk], ignore_index=True)stage.to_csv('output.csv', sep='|', header=True, index=False, chunksize=100000, encoding='utf-8')del stage
即使使用了chunksize参数分块写入，效率仍然低下。这是因为to_csv()函数处理大型CSV文件时效率较低。
解决方案：
推荐使用Pandas的to_hdf()函数将数据保存为HDF5格式。HDF5是一种高性能数据存储格式，能显著提升写入速度。
以下是使用to_hdf()函数的代码示例：
stage.to_hdf(r'path/file.h5', key='stage', mode='w')
将数据保存为HDF5格式能大幅缩短写入时间。在某些情况下，写入100MB数据，to_hdf()函数的执行时间可从to_csv()的30-55秒缩短到不到一秒，显著提升大规模数据处理效率。 此外， 代码中初始化一个空的DataFrame stage = pd.DataFrame()，并在循环中使用pd.concat进行高效的增量合并，避免了重复创建DataFrame带来的性能损耗。
以上就是Pandas to_csv()写入大数据帧速度慢，如何高效解决？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1358413.html
微信扫一扫 
支付宝扫一扫 
