本文详细阐述了如何使用Python的`itertools.zip_longest`和Pandas库，高效地将具有不同长度的列表数据（作为新列和新行数据）整合到现有DataFrame中。教程着重解决在循环中或处理大数据时，直接赋值可能导致的性能碎片化警告问题，提供了一种基于字典构建和DataFrame拼接的优化方案，确保了数据处理的效率与稳定性。
一、问题背景与挑战
在数据分析和处理过程中，将外部数据源集成到现有Pandas DataFrame是常见操作。然而，当这些外部数据以列表形式存在，并且其内部子列表长度不一致时，会带来一定的挑战。例如，我们可能需要将一组新的列名（如list1）与一组变长列表数据（如list2）添加到现有DataFrame中。
示例数据：
import pandas as pdfrom itertools import zip_longest# 原始DataFramedf = pd.DataFrame([ ['Alex', 33, 'Male'], ['Marly', 28, 'Female'], ['Charlie', 30, 'Female'], ['Mimi', 37, 'Female'], ['James', 44, 'Male'], ['Jone', 25, 'Male']], columns=['Name', 'Age', 'Gender'])print("原始DataFrame:")print(df)# 待添加的列名list1 = ['col1', 'col2', 'col3', 'col4']# 待添加的行数据，子列表长度不一list2 = [[1, 2, 3], [2, 3], [1, 8, 4, 3], [22, 35, 32], [65], [2, 45, 55]]
我们的目标是将list1中的元素作为新的列标题，list2中的数据填充到这些新列中，其中list2中较短的子列表应使用默认值（例如0）进行填充，最终得到一个扩展后的DataFrame。
立即学习“Python免费学习笔记（深入）”；
期望结果：
Name Age Gender col1 col2 col3 col40 Alex 33 Male 1 2 3 01 Marly 28 Female 2 3 0 02 Charlie 30 Female 1 8 4 33 Mimi 37 Female 22 35 32 04 James 44 Male 65 0 0 05 Jone 25 Male 2 45 55 0
直接尝试使用 df[list1] = pd.DataFrame(list2, index=df.index) 这种方式，在list2子列表长度不一致时会遇到数据对齐问题。更重要的是，在处理大规模数据或在循环中频繁执行此类操作时，Pandas可能会发出 PerformanceWarning: DataFrame is highly fragmented 的警告。
以上就是Python Pandas：高效整合变长列表数据至DataFrame的教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1380134.html
微信扫一扫 
支付宝扫一扫 
