本文深入探讨了Pandas中pivot_table在处理包含缺失值（NaN）的索引列时可能导致数据聚合不完整的问题。通过对比pivot_table与groupby().agg()的功能和行为，文章指出pivot_table会默认丢弃索引列中含有NaN的行。教程提供了使用groupby().agg()作为更灵活、更鲁棒的替代方案，并详细解释了如何通过指定不同列的聚合函数（包括非数值列）来确保所有相关数据被正确汇总，从而避免聚合结果不准确。
1. pivot_table聚合的局限性：索引中的NaN值
在数据分析中，我们经常需要对数据进行汇总和聚合。pandas库提供了pivot_table和groupby().agg()等强大工具。然而，在使用pivot_table时，一个常见的陷阱是当其index参数指定的列中包含缺失值（nan）时，这些行会被隐式地丢弃，导致最终的聚合结果不完整。
考虑以下示例数据集：
import pandas as pdimport numpy as npdata = { 'id': [101, 101, 101, 201, 201, 201, 201, 201], 'name': ['India', 'India', 'India', 'Kenya', 'Kenya', np.nan, np.nan, np.nan], 'start_date': ['2023-06-06', '2023-06-06', '2023-06-06', '2023-09-15', '2023-09-15', np.nan, np.nan, np.nan], 'clicks': [1, 2, 1, 5, 2, np.nan, np.nan, np.nan], 'conversions': [4, 5, 6, 8, 1, np.nan, np.nan, np.nan], 'installs': [0, 0, 0, 0, 0, np.nan, np.nan, np.nan], 'downloads': [np.nan, np.nan, np.nan, np.nan, np.nan, 10, 5, 4]}df = pd.DataFrame(data)df['start_date'] = pd.to_datetime(df['start_date']) # 确保日期格式print("原始DataFrame:")print(df.to_markdown(index=False))
原始DataFrame:
| id | name | start_date | clicks | conversions | installs | downloads ||---:|:-----|:-----------|-------:|------------:|---------:|----------:|| 101 | India | 2023-06-06 | 1 | 4 | 0 | nan || 101 | India | 2023-06-06 | 2 | 5 | 0 | nan || 101 | India | 2023-06-06 | 1 | 6 | 0 | nan || 201 | Kenya | 2023-09-15 | 5 | 8 | 0 | nan || 201 | Kenya | 2023-09-15 | 2 | 1 | 0 | nan || 201 | nan | NaT | nan | nan | nan | 10 || 201 | nan | NaT | nan | nan | nan | 5 || 201 | nan | NaT | nan | nan | nan | 4 |
我们尝试使用pivot_table对数据进行聚合，以id, name, start_date作为索引，并对clicks, conversions, installs, downloads进行求和：
pivot_df = pd.pivot_table( df, index=['id','name','start_date'], aggfunc={'clicks': 'sum','conversions': 'sum','installs': 'sum', 'downloads': 'sum'})print("npivot_table聚合结果:")print(pivot_df.to_markdown())
pivot_table聚合结果:
| id | name | start_date | clicks | conversions | installs | downloads ||---:|:-----|:-----------|-------:|------------:|---------:|----------:|| 101 | India | 2023-06-06 | 4 | 15 | 0 | 0 || 201 | Kenya | 2023-09-15 | 7 | 9 | 0 | 0 |
观察id=201的downloads列，其聚合结果为0。然而，在原始数据中，id=201存在三条downloads值为10, 5, 4的记录，总和应为19。pivot_table之所以返回0，是因为这三条记录的name和start_date列为NaN（或NaT，Pandas中的日期时间缺失值），而这些列被指定为pivot_table的索引。pivot_table在构建索引时，会默认丢弃所有索引列中包含缺失值的行。
2. 使用 groupby().agg() 进行灵活聚合
为了解决pivot_table因索引缺失值导致数据丢失的问题，groupby().agg()提供了更强大的灵活性和控制。它允许我们按指定的列进行分组，然后对每个分组内的不同列应用不同的聚合函数，而不会因为非分组列的缺失值而丢弃整行。
以下是使用groupby().agg()实现正确聚合的代码：
out_df = (df.groupby('id', as_index=False) .agg({'name': 'first', 'start_date': 'first', 'clicks': 'sum', 'conversions': 'sum', 'installs': 'sum', 'downloads': 'sum'}) )print("ngroupby().agg()聚合结果:")print(out_df.to_markdown(index=False))
groupby().agg()聚合结果:
| id | name | start_date | clicks | conversions | installs | downloads ||---:|:-----|:-----------|-------:|------------:|---------:|----------:|| 101 | India | 2023-06-06 | 4 | 15 | 0 | 0 || 201 | Kenya | 2023-09-15 | 7 | 9 | 0 | 19 |
现在，id=201的downloads列正确地显示为19。
3. groupby().agg() 详解
让我们深入理解groupby().agg()的工作原理：
df.groupby(‘id’, as_index=False):
groupby(‘id’)：首先，我们将DataFrame按照id列进行分组。这意味着所有具有相同id的行将被视为一个组。as_index=False：这个参数很重要。如果设置为True（默认值），id列将成为结果DataFrame的索引。设置为False则id列会作为普通列保留在结果中，使得输出更接近原始的表格结构，也方便后续操作。
.agg({…}):
agg()方法用于对每个分组应用一个或多个聚合函数。它接收一个字典作为参数，字典的键是需要聚合的列名，值是应用于该列的聚合函数（可以是字符串形式的函数名，如’sum’, ‘mean’, ‘first’，也可以是函数对象）。数值列聚合: 对于clicks, conversions, installs, downloads等数值列，我们使用’sum’来计算它们的总和。agg()会自动忽略这些列中的NaN值进行求和，这正是我们期望的行为。非数值列处理: 对于name和start_date这类非数值列，它们不是我们希望求和的对象，但我们仍希望在聚合结果中保留它们的信息。在这种情况下，我们可以使用聚合函数如’first’、’last’、’min’、’max’等。’first’：返回分组内该列的第一个非NaN值。在我们的示例中，对于id=101，name和start_date的值都是一致的，所以’first’能正确获取。对于id=201，尽管有几行name和start_date是NaN，但前几行有有效值（’Kenya’, ‘2023-09-15’），’first’会获取这些有效值。如果一个组内的所有值都是NaN，那么’first’也会返回NaN。
4. 注意事项与总结
选择合适的工具: 当聚合操作的索引列可能包含缺失值，并且你希望所有相关数据（包括那些索引列有缺失值的行）都能被纳入计算时，groupby().agg()通常是比pivot_table更安全、更灵活的选择。pivot_table的适用场景: pivot_table更适合于将数据重塑为交叉表形式，通常用于所有索引和列都具有明确且不含缺失值的场景。它在生成汇总报告或进行多维分析时非常有用，但对索引中NaN的处理需要特别注意。处理非数值列: 在groupby().agg()中，对于非数值列，务必选择一个合适的聚合函数（如’first’, ‘last’, ‘min’, ‘max’, ‘nunique’等），以确保在聚合过程中保留有意义的信息。如果一个组内的非数值列有多个不同的有效值，’first’或’last’将只取其中一个，这可能需要根据业务逻辑来决定。性能: 对于大规模数据集，groupby().agg()在某些情况下可能比pivot_table更高效，因为它避免了pivot_table内部可能涉及的额外重塑逻辑。
通过理解pivot_table和groupby().agg()在处理缺失值方面的不同行为，我们可以更准确、更高效地完成Pandas中的数据聚合任务，避免因工具选择不当而导致的数据分析错误。
以上就是Pandas数据聚合：解决pivot_table因索引缺失值导致数据不全的问题的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1374848.html
微信扫一扫 
支付宝扫一扫 
