本教程详细介绍了如何使用Pandas库对DataFrame数据进行条件筛选和分组聚合。通过一个具体案例，演示了如何筛选出特定列（如NumericValue）为NaN的行，并在此基础上，按指定维度（如SpatialDim和TimeDim）进行分组，最终统计每组的记录数量，从而高效地从原始数据集中提取有价值的统计信息。
在数据分析领域，从大型数据集中提取特定信息是常见的任务。这通常涉及两个核心操作：首先，根据某个或多个条件筛选出符合要求的行；其次，对筛选后的数据进行分组，并计算每个组的统计量，例如计数、平均值或总和。本文将以一个具体的场景为例，详细阐述如何利用python的pandas库高效地完成这些操作，特别是当条件涉及到缺失值（nan）时。
1. 数据准备
首先，我们需要一个示例数据集来演示操作。假设我们有一个包含地理空间、时间维度和数值的数据集，其中部分数值可能为缺失值。为了便于演示，我们将创建一个模拟的CSV文件并加载它。
示例数据 (space.csv):
Id,SpatialDimType,SpatialDim,TimeDim,Value,NumericValue,Low,High32256659,COUNTRY,AND,2022,No data,,,32256659,COUNTRY,AND,2022,No data,,,32256659,COUNTRY,AND,2023,No data,,,32256661,COUNTRY,ATG,2022,No data,,,32256664,COUNTRY,AUS,2001,No data,,,32256664,COUNTRY,AUS,2001,No data,,,32256664,COUNTRY,AUS,2001,No data,,,32256664,COUNTRY,AUS,2004,No data,,,32256664,COUNTRY,AUS,2004,No data,,,32256665,COUNTRY,AUT,2004,No data,,,
使用Pandas加载数据：
import pandas as pd# 假设 space.csv 文件已存在于当前目录df = pd.read_csv('./space.csv', sep=',')print("原始DataFrame:")print(df)print("n")
2. 条件筛选：识别缺失值
我们的目标是找出 NumericValue 列为缺失值（NaN）的所有记录。Pandas提供了 isna() 方法来方便地检测缺失值。
# 筛选 NumericValue 列为 NaN 的行df_filtered = df[df['NumericValue'].isna()]print("筛选后DataFrame (NumericValue为NaN的行):")print(df_filtered)print("n")
df[‘NumericValue’].isna() 会返回一个布尔型Series，其中 NumericValue 为NaN的对应位置为 True，否则为 False。将这个布尔Series作为索引传递给DataFrame，即可筛选出满足条件的行。
3. 分组聚合与计数
在筛选出 NumericValue 为NaN的行之后，我们需要根据 SpatialDim 和 TimeDim 这两列进行分组，并计算每个组的记录数量。
Pandas的 groupby() 方法用于分组，然后可以使用 size() 或 count() 进行聚合。
size()：返回每个组中的行数，包括NaN值。count()：返回每个组中非NaN值的数量。由于我们已经筛选出了 NumericValue 为NaN的行，此时 size() 更适合用于统计每组的总记录数。
# 对筛选后的数据按 SpatialDim 和 TimeDim 分组，并计算每组的数量# .size() 返回一个Series，其索引是分组键# .reset_index(name='count') 将索引转换为列，并给计数列命名为 'count'result_df = df_filtered.groupby( by=['SpatialDim', 'TimeDim']).size().reset_index(name='count')print("最终结果 (SpatialDim, TimeDim 组合的计数):")print(result_df)
完整示例代码：
将上述步骤整合到一起，得到最终的解决方案代码：
import pandas as pd# 假设 space.csv 文件已存在于当前目录# 如果没有，可以手动创建或使用以下数据# data = {# 'Id': [32256659, 32256659, 32256659, 32256661, 32256664, 32256664, 32256664, 32256664, 32256664, 32256665],# 'SpatialDimType': ['COUNTRY']*10,# 'SpatialDim': ['AND', 'AND', 'AND', 'ATG', 'AUS', 'AUS', 'AUS', 'AUS', 'AUS', 'AUT'],# 'TimeDim': [2022, 2022, 2023, 2022, 2001, 2001, 2001, 2004, 2004, 2004],# 'Value': ['No data']*10,# 'NumericValue': [float('nan')]*10, # 模拟所有NumericValue为NaN# 'Low': ['']*10,# 'High': ['']*10# }# df = pd.DataFrame(data)df = pd.read_csv('./space.csv', sep=',')# 1. 筛选 NumericValue 列为 NaN 的行# 2. 对筛选后的数据按 SpatialDim 和 TimeDim 分组# 3. 使用 .size() 计算每个组的行数# 4. 使用 .reset_index(name='count') 将结果转换为DataFrame，并重命名计数列df_result = df[df['NumericValue'].isna()].groupby( by=['SpatialDim', 'TimeDim']).size().reset_index(name='count')print(df_result)
运行结果：
SpatialDim TimeDim count0 AND 2022 21 AND 2023 12 ATG 2022 13 AUS 2001 34 AUS 2004 25 AUT 2004 1
注意事项与最佳实践
缺失值检测： 除了 isna()，Pandas还提供了 isnull() 方法，它们的功能是相同的，可以互换使用。对于非数值型数据，有时缺失值可能表示为 ‘No data’、空字符串 ” 或 ‘None’ 等。在进行筛选前，可能需要先将这些特定字符串转换为真正的 NaN，例如使用 df.replace(‘No data’, pd.NA) 或 df.replace(”, pd.NA)。size() 与 count() 的选择：groupby().size()：计算每个组的行数，无论这些行中是否有NaN值。它返回一个Series，其索引是分组键。groupby()[‘column’].count()：计算每个组中指定列的非NaN值的数量。在我们的场景中，由于已经筛选出了 NumericValue 为NaN的行，我们关心的是 SpatialDim 和 TimeDim 组合的记录总数，因此 size() 是更合适的选择。链式操作： Pandas支持链式操作，可以将多个操作连接起来，使代码更简洁易读。例如，本教程中的解决方案就是通过链式调用 [] (筛选)、groupby()、size() 和 reset_index() 来完成的。性能考虑： 对于非常大的数据集，链式操作通常是高效的，因为Pandas内部会进行优化。然而，在某些极端情况下，如果中间结果集非常庞大，考虑分步执行或使用更高级的优化技术（如Dask或PySpark）可能更合适。
总结
通过本教程，我们学习了如何利用Pandas库进行高效的数据筛选和分组聚合。关键步骤包括使用 isna() 进行缺失值条件筛选，以及利用 groupby() 结合 size() 进行分组计数。这种组合操作在数据清洗、探索性数据分析和生成汇总报告中非常常见且实用，是每个数据分析师和科学家必备的技能。掌握这些技术将大大提高处理和理解数据的能力。
以上就是使用Pandas进行条件筛选与分组计数：以NaN值处理为例的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1365755.html
微信扫一扫 
支付宝扫一扫 
