本教程详细介绍了如何使用Pandas库对数据进行高效处理。我们将学习如何根据特定条件（如NaN值）筛选DataFrame中的行，并在此基础上，按多个维度（如空间维度和时间维度）进行分组，最终统计满足条件的记录数量。通过实际代码示例，帮助读者掌握数据清洗、筛选和聚合的关键技巧，提升数据分析能力。
在数据分析和处理中，我们经常需要从大型数据集中提取满足特定条件的数据，并对这些数据进行聚合统计。例如，在一个包含各种维度信息的数据表中，我们可能需要找出某个特定数值列为缺失值（nan）的所有记录，然后按不同的维度（如地理区域和时间）进行分组，并计算每个分组中符合条件的记录数量。pandas库提供了强大而灵活的功能来高效地完成这类任务。
Pandas核心操作：筛选与分组计数
要实现上述需求，主要涉及Pandas的两个核心操作：条件筛选（Boolean indexing）和分组聚合（groupby()）。
1. 数据准备
首先，我们需要一个示例数据集。假设我们有一个CSV文件，名为space.csv，其内容如下：
Id,SpatialDimType,SpatialDim,TimeDim,Value,NumericValue,Low,High32256659,COUNTRY,AND,2022,No data,,,32256659,COUNTRY,AND,2022,No data,,,32256659,COUNTRY,AND,2023,No data,,,32256661,COUNTRY,ATG,2022,No data,,,32256664,COUNTRY,AUS,2001,No data,,,32256664,COUNTRY,AUS,2001,No data,,,32256664,COUNTRY,AUS,2001,No data,,,32256664,COUNTRY,AUS,2004,No data,,,32256664,COUNTRY,AUS,2004,No data,,,32256665,COUNTRY,AUT,2004,No data,,,
请注意，NumericValue列中存在缺失值（在CSV中表现为空白，Pandas读取时会识别为NaN）。
2. 实现筛选与分组计数
以下是使用Pandas实现上述数据处理逻辑的Python代码：
import pandas as pd# 1. 加载数据# 假设 space.csv 文件与脚本在同一目录下df = pd.read_csv('./space.csv')# 2. 条件筛选：过滤出 'NumericValue' 列为 NaN 的行# df['NumericValue'].isna() 会返回一个布尔序列，True表示NaN，False表示非NaNfiltered_df = df[df['NumericValue'].isna()]# 3. 多维度分组与计数：# 对筛选后的数据按 'SpatialDim' 和 'TimeDim' 两列进行分组# .size() 计算每个分组中的行数（即计数）# .reset_index(name='count') 将分组键（SpatialDim, TimeDim）和计数结果转换为DataFrame的列result_df = filtered_df.groupby( by=['SpatialDim', 'TimeDim']).size().reset_index(name='count')# 4. 打印结果print(result_df)
运行上述代码，将得到如下输出：
SpatialDim TimeDim count0 AND 2022 21 AND 2023 12 ATG 2022 13 AUS 2001 34 AUS 2004 25 AUT 2004 1
这个结果清晰地展示了每个SpatialDim和TimeDim组合下，NumericValue为NaN的记录数量。
代码详解与原理
pd.read_csv(‘./space.csv’): 这是读取CSV文件到Pandas DataFrame的标准方法。Pandas会自动识别并处理常见的缺失值表示（如空字符串、NA等）为NaN。df[‘NumericValue’].isna(): isna()是Pandas Series（列）和DataFrame对象的一个方法，用于检测数据中的缺失值（NaN）。它返回一个布尔型Series，其中缺失值对应的位置为True，非缺失值为False。df[df[‘NumericValue’].isna()]: 这是一种称为布尔索引（Boolean Indexing）的筛选方式。我们将布尔Series作为索引传递给DataFrame，Pandas会返回所有对应布尔值为True的行。.groupby(by=[‘SpatialDim’, ‘TimeDim’]): 这是Pandas中进行分组操作的核心。by参数接受一个列名或列名列表，表示要依据哪些列进行分组。在这里，我们根据SpatialDim和TimeDim的唯一组合来创建分组。.size(): 在groupby对象上调用.size()方法会计算每个分组中元素的数量。它返回一个Series，其索引是分组键的组合。.reset_index(name=’count’): size()方法返回的Series，其索引是多层索引（MultiIndex），由SpatialDim和TimeDim组成。.reset_index()方法可以将这些索引层转换为普通的列。name=’count’参数用于指定新生成的计数列的名称。
拓展与注意事项
其他筛选条件: 除了isna()，你还可以使用其他条件进行筛选，例如：df[df[‘NumericValue’] > 10]：筛选NumericValue大于10的行。df[df[‘SpatialDim’] == ‘AND’]：筛选SpatialDim为’AND’的行。df[(df[‘TimeDim’] >= 2000) & (df[‘TimeDim’] 其他聚合函数: 除了.size()（计数），groupby对象还支持多种聚合函数，例如：.count()：计算每个分组中非NaN值的数量。.sum()：计算每个分组中数值列的总和。.mean()：计算每个分组中数值列的平均值。.min() / .max()：计算最小值/最大值。.agg()：允许同时应用多个聚合函数。链式操作: 在实际代码中，为了提高可读性和简洁性，可以将筛选和分组操作进行链式调用，如：
result_df = df[df['NumericValue'].isna()].groupby( by=['SpatialDim', 'TimeDim']).size().reset_index(name='count')
性能考量: 对于非常大的数据集，groupby操作的性能至关重要。Pandas的底层实现经过优化，通常效率很高。但在处理亿级数据时，可能需要考虑更高级的优化策略，如使用Dask或PySpark等分布式计算框架。
总结
本教程详细演示了如何利用Pandas库的强大功能，通过条件筛选和多维度分组聚合，从复杂数据集中提取有价值的信息。掌握isna()、布尔索引、groupby()以及各种聚合函数的使用，是进行高效数据清洗、探索和分析的关键技能。通过灵活运用这些方法，可以应对各种数据处理挑战，从原始数据中洞察模式和趋势。
以上就是Pandas数据处理：基于条件筛选并按多维度分组计数的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1365757.html
微信扫一扫 
支付宝扫一扫 
