本教程详细介绍了如何在Pandas DataFrame中处理包含混合文本和数字的字符串列。通过使用str.extract结合正则表达式，可以高效地从字符串中提取数值，并将其转换为适当的数字类型。文章进一步演示了如何利用这些提取出的数值进行分组聚合，包括基础的总和计算以及基于其他列的条件性聚合，从而解决数据清洗和分析中的常见挑战。
在数据分析实践中，我们经常会遇到数据格式不规范的情况，例如在同一个字符串列中混合了数字和文本。当我们需要对这些数字进行计算（如求和、平均值）时，就必须先将它们精确地提取出来。pandas库提供了强大的字符串处理功能，特别是series.str.extract方法，能够结合正则表达式高效地解决这类问题。
场景描述
假设我们有一个Pandas DataFrame，其中包含产品类别（Category）、销售量（Sales）和支付状态（Paid）等信息。Sales列的数据格式不一致，例如”1 table”、”3chairs”、”8 cushions”等，数字与文本紧密相连，且文本部分也不固定。我们的目标是从Sales列中提取出纯粹的销售数字，并根据Category列进行分组求和。
首先，我们来创建示例数据：
import pandas as pdimport iodata = """Category Sales PaidTable 1 table YesChair 3chairs YesCushion 8 cushions YesTable 3Tables YesChair 12 Chairs NoMats 12Mats Yes"""df = pd.read_csv(io.StringIO(data), sep=r's{2,}', engine='python')print("原始DataFrame:")print(df)
输出：
原始DataFrame: Category Sales Paid0 Table 1 table Yes1 Chair 3chairs Yes2 Cushion 8 cushions Yes3 Table 3Tables Yes4 Chair 12 Chairs No5 Mats 12Mats Yes
使用str.extract提取数值
解决此问题的核心是使用str.extract方法，它允许我们通过正则表达式从字符串中捕获特定模式的数据。
1. 定义正则表达式
我们需要一个正则表达式来匹配字符串开头的数字。
^：匹配字符串的开始。d+：匹配一个或多个数字（0-9）。()：捕获组，表示我们想要提取这部分匹配到的内容。
因此，正则表达式为^(d+)。
2. 应用str.extract并转换类型
将正则表达式应用于Sales列，并指定expand=False以返回一个Series而不是DataFrame（因为我们只有一个捕获组）。提取出的结果将是字符串类型，需要通过astype(int)将其转换为整数类型，以便进行数学运算。
# 提取Sales列中的数字并转换为整数extracted_sales = df['Sales'].str.extract('^(d+)', expand=False).astype(int)print("n提取并转换后的销售数字:")print(extracted_sales)
输出：
提取并转换后的销售数字:0 11 32 83 34 125 12Name: Sales, dtype: int64
分组聚合：计算各类别的总销售量
现在我们已经得到了纯粹的销售数字，可以将其与原始DataFrame的Category列结合，进行分组求和。
# 计算所有项目的销售总量total_sales_per_category = extracted_sales.groupby(df['Category']).sum()print("n按类别统计的总销售量:")print(total_sales_per_category)
输出：
按类别统计的总销售量:CategoryChair 15Cushion 8Mats 12Table 4Name: Sales, dtype: int64
进阶应用：条件性分组聚合
有时，我们可能需要基于另一个列的条件来计算销售量，例如只计算已支付（Paid == ‘Yes’）的销售量。这时，我们可以先对Sales列进行条件筛选，然后再进行提取和聚合。
一种有效的做法是使用Series.where()方法。where()方法根据条件选择性地替换Series中的值。如果条件为True，则保留原始值；如果条件为False，则替换为other参数指定的值。在这里，我们希望对于Paid不为’Yes’的行，其销售量计为0。
# 只计算已支付（Paid == 'Yes'）项目的销售总量conditional_sales = ( df['Sales'] .where(df['Paid'] == 'Yes', other='0') # 如果Paid不是'Yes'，则将Sales值替换为'0' .str.extract('^(d+)', expand=False) .astype(int) .groupby(df['Category']) .sum())print("n按类别统计的已支付销售量:")print(conditional_sales)
输出：
按类别统计的已支付销售量:CategoryChair 3Cushion 8Mats 12Table 4Name: Sales', dtype: int64
在这个例子中，Chair类别的总销售量是15，但只有一条记录是Paid == ‘Yes’（3chairs），另一条（12 Chairs）是Paid == ‘No’。因此，条件性聚合后，Chair的已支付销售量变为3。
注意事项与总结
正则表达式的准确性：选择正确的正则表达式至关重要。本例中^(d+)适用于数字在字符串开头的情况。如果数字在字符串中间或末尾，或者有其他更复杂的模式，则需要调整正则表达式。例如，(d+)可以匹配字符串中任意位置的数字。expand参数：当正则表达式包含捕获组时，str.extract默认返回一个DataFrame。如果只有一个捕获组且希望结果为Series，设置expand=False会更方便。类型转换：str.extract提取出的内容总是字符串类型。在进行数值计算前，务必使用astype(int)、astype(float)等方法将其转换为合适的数值类型。错误处理：如果str.extract未能匹配到任何数字，它会返回NaN。尝试将NaN转换为整数会引发错误。在实际应用中，可能需要先用fillna(0)或其他策略处理NaN值，或使用pd.to_numeric(errors=’coerce’)来更稳健地处理转换失败的情况。where()的妙用：Series.where()是一个非常强大的工具，可以在不改变DataFrame结构的前提下，根据条件灵活地修改Series中的值，为后续操作（如本例中的条件性聚合）奠定基础。
通过本教程，我们学习了如何利用Pandas的str.extract方法结合正则表达式，有效地从混合字符串列中提取数值，并进行灵活的分组聚合。掌握这些技巧，将大大提升您在数据清洗和预处理方面的效率和能力。
以上就是Pandas数据清洗：从混合字符串列中提取数值并进行分组聚合的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1371336.html
微信扫一扫 
支付宝扫一扫 
