本教程将详细介绍如何在Pandas数据帧中处理包含混合文本和数字的列。我们将学习如何利用str.extract结合正则表达式高效地从字符串中提取数值，并通过groupby方法对提取出的数据进行分组求和。文章还将涵盖条件性聚合的实现，帮助读者掌握清洗和分析复杂数据列的关键技巧。
在数据分析实践中，我们经常会遇到pandas数据帧中的某一列包含混合了文本和数字的数据，且格式不统一。例如，一个“销售额”列可能包含“1 table”、“3chairs”、“8 cushions”等多种表达方式。直接对这样的列进行数值计算（如求和）是不可行的。本教程旨在解决这一常见问题，展示如何从这些复杂字符串中准确提取数字，并根据其他列进行分组聚合。
准备数据
首先，我们创建一个示例Pandas DataFrame来模拟上述场景：
import pandas as pdimport iodata = """Category Sales PaidTable 1 table YesChair 3chairs YesCushion 8 cushions YesTable 3Tables YesChair 12 Chairs NoMats 12Mats Yes"""df = pd.read_csv(io.StringIO(data), sep='s+')print("原始数据帧:")print(df)
输出的原始数据帧如下：
原始数据帧: Category Sales Paid0 Table 1 table Yes1 Chair 3chairs Yes2 Cushion 8 cushions Yes3 Table 3Tables Yes4 Chair 12 Chairs No5 Mats 12Mats Yes
可以看到，Sales列中的数字和文本混杂，且格式不一致。我们的目标是从Sales列中提取纯数字，然后按Category列进行分组求和。
核心方法：使用 str.extract 提取数字
Pandas Series对象提供了一系列强大的字符串方法，其中str.extract()是处理复杂字符串提取的利器。它结合正则表达式，能够从字符串中捕获特定模式的子串。
要从Sales列中提取开头的数字，我们可以使用正则表达式^(d+)：
^：匹配字符串的开头。d+：匹配一个或多个数字（0-9）。()：创建一个捕获组，str.extract将返回这个捕获组的内容。
str.extract(pattern, expand=False) 会将匹配到的内容作为Series返回，如果设置为expand=True（默认值），则会返回一个DataFrame。在这里，我们只需要一个Series，所以使用expand=False。
# 提取Sales列中的数字extracted_numbers = df['Sales'].str.extract('^(d+)', expand=False)print("n提取出的数字（字符串形式）:")print(extracted_numbers)
输出结果：
提取出的数字（字符串形式）:0 11 32 83 34 125 12Name: Sales, dtype: object
此时，提取出的数字仍然是字符串类型（dtype: object）。为了进行数值计算，我们需要将其转换为整数类型。
# 将提取出的数字转换为整数sales_numbers = extracted_numbers.astype(int)print("n转换为整数类型后的销售数字:")print(sales_numbers)
输出结果：
转换为整数类型后的销售数字:0 11 32 83 34 125 12Name: Sales, dtype: int64
分组聚合：计算每个类别的总销售额
有了纯数字的销售额Series，我们现在可以结合Category列进行分组求和了。
# 按Category分组并求和所有销售额total_sales_per_category = sales_numbers.groupby(df['Category']).sum()print("n每个类别的总销售额:")print(total_sales_per_category)
输出结果：
每个类别的总销售额:CategoryChair 15Cushion 8Mats 12Table 4Name: Sales, dtype: int64
这里，Chair的总销售额是 3 + 12 = 15，Table的总销售额是 1 + 3 = 4，这与我们的预期相符。
进阶应用：条件性分组聚合
有时，我们可能需要根据额外的条件进行聚合。例如，只计算Paid列为Yes的销售额。
为了实现条件性聚合，我们可以在提取数字之前，先根据条件对Sales列进行预处理。对于Paid列为No的行，我们可以将Sales值替换为’0’。这样，即使这些行的原始Sales值包含数字，它们在提取和转换后也会变为0，从而不影响最终的求和结果。
# 只计算Paid为'Yes'的销售额paid_sales_numbers = ( df['Sales'] .where(df['Paid'] == 'Yes', other='0') # 如果Paid不是'Yes'，则将Sales列的值替换为'0' .str.extract('^(d+)', expand=False) .astype(int) .groupby(df['Category']) .sum())print("n每个类别的已支付销售额:")print(paid_sales_numbers)
输出结果：
每个类别的已支付销售额:CategoryChair 3Cushion 8Mats 12Table 4Name: Sales, dtype: int64
在这个例子中，Chair类别的总销售额从15降至3，因为其中一笔“12 Chairs”的销售其Paid状态为No，在计算时被忽略（或计为0）。
注意事项与总结
正则表达式的灵活性： str.extract 的强大之处在于其与正则表达式的结合。本教程使用了简单的^(d+)来匹配开头的数字，但如果数字出现在字符串的其他位置（例如“Item_123Count”），您需要调整正则表达式（如`(d+)_`）。数据类型转换： str.extract 提取的结果默认是字符串类型。在进行数值计算前，务必使用astype(int)或astype(float)将其转换为合适的数值类型。处理非匹配项： 如果str.extract没有找到匹配项，它将返回NaN。在尝试astype(int)时，NaN会导致错误。在使用astype(int)之前，您可能需要使用fillna(0)或其他策略来处理这些NaN值。在条件性聚合的例子中，我们巧妙地使用了where(…, other=’0′)来避免NaN，确保所有值都能转换为整数。expand=False 的作用： str.extract 默认返回一个DataFrame。当正则表达式中只有一个捕获组，并且我们希望结果是一个Series时，设置expand=False会更简洁方便。
通过本教程，您应该掌握了如何利用Pandas的str.extract方法结合正则表达式，从包含混合文本和数字的列中提取所需的数值信息，并进一步进行分组聚合。这些技巧对于数据清洗和预处理至关重要，能帮助您更高效地分析复杂数据集。
以上就是Pandas中从混合字符串列提取数字并进行分组聚合的教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1371308.html
微信扫一扫 
支付宝扫一扫 
