本教程详细介绍了如何在Pandas DataFrame中处理包含数字和文本的混合字符串列。针对数据格式不一致的问题，我们将利用str.extract结合正则表达式高效地提取数值，并进行类型转换，最终实现按类别分组汇总销售额。文章还将演示如何进行条件性聚合，以应对更复杂的业务需求，帮助用户有效清洗和分析非结构化数据。
数据清洗挑战：从混合字符串中提取数值
在数据分析实践中，我们经常会遇到数据格式不一致的问题。例如，在pandas dataframe的某一列中，数值可能与描述性文本混合在一起，且格式不统一。这给直接的数值计算和聚合带来了挑战。考虑以下示例数据：
import pandas as pdimport iodata = """Category Sales PaidTable 1 table YesChair 3chairs YesCushion 8 cushions YesTable 3Tables YesChair 12 Chairs NoMats 12Mats Yes"""df = pd.read_csv(io.StringIO(data), sep=r's+')print(df)
输出：
Category Sales Paid0 Table 1 table Yes1 Chair 3chairs Yes2 Cushion 8 cushions Yes3 Table 3Tables Yes4 Chair 12 Chairs No5 Mats 12Mats Yes
如上所示，Sales列中的销售数量与单位（如”table”, “chairs”）混合，且格式不固定（例如”3chairs”和”12 Chairs”）。我们的目标是从Sales列中提取纯数字，然后按Category列进行分组汇总。
核心工具：pandas.Series.str.extract
Pandas提供了强大的字符串操作方法，其中str.extract()是处理此类问题的理想工具。它允许我们使用正则表达式从字符串中提取匹配的模式，并将其转换为新的列或Series。
逐步实现：提取与汇总
1. 准备数据
首先，确保我们有上述的DataFrame df。
2. 提取所有销售额并按类别汇总
为了从Sales列中提取数字，我们可以使用正则表达式^(d+)。
^：匹配字符串的开始。d+：匹配一个或多个数字。()：捕获组，表示我们想要提取这部分内容。
str.extract(pattern, expand=False)方法将返回一个Series，其中包含匹配到的数字。expand=False参数确保返回一个Series而不是DataFrame。
提取数字后，需要将其转换为整数类型（astype(int)），以便进行数学运算。最后，我们可以使用groupby()和sum()方法按Category汇总。
# 提取数字并转换为整数extracted_sales = df['Sales'].str.extract('^(d+)', expand=False).astype(int)print("提取的销售额数字：")print(extracted_sales)# 按类别汇总所有销售额total_sales_per_category = extracted_sales.groupby(df['Category']).sum()print("n按类别汇总的所有销售额：")print(total_sales_per_category)
输出：
提取的销售额数字：0 11 32 83 34 125 12Name: Sales, dtype: int64按类别汇总的所有销售额：CategoryChair 15Cushion 8Mats 12Table 4Name: Sales, dtype: int64
从中间结果可以看出，extracted_sales成功地从原始的混合字符串中提取了纯数字。最终的汇总结果清晰地展示了每个类别的总销售额。
3. 实现条件性汇总：仅统计已支付项
有时，我们可能需要根据其他列的条件来汇总数据。例如，我们只想统计Paid列为’Yes’的销售额。在这种情况下，我们可以结合where()方法。
df[‘Sales’].where(df[‘Paid’] == ‘Yes’, other=’0′) 的作用是：
如果Paid列的值为’Yes’，则保留原始Sales列的值。如果Paid列的值不为’Yes’（例如’No’），则将Sales列的对应值替换为字符串’0’。这样处理后，即使原始Sales列中包含非数字字符，str.extract也能从替换后的’0’中提取数字0，从而正确地参与后续的求和。
# 仅统计已支付项的销售额paid_sales_per_category = ( df['Sales'] .where(df['Paid'] == 'Yes', other='0') # 将未支付项的销售额替换为'0' .str.extract('^(d+)', expand=False) .astype(int) .groupby(df['Category']) .sum())print("n按类别汇总的已支付销售额：")print(paid_sales_per_category)
输出：
按类别汇总的已支付销售额：CategoryChair 3Cushion 8Mats 12Table 4Name: Sales, dtype: int64
通过这种方式，我们成功地实现了条件性汇总，仅计算了已支付的销售额。
关键概念解析
pandas.Series.str.extract(pattern, expand=False): 这是本教程的核心。它利用正则表达式的强大功能，从Series中的每个字符串元素中提取匹配的子字符串。expand=False确保返回一个Series，而不是一个包含单列的DataFrame。正则表达式 ^(d+):^：匹配字符串的开头。这很重要，因为它确保我们只提取字符串开头的数字，而不是中间或末尾的数字。d+：匹配一个或多个数字（0-9）。()：捕获组。str.extract会提取括号内匹配到的内容。.astype(int): 将提取到的字符串数字转换为整数类型。这是进行数学运算（如求和）的必要步骤。如果提取结果中包含NaN（表示没有匹配到数字），astype(int)会报错。在这种情况下，可能需要先使用fillna(0)等方法处理NaN。pandas.Series.where(condition, other): 根据指定的条件有选择地替换Series中的值。如果条件为True，则保留原值；如果条件为False，则替换为other指定的值。这在进行条件性数据预处理时非常有用。.groupby().sum(): Pandas中进行分组聚合的标准操作。它首先根据指定列（如Category）对数据进行分组，然后对每个组应用聚合函数（如sum()）。
注意事项与最佳实践
正则表达式的准确性: 正则表达式是str.extract功能的关键。确保你的正则表达式能够准确匹配你想要提取的数字模式，并处理可能的变体。如果数字不在字符串开头，你需要调整正则表达式，例如使用(d+)匹配任意位置的数字，或更精确的模式。NaN值的处理: 如果str.extract没有找到匹配项，它将返回NaN。在尝试使用astype(int)之前，你可能需要处理这些NaN值，例如使用fillna(0)将其替换为0，或者使用dropna()删除包含NaN的行。
# 示例：处理NaNdf_with_nan_sales = pd.DataFrame({'Sales': ['1 table', 'no sales', '5 chairs']})extracted = df_with_nan_sales['Sales'].str.extract('^(d+)', expand=False)print("包含NaN的提取结果:n", extracted)# 在转换前填充NaNconverted = extracted.fillna('0').astype(int)print("填充NaN并转换后的结果:n", converted)
性能考虑: 对于非常大的数据集，str.extract结合正则表达式通常是高效的。但在极端情况下，如果正则表达式非常复杂或数据量极大，可能需要考虑其他基于C语言实现的解析库或更优化的字符串处理方法。数据一致性: 尽可能在数据采集阶段就保证数据格式的一致性，这将大大减少后期数据清洗的工作量。
总结
本教程演示了如何利用Pandas的str.extract()方法结合正则表达式，有效地从格式不一致的混合字符串列中提取数值，并进行分组聚合。通过这种方法，我们不仅能够解决常见的数据清洗难题，还能进一步实现基于条件的复杂数据分析。掌握这些技巧将显著提升你在Pandas中处理和分析非结构化数据的能力。
以上就是Pandas中从混合字符串列提取数字并进行聚合的教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1371376.html
微信扫一扫 
支付宝扫一扫 
