本教程详细介绍了如何在Pandas DataFrame中对包含不规范字符的字符串列进行标准化处理，特别是通过使用Python的正则表达式（re模块）清除特殊符号、数字和多余空格。通过将清理函数应用于目标列，我们可以有效地统一数据条目，从而确保后续的groupby和聚合操作（如求和）能够准确无误地进行，最终获得期望的汇总结果。
问题背景：不规范数据对聚合的影响
在数据分析中，我们经常需要对数据进行分组聚合操作，例如计算不同类别的总和。然而，原始数据往往存在不一致性，尤其是在字符串列中。例如，同一个实体的名称可能因为包含括号、连字符、数字或多余的空格而以多种形式出现（如 “michael” 和 “michael ()”）。当直接对这样的列进行 groupby 操作时，pandas 会将这些看似相似但字符不同的条目视为独立的组，导致聚合结果不准确。
考虑以下示例数据：
Michael3Michael ()4Sarah – (0)5Sarah5
如果直接对 Name 列进行分组求和，输出将与原始表相同，因为 “Michael” 和 “Michael ()” 被视为两个不同的名称。我们的目标是清除 Name 列中的不规范字符，使 “Michael ()” 变为 “Michael”，”Sarah – (0)” 变为 “Sarah”，从而实现正确的聚合。
核心工具：正则表达式 (re模块)
解决此类问题的关键在于对字符串进行标准化处理。Python 的 re 模块提供了强大的正则表达式功能，可以高效地查找和替换字符串中的特定模式。
1. 移除特殊字符和数字
我们可以使用 re.sub() 函数来替换字符串中匹配特定模式的部分。为了只保留字母和空格，我们可以使用正则表达式模式 [^A-Za-z ]+。
[^…]: 匹配不在括号内的任何字符。A-Za-z: 匹配所有大写和小写英文字母。` `: 匹配空格字符。+: 匹配前一个字符或组一次或多次。
因此，[^A-Za-z ]+ 表示匹配除英文字母和空格之外的任何字符，并将其替换为空字符串。
import re# 示例字符串string1 = 'Sarah - (0)'string2 = 'Michael ()'# 使用正则表达式移除特殊字符和数字clean_string1 = re.sub(r'[^A-Za-z ]+', '', string1)clean_string2 = re.sub(r'[^A-Za-z ]+', '', string2)print(f"'{string1}' 清理后: '{clean_string1}'") # 输出: 'Sarah 'print(f"'{string2}' 清理后: '{clean_string2}'") # 输出: 'Michael '
2. 结合 strip() 清除首尾空格
经过正则表达式处理后，字符串中可能会留下多余的空格，尤其是在原始特殊字符的位置。例如，’Sarah – (0)’ 变为 ‘Sarah ‘。为了进一步规范化，我们可以使用字符串的 strip() 方法来移除字符串开头和结尾的所有空白字符（包括空格、制表符、换行符等）。
# 结合 re.sub 和 stripstring = 'Sarah - (0)'clean_string = re.sub(r'[^A-Za-z ]+', '', string).strip()print(f"'{string}' 最终清理后: '{clean_string}'") # 输出: 'Sarah'
Pandas DataFrame中的应用
将上述字符串清理逻辑应用于 Pandas DataFrame 的列，是实现数据标准化的关键步骤。
1. 定义清理函数
首先，我们将清理逻辑封装成一个函数，以便于在 DataFrame 中调用。
import redef clean_name(name_str): """ 清理名称字符串，移除特殊字符、数字，并去除首尾空格。 """ if isinstance(name_str, str): # 确保输入是字符串类型 # 移除除字母和空格外的所有字符 cleaned = re.sub(r'[^A-Za-z ]+', '', name_str) # 去除首尾空格 return cleaned.strip() return name_str # 如果不是字符串，则原样返回
2. 使用 .apply() 方法作用于列
Pandas DataFrame 的 apply() 方法允许我们将一个函数应用于 Series（即 DataFrame 的列）的每个元素。
import pandas as pd# 原始数据data = { 'Name': ['Michael', 'Michael ()', 'Sarah - (0)', 'Sarah'], 'Fee': [3, 4, 5, 5]}df = pd.DataFrame(data)print("原始 DataFrame:")print(df)# 应用清理函数到 'Name' 列df['Name_Cleaned'] = df['Name'].apply(clean_name)print("n清理后的 DataFrame (新增 'Name_Cleaned' 列):")print(df)
此时，DataFrame 将会有一个新的列 Name_Cleaned，其中包含标准化后的名称。
Michael3MichaelMichael ()4MichaelSarah – (0)5SarahSarah5Sarah
3. 执行分组聚合
现在，我们可以使用清理后的 Name_Cleaned 列进行 groupby 操作并求和。
# 使用清理后的列进行分组聚合df_grouped = df.groupby('Name_Cleaned')['Fee'].sum().reset_index()print("n分组聚合后的结果:")print(df_grouped)
最终输出将是期望的结果：
Michael7Sarah10
完整示例代码
以下是一个完整的 Pandas DataFrame 字符串标准化与分组聚合的示例：
import pandas as pdimport re# 1. 定义清理函数def clean_name(name_str): """ 清理名称字符串，移除特殊字符、数字，并去除首尾空格。 """ if isinstance(name_str, str): # 移除除字母和空格外的所有字符 cleaned = re.sub(r'[^A-Za-z ]+', '', name_str) # 去除首尾空格 return cleaned.strip() return name_str# 2. 创建原始 DataFramedata = { 'Name': ['Michael', 'Michael ()', 'Sarah - (0)', 'Sarah', 'John 123', 'John'], 'Fee': [3, 4, 5, 5, 2, 3]}df = pd.DataFrame(data)print("--- 原始 DataFrame ---")print(df)print("-" * 30)# 3. 应用清理函数到 'Name' 列，并覆盖原列或创建新列# 为了保持原始数据不变，通常建议创建新列或先复制DataFramedf['Name'] = df['Name'].apply(clean_name)# 4. 进一步的标准化：统一大小写（可选但常用）# 例如，如果 'michael' 和 'Michael' 应该被视为同一个，则需要这一步df['Name'] = df['Name'].str.lower().str.capitalize() # 先转小写再首字母大写print("n--- 清理并标准化后的 DataFrame ---")print(df)print("-" * 30)# 5. 执行分组聚合df_grouped = df.groupby('Name')['Fee'].sum().reset_index()print("n--- 分组聚合后的结果 ---")print(df_grouped)print("-" * 30)
进一步的标准化考虑
大小写统一： 在很多场景下，”Michael” 和 “michael” 应该被视为同一个实体。在应用 clean_name 函数之后，可以额外使用 .str.lower() 或 .str.upper() 方法将所有名称统一为小写或大写，以避免因大小写差异导致的分组错误。例如：df[‘Name_Cleaned’] = df[‘Name_Cleaned’].str.lower()。更复杂的清理需求： 本教程中的正则表达式 [^A-Za-z ]+ 仅保留字母和空格。如果需要保留数字（例如 “Product 1″），则正则表达式模式需要调整，例如 [^A-Za-z0-9 ]+。根据具体的数据特点和业务需求，正则表达式的编写会更加灵活。性能： 对于非常大的数据集，apply() 方法可能不是最高效的方式。在这种情况下，可以考虑使用 Pandas 的 .str.replace() 结合正则表达式，或使用 Cython 优化过的自定义函数。然而，对于大多数常见规模的数据，apply() 已经足够。
总结
对数据进行预处理和标准化是数据分析流程中至关重要的一步。通过利用 Python 的 re 模块进行正则表达式匹配和替换，结合 Pandas DataFrame 的 .apply() 方法，我们可以有效地清理和统一字符串数据。这不仅能够解决因数据不一致导致的分组聚合问题，还能显著提高数据分析的准确性和可靠性。在实际应用中，务必根据数据的具体特点和业务需求，灵活选择和组合不同的字符串处理方法。
以上就是Pandas DataFrame中字符串标准化与分组聚合实践的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1366744.html
微信扫一扫 
支付宝扫一扫 
