本文将详细介绍如何利用Python Pandas库，结合字典和apply函数，为DataFrame添加基于子字符串匹配的分类列。当DataFrame的原始数据项并非字典键的精确匹配，而是包含字典键作为子字符串时，传统的map方法会失效。本教程将提供一种高效且灵活的解决方案，通过自定义匹配逻辑实现动态分类，确保即使数据描述性文本较长也能准确地将项目归类。
理解挑战：为什么直接map行不通？
在数据处理中，我们经常需要根据一个查找表（通常是python字典）来为dataframe的某一列添加新的分类信息。当dataframe列中的值与字典的键完全匹配时，pandas的map函数是一个非常高效且简洁的选择。例如：
import pandas as pd# 示例数据和字典data = {'Item': ['apple', 'grape'], 'Cost': [15, 20]}df_exact = pd.DataFrame(data)category_dict_exact = {'apple': 'fruit', 'grape': 'fruit'}# 直接使用mapdf_exact['Category'] = df_exact['Item'].map(category_dict_exact)print("直接map的结果:")print(df_exact)
然而，实际数据往往更为复杂。当DataFrame的Item列包含的字符串是字典键的“描述性”文本，而非精确键本身时（例如，“apple from happy orchard”而不是“apple”），map函数将无法找到匹配项，通常会返回NaN。这就是我们需要更灵活的匹配策略的原因。
解决方案核心：apply与自定义匹配逻辑
为了解决子字符串匹配的问题，我们可以结合使用DataFrame的apply方法和Python的生成器表达式。apply方法允许我们对DataFrame的每一行或每一列应用一个自定义函数。通过传入一个lambda函数，我们可以为每一项数据编写特定的匹配逻辑。
核心思想是：对于DataFrame Item 列中的每个字符串，遍历分类字典的键值对。如果字典的键作为子字符串存在于当前的Item字符串中，则返回对应的类别值。
逐步实现：代码示例
下面我们将通过一个完整的代码示例来演示如何实现这一功能。
立即学习“Python免费学习笔记（深入）”；
1. 定义分类字典和原始DataFrame
首先，我们需要定义我们的分类字典和待处理的DataFrame。
import pandas as pd# 定义分类字典# 注意：这里将字典命名为 category_dict 以避免与Python内置的dict关键字冲突category_dict = { 'apple': 'fruit', 'grape': 'fruit', 'chickpea': 'beans', 'coffee cup': 'tableware'}# 定义原始DataFramedata = { 'Item': [ 'apple from happy orchard', 'grape from random vineyard', 'chickpea and black bean mix', 'coffee cup with dog decal' ], 'Cost': [15, 20, 10, 14]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)print("n分类字典:")print(category_dict)
2. 应用分类逻辑
接下来，我们将使用apply方法和lambda函数来创建新的Category列。
# 应用自定义匹配逻辑来创建 'Category' 列# 对于df['Item']中的每个元素x，我们遍历category_dict中的所有键值对(key, value)。# 如果key作为子字符串存在于x中 (key in x)，我们就返回对应的value。# next()函数会返回第一个匹配到的value。# 如果没有匹配到任何key，next()的第二个参数None会被返回。df['Category'] = df['Item'].apply( lambda x: next((value for key, value in category_dict.items() if key in x), None))print("n处理后的DataFrame:")print(df)
3. 结果输出
运行上述代码，您将得到一个新增了Category列的DataFrame，其中每个Item都根据其包含的子字符串被正确分类。
原始DataFrame: Item Cost0 apple from happy orchard 151 grape from random vineyard 202 chickpea and black bean mix 103 coffee cup with dog decal 14分类字典:{'apple': 'fruit', 'grape': 'fruit', 'chickpea': 'beans', 'coffee cup': 'tableware'}处理后的DataFrame: Item Cost Category0 apple from happy orchard 15 fruit1 grape from random vineyard 20 fruit2 chickpea and black bean mix 10 beans3 coffee cup with dog decal 14 tableware
关键点解析
df[‘Item’].apply(lambda x: …): 这表示对df的Item列中的每一个元素x执行lambda函数中定义的逻辑。next((value for key, value in category_dict.items() if key in x), None): 这是实现模糊匹配的核心。for key, value in category_dict.items(): 遍历字典中的所有键值对。if key in x: 检查当前字典键key是否是DataFrame元素x的子字符串。(value for …): 这是一个生成器表达式，它会生成所有匹配到的value。next(…, None): next()函数用于从生成器中获取下一个元素。它会立即返回第一个匹配到的value，从而避免不必要的后续检查。如果生成器为空（即没有找到任何匹配的key），它将返回第二个参数None。
注意事项与优化
匹配顺序的重要性:如果字典中存在重叠的键（例如，{‘apple’: ‘fruit’, ‘red apple’: ‘red_fruit’}），next()函数会返回第一个匹配到的结果。这意味着字典的遍历顺序可能会影响结果。在Python 3.7+中，字典会保留插入顺序。如果对匹配顺序有严格要求，请确保字典键的定义顺序是合理的（例如，更具体的键放在前面）。
处理无匹配项:当前代码在没有找到匹配项时会返回None。您可以根据需求将其替换为其他默认值，例如’Unknown’或空字符串，只需修改next()函数的第二个参数即可。
df['Category'] = df['Item'].apply( lambda x: next((value for key, value in category_dict.items() if key in x), 'Unknown'))
性能考虑:对于非常大的DataFrame和/或包含大量键的字典，apply方法结合循环可能会在性能上有所限制，因为它本质上是Python级别的循环。对于性能要求极高的场景，可以考虑以下优化：
向量化字符串方法: 如果您的匹配模式相对简单（例如，固定前缀/后缀），Pandas提供了一些向量化的字符串方法（如str.contains、str.extract），它们通常比apply更快。但对于任意子字符串匹配，apply通常是更灵活的选择。预编译正则表达式: 如果字典键非常多且复杂，可以考虑使用正则表达式，并预编译它们以提高效率。并行化: 对于非常大的数据集，可以考虑使用Dask或multiprocessing库进行并行处理。
大小写敏感性:key in x是大小写敏感的。如果需要进行大小写不敏感的匹配，可以将x和key都转换为小写（或大写）再进行比较：if key.lower() in x.lower()。
总结
通过结合使用Pandas的apply方法和Python的生成器表达式，我们可以优雅地解决DataFrame列与字典键之间的子字符串匹配问题，从而为数据添加灵活且准确的分类信息。这种方法不仅适用于本例中的商品分类，也广泛应用于文本分析、日志处理等多种场景，是数据清洗和特征工程中一个非常实用的技巧。理解其工作原理和注意事项，将有助于您更高效地处理复杂的数据分类任务。
以上就是使用Python Pandas通过字典实现DataFrame列的模糊分类的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373645.html
微信扫一扫 
支付宝扫一扫 
