本教程详细介绍了如何利用Python的Pandas库，通过字典为DataFrame添加一个新的分类列。针对DataFrame列中的文本字符串可能包含字典键作为子字符串的情况，文章提供了一种高效的解决方案，即结合apply方法与lambda表达式进行灵活的模式匹配，从而实现精准的分类映射。
在数据处理和分析中，我们经常需要根据现有列的内容，尤其是文本内容，来创建新的分类列。当分类规则可以通过一个字典来定义，且字典的键是目标列中字符串的子集时，传统的map方法可能无法直接满足需求。本文将详细阐述如何利用pandas.dataframe.apply结合python的生成器表达式和next函数，优雅地解决这一问题。
问题场景：基于子字符串的字典映射
假设我们有一个包含商品信息的DataFrame，其中Item列的字符串描述了商品，而我们希望根据一个预定义的字典来为其添加Category（类别）列。这个字典的键是商品的核心词汇，值是对应的类别。例如：
import pandas as pd# 原始字典category_dict = { 'apple': 'fruit', 'grape': 'fruit', 'chickpea': 'beans', 'coffee cup': 'tableware'}# 原始DataFramedata = { 'Item': [ 'apple from happy orchard', 'grape from random vineyard', 'chickpea and black bean mix', 'coffee cup with dog decal' ], 'Cost': [15, 20, 10, 14]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
输出：
原始DataFrame: Item Cost0 apple from happy orchard 151 grape from random vineyard 202 chickpea and black bean mix 103 coffee cup with dog decal 14
我们的目标是生成如下的DataFrame：
Item Cost Category0 apple from happy orchard 15 fruit1 grape from random vineyard 20 fruit2 chickpea and black bean mix 10 beans3 coffee cup with dog decal 14 tableware
直接使用df[‘Item’].map(category_dict)将无法达到预期，因为map期望的是精确匹配，而我们的Item列值是包含字典键的更长字符串。
解决方案：apply结合Lambda和生成器表达式
解决此类问题的核心在于对DataFrame的每一行（或每一列的每个元素）应用一个自定义函数，该函数能够检查字符串中是否存在字典的任何键。pandas.Series.apply方法正是为此而生。
以下是实现这一目标的Python代码：
import pandas as pd# 原始字典category_dict = { 'apple': 'fruit', 'grape': 'fruit', 'chickpea': 'beans', 'coffee cup': 'tableware'}# 原始DataFramedata = { 'Item': [ 'apple from happy orchard', 'grape from random vineyard', 'chickpea and black bean mix', 'coffee cup with dog decal' ], 'Cost': [15, 20, 10, 14]}df = pd.DataFrame(data)# 使用apply方法添加Category列df['Category'] = df['Item'].apply( lambda item_str: next( (value for key, value in category_dict.items() if key in item_str), None ))print("n添加Category列后的DataFrame:")print(df)
代码解析
让我们深入理解这行关键代码：df[‘Category’] = df[‘Item’].apply(lambda item_str: next((value for key, value in category_dict.items() if key in item_str), None))
df[‘Item’].apply(…): 这表示我们将对DataFrame的Item列中的每一个元素应用一个函数。apply方法会遍历Item列的每一个字符串，并将该字符串作为参数传递给后面的lambda函数。
lambda item_str:: 这是一个匿名函数，item_str代表Item列中的当前字符串（例如’apple from happy orchard’）。
next((value for key, value in category_dict.items() if key in item_str), None): 这是实现子字符串匹配和值提取的核心。
(value for key, value in category_dict.items() if key in item_str): 这是一个生成器表达式。它遍历category_dict中的所有键值对。对于每个键key和值value，它会检查key是否作为子字符串存在于当前的item_str中。如果存在，它就生成对应的value。next(generator, default_value): next()函数用于从生成器中获取下一个元素。如果生成器能够产生一个值（即找到了一个匹配的字典键），next()会立即返回这个值。如果生成器遍历完所有键都没有找到匹配项，next()会返回我们指定的default_value，在这里是None。这意味着如果Item列的某个字符串没有匹配到任何字典键，它的Category将是None。
注意事项与扩展
匹配顺序: next()函数在找到第一个匹配的键后就会停止。如果一个item_str可以匹配到多个字典键（例如，’apple pie’既能匹配’apple’也能匹配’pie’），那么category_dict中键的迭代顺序将决定哪个类别被选中。Python字典在3.7+版本中保持插入顺序，因此通常是按字典定义时的顺序来匹配。如果需要更复杂的匹配优先级，可能需要对category_dict.items()进行预排序或调整匹配逻辑。
无匹配项处理: 当前代码在没有匹配时会返回None。如果希望返回一个默认字符串（如’Other’），可以将None替换为 ‘Other’。
df['Category'] = df['Item'].apply( lambda item_str: next( (value for key, value in category_dict.items() if key in item_str), 'Unknown' # 将None替换为'Unknown' ))
性能考量: 对于非常大的DataFrame和字典，apply方法虽然灵活，但可能不如完全矢量化的操作高效。然而，对于涉及子字符串匹配的复杂逻辑，apply通常是必需的，并且在大多数实际场景中性能足够。如果性能成为瓶颈，可以考虑使用更高级的文本匹配库（如fuzzywuzzy进行模糊匹配）或预处理文本。
大小写不敏感匹配: 如果需要进行大小写不敏感的匹配，可以在检查条件时将key和item_str都转换为小写：
df['Category'] = df['Item'].apply( lambda item_str: next( (value for key, value in category_dict.items() if key.lower() in item_str.lower()), None ))
总结
通过结合pandas.Series.apply、lambda表达式和Python的生成器表达式与next函数，我们可以高效且灵活地为DataFrame添加基于字典子字符串匹配的分类列。这种方法不仅解决了传统map函数的局限性，还提供了处理无匹配项和控制匹配逻辑的强大能力，是处理复杂文本分类任务的实用工具。
以上就是使用字典为DataFrame添加基于子字符串匹配的分类列的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373599.html
微信扫一扫 
支付宝扫一扫 
