本教程详细介绍了如何使用Pandas处理文本数据，识别文本列中预定义关键词类别的最高出现概率，并为每行分配相应的标签。文章涵盖了文本分词、关键词模糊匹配计数、概率计算以及最高概率标签的确定，特别强调了如何处理关键词的变体（如“lichies”匹配“lichi”）和无匹配项的情况，提供了清晰的Python代码示例和专业指导。
引言
在数据分析和自然语言处理（nlp）领域，我们经常需要从大量的文本数据中提取有意义的信息。一个常见的需求是识别文本内容所属的预定义类别，例如根据文本中出现的关键词来判断文章的主题。本教程将聚焦于一个具体的场景：给定一个包含文本内容的pandas dataframe，以及多组关键词列表（代表不同的类别），我们需要计算每行文本中每个关键词类别的“出现概率”，并最终为每行文本标记出具有最高概率的关键词类别。这里定义的“概率”是：特定关键词类别中关键词的总出现次数除以该行文本的总词数。此外，我们还将处理关键词变体（如“lichies”应计入“lichi”）以及文本中未出现任何预设关键词的情况。
数据准备
首先，我们创建一个示例Pandas DataFrame和用于分类的关键词列表。这些关键词列表将以字典的形式组织，键为类别名称，值为该类别的关键词列表。
import pandas as pdimport refrom collections import Counter# 示例DataFramedata = { 'content': [ 'My favorite fruit is mango. I like lichies too. I live in au. Cows are domistic animals.', 'I own RTX 4090...', 'There is political colfict between us and ca.', 'au, br mango, lichi apple,.... n cat, cow, monkey donkey dogs' ]}df = pd.DataFrame(data)# 定义关键词类别labels = { 'fruits': ['mango', 'apple', 'lichi'], 'animals': ['dog', 'cat', 'cow', 'monkey'], 'country': ['us', 'ca', 'au', 'br'],}print("原始DataFrame:")print(df)
核心概念与挑战
要实现上述目标，我们需要解决以下几个关键问题：
文本分词 (Tokenization)：将原始文本拆分成独立的单词，同时处理标点符号和大小写。关键词模糊匹配：根据需求，我们需要识别关键词的变体。例如，如果关键词是“lichi”，那么文本中的“lichies”也应该被计入。这意味着简单的精确字符串匹配可能不足。概率计算：根据定义的公式 Probability = (关键词类别中关键词的总出现次数) / (该行文本的总词数) 来计算每个类别的概率。最高概率标签确定：在所有类别中找出概率最高的那个。无匹配项处理：如果某行文本中没有出现任何预设的关键词，则应返回特定的标记（例如’NaN’）。
实现方案详解
我们将创建一个自定义函数 calculate_probability，然后使用Pandas的 .apply() 方法将其应用到DataFrame的 content 列上。
1. calculate_probability 函数实现
该函数将接收一行文本内容和关键词类别字典作为输入，并返回该行文本的最高概率标签。
def calculate_probability(text, labels_dict): """ 计算文本中各关键词类别的概率，并返回最高概率的类别标签。 参数: text (str): 输入的文本内容。 labels_dict (dict): 关键词类别字典，键为类别名，值为关键词列表。 返回: str: 具有最高概率的类别标签，如果所有概率均为0则返回 'NaN'。 """ # 1. 文本分词与小写化 # 使用正则表达式匹配单词边界，提取所有单词并转换为小写。 # 这有助于处理标点符号并实现大小写不敏感的匹配。 words = re.findall(r'bw+b', text.lower()) word_count = len(words) # 如果文本中没有单词，则无法计算概率，直接返回 'NaN' if word_count == 0: return 'NaN' probs = {} # 2. 遍历每个关键词类别，进行模糊匹配与计数 for label_name, keyword_list in labels_dict.items(): keyword_matches_count = 0 # 遍历文本中的每个单词 for text_word in words: # 遍历当前类别的每个关键词 for keyword in keyword_list: # 模糊匹配：如果文本中的单词包含（作为子串）任一关键词 # 例如：'lichies' 包含 'lichi'，'dogs' 包含 'dog' if keyword in text_word: keyword_matches_count += 1 break # 找到一个匹配后，当前 text_word 不再与其他关键词比较，避免重复计数 # 3. 概率计算 probs[label_name] = keyword_matches_count / word_count # 4. 找出最高概率的标签 # 使用 max() 函数和 key 参数，根据字典值（概率）找到对应的键（标签） max_label = max(probs, key=probs.get) # 5. 处理所有概率均为0的情况 # 如果最高概率值大于0，则返回该标签；否则，表示没有匹配到任何关键词，返回 'NaN' if probs[max_label] > 0: return max_label else: return 'NaN'
2. 将函数应用于DataFrame
现在，我们可以使用Pandas的 .apply() 方法将 calculate_probability 函数应用到 df[‘content’] 列上，创建新的 label 列。请注意，.apply() 在应用于 Series 时，函数默认接收 Series 中的每个元素作为第一个参数。其他参数可以通过 **kwargs 传递。
# 将函数应用到DataFrame的 'content' 列# labels=labels 是将我们定义的关键词类别字典作为额外参数传递给函数df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)print("n处理后的DataFrame:")print(df)
完整代码示例
import pandas as pdimport refrom collections import Counter# 示例DataFramedata = { 'content': [ 'My favorite fruit is mango. I like lichies too. I live in au. Cows are domistic animals.', 'I own RTX 4090...', 'There is political colfict between us and ca.', 'au, br mango, lichi apple,.... n cat, cow, monkey donkey dogs' ]}df = pd.DataFrame(data)# 定义关键词类别labels = { 'fruits': ['mango', 'apple', 'lichi'], 'animals': ['dog', 'cat', 'cow', 'monkey'], 'country': ['us', 'ca', 'au', 'br'],}def calculate_probability(text, labels_dict): """ 计算文本中各关键词类别的概率，并返回最高概率的类别标签。 参数: text (str): 输入的文本内容。 labels_dict (dict): 关键词类别字典，键为类别名，值为关键词列表。 返回: str: 具有最高概率的类别标签，如果所有概率均为0则返回 'NaN'。 """ words = re.findall(r'bw+b', text.lower()) word_count = len(words) if word_count == 0: return 'NaN' probs = {} for label_name, keyword_list in labels_dict.items(): keyword_matches_count = 0 for text_word in words: for keyword in keyword_list: # 模糊匹配：如果文本中的单词包含（作为子串）任一关键词 if keyword in text_word: keyword_matches_count += 1 break probs[label_name] = keyword_matches_count / word_count max_label = max(probs, key=probs.get) if probs[max_label] > 0: return max_label else: return 'NaN'# 应用函数df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)print("最终结果:")print(df)
结果展示
运行上述代码，您将得到如下输出：
content label0 My favorite fruit is mango. I like lichies too... fruits1 I own RTX 4090... NaN2 There is political colfict between us and ca. country3 au, br mango, lichi apple,.... n cat, cow, mo... animals
注意： 示例输出中 content 4 的 label 为 animals，这与问题描述中 P(fruits) = 3/10, P(animals) = 4/10, P(country)=2/10 Highest Probability: animals 相符，表明我们的模糊匹配逻辑
以上就是Pandas文本列关键词类别概率计算及最高概率标签提取教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1371150.html
微信扫一扫 
支付宝扫一扫 
