本教程详细讲解如何使用Pandas和Python对文本列进行关键词概率分类，并为每行数据生成最高概率的关键词类别标签。我们将学习高效的文本分词、词频统计、基于预定义关键词列表的类别概率计算，以及如何正确地将自定义函数应用于DataFrame列，以解决文本分类中的常见问题。
在处理非结构化文本数据时，经常需要根据文本内容将其归类到预定义的类别中。一个常见的方法是识别文本中特定关键词的出现频率，并以此作为判断其类别倾向的依据。本教程将指导您完成一个实用的文本分类任务：给定一个包含文本内容的pandas dataframe列和一组按类别划分的关键词列表，计算每行文本中每个关键词类别的“概率”，并最终为每行分配概率最高的类别标签。
核心概念与方法
要实现上述目标，我们需要掌握以下几个核心概念和方法：
关键词组定义与管理: 将不同类别的关键词组织成一个易于访问和迭代的结构，例如Python字典。文本预处理与分词: 对原始文本进行标准化处理，如转换为小写，并将其拆分成独立的单词（分词），以便进行准确的匹配和计数。词频统计: 高效地统计分词后文本中每个单词的出现频率，这是计算概率的基础。类别概率计算: 根据预定义的关键词列表和文本中的词频，计算每个类别的“概率”。这里的概率定义为：特定类别关键词总数 / 文本总词数。最高概率类别选择: 比较所有类别的概率，选出最高者作为最终标签。如果所有类别概率均为零，则返回一个默认值（如NaN）。Pandas apply 函数的正确使用: 将自定义的分类逻辑高效地应用到DataFrame的每一行或每一列。
实现步骤与代码示例
我们将通过一个具体的例子来演示上述过程。假设我们有一个包含“内容（content）”列的DataFrame，并且我们希望根据其中出现的“水果”、“动物”或“国家”关键词来打标签。
首先，导入必要的库并定义我们的关键词类别。
import reimport pandas as pdfrom collections import Counter# 定义关键词类别及其对应的关键词列表labels = { 'fruits': ['mango', 'apple', 'lichi'], 'animals': ['dog', 'cat', 'cow', 'monkey'], 'country': ['us', 'ca', 'au', 'br'],}# 示例DataFramedata = { 'content': [ 'My favorite fruit is mango. I like lichies too. I live in au. Cows are domestic animals.', 'I own RTX 4090...', 'There is political conflict between us and ca.', 'au, br mango, lichi apple,.... n cat, cow, monkey donkey dogs' ]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
接下来，我们编写核心函数 calculate_probability，它将负责对单行文本进行处理并返回最高概率的标签。
def calculate_probability(text, labels_dict): """ 计算给定文本中各关键词类别的概率，并返回最高概率的类别标签。 参数: text (str): 输入的文本字符串。 labels_dict (dict): 包含关键词类别的字典，键为类别名称，值为关键词列表。 返回: str: 概率最高的类别标签，如果所有类别概率为0则返回 'NaN'。 """ # 1. 文本预处理与分词：转换为小写并提取所有单词 words = re.findall(r'bw+b', text.lower()) word_count = len(words) # 如果文本为空或没有单词，则无法计算概率 if word_count == 0: return 'NaN' # 2. 词频统计：使用Counter高效统计单词频率 counts = Counter(words) # 3. 类别概率计算：遍历每个类别，累加关键词词频 probs = {} for k, l_list in labels_dict.items(): # 对于每个类别，统计其关键词在文本中出现的总次数 # 注意：这里是精确匹配分词后的单词。 category_keyword_count = sum(counts[w] for w in l_list) probs[k] = category_keyword_count / word_count # 4. 最高概率类别选择 # 找出概率最高的类别名称 max_label = max(probs, key=probs.get) # 如果最高概率大于0，则返回该标签；否则返回'NaN' return max_label if probs[max_label] > 0 else 'NaN'# 将函数应用到DataFrame的 'content' 列# 注意：当对Series应用函数时，函数应接收Series的单个元素作为输入。# 额外的参数 (labels_dict) 通过关键字参数传递给apply。df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)print("n处理后的DataFrame:")print(df)
代码解析
re.findall(r’bw+b’, text.lower()):
text.lower(): 将所有文本转换为小写，确保大小写不敏感的匹配。r’bw+b’: 这是一个正则表达式模式。b：匹配单词边界，确保只匹配完整的单词。w+：匹配一个或多个字母、数字或下划线字符。re.findall()：查找所有不重叠的匹配项，并以列表形式返回。这有效地将文本分词为独立的单词。
collections.Counter(words):
Counter 是Python collections 模块提供的一个非常有用的工具，专门用于计数可哈希对象。它接收一个可迭代对象（这里是单词列表 words），并返回一个字典子类，其中键是元素，值是它们的计数。这比手动构建字典进行计数更简洁高效。
probs = {} … for k, l_list in labels_dict.items(): … sum(counts[w] for w in l_list) …:
这个循环遍历 labels_dict 中的每个类别（例如 ‘fruits’, ‘animals’）。对于每个类别 k，它获取其对应的关键词列表 l_list。sum(counts[w] for w in l_list)：这是一个生成器表达式，它遍历 l_list 中的每个关键词 w，然后从 counts （词频统计结果）中获取 w 的出现次数。如果 w 不在 counts 中，counts[w] 会返回 0。所有这些计数被累加，得到该类别关键词在文本中的总出现次数。最后，将总出现次数除以 word_count
以上就是Pandas文本数据关键词概率分类与标签生成教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1371152.html
微信扫一扫 
支付宝扫一扫 
