本文将介绍如何在python中实现一个自定义的bag-of-words（bow）模型，以处理包含特殊前缀（如连字符“-”）的词汇。针对传统bow模型将带前缀词汇视为独立特征的问题，本教程将展示如何通过定制化解析逻辑，将这些词汇计为基础词汇的负向出现次数，从而生成更符合特定业务逻辑的特征向量。
1. 理解传统Bag-of-Words模型的局限性
Bag-of-Words (BOW) 模型是自然语言处理中一种常用的文本表示方法，它将文本视为词汇的无序集合，并统计每个词汇在文档中出现的频率。这种模型简单高效，广泛应用于文本分类、情感分析等任务。然而，在某些特定场景下，我们可能需要对词汇的计数方式进行特殊处理。
例如，在一个包含科学术语或特定编码的文档集中，我们可能会遇到形如 Q207KL41 和 -Q207KL41 的词汇。如果 Q207KL41 表示一个正向概念或出现，而 -Q207KL41 表示其负向或缺失，那么在构建特征时，我们期望的是将 -Q207KL41 计为 Q207KL41 的负一次出现，而不是将其作为一个全新的、独立的特征。
标准的 sklearn.feature_extraction.text.CountVectorizer 在处理这类情况时，会默认将 -Q207KL41 和 Q207KL41 识别为两个不同的词元（token），并在特征向量中为它们分别创建列。例如，如果文档中包含 Q207KL41 -Q207KL41 -Q207KL41，CountVectorizer 可能会为 Q207KL41 计数1，为 -Q207KL41 计数2。这与我们期望的 Q207KL41 总计数为 1 – 1 – 1 = -1 的目标不符。为了实现这种带有“负向计数”的BOW模型，我们需要编写一个自定义的向量化函数。
2. 自定义Bag-of-Words向量化方法的实现
为了解决传统 CountVectorizer 的局限性，我们可以构建一个自定义函数来替代它。这个函数的核心逻辑在于：遍历文档中的每个词元，判断其是否以特定前缀（例如连字符“-”）开头。如果存在，则移除前缀，并将该词元的计数符号设为负；否则，计数符号为正。所有处理后的词元都将映射到同一个词汇表中的对应项，并累加其带符号的计数。
立即学习“Python免费学习笔记（深入）”；
以下是实现该自定义BOW模型的Python代码示例：
凹凸工坊-AI手写模拟器
AI手写模拟器，一键生成手写文稿
500 查看详情
import ioimport pandas as pdimport numpy as npfrom collections import defaultdictdef custom_bow_vectorizer(documents: pd.Series) -> pd.DataFrame: """ 自定义Bag-of-Words向量化函数，支持处理带负号前缀的词汇。 参数: documents (pd.Series): 包含待处理文本的Pandas Series。 返回: pd.DataFrame: 包含自定义Bag-of-Words特征的DataFrame。 """ processed_features = [] # 使用defaultdict来动态构建词汇表，并为每个新词汇分配一个唯一的索引 # vocabulary.default_factory = vocabulary.__len__ 使得每次访问不存在的key时， # 自动增加并返回当前词汇表的大小作为新词汇的索引。 vocabulary = defaultdict() vocabulary.default_factory = vocabulary.__len__ for document_text in documents: feature_counter = defaultdict(int) # 存储当前文档的词汇计数 # 处理非字符串类型数据，例如NaN，将其视为空字符串 if not isinstance(document_text, str): document_text = "" for token in document_text.split(): sign = 1 base_token = token # 检查词元是否以负号开头 if base_token.startswith("-"): base_token = base_token[1:] # 移除负号前缀 sign = -1 # 设置为负向计数 # 将词元映射到词汇表中的索引，并更新计数 # 如果base_token是空字符串（例如，原始token只有'-'），则跳过 if base_token: feature_idx = vocabulary[base_token] feature_counter[feature_idx] += sign processed_features.append(feature_counter) # 将所有文档的计数结果转换为DataFrame # from_records 会自动处理不同文档具有不同词汇的情况，用NaN填充 df = pd.DataFrame.from_records(processed_features) df = df.fillna(0) # 将NaN填充为0 # 确保列的顺序是基于词汇表索引的，并映射回词汇字符串作为列名 # 创建一个反向映射，从索引到词汇 idx_to_word = {v: k for k, v in vocabulary.items()} # 按照词汇表的索引顺序获取词汇，以确保DataFrame列的稳定顺序 ordered_columns = [idx_to_word[i] for i in sorted(vocabulary.values())] # 重排DataFrame的列，使其与词汇表顺序一致 df = df[ordered_columns] # 优化内存使用，如果计数范围不大（-128到127之间），使用int8 df = df.astype(np.int8) return df# 示例数据s = """RepID,Txt1,K9G3P9 4H477 -Q207KL41 98464 Q207KL412,D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2 3,-05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84"""df_reps = pd.read_csv(io.StringIO(s))# 应用自定义向量化函数result_df = custom_bow_vectorizer(df_reps["Txt"])print(result_df)
输出结果：
K9G3P9 4H477 Q207KL41 98464 D84T8X4 D9W4S2 8E8E65 05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K840 1 1 0 1 0 0 0 0 0 0 0 01 0 0 0 0 1 -1 1 0 0 0 0 02 0 0 0 0 0 0 0 -1 1 1 1 1
从输出可以看出，对于第一行文本 K9G3P9 4H477 -Q207KL41 98464 Q207KL41，词汇 Q207KL41 出现了两次（一次正向，一次负向），最终计数为 1 + (-1) = 0。对于第二行文本 D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2，词汇 D9W4S2 出现一次正向，两次负向，最终计数为 1 + (-1) + (-1) = -1。这完全符合我们的预期。
3. 代码解析与注意事项
3.1 代码解析
导入必要的库:
pandas 用于数据处理，特别是将结果组织成DataFrame。numpy 用于数值操作和类型转换，如 np.int8。collections.defaultdict 用于高效地构建词汇计数器和动态词汇表。
custom_bow_vectorizer 函数:
processed_features 列表：用于存储每个文档的词汇计数结果（以字典形式）。vocabulary = defaultdict(): 创建一个动态词汇表。vocabulary.default_factory = vocabulary.__len__ 这一行是关键。它使得每次访问一个新词汇（即该词汇不在 vocabulary 中）时，defaultdict 会自动为这个新词汇分配一个递增的整数作为其值（索引），并且这个值是当前词汇表的大小。遍历文档: 对 documents Series 中的每一行文本进行处理。处理空文档/非字符串数据: if not isinstance(document_text, str): document_text = “” 确保文本是字符串类型，避免 split() 方法在遇到 NaN 或其他非字符串数据时报错。遍历词元: 使用 document_text.split() 将文本分割成词元。默认按空格分割。判断负号前缀: 检查 token 是否以 “-” 开头。如果是，则将 sign 设为 -1，并移除 token 的前缀以获取 base_token；否则，sign 保持 1。更新计数: feature_counter[vocabulary[base_token]] += sign 将 base_token 映射到其在 vocabulary 中的索引，并根据 sign 更新其在当前文档中的计数。构建DataFrame: pd.DataFrame.from_records(processed_features) 将所有文档的计数字典列表转换为一个DataFrame。由于不同文档可能包含不同的词汇，from_records 会自动处理缺失值，用 NaN 填充。填充缺失值: df.fillna(0) 将所有 NaN 替换为 0，表示该词汇在该文档中未出现。列名映射与排序: 为了使输出DataFrame的列名清晰且有序，我们根据 vocabulary 重新构建列的顺序。idx_to_word 字典用于将词汇索引映射回词汇字符串，然后根据索引排序来确保列的顺序一致性。数据类型优化: df.astype(np.int8) 将DataFrame中的数据类型转换为 int8。如果词汇计数不会超出 [-128, 127] 的范围，这可以显著节省内存，对于大型文本数据集尤其重要。
3.2 注意事项
灵活性与定制性: 这种自定义方法提供了极大的灵活性，可以根据具体需求轻松调整词元化（tokenization）规则、前缀处理逻辑或其他计数策略。例如，可以扩展以处理其他特殊符号、组合词或更复杂的语义规则。
以上就是Python中实现自定义Bag-of-Words模型：处理带负向计数的词汇的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/905449.html
微信扫一扫 
支付宝扫一扫 
