本文测试了PaddleNLP等多个分词工具在疑难案例和垂类领域的表现。对“我没有上上上上海的火车”等趣味句子，各工具分词结果有差异；在垂类领域，PaddleNLP精确模式对专有名词识别更优，通用领域也表现出色，其他工具各有优劣，测试仅供娱乐，官方测试更权威。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
听说，PaddleNLP新发多个任务的一键预测能力，
突发奇想，用疑难case玩玩TA。上最简单的任务吧 ———分词。
嗯…谁说分词简单，真的吗？
安装了几个分词工具：
酷表ChatExcel
北大团队开发的通过聊天来操作Excel表格的AI工具
48 查看详情 In [1]
# 首次更新完以后，重启后方能生效!pip install --upgrade paddlenlp!pip install jieba!pip install snownlp!pip install thulac!pip install pkuseg
In [2]
import paddlenlpimport jiebaimport snownlpimport thulacimport pkusegassert(paddlenlp.__version__ == '2.2.5') # check下PaddleNLP是不是最新版
In [3]
# 这几个分词工具的使用方式都非常简单，把PaddleNLP三种分词模式测了个遍seg_paddlenlp_accurate = paddlenlp.Taskflow("word_segmentation", mode="accurate") # 精准模式，基于百度-解语，实体粒度分词最精准！seg_paddlenlp_fast = paddlenlp.Taskflow("word_segmentation", mode="fast") # 快速模式，基于NLPer都知道的jieba，快！seg_paddlenlp_default = paddlenlp.Taskflow("word_segmentation") # 默认模式，基于百度LAC，精度和速度的完美权衡！seg_jieba = jieba.cutseg_snownlp = snownlp.SnowNLPseg_thulac = thulac.thulac(seg_only=True).cut #只进行分词，不进行词性标注seg_pku = pkuseg.pkuseg().cut # 以默认配置加载模型
In [4]
# 就是玩，哈哈，好奇他们搞得定这些疑难case吗test_list = [ '我没有上上上上海的火车', '骑车出门差点摔跤，还好我一把把把把住了', '我爸是我爸，我是我爸儿', '灭霸爸爸叭叭叭叭儿的在那叭叭啥呢', '姑姑你估估我鼓鼓的口袋里有多少谷和菇', '胖胖的胖胖不想再胖胖', '你知不知道我不知道你知道我是谁', '我想梦梦梦梦梦过的梦', '我也想过过过儿过过的生活',]
In [5]
for input in test_list: print('input: ', input) print('PaddleNLP 精确模式: ', ' '.join(seg_paddlenlp_accurate(input))) print('PaddleNLP 快速模式: ', ' '.join(seg_paddlenlp_fast(input))) print('PaddleNLP 默认模式: ', ' '.join(seg_paddlenlp_default(input))) print('Jieba 默认模式: ', ' '.join(seg_jieba(input))) print("SnowNLP: ", ' '.join(seg_snownlp(input).words)) text = seg_thulac(input) lb = [i[0] for i in text] print("THULAC: ",' '.join(lb)) text = seg_pku(input) print("PkuSeg: ", ' '.join(text)) print('rn')
input: 我没有上上上上海的火车PaddleNLP 精确模式: 我 没有 上上 上 上海 的 火车
Building prefix dict from the default dictionary ...Dumping model to file cache /tmp/jieba.cacheLoading model cost 0.776 seconds.Prefix dict has been built successfully.
PaddleNLP 快速模式: 我 没有 上 上 上 上海 的 火车PaddleNLP 默认模式: 我 没有 上上 上 上海 的 火车Jieba 默认模式: 我 没有 上 上 上 上海 的 火车SnowNLP: 我 没有 上上 上 上海 的 火车THULAC: 我 没有 上 上 上 上海 的 火车PkuSeg: 我 没有 上上 上 上海 的 火车input: 骑车出门差点摔跤，还好我一把把把把住了PaddleNLP 精确模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把把 把住 了PaddleNLP 快速模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把住 了PaddleNLP 默认模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把 住 了Jieba 默认模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把住 了SnowNLP: 骑车 出门 差点 摔跤 ， 还 好 我 一把把 把 把 住 了THULAC: 骑车 出门 差点 摔跤 ， 还 好 我 一把把 把 把 住 了PkuSeg: 骑车 出门 差点 摔跤 ， 还好 我 一把把 把 把 住 了input: 我爸是我爸，我是我爸儿PaddleNLP 精确模式: 我爸 是 我爸 ， 我 是 我爸 儿PaddleNLP 快速模式: 我爸 是 我 爸 ， 我 是 我 爸儿PaddleNLP 默认模式: 我 爸 是 我 爸 ， 我 是 我 爸儿Jieba 默认模式: 我爸 是 我 爸 ， 我 是 我 爸儿SnowNLP: 我 爸 是 我 爸 ， 我 是 我 爸儿THULAC: 我 爸 是 我 爸 ， 我 是 我 爸儿PkuSeg: 我 爸 是 我 爸 ， 我 是 我 爸儿input: 灭霸爸爸叭叭叭叭儿的在那叭叭啥呢PaddleNLP 精确模式: 灭霸 爸爸 叭叭叭叭 儿 的 在 那 叭叭 啥 呢PaddleNLP 快速模式: 灭霸 爸爸 叭叭 叭叭 儿 的 在 那 叭叭 啥 呢PaddleNLP 默认模式: 灭霸 爸爸 叭 叭叭叭儿 的 在 那 叭 叭 啥 呢Jieba 默认模式: 灭霸 爸爸 叭叭 叭叭 儿 的 在 那 叭叭 啥 呢SnowNLP: 灭 霸 爸爸 叭叭 叭叭 儿 的 在 那叭叭 啥 呢THULAC: 灭霸 爸爸 叭叭 叭叭儿 的 在 那 叭叭 啥 呢PkuSeg: 灭霸 爸爸 叭叭 叭叭儿 的 在 那 叭叭 啥 呢input: 姑姑你估估我鼓鼓的口袋里有多少谷和菇PaddleNLP 精确模式: 姑姑 你 估估 我 鼓鼓 的 口袋 里 有多少 谷 和 菇PaddleNLP 快速模式: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷和菇PaddleNLP 默认模式: 姑姑你 估估 我 鼓鼓 的 口袋 里 有 多少 谷 和 菇Jieba 默认模式: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷和菇SnowNLP: 姑姑 你 估 估 我 鼓鼓 的 口袋 里 有 多少 谷 和菇THULAC: 姑姑 你 估估 我 鼓鼓 的 口袋 里 有 多少 谷 和 菇PkuSeg: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷 和 菇input: 胖胖的胖胖不想再胖胖PaddleNLP 精确模式: 胖胖 的 胖胖 不想 再 胖胖PaddleNLP 快速模式: 胖胖的 胖胖 不想 再 胖胖PaddleNLP 默认模式: 胖胖 的 胖胖 不 想 再 胖胖Jieba 默认模式: 胖胖的 胖胖 不想 再 胖胖SnowNLP: 胖胖 的 胖胖 不 想 再 胖胖THULAC: 胖 胖 的 胖 胖 不 想 再 胖 胖PkuSeg: 胖胖 的 胖胖 不 想 再 胖胖input: 你知不知道我不知道你知道我是谁PaddleNLP 精确模式: 你 知不知道 我 不知道 你 知道 我 是谁PaddleNLP 快速模式: 你 知不知道 我 不 知道 你 知道 我 是 谁PaddleNLP 默认模式: 你 知不知道 我 不知道 你 知道 我 是 谁Jieba 默认模式: 你 知不知道 我 不 知道 你 知道 我 是 谁SnowNLP: 你 知 不 知道 我 不 知道 你 知道 我 是 谁THULAC: 你 知 不 知道 我 不 知道 你 知道 我 是 谁PkuSeg: 你 知 不 知道 我 不 知道 你 知道 我 是 谁input: 我想梦梦梦梦梦过的梦PaddleNLP 精确模式: 我 想 梦梦梦梦梦 过 的 梦PaddleNLP 快速模式: 我 想 梦梦 梦 梦梦 过 的 梦PaddleNLP 默认模式: 我 想 梦梦梦梦 梦过 的 梦Jieba 默认模式: 我 想 梦梦 梦 梦梦 过 的 梦SnowNLP: 我 想 梦 梦 梦 梦 梦 过 的 梦THULAC: 我 想 梦 梦 梦 梦 梦 过 的 梦PkuSeg: 我 想 梦 梦 梦 梦 梦 过 的 梦input: 我也想过过过儿过过的生活PaddleNLP 精确模式: 我 也 想过 过 过 儿 过 过 的 生活PaddleNLP 快速模式: 我 也 想 过 过 过儿 过过 的 生活PaddleNLP 默认模式: 我 也 想过 过 过儿 过 过 的 生活Jieba 默认模式: 我 也 想 过 过 过儿 过过 的 生活SnowNLP: 我 也 想 过过 过 儿 过 过 的 生活THULAC: 我 也 想 过 过 过儿 过 过 的 生活PkuSeg: 我 也 想 过过 过儿 过过 的 生活
以上测试，仅供娱乐。正经测试，可以看下官方给的测试结果。
MSR和Weibo数据集偏通用领域，在通用领域上PaddleNLP的切词效果最优。根据官方文档，PaddleNLP的精确模式对垂类领域的实体粒度切词优势更加明显。
In [6]
# 测试下PaddleNLP能否识别出垂类领域的专有名词test_list = [ '近日国家卫健委发布第九版新型冠状病毒肺炎诊疗方案', '谷爱凌拿下北京冬奥会自由式滑雪决赛冠军', '美国金融危机另一重要原因是CDS（信用违约掉期）市场过于分散', '以对冲基金为代表的机构投资者可能出现流动性风险，复杂环节下定价模型失灵造成的操作风险也需要给予一定的重视', '房利美和房地美两家公司发行了15亿美元的债券融资。']for input in test_list: print('input: ', input) print('PaddleNLP 精确模式: ', ' '.join(seg_paddlenlp_accurate(input))) print('PaddleNLP 快速模式: ', ' '.join(seg_paddlenlp_fast(input))) print('PaddleNLP 默认模式: ', ' '.join(seg_paddlenlp_default(input))) print('Jieba 默认模式: ', ' '.join(seg_jieba(input))) print("SnowNLP: ", ' '.join(seg_snownlp(input).words)) text = seg_thulac(input) lb = [i[0] for i in text] print("THULAC: ",' '.join(lb)) text = seg_pku(input) print("PkuSeg: ", ' '.join(text)) print('rn')
input: 近日国家卫健委发布第九版新型冠状病毒肺炎诊疗方案PaddleNLP 精确模式: 近日 国家卫健委 发布 第九版 新型冠状病毒肺炎 诊疗 方案PaddleNLP 快速模式: 近日 国家 卫健委 发布 第九版 新型 冠状病毒 肺炎 诊疗 方案PaddleNLP 默认模式: 近日 国家卫健委 发布 第九版 新型 冠状病毒肺炎 诊疗 方案Jieba 默认模式: 近日 国家 卫健委 发布 第九版 新型 冠状病毒 肺炎 诊疗 方案SnowNLP: 近日 国家 卫 健委 发布 第九 版 新型 冠 状 病毒 肺炎 诊疗 方案THULAC: 近日 国 家 卫健委 发布 第九 版 新型 冠状 病毒 肺炎 诊疗 方案PkuSeg: 近日 国家 卫健委 发布 第九 版 新型 冠状 病毒 肺炎 诊疗 方案input: 谷爱凌拿下北京冬奥会自由式滑雪决赛冠军PaddleNLP 精确模式: 谷爱凌 拿下 北京冬奥会 自由式滑雪 决赛 冠军PaddleNLP 快速模式: 谷爱凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军PaddleNLP 默认模式: 谷爱凌 拿下 北京冬奥会 自由式 滑雪 决赛 冠军Jieba 默认模式: 谷爱凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军SnowNLP: 谷 爱 凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军THULAC: 谷爱凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军PkuSeg: 谷爱 凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军input: 美国金融危机另一重要原因是CDS（信用违约掉期）市场过于分散PaddleNLP 精确模式: 美国 金融危机 另 一 重要 原因 是 CDS （ 信用违约掉期 ） 市场 过于 分散PaddleNLP 快速模式: 美国 金融危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散PaddleNLP 默认模式: 美国 金融危机 另 一 重要 原因 是 CDS （ 信用违约掉期 ） 市场 过于 分散Jieba 默认模式: 美国 金融危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散SnowNLP: 美国 金融 危机 另 一 重要 原因 是 CDS（ 信用 违约 掉期 ） 市场 过于 分散THULAC: 美国 金融 危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散PkuSeg: 美国 金融 危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散input: 以对冲基金为代表的机构投资者可能出现流动性风险，复杂环节下定价模型失灵造成的操作风险也需要给予一定的重视PaddleNLP 精确模式: 以 对冲基金 为 代表 的 机构投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价模型 失灵 造成 的 操作 风险 也需要 给予 一定 的 重视PaddleNLP 快速模式: 以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视PaddleNLP 默认模式: 以 对冲 基金 为 代表 的 机构投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视Jieba 默认模式: 以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视SnowNLP: 以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视THULAC: 以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定 价 模型 失灵 造成 的 操作 风险 也 需要 给 予 一定 的 重视PkuSeg: 以 对冲基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视input: 房利美和房地美两家公司发行了15亿美元的债券融资。PaddleNLP 精确模式: 房利美 和 房地美 两家 公司 发行 了 15亿美元 的 债券 融资 。PaddleNLP 快速模式: 房利美 和 房地 美 两家 公司 发行 了 15 亿美元 的 债券 融资 。PaddleNLP 默认模式: 房利美 和 房地美 两家 公司 发行 了 15亿美元 的 债券 融资 。Jieba 默认模式: 房利美 和 房地 美 两家 公司 发行 了 15 亿美元 的 债券 融资 。SnowNLP: 房 利 美 和 房地 美 两 家 公司 发行 了 15 亿 美元 的 债券 融资 。THULAC: 房利美 和 房地美 两 家 公司 发行 了 15亿 美元 的 债券 融资 。PkuSeg: 房利美 和 房地美 两 家 公司 发行 了 15亿 美元 的 债券 融资 。
以上就是我也想过过过儿过过的生活，分词工具表示“人类的语言太难了”的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/318072.html
微信扫一扫 
支付宝扫一扫 
