一种全新易用的基于词间关系的命名实体识别(ner)统一模型,刷新了14种数据集并达到新的最佳表现(sota)。这篇论文名为《unified named entity recognition as word-word relation classification》,已被aaai2022收录,详细内容可通过链接https://arxiv.org/pdf/2112.10070.pdf查看。
NER任务通常分为三种类型:平面NER(flat NER)、重叠NER(overlapped NER)和不连续NER(discontinuous NER)。近期的研究致力于通过一个统一的大模型来同时解决这三种问题。现有的最佳方法主要基于span-based和seq2seq的方法,但span-based方法需要枚举所有可能的span组合,存在时间复杂度问题;而seq2seq方法则容易产生错误传播。
因此,本文提出了一种新颖的框架,通过预测词与词之间的关系(称之为W2NER)来解决所有NER问题。词间关系主要分为三种:下一邻居词关系(NNW)、尾部-头部词关系(THW-*)和无关系(NONE)。为了解决图的稀疏性问题,文章采用了一个多粒度的二维图来表示词间关系。

模型由三个主要模块组成:
编码层(Encoder Layer):通过BERT获取表示信息,然后通过LSTM获取上下文信息。
卷积层(Convolution Layer):包含一个条件层归一化(CLN)层,用于获得词j在词i前提下的表示。接着是BERT风格的网格表示层,通过BERT的三个嵌入层获得信息表示、关系位置信息表示和位置域表示,并通过MLP融合。最后通过多粒度的空洞卷积(Multi-Granularity Dilated Convolution)采样不同的信息。
共同预测层(Co-Predictor Layer):使用一个普通的MLP和一个用于变长标签预测的biaffine预测器,最后通过softmax层输出结果。
解码层(Decoder Layer)通过NNW和THW-*构建实体环,如图所示:

实验结果显示,该模型在14个公开数据集(包括中文和英文)上都取得了最佳表现,成为最新的SoTA。具体实验结果如下:
英文平面数据集:

中文平面数据集:

乾坤圈新媒体矩阵管家
新媒体账号、门店矩阵智能管理系统
17 查看详情
英文重叠数据集:

中文重叠数据集,F1性能:

英文不连续数据集:

与前沿最佳论文对比:

消融实验显示,F1性能:

训练速度和推理速度也得到了极大提升:

总的来说,这篇文章提出了一个简单有效的NER新框架,具有较高的应用价值和潜力。
以上就是一种全新易用的基于Word-Word关系的NER统一模型,刷新了14种数据集并达到新SoTA的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/468939.html
微信扫一扫
支付宝扫一扫