由,,,和其他捐助。
该项目得到以下两项工作的支持:
最终产品: (更新中)
更新:
在CoNLL03上添加了一个SOTA NER系统和两个得分最高的系统,参阅。 感谢 和Stefan Schweter的分享成果。
1.动机问题
许多NLP任务的执行已达到稳定状态。 什么有效,下一步是什么?
XX解决了吗? 还剩什么?
一个好的评估指标不仅可以对不同的系统进行排名,还可以告诉他们它们之间的相对优势(优势和劣势)。
下一代Leaderboard :具备强大的分析能力吗?
2.可解释的评估方法
评估方法通常包括以下步骤。
2.1属性定义
以NER和CWS任务为例,我们为NER任务定义了8个属性,为CWS任务定义了7个属性。
ID
内尔
标准煤
1个
实体长度
字长
2个
句子长度
句子长度
3
OOV密度
OOV密度
4
代币频率
字符频率
5
实体频率
2022-01-22 19:50:10
13.84MB
HTML
1