InterpretEval:（几乎）所有NLP任务的可解释性评估-源码

由，，，和其他捐助。 该项目得到以下两项工作的支持： 最终产品： （更新中） 更新： 在CoNLL03上添加了一个SOTA NER系统和两个得分最高的系统，参阅。 感谢 和Stefan Schweter的分享成果。 1.动机问题 许多NLP任务的执行已达到稳定状态。 什么有效，下一步是什么？ XX解决了吗？ 还剩什么？ 一个好的评估指标不仅可以对不同的系统进行排名，还可以告诉他们它们之间的相对优势（优势和劣势）。 下一代Leaderboard ：具备强大的分析能力吗？ 2.可解释的评估方法 评估方法通常包括以下步骤。 2.1属性定义 以NER和CWS任务为例，我们为NER任务定义了8个属性，为CWS任务定义了7个属性。 ID 内尔 标准煤 1个 实体长度 字长 2个 句子长度 句子长度 3 OOV密度 OOV密度 4 代币频率 字符频率 5 实体频率