恶毒的
基于实体级别F1分数的命名实体识别(NER)系统的评估脚本。
定义
Nadeau和Sekine(2007)已描述了此处实施的度量标准,该度量标准已广泛用作“消息理解会议”的一部分(Grishman和Sundheim,1996)。 它根据两个轴评估NER系统:是否能够为实体分配正确的类型,以及是否找到确切的实体边界。 对于两个轴,都计算正确的预测数(COR),实际的预测数(ACT)和可能的预测数(POS)。 从这些统计数据中,可以得出准确性和召回率:
precision = COR/ACT
recall = COR/POS
最终得分是对类型和边界轴的精度和召回率进行微平均的F1度量。
安装
pip install nereval
用法
当分类结果已写入JSON文件时,可以从Python内部使用此脚本,也可以从命令行使用该脚本。
从命令行使用
假设我们在input.json具有以下
1