汉斯
该存储库包含HANS(NLI系统的启发式分析)数据集。
数据:
文件heuristics_evaluation_set.txt包含本文中介绍的HANS评估集, 。 该文件的格式类似于MNLI版本,因此,如果您的系统是在MNLI上进行培训的,则可以将该文件直接输入到系统中。 否则,您可能需要重新格式化数据以适合系统的输入格式。
该文件中的字段是:
gold_label :此句子对正确的标签(或者entailment或non-entailment )
sentence1_binary_parse :前提的二进制解析,使用基于斯坦福PCFG的模板生成; 对于某些基于树的模型,这是必要的输入。
sentence2_binary_parse :使用基于斯坦福PCFG的模板生成的假设的二进制解析; 对于某些基于树的模型,这是必要的输入。
sentence1_parse :前提的解析
2022-01-05 19:43:33
7.99MB
Python
1