MS MARCO文件排名提交
此存储库包含MS MARCO官方文档排名排行榜,并描述了提交运行的过程。 与该任务相关的所有数据(语料库,培训数据,评估查询等)都保存在。
投稿须知
要提交,请按照以下说明进行操作:
确定提交ID,该ID将是永久(公共)唯一密钥。 提交ID的格式应为yyyymmdd-foo ,其中foo可以是您选择的后缀,例如组名。 请保持合理的长度。 有关示例,请参见。 yyyymmdd应该对应于您的跑步的提交日期。
在目录submissions/ ,创建以下文件:
submissions/yyyymmdd-foo/dev.txt.bz2运行在dev查询上的文件( msmarco-docdev-queries.tsv ),bz2压缩
submissions/yyyymmdd-foo/eval.txt.bz2在eval查询中运行文件( docleaderboard-qu
2022-02-16 08:56:16
486.3MB
Python
1