Dense Passage Retriever - 是一套用于开放领域问答任务的工具和模型Q&A-python源码

Dense Passage Retriever - 是一套用于开放领域问答任务的工具和模型Q&A Dense Passage Retriever Dense Passage Retriever - 是一组用于开放域问答任务的工具和模型。 它基于这项研究工作，并为多个问答数据集提供了最先进的结果。 特征密集检索器模型基于双编码器架构。 受本文启发的抽取式问答读者和排名者联合模型。 相关数据预处理和后处理工具。 推理时间逻辑的密集检索器组件基于 FAISS 索引。 安装 从源头安装。 推荐使用 Python 的虚拟或 Conda 环境。 git clone git@github.com:fairinternal/DPR.git cd DPR pip install 。 DPR 在 Python 3.6+ 和 PyTorch 1.2.0+ 上进行了测试。 DPR 依赖第三方库来实现编码器代码。 目前支持 Huggingface BERT、Pytext BERT 和 Fairseq RoBERTa 编码器模型。 由于标记化过程的普遍性，DPR 目前使用 Hugging