iamQA
中文wiki百科问答系统,本项目使用了torchserver部署模型
知识库:wiki百科中文数据
模型:使用了的NER(CCKS2016数据)和阅读理解模型(CMRC2018),还有Word2Vec词向量搜索。
详细内容可以参考文章:
项目框架
模块介绍
ChineseWiki-master
功能:清洗wiki中文数据
相关项目:
NER
功能:从问题中识别实体
例子:qurry:周董是谁? 》》 entiy:周董
模型:ALBERT
数据集:CCKS2016KBQA
相关项目:
Word2vec
功能:如果实体不在知识库,则用W2V搜索近似实体
例子:entity:周董 >> ['周杰伦','JAY','林俊杰']
相关项目:
Entity linking
功能:根据NER或W2V得到的mention entity搜索知识库
Reader
功能:阅读理解文段,精确定位答
1