上传者: 38751014
|
上传时间: 2022-11-07 10:16:24
|
文件大小: 30KB
|
文件类型: PDF
文本相似在问答系统中有很重要的应用,如基于知识的问答系统(Knowledge-based QA),基于文档的问答系统(Documen-based QA),以及基于FAQ的问答系统(Community-QA)等。像 对于问题的内容,需要进行相似度匹配,从而选择出与问题最接近,同时最合理的答案。本节介绍 基于ngram-tf-idf的余弦距离计算相似度。
本节将介绍两种实现:基于sklearn 和 基于gensim
基于sklearn的方式如下:
import os
import re
import jieba
import pickle
import logging
import numpy