可以做深度匹配训练数据、聊天机器人训练数据

适用于初步学习人工智能，需要使用文本相似度demo的同学

中文文本相似度/文本推理/文本匹配数据集——XNLI

英文文本相似度/文本推理/文本匹配数据集——Quora

一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算

1.采用经典的vsm模型实现的文本相似度计算。 2.采用中科院ictclas的开源分词系统 3.包含全部实现源码

1 绪论 1 1.1 研究背景 1 1.2 国内外研究现状 1 1.3 研究目的及内容 2 1.4 本章小结 3 2 系统的相关技术 4 2.1 手写识别技术 4 2.2 Gensim框架 4 2.3 PyQt5 GUI程序 4 2.4 MongoDB数据库 5 2.5 本章小结 5 3 系统的可行性分析与需求分析 6 3.1 可行性分析 6 3.1.1 技术可行性 6 3.1.2 经济可行性 6 3.1.3 运行可行性 6 3.2 需求分析 6 3.2.1 业务需求 6 3.2.2 功能性需求 8 3.2.3 非功能需求 9 3.3 本章小结 10 4 主观题阅卷系统的设计 11 4.1 系统功能设计 11 4.1.1 基础用户功能模块 11 4.1.2 管理功能模块 12 4.1.3 试卷批阅功能模块 12 4.2 系统数据库设计 12 4.2.1 概念设计 12 4.2.2 数据库集合设计 14 4.3 本章小结 16 5 主观题阅卷系统的实现 17 5.1 基础用户功能模块 17 5.1.1 登录注册功能 17 5.1.2 修改密码功能 17 5.1.3 下载与上传功能 17 5.1.4 查看成绩功能 18 5.2 管理功能模块 18 5.2.1 管理员登录功能 18 5.2.2 文件管理功能 18 5.2.3 账号管理功能 18 5.3 试卷批阅功能模块 19 5.3.1 手写识别功能 19 5.3.2 文本相似度计算功能 20 5.4 本章小结 22 6 系统测试 23 6.1 测试目的 23 6.2 基本功能测试 23 6.3 主要功能详细测试 24 6.4 本章小结 27 总结与展望 29 参考文献 30 致 谢 31 附 录 32

中文文本相似度/文本推理/文本匹配数据集——CCKS2018

基于分词的中文文本相似度计算研究

随着微博用户的增多，微博平台的信息更新频繁。针对微博文本的数据稀疏性、新词多、用语不规范等特点，提出了基于SOM聚类的微博话题发现方法。从原始语料中对文本进行预处理，通过词向量模型对短文本进行特征提取，降低了向量维度过高带来的计算量繁重问题。采用改进的SOM对话题进行聚类，该算法改善了传统文本聚类的不足，进而能有效地发现话题。实验表明该算法较传统文本聚类算法的综合指标F值有明显提高。