文本相似度计算作为中文信息处理中的一项基础性技术,被广泛应用到文本分类、文本聚类、信息检索等多个领域,长期以来受到了众多学者的关注和研究。在信息大爆炸所带来的大量文本信息的数据堆积中,很大一部分是短文本数据或短语数据,因此,在短文本数据信息的处理问题上,短语的相似度计算变得越来越重要。本文就是针对中文短语信息的处理问题,提出了一种新的中文短语相似度计算方法。在算法的设计过程中,本文分析了短语间相匹配文字的位置、匹配位置的偏移值、匹配文字长度等多种因素,提出了中文短语间相似度的计算公式,并给出了该算法的实现代码。

基于Pytorch的中文语义相似度匹配模型 基于Pytorch的中文语义相似度匹配模型 本项目将持续更新，对比目前业界主流文本匹配模型在中文的效果 运行环境：python3.7，pytorch1.2，transformers2.5.1 数据集采用LCQMC数据（将一个句子对进行分类，判断两个句子的语义是否相同（二分类任务）），因数据存在涉嫌嫌疑，故不提供下载，需要者可向官方提出数据申请 ，将数据解压到数据文件夹即可。模型评价指标为：ACC，AUC以及预测总计耗时。 嵌入：本项目输入都统一采用分字策略，故通过维基百科中文语料，训练了字向量作为嵌入。训练语料，矢量模型以及词表，可通过百度网盘下载。链接： : 提取码：s830 模型文件：本项目训练的模型文件（不一定最优，可通过超参继续调优），也可通过网盘下载。链接： : 提取码：s830 测试集结果对比： 模型 行政协调会 AUC 耗时（s

语义相似度 中文语义相似度模型测试