基于遗传算法的词语语义相似度计算研究.pdf

similarity：相似度计算工具包，java编写。用于词语、短语、句子、词法分析、情感分析、语义分析等相关的相似度计算。

词相似度计算有重要应用在许多领域，例如自然语言处理，情报信息检索，文档聚类，自动应答， 词义歧义消除，机器翻译等。本文对基于词的相似度计算进行了深入研究知网和单词相似度的计算分为三个步骤：（1） 计算词素相似度，（2）计算概念相似度使用权重相似度的加权和方法，（3）取概念的最大相似度是单词相似度。 本文主要介绍对音素的编号，并介绍更多分解概念描述类型的准确方法。 这实验表明，提出了词相似度算法本文简单可行，计算结果为与意识相对一致。

自己在金山的校园招聘时候的笔试题，感促颇深、把其中的关键代码展示共大家分享。 能简单比较两个数字的相似度，而且比较的思路也比较好。 预祝面试成功！

对四种句子/文本相似度计算方法进行实验与比较

SiameseLSTM-Keras 针对短语/句子/序列的相似性比较提出了一种评价模型——Siamese LSTM（孪生网络）。该模型是输入为句子对，输出为输入句子对的相似性得分，基于Keras实现。训练35轮左右模型达到拟合，测试集准确率87%

SIF：一种简单但是有效的词向量计算余弦相似度的方法，利用了tfidf等知识。

在NLP中孪生网络基本是用来计算句子间的语义相似度的。其结构如下在计算句子语义相似度的时候，都是以句子对的形式输入到网络中，孪生网络就是定义两个网络结构分别来表征句子对中的句子，然后通过曼哈顿距离，欧式距离，余弦相似度等来度量两个句子之间的空间相似度。孪生网络又可以分为孪生网络和伪孪生网络，这两者的定义：孪生网络：两个网络结构相同且共享参数，当两个句子来自统一领域且在结构上有很大的相似度时选择该模型；伪孪生网络：两个网络结构相同但不共享参数，或者两个网络结构不同，当两个句子结构上不同，或者来自不同的领域，或者时句子和图片之间的相似度计算时选择该模型；另外孪生网络的损失函数一般选择Contras

text2vec text2vec，中文文本给vetor。（文本向量化表示工具，包括词向量化，句子向量化） 特征 文本向量表示 字词粒度，通过腾讯AI Lab开放式的大规模扩展中文 （文件名：light_Tencent_AILab_ChineseEmbedding.bin密码：tawe），获取字词的word2vec矢量表示。 句子粒度，通过求句子中所有单词词嵌入的预先计算得到。 篇章粒度，可以通过gensim库的doc2vec得到，应用替代，本项目不实现。 文本相似度计算 基准方法，估计两个句子间语义相似度最简单的方法就是求句子中所有单词词嵌入的前缀，然后计算两个句子词嵌入之间的余弦相似性。

利用编辑距离计算文档的相似度，先将word文档解压缩，然后进行对比计算文档的相似度