文本相似性Web应用程序
简单的Web应用程序可查找用户输入的两段文本之间的相似性
介绍:
这是一个简单的Flask Web应用程序,它接收2条文本并吐出2条文本之间的相似度百分比。该算法绝非完美。它需要更多的改进,但这是一个很好的起点。
注意事项:
标点符号将代替其原始符号。我使用了 ,其中包含许多标点符号及其扩展形式。我已将其作为json文件包含在内,因此以后任何人都可以进一步扩展。
重复的单词不会增加相似性。我将使用一组,因此重复的单词将不会计入。
我使用了一个名为“ Inflect”的库,该库将数字转换为口语单词(例如1-> 1,2-> 2等),因此涵盖了数字到文本的转换。
特殊字符将被忽略。
单词的顺序无关紧要。
算法:
实际算法是余弦相似度算法的副本。步骤如下:
从用户那里获得2个文本。
标记文本-将文本转换为单词列表。在这里,我们扩展标点符号,并用实际文本替换数字。
一旦标记
1