自动汇总
新闻文本自动摘要，以Textrank为基础，合并标题特征，单句位置特征，重要实体特征，线索词特征，做句子的综合权重计算，并使用MMR算法，兼顾自动摘要的主题相关性和摘要。
查看新闻摘要示例
2021-10-08 22:00:56
26KB
1
SiameseLSTM-Keras
针对短语/句子/序列的相似性比较提出了一种评价模型——Siamese LSTM（孪生网络）。该模型是输入为句子对，输出为输入句子对的相似性得分，基于Keras实现。训练35轮左右模型达到拟合，测试集准确率87%
2021-09-29 08:54:00
19.85MB
1
在NLP中孪生网络基本是用来计算句子间的语义相似度的。其结构如下在计算句子语义相似度的时候，都是以句子对的形式输入到网络中，孪生网络就是定义两个网络结构分别来表征句子对中的句子，然后通过曼哈顿距离，欧式距离，余弦相似度等来度量两个句子之间的空间相似度。孪生网络又可以分为孪生网络和伪孪生网络，这两者的定义：孪生网络：两个网络结构相同且共享参数，当两个句子来自统一领域且在结构上有很大的相似度时选择该模型；伪孪生网络：两个网络结构相同但不共享参数，或者两个网络结构不同，当两个句子结构上不同，或者来自不同的领域，或者时句子和图片之间的相似度计算时选择该模型；另外孪生网络的损失函数一般选择Contras
2021-09-25 20:51:45
365KB
1
text2vec
text2vec，中文文本给vetor。（文本向量化表示工具，包括词向量化，句子向量化）
特征
文本向量表示
字词粒度，通过腾讯AI Lab开放式的大规模扩展中文 （文件名：light_Tencent_AILab_ChineseEmbedding.bin密码：tawe），获取字词的word2vec矢量表示。
句子粒度，通过求句子中所有单词词嵌入的预先计算得到。
篇章粒度，可以通过gensim库的doc2vec得到，应用替代，本项目不实现。
文本相似度计算
基准方法，估计两个句子间语义相似度最简单的方法就是求句子中所有单词词嵌入的前缀，然后计算两个句子词嵌入之间的余弦相似性。
2021-09-25 10:16:25
141KB
1
已有文件sentence.dat是由很多行英文句子构成，请你对这个文件进行处理，构造相应的数据结构，开发出一个快速查找最相似句子的系统（相似度计算方法见附注），该系统能实现的功能为：
1 在控制台（console）中可以随时输入一个英文句子，单词长度小于等于8，运算后立刻在console中打印出在sentence.dat中与输入的英文句子最相似的前十个英文句子，和对应的相似度。
2 每执行依次相似句子查询后，在控制台打印出本次执行的总时长，并要求从每次从console获得输入到执行完毕，总时长小于100毫秒。
2021-09-13 20:55:13
1KB
1
情绪LIWClib
这是一个python脚本，给出一个字符串，返回每个句子的极性。 它依赖于 ，但是，它在此存储库中不可用，需要从其他来源检索。
情绪极性计算示例
from LIWClib.EmotionsLIWClib import *
myLIWC = LIWCObj()
myLIWC.build_model('LIWClib/dictionary/LIWC2007_English100131.dic')
myLIWC.unittest()
PASSED - ({'posemo': 0, 'negemo': 3}) This pasta sucks, it is made by shit. I don't like this pizza.
PASSED - ({'posemo': 0, 'negemo': 0}) Questa passata fa schifo!
PASSED -
2021-09-07 22:05:06
6KB
1