我们通常用困惑度（perplexity）来评估语言模型的好坏。可以探索一下交叉熵损失函数的定义。困惑度是对交叉熵损失函数做指数运算后得到的值。特别地： 最佳情况下，模型总是把标签类别的概率预测为1，此时困惑度为1； 最坏情况下，模型总是把标签类别的概率预测为0，此时困惑度为正无穷； 基线情况下，模型总是把预测所有类别的概率都相同，此时困惑度为类别个数。 显然，任何一个有效模型的困惑度必须小于类别个数。 假定交叉熵损失函数为：H(y(i),y^(i))=−∑j=1qyj(i)logy^j(i)H(y^{(i)},\hat{y}^{(i)})=-\sum_{j=1}^qy_j^{(i)}log\h

财经行业词库-nlp/自然语言处理

第一章_德塔自然语言图灵系统 11知识来源 11德塔分词的催化切词优化方式 13分词 13排序 15神经网络索引 16分词在线性文本搜索中应用 17动态 POS

绪论1（一）研究背景及意义11. 研究背景1（1） 时政背景1（2） 美食旅游良好的发展态势1（3） “千年广府”、“粤菜名城”——广州

1. 节点预测：预测节点的类别或某类属性的取值 1. 例子：对是否是潜在客户分类、对游戏玩家的消费能力做预测 2. 边预测：预测两个节点间是否存在链接 1. 例

Chinese News Hot Subtopic Discovery and Recommendation MethodBased on Key Phrase

用实体信息丰富预训练的语言模型进行关系分类1

1.1 概率 1.2 最大似然估计 1.3 条件概率 1.4 贝叶斯法则 1.5 随机变量 1.6 二项式分布 1.7 联合概率分布和条件概率分布 1.8 贝叶

包括机器学习基本算法+数学原理、transformer及bert流程图

这个数据集有两万多条平行语料，适合学习seq2seq或者transformer的时候练习用。里面有统计好的该语料的词典，使用python pickle.load查看