本文介绍了银行疑问句（BQ）语料库，这是一种用于句子语义对等识别（SSEI）的中文语料库。 BQ语料库包含来自1年在线银行客户服务日志的120,000个问题对。 为了有效地处理和注释来自如此大量日志的问题，本文提出了一种基于聚类的注释方法，以实现具有相同意图的问题。 首先，通过基于WordMover的距离（WMD）的亲和力传播（AP）算法将具有相同答案的重复数据删除问题聚集成堆栈。 然后，要求注释者为不同的意图类别分配集群问题。 最后，在相同的意图类别和不同的意图类别之间分别选择SSEI的正面和负面问题对。 我们还在语料库上展示了六个SSEI基准性能，包括最新算法。 BQ语料库是银行领域最大的手动注释中文公共SSEI语料库，不仅对中文问题语义匹配研究有用，而且对跨语言和跨域SSEI研究也有重要意义。 该语料库在公众场合可用。
2022-03-11 13:06:58
308KB
1
词是最小的能够独立活动的有意义的语言成分,但汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词法分析是中文信息处理的基础与关键。所有涉及中文内容处理的系统，如果没有一个好的中文词法分析系统支持，正确率都会受很大影响。汉语自动智能分词是中文信息处理的基础与关键。所有涉及中文内容处理的系统，如果没有一个好的中文词法分析系统支持，正确率都会受很大影响。具体来说，汉语自动智能分词的主要应用领域包括：
2022-02-16 18:31:44
180KB
1