KBQA-BERT
基于知识图谱的问答系统，BERT做命名实体识别和句子相似度
介绍
本项目主要由两个重要的点组成，一是基于BERT的命名实体识别，二是基于BERT的句子相似度计算，本项目将这两个模块进行融合，构建基于BERT的KBQA问答系统。详细介绍，请看我的博客： :
环境配置
Python版本为3.6
pytorch版本为1.1.0
windows10
数据在Data中，更多的数据在[**NLPCC2016**](http://tcci.ccf.org.cn/conference/2016/pages/page05_evadata.html) 和 [**NLPCC2017**](http://tcci.ccf.org.cn/conference/2017/taskdata.php)。
目录说明
Input/data/文件夹存放原始数据和处理好的数据
1-sp
2021-09-05 10:15:31
13.07MB
1
运行该项目的模型训练和模型预测脚本需要准备BERT中文版的模型数据，下载网址为： 。
利用笔者自己收集的3881个样本，对人物关系抽取进行尝试。人物关系共分为14类，如下：
{
"unknown": 0,
"夫妻": 1,
"父母": 2,
"兄弟姐妹": 3,
"上下级": 4,
"师生": 5,
"好友": 6,
"同学": 7,
"合作": 8,
"同人": 9,
"情侣": 10,
"祖孙": 11,
"同门": 12,
"亲戚": 13
}
人物关系类别频数分布条形图如下：
模型结构： BERT + 双向GRU + Attention + FC
模型训练效果：
# 训练集(train), loss: 0.0260, acc: 0.9941
# 最终测试集(test), loss: 0.9505, acc:
2021-09-03 20:56:57
690KB
1
PyTorch的BERT中文文本分类
此存储库包含用于中文文本分类的预训练BERT模型的PyTorch实现。
代码结构
在项目的根目录，您将看到：
├── pybert
| └── callback
| | └── lrscheduler.py
| | └── trainingmonitor.py
| | └── ...
| └── config
| | └── base.py #a configuration file for storing model parameters
| └── dataset
| └── io
| | └── be
2021-08-27 20:50:35
46KB
1
PyTorch的Bert多标签文本分类
此仓库包含用于多标签文本分类的预训练BERT和XLNET模型的PyTorch实现。
代码结构
在项目的根目录，您将看到：
├── pybert
| └── callback
| | └── lrscheduler.py
| | └── trainingmonitor.py
| | └── ...
| └── config
| | └── basic_config.py #a configuration file for storing model parameters
| └── dataset
| └── io
2021-08-27 20:41:49
154KB
1
伯特相似度
基于Google的BERT模型来进行语义相似度计算。代码基于tensorflow 1。
1.基本原理
简单来说就是将需要需要计算的相似性的两个句子先分解在一起，然后通过伯特模型获取获取整体的编码信息，然后通过全连接层将维，输出相似和不相似的概率。
1.1模型结构
模型结构所示如下：
1.1.1数据预处理
本文使用Bert模型计算相似度前，首先要对输入数据进行预处理，例如当要处理的文本是：
如何得知关闭借呗 想永久关闭借呗
首先进行文本按token化，切成分割的文字排列：
[如 何 得 知 关 闭 借 呗]
[想 永 久 关 闭 借 呗]
然后将两个切分后的句子，按照如下的方式
2021-08-24 18:33:00
2.82MB
1
An auto-regressive model that captures bidirectional context
2021-08-24 12:35:19
3.06MB
1
MacBERT：重新审视中文自然语言处理的预训练模型（EMNLP的发现）
2021-08-23 22:55:02
128KB
1