用于人际关系分类的R-BERT
本项目采用R-BERT模型:对人物关系进行分类,提升效果明显,在测试集上的F1值达到85%。
数据集
共3901条标注样本,训练集:测试集= 8:2
标注样本:亲戚 1837年6月20日,威廉四世辞世,他的侄女维多利亚即位。 ,其中亲戚为关系,威廉四世为实体1(entity_1 ),维多利亚为实体2(entity_2)。
每一种关系的标注数量如下图:
模型结构
从BERT获得三个向量。
[CLS]令牌向量
实体_1平均向量
平均实体_2向量
将每个矢量传递到完全连接的层。 退出-> tanh-> fc-layer
连接三个向量。
将串联的矢量传递到完全连接层。 辍学-> FC层
完全符合书面条件。
分别平均对entity_1和entity_2隐藏状态向量。 (包括$,#个令牌)
完全连接层之前的Dropout和
2021-03-16 18:10:27
328KB
Python
1