基于BERT的中文数据集下的命名实体识别(NER)
基于tensorflow官方代码修改。
环境
Tensorflow:1.13
的Python:3.6
tensorflow2.0会报错。
搜狐比赛
在搜狐这个文本比赛中写了一个基准,使用了bert以及bert + lstm + crf来进行实体识别。
其后只使用BERT的结果如下,具体评估方案请看比赛说明,这里的话只做了实体部分,情感全部为POS进行的测试嘲笑。
使用bert + lstm + crf结果如下
训练验证测试
export BERT_BASE_DIR=/opt/hanyaopeng/souhu/data/chinese_L-
1