从预训练语言模型看句子嵌入
这是以下的TensorFlow实现:
On the Sentence Embeddings from Pre-trained Language Models
Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, Lei Li
EMNLP 2020
模型
斯皮尔曼的罗
BERT-大型-NLI
77.80
BERT-大-NLI-last2avg
78.45
BERT大NLI流(仅目标,仅训练)
80.54
BERT大型NLI流程(目标,训练+开发+测试)
81.18
如有任何疑问,请联系 。
要求
Python> = 3.6
TensorFlow> = 1.14
准备
预训练的BERT模型
export BERT_PREMODELS= " ../bert_premodels "
mk
2022-01-18 15:20:04
275KB
Python
1