上传者: syp_net
|
上传时间: 2022-03-29 22:14:18
|
文件大小: 5.63MB
|
文件类型: -
基于Transformer的预训练语言模型(T-PTLMs)在几乎所有的自然语言处理任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型建立在Transformer、自监督学习和迁移学习的基础上。基于转换的PTLMs通过自监督学习从大量文本数据中学习通用语言表示,并将这些知识转移到下游任务中。这些模型为下游任务提供了良好的背景知识,避免了对下游模型从头开始的训练。