上传者: langfangctt
|
上传时间: 2021-08-03 15:14:46
|
文件大小: 17.3MB
|
文件类型: PPTX
台湾大学李宏毅老师的bert和transformer的ppt,前一段时间谷歌推出的BERT模型在11项NLP任务中夺得STOA结果,引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务,当时达到了STOA效果。Transformer改进了RNN最被人诟病的训练慢的缺点,利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度,充分发掘DNN模型的特性,提升模型准确率。
ppt的23页是视频