大鸟:变形金刚更长的序列
这不是Google的官方产品。
什么是BigBird?
BigBird是一种基于稀疏注意的转换器,它将基于Transformer的模型(例如BERT)扩展到更长的序列。 此外,BigBird还具有对稀疏模型可以处理的完整变压器的功能的理论理解。
由于能够处理更长的上下文,BigBird极大地提高了各种NLP任务(例如问题回答和摘要)的性能。
更多详细信息和比较可以在我们的找到。
引文
如果您觉得这很有用,请引用我们的:
@article{zaheer2020bigbird,
title={Big bird: Transformers for longer
1