Longformer
Longformer和LongformerEncoderDecoder LongformerEncoderDecoder (LED)是用于长文档的预训练变压器模型。
***** 2020年12月1日新版:LongformerEncoderDecoder *****
LongformerEncoderDecoder (LED)模型现在可用。它支持长输入的seq2seq任务。使用渐变检查点,fp16和48GB gpu,输入长度最多可达到16K令牌。检查更新的纸张以获取模型的详细信息和评估。
训练有素的模型:1) 16384,2)
要求:确保使用的huggingface /变压器在叉指定requirements.txt 。它增加了对梯度检查点的支持,并允许输入和输出具有不同的最大序列长度。您还可以运行pip install git+https://github.c
2022-09-20 14:06:52
591KB
Python
1