gpt-3：GPT-3：语言模型鲜为人知-源码

GPT-3：语言模型不多见 通过对大量文本进行预培训，然后对特定任务进行微调，最近的工作证明了在许多NLP任务和基准方面的巨大收获。 尽管在结构上通常与任务无关，但此方法仍需要成千上万个示例的特定于任务的微调数据集。 相比之下，人类通常只能通过几个示例或简单的指令来执行新的语言任务-当前的NLP系统在很大程度上仍难以做到这一点。 在这里，我们表明，扩展语言模型可以极大地提高与任务无关的性能，很少出现问题，有时甚至可以通过现有的最新微调方法达到竞争力。 具体来说，我们训练了GPT-3（一种具有1750亿个参数的自回归语言模型，比以前的任何非稀疏语言模型多10倍），并在很少的设置下测试其性能。 对于所有任务，应用GPT-3时不会进行任何梯度更新或微调，而仅通过与模型的文本交互指定任务和少量演示即可。 GPT-3在许多NLP数据集上均具有出色的性能，包括翻译，问题解答和完形填空任务，以及一些需要