俄语文本摘要的GPT-3微调_Fine-tuning GPT-3 for Russian Text Summarization.pdf

GPT-3：语言模型不多见 通过对大量文本进行预培训，然后对特定任务进行微调，最近的工作证明了在许多NLP任务和基准方面的巨大收获。 尽管在结构上通常与任务无关，但此方法仍需要成千上万个示例的特定于任务的微调数据集。 相比之下，人类通常只能通过几个示例或简单的指令来执行新的语言任务-当前的NLP系统在很大程度上仍难以做到这一点。 在这里，我们表明，扩展语言模型可以极大地提高与任务无关的性能，很少出现问题，有时甚至可以通过现有的最新微调方法达到竞争力。 具体来说，我们训练了GPT-3（一种具有1750亿个参数的自回归语言模型，比以前的任何非稀疏语言模型多10倍），并在很少的设置下测试其性能。 对于所有任务，应用GPT-3时不会进行任何梯度更新或微调，而仅通过与模型的文本交互指定任务和少量演示即可。 GPT-3在许多NLP数据集上均具有出色的性能，包括翻译，问题解答和完形填空任务，以及一些需要

在一篇 200 多页的论文中，Percy Liang、李飞飞等斯坦福研究者系统阐述了大规模预训练模型背后的机遇与风险。他们还给这些模型取了一个统一的名字—— Foundation Model。

提示 这是OpenAI GPT-3提示的免费开放源代码（FOSS）策划。 执照 GPL-3 .prompt文件格式 这是我用来组织这些提示的格式。 它是具有模式的yaml ，尚未定义。 该文件与该模式的示例一样好。 title : " meeting bullet points to summary " prompt : |+ Convert my short hand into a first-hand account of the meeting: Summary: engine : " davinci-instruct-beta " temperature : 0.7 max-tokens : 60 top-p : 1 frequency-penalty : 0.0 presence-penalty : 0.0 best-of : 1 stop-