ChatGPT之训练自己的模型.pdf

前言 ChatGPT是“大力出奇迹”的经典表现，大模型给ChatGPT带来了惊人的智能，但是 要训练这样的大模型，可是十分烧钱的，根据OpenAI给出的数据，1700亿参数的 Davinci模型从头训练一遍，大概需要耗时3个月，耗资150万美元。那我们普通人 或者小公司面对这个高⻔槛，对自定义模型是不是就完全没有希望了呢？其实除了从 头训练一个模型，我们还可以选择基于一个基础模型进行训练，这样，我们可以往里 添加自己的个性化数据，最终得到一个领域增强的个性化模型，这个技术被OpenAI 称为Fine-tuning。 个性化模型有什么用？我们知道，OpenAI给的模型（如Davinci、Curie、gpt- 3.5-turbo）都是通用化模型，而现代社会的行业和知识如此之庞大，每个领域都有 自己细分的专业知识，比如，我们知道ChatGPT的一个典型应用场景就是智能客服， 但同样是客服，保险领域的客服和淘宝店铺的客服需要面对的客戶和需要解答的问题 就完全不一样，想要给出更好的答案，我们就需要打磨自己的个性化模型。 原理 OpenAI的Fine-tuning技术基于预训练模型，通过在小规模任