从零开始大模型开发与微调基于PyTorch与ChatGLM

利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用. 目前支持上传 txt、docx、md、pdf等文本格式文件, 提供包括ChatGLM-6B系列、Belle系列等模型文件以及GanymedeNil/text2vec-large-chinese、nghuyong/ernie-3.0-base-zh、nghuyong/ernie-3.0-nano-zh等Embedding 提供ModelScope版本和HuggingFace版本. 需要Python>=3.8.1 目前热门的中文embeddding模型都支持, 非常适合用于做企业企业二开

用程序生成的ChatGLM分词词典，有助于帮助研发人员更直接的了解ChatGLM的分词原理

内容概要:这是一个chatglm-6b项目源代码,可以轻松在自己电脑部署大模型。请输入问题后点击提交,可以看到想要的答案 技术方案：后端python、前端html、用nginx部署前端 适合人群:无任何基础的小白,具备一定编程基础,学生、工作1-3年的研发人员、从事语音识别开发的工程师、科研人员 能学到什么:快速在本地体验大模型 阅读建议:源有任何问题可以联系作者 其他：需要相关资料，或者咨询，请联系作者 --------------------------------------------------------------------------- 适合人群:无任何基础的小白,具备一定编程基础,学生、工作1-3年的研发人员、从事语音识别开发的工程师、科研人员 能学到什么:快速在本地体验大模型 阅读建议:源有任何问题可以联系作者

chatglm-6b.tgr.7z.021

ChatGLM、ChatGLM6B多用户访问接口，支持http、websocket和前端页面多用户同时访问，ChatGLM模型部署详细介绍请参考博文“https://blog.csdn.net/suiyingy/article/details/130412307”。ChatGLM6B默认的部署程序仅支持单用户访问，多用户则需要排队。测试过相关的几个Github多用户工程，但是其中一些仍然不满足要求。本程序实现多用户同时访问Chat GLM的部署接口，包括http、websocket（流式输出，stream）和web页面等方式。

https://blog.csdn.net/dingsai88/article/details/130639365 部署自己的chatglm，不需要买硬件。

chatglm使用lora进行模型微调训练，没有采用官方的方案，使用了另一种效果好的方案，对于显存特别友好，24g显存就能训练自己的垂直领域大模型训练了，效果还是非常的好的，适合自己机器不是很多的需要做实验的同学