ChatGLM、ChatGLM6B多用户访问接口,支持http、websocket和前端页面多用户同时访问,ChatGLM模型部署详细介绍请参考博文“https://blog.csdn.net/suiyingy/article/details/130412307”。ChatGLM6B默认的部署程序仅支持单用户访问,多用户则需要排队。测试过相关的几个Github多用户工程,但是其中一些仍然不满足要求。本程序实现多用户同时访问Chat GLM的部署接口,包括http、websocket(流式输出,stream)和web页面等方式。
2023-10-19 14:43:46 6KB ChatGLM6B ChatGLM 多用户 http