星辰语义大模型TeleChat超详细部署文档手册

=================星辰语义大模型概述 1，星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型，采用1.5万亿 Tokens中英文高质量语料进行训练。 2，开源了对话模型 TeleChat-7B-bot ，以及其 huggingface格式的权重文件。此外，还开源了7B模型的int8和int4量化版本。 ============3，开源的TeleChat模型的优点 3.1，支持deepspeed微调 3.2，开源了基于deepspeed的训练代码，支持Zero并行显存优化，同时集成了FlashAttention2。 3.3，多轮能力支持 3.4，开源了多轮数据构建方式，针对多轮模型训练集成了针对多轮的mask loss训练方式，更好的聚 3.5，焦多轮答案，提升问答效果。 外推能力提升 3.6，开源了8K训练版本模型，采用NTK-aware外推和attention saling外推方式，可以外推到96K。 3.7，具备较好的长文生成能力 在工作总结，工作计划，PPT大纲，申论，招标书，邮件，方案，周报，JD写作等长文写作任务具有较好的表现。