=================星辰语义大模型概述
1，星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型，采用1.5万亿 Tokens中英文高质量语料进行训练。
2，开源了对话模型 TeleChat-7B-bot ，以及其 huggingface格式的权重文件。此外，还开源了7B模型的int8和int4量化版本。
============3，开源的TeleChat模型的优点
3.1，支持deepspeed微调
3.2，开源了基于deepspeed的训练代码，支持Zero并行显存优化，同时集成了FlashAttention2。
3.3，多轮能力支持
3.4，开源了多轮数据构建方式，针对多轮模型训练集成了针对多轮的mask loss训练方式，更好的聚
3.5，焦多轮答案，提升问答效果。
外推能力提升
3.6，开源了8K训练版本模型，采用NTK-aware外推和attention saling外推方式，可以外推到96K。
3.7，具备较好的长文生成能力
在工作总结，工作计划，PPT大纲，申论，招标书，邮件，方案，周报，JD写作等长文写作任务具有较好的表现。
2024-08-29 17:27:50
302KB
1
JQuery api 1.8 中文版.chm，一款优秀的学习JQuery的资源和前端开发时必需的JQuery开发手册。希望对大家有帮助！
2023-07-03 08:49:42
210KB
1
vue.js2.0中文文档离线版是一款十分实用的使用教程，专门详细地介绍了vue.js，从基础、进阶和迁移三大方面进行讲述，能够让用户由浅入深，逐渐了解和掌握相关知识，有需要的朋友不妨来下载！
2023-01-11 09:43:27
1.13MB
1
华为AR产品设备文档，介绍了产品定位和特点、典型应用场景、产品特性、外观结构、操作和维护、规格参数、配件选购指南
2022-12-15 19:18:44
174.49MB
1