1 使用glm4-flash免费的API进行文本QA问答数据抽取,40个煤矿领域安全的规章文本,最终抽取出837个样本共8万to

上传者: 61245650 | 上传时间: 2025-05-31 15:30:10 | 文件大小: 772KB | 文件类型: ZIP
1 使用glm4-flash免费的API进行文本QA问答数据抽取,40个煤矿领域安全的规章文本,最终抽取出837个样本共8万token进行微调 2 使用第一步抽取的文本QA问答数据基于glm4-flash微调出一个煤矿安全大模型,并进行测试 在人工智能领域,文本问答系统一直是一个热门的研究方向,尤其是在特定领域内,如矿山安全,这样的系统能够有效地提供专业信息查询和问题解答。本项目展示了如何利用glm4-flash免费API进行文本问答数据的抽取,以及基于这些数据训练和微调一个针对煤矿安全的大模型。 项目从40个煤矿领域的安全规章文本中抽取了837个样本,总共涉及8万token(token是文本处理中的一个单位,可以是一个词、一个字母或一个符号)。这一步骤至关重要,因为它决定了模型能否获取到足够且高质量的数据来进行学习。通过使用glm4-flash的API,研究人员能够有效地从这些规章文本中识别和抽取出与问答相关的数据,为后续的模型训练提供了原材料。 接下来,使用第一步中抽取的问答数据对一个基础模型进行了微调。微调是指在预训练模型的基础上,用特定任务的数据对模型进行进一步的训练,以提高模型在该任务上的表现。在这个案例中,研究人员将模型微调为一个专门针对煤矿安全问答的“大模型”。这个模型经过微调后,不仅能够理解煤矿安全相关的专业术语和概念,还能够对相关问题给出准确的答案。 在这个过程中,所用到的技术和方法包括自然语言处理(NLP)、机器学习(ML)、以及深度学习等。特别是,深度学习中的预训练模型如BERT、GPT等,因其强大的语义理解和生成能力,在文本问答系统中扮演了重要角色。而glm4-flash API的使用,显示了利用现有工具和资源,即使是免费的,也可以取得相对良好的效果。 此外,本项目的研究成果不仅仅限于模型的训练和微调,还包括了模型的测试阶段。测试是一个验证模型性能和准确度的重要环节,通过一系列的测试,可以确保模型在实际应用中的可靠性和稳定性。对于煤矿安全这样一个对准确性要求极高的领域,这一点显得尤为重要。 本项目的标签为“数据集”、“矿山安全”和“大模型”,这准确地概括了项目的核心内容和应用方向。数据集是人工智能研究的基础,提供了模型学习的材料;矿山安全强调了应用的领域和目的;大模型则体现了模型的规模和复杂性,以及背后的技术深度。 该项目展示了如何利用现有资源进行高效的数据抽取,进而训练出一个针对特定领域(煤矿安全)的问答大模型。这种方法论不仅适用于矿山安全领域,也可以被广泛地应用到其他专业领域,推动人工智能在更多场景中的实际应用。

文件下载

资源详情

[{"title":"( 47 个子文件 772KB ) 1 使用glm4-flash免费的API进行文本QA问答数据抽取,40个煤矿领域安全的规章文本,最终抽取出837个样本共8万to","children":[{"title":"煤矿大模型","children":[{"title":"merged-all.jsonl <span style='color:#111;'> 466.48KB </span>","children":null,"spread":false},{"title":"03merge_data.py <span style='color:#111;'> 1.34KB </span>","children":null,"spread":false},{"title":"01Generate_QAdata.py <span style='color:#111;'> 4.15KB </span>","children":null,"spread":false},{"title":"ori_data","children":[{"title":"43-(AQ1024-2006)煤与瓦斯突出矿井鉴定规范.txt <span style='color:#111;'> 12.51KB </span>","children":null,"spread":false},{"title":"73-煤炭工业露天设计规范标准.txt <span style='color:#111;'> 101.51KB </span>","children":null,"spread":false},{"title":"52-煤尘爆炸性鉴定规范.txt <span style='color:#111;'> 8.40KB </span>","children":null,"spread":false},{"title":"51-煤矿瓦斯抽采(放)监控系统通用技术条件.txt <span style='color:#111;'> 18.57KB </span>","children":null,"spread":false},{"title":"12-煤矿井下运输设计规范.txt <span style='color:#111;'> 80.74KB </span>","children":null,"spread":false},{"title":"21-中华人民共和国煤炭法.txt <span style='color:#111;'> 14.39KB </span>","children":null,"spread":false},{"title":"7-煤矿安全监察条例.txt <span style='color:#111;'> 15.94KB </span>","children":null,"spread":false},{"title":"61-煤矿建设项目安全设施设计审查和竣工验收规范.txt <span style='color:#111;'> 139.54KB </span>","children":null,"spread":false},{"title":"28-立井井筒地面预注浆孔施工技术规范.txt <span style='color:#111;'> 9.47KB </span>","children":null,"spread":false},{"title":"31-煤矿建设项目安全审核基本要求.txt <span style='color:#111;'> 5.99KB </span>","children":null,"spread":false},{"title":"6-煤矿安全风险预控管理体系规范.txt-zxq.txt <span style='color:#111;'> 45.06KB </span>","children":null,"spread":false},{"title":"32-中华人民共和国矿山资源法.txt <span style='color:#111;'> 16.54KB </span>","children":null,"spread":false},{"title":"41-矿井瓦斯涌出量预测办法.txt <span style='color:#111;'> 3.07KB </span>","children":null,"spread":false},{"title":"50-煤矿抽放瓦斯工程设计规范.txt <span style='color:#111;'> 12.65KB </span>","children":null,"spread":false},{"title":"3-《煤矿建设安全规范》.txt <span style='color:#111;'> 186.54KB </span>","children":null,"spread":false},{"title":"14-煤层气(煤矿瓦斯)排放标准.txt <span style='color:#111;'> 6.20KB </span>","children":null,"spread":false},{"title":"38-煤矿井下瓦斯压力的直接测定方法.txt <span style='color:#111;'> 8.13KB </span>","children":null,"spread":false},{"title":"71-AQ1020-2008煤矿井下粉尘综合防治技术规范.txt <span style='color:#111;'> 18.25KB </span>","children":null,"spread":false},{"title":"81-矿山环境地质分类.txt <span style='color:#111;'> 10.68KB </span>","children":null,"spread":false},{"title":"20-中华人民共和国矿山安全法实施条例.txt <span style='color:#111;'> 23.85KB </span>","children":null,"spread":false},{"title":"27-防治煤矿冲击地压细则.txt <span style='color:#111;'> 26.15KB </span>","children":null,"spread":false},{"title":"19-中华人民共和国矿山安全法.txt <span style='color:#111;'> 11.90KB </span>","children":null,"spread":false},{"title":"53-煤矿瓦斯抽采基本指标.txt <span style='color:#111;'> 2.92KB </span>","children":null,"spread":false},{"title":"40-煤层气地面开采防火防爆安全规程.txt <span style='color:#111;'> 14.92KB </span>","children":null,"spread":false},{"title":"80-煤矿瓦斯抽采工程技术标准.txt <span style='color:#111;'> 24.29KB </span>","children":null,"spread":false},{"title":"8-煤矿安全生产事故报告及调查处理规定.txt <span style='color:#111;'> 6.46KB </span>","children":null,"spread":false},{"title":"55-矿井密闭防灭火技术规范.txt <span style='color:#111;'> 14.39KB </span>","children":null,"spread":false},{"title":"2-煤矿建设安全规程.txt <span style='color:#111;'> 350.96KB </span>","children":null,"spread":false},{"title":"9-煤矿的井工开采通风技术条件.txt <span style='color:#111;'> 21.06KB </span>","children":null,"spread":false},{"title":"39-煤矿井下粉尘综合防治技术规范.txt <span style='color:#111;'> 19.02KB </span>","children":null,"spread":false},{"title":"60-矿山救护规程.txt <span style='color:#111;'> 98.74KB </span>","children":null,"spread":false},{"title":"26-煤矿防治水细则.txt <span style='color:#111;'> 77.40KB </span>","children":null,"spread":false},{"title":"10-煤矿防治水规定.txt <span style='color:#111;'> 75.19KB </span>","children":null,"spread":false},{"title":"37-煤矿井下作业人员管理系统使用与管理规范.txt <span style='color:#111;'> 12.65KB </span>","children":null,"spread":false},{"title":"34-瓦斯抽采工程设计规范.txt <span style='color:#111;'> 25.41KB </span>","children":null,"spread":false},{"title":"5-爆破安全规程.txt <span style='color:#111;'> 181.66KB </span>","children":null,"spread":false},{"title":"64-煤矿安全监控系统通用技术要求.txt <span style='color:#111;'> 36.38KB </span>","children":null,"spread":false},{"title":"54-煤矿井巷工程质量检验评定标准.txt <span style='color:#111;'> 72.58KB </span>","children":null,"spread":false},{"title":"42-煤矿井下消防洒水设计规范.txt <span style='color:#111;'> 33.19KB </span>","children":null,"spread":false},{"title":"25-防治煤与瓦斯突出细则.txt <span style='color:#111;'> 85.74KB </span>","children":null,"spread":false},{"title":"4-GB50471-2008煤矿瓦斯抽采工程设计规范.txt <span style='color:#111;'> 43.36KB </span>","children":null,"spread":false},{"title":"11-煤矿建设项目安全预评估实施细则.txt <span style='color:#111;'> 15.22KB </span>","children":null,"spread":false},{"title":"62-煤矿注浆防灭火技术规范.txt <span style='color:#111;'> 9.34KB </span>","children":null,"spread":false}],"spread":false},{"title":"02conver_data_single.py <span style='color:#111;'> 2.82KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明