python编写的简单程序,一共只有130多行,但是应付老师绰绰有余:) 实验:基于LSTM的命名实体识别 数据处理 给每个实体类型进行编号、给每个单词进行编号 文本填充 使用标识符,将所有序列处理成同样长度 训练流程 给每个输入和其对应编号建立一个张量 构成训练批 输入LSTM单元 输入全连接层 使用sorftmax或其他分类器进行预测 模型构建 pytorch自带LSTM类/其他工具也可以/自己编码也可以
2024-05-08 15:06:16 1.85MB 自然语言处理 pytorch pytorch 课程资源
1
本课件是对论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 的导读与NLP领域经典预训练模型 Bert 的详解,通过介绍NLP领域对通用语言模型的需求,引入 Bert 模型,并对其架构进行宏观微观的解读,然后详细介绍 Bert 每预训练阶段采用的两个任务,以及常见的微调下游任务场景。最后通过可视化的方式,给出 Bert 在向量表征上的优势所在。
2024-05-01 14:14:23 3.03MB 自然语言处理 bert transformer 预训练模型
1
论文笔记
2024-04-26 13:58:27 2.41MB 自然语言处理
1
自然语言处理相关的分词数据
2024-04-21 22:58:27 17.69MB 自然语言处理 NLP
1
人民日报的爬取数据集
2024-04-21 22:46:51 31.76MB 数据集
1
huggingface下载速度慢,遇到sentence-transformers模型下载失败还是尽量使用进行本地下载改路径的方式。
2024-04-11 23:10:48 817MB 自然语言处理
1
nlp之中机器翻译的最新论文的代码复现nlp-master.zip
2024-04-10 17:22:12 17.98MB 自然语言处理 机器翻译 毕业设计
1
本项目使用 GPT2-Chinese 的模型将wiki中文的数据导入模型训练了通用模型。 将GPT2-chitchat的对话任务稍作修改来适用于中文摘要任务。 将通用模型的权重应用在摘要问题上进行进一步训练的。 GPT2-Chinese 参考:https://github.com/Morizeyao/GPT2-Chinese GPT2-chitchat参考:https://link.zhihu.com/?target=https%3A//github.com/yangjianxin1/GPT2-chitchat 项目工作流程详见:https://zhuanlan.zhihu.com/p/113869509 本项目为GPT2-chitchat稍作修改的内容,在此也感谢大佬的分享。 由于NLPCC的摘要数据为新闻语料,涉及话题和内容较多,应用在垂直领域下效果会好一些。
2024-04-07 20:01:34 482KB gpt2 智能写作 NLP 自然语言处理
1
将SubRip格式的字幕从一种自然语言翻译成另一种自然语言。 它基于不带API的Google翻译,因此无需付款。 译员具有自动和手动拼写检查器。
2024-03-30 19:09:26 51.95MB 开源软件
1
本资源配备博客地址:https://blog.csdn.net/m0_47220500/article/details/106059669 该资源:主要解决的问题是给定一个语料库,这里语料库记录对比的问题,然后用户输入文本,计算语料库中哪一条文本与用户输入最为相似。
1