一、DistilBert for Chinese 海量中文预训练蒸馏Bert模型
拟于12月16日发布 target to release on Dec 16th.
拟发布内容 Contents：
1.1 可下载的蒸馏模型，已经训练过
a pretrained chinese DistilBert, others can use it directly or trained again on their own corpus;
1.2 可用于下游任务的例子和代码，包括3个ChineseGLUE(CLUE)的任务
fine tuning examples and codes using DistilBert on three ChineseGLUE(CLUE) tasks;
1.3 小模型基准测评
performance comparsion with albert_tiny, ernie
2021-12-15 22:16:28
1KB
1
蒙古BERT型号
该存储库包含由 ， 和训练的经过预训练的蒙古模型。 特别感谢提供了5个TPU。
该存储库基于以下开源项目： ，和 。
楷模
词汇量为32000的用作文本标记器。 您可以使用蒙版语言模型笔记本 测试经过预训练的模型可以预测蒙面蒙语单词的效果如何。
BERT-Base： 和
BERT-Large： HuggingFace
未装箱的BERT-Base： TensorFlow检查点和PyTorch模型
未装箱的BERT-Large： HuggingFace
盒装BERT-Base
下载TensorFlow检查点或PyTorch模型。 评估结果：
global_step = 4000000
loss = 1.3476765
masked_lm_accuracy = 0.7069192
masked_lm_loss = 1.2822781
next_sentence_a
2021-11-19 11:06:27
1.37MB
1
购买课程后，添加小助手微信（微信号：itxy41）回复【唐宇迪】
进入学习群，获取唐宇迪老师答疑
Python自然语言处理-BERT模型实战课程旨在帮助同学们快速掌握当下NLP领域最核心的算法模型BERT的原理构造与应用实例。通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。最后基于BERT框架进行中文情感分析与命名实体识别等主流项目实战，提供全部课程资料，包括PPT,数据,代码。
2021-11-17 15:34:05
418B
1
命名实体识别是自然语言处理的一项关键技术. 基于深度学习的方法已被广泛应用到中文实体识别研究中. 大多数深度学习模型的预处理主要注重词和字符的特征抽取, 却忽略词上下文的语义信息, 使其无法表征一词多义, 因而实体识别性能有待进一步提高. 为解决该问题, 本文提出了一种基于BERT-BiLSTM-CRF模型的研究方法. 首先通过BERT模型预处理生成基于上下文信息的词向量, 其次将训练出来的词向量输入BiLSTM-CRF模型做进一步训练处理. 实验结果表明, 该模型在MSRA语料和人民日报语料库上都达到相当不错的结果, F1值分别为94.65%和95.67%.
2021-11-09 18:16:01
1.5MB
1
使用BERT模型作为句子编码服务，将可变长度句子映射到固定长度向量。
2021-10-31 06:52:48
3.22MB
1
KBQA-BERT
基于知识图谱的QA系统，BERT模型需要下载BERT预训练模型（中文）chinese_L-12_H-768_A-12 解压缩后放在./ModelParams文件夹里面（注意整个chinese_L-12_H-768_A-12文件夹放进去）
另外需要在根目录建立输出文件夹存放训练的模型参数文件分为输出/ NER（命名实体识别）文件夹和输出/ SIM（相似度）文件夹
1.run_ner.sh训练（命名实体识别）
2.terminal_ner.sh（命名实体识别测试）
3.args.py
train = true预训练模式
test = true相似度测试
4.run_similarity相似度的训练或测试（根据第3步的设置决定）
5.qa_my.sh（连接了本地的neo4j知识库）
问答
参考： :
2021-09-05 19:50:45
5.79MB
1
PyTorch的BERT中文文本分类
此存储库包含用于中文文本分类的预训练BERT模型的PyTorch实现。
代码结构
在项目的根目录，您将看到：
├── pybert
| └── callback
| | └── lrscheduler.py
| | └── trainingmonitor.py
| | └── ...
| └── config
| | └── base.py #a configuration file for storing model parameters
| └── dataset
| └── io
| | └── be
2021-08-27 20:50:35
46KB
1
PyTorch的Bert多标签文本分类
此仓库包含用于多标签文本分类的预训练BERT和XLNET模型的PyTorch实现。
代码结构
在项目的根目录，您将看到：
├── pybert
| └── callback
| | └── lrscheduler.py
| | └── trainingmonitor.py
| | └── ...
| └── config
| | └── basic_config.py #a configuration file for storing model parameters
| └── dataset
| └── io
2021-08-27 20:41:49
154KB
1