https://github.com/google-research/bert 里的预训练好的中文的NER模型，该模型是中文命名实体识别的预训练模型chinese_L-12_H-768_A-12.zip，这个链接下载只需3积分，主要是想给大家提供方便，供大家学习使用。
2022-03-03 16:41:35
365.79MB
1
基于pytorch的中文语言模型预训练
ACL2020最佳论文有一篇论文提名奖，《不要停止预训练：使语言模型适应领域和任务》。本文涉及很多语言模型预训练的实验，系统的分析了语言模型预训练对子任务的效果提升情况。有几个主要方面：
在目标领域的数据集上继续预训练（DAPT）可以提高效果；目标领域的语料与RoBERTa的原始预训练语料越不相关，DAPT效果则提升更明显。
在具体任务的数据集上继续预训练（TAPT）可以十分“廉价”地提升效果。
结合两者（先进行DAPT，再进行TAPT）可以进一步提升效果。
如果能获取更多的，任务相关的无标注数据继续预训练（Curated-TAPT），效果则最佳。
如果
2022-03-02 13:28:37
29KB
1
简介
1、本项目是在tensorflow版本1.14.0的基础上做的训练和测试。
2、本项目为中文的多标签文本分类。
3、欢迎大家联系我
4、albert_small_zh_google对应的百度云下载地址：
链接：
提取码：wuxw
使用方法
1、准备数据
数据格式为：classifier_multi_label_textcnn/data/test_onehot.csv
2、参数设置
参考脚本 hyperparameters.py，直接修改里面的数值即可。
3、训练
python train.py
4、预测
python predict.py
知乎代码解读
2022-02-25 19:21:34
189KB
1
知识蒸馏
知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识，
期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算资源使用。
目录结构
1.参考 (Hinton et al., 2015),
在cifar10数据上的复现，提供一个对Knowledge Distillation的基本认识，具体内容请查阅：
2.利用BERT-12 作为Teacher，BERT-3作为student，同时学习ground truth 和 soften labels，性能与Teacher 相当甚至更优，具体内容请查阅：
主要参考论文：
3.利用模块替换的思路，来进行Knowledge Distillation，具体内容请查阅：
论文：
Blog:
repo:
4.利用不同样本预测的难易
2022-02-25 14:29:26
87KB
1
用于BERT预训练，Bidirectional Encoder Representation from Transformers
2022-02-20 10:46:12
227.8MB
1
骇客深度学习：使用TensorFlow 2和Keras和Python的机器学习教程（包括Jupyter笔记本）-（LSTM，超电流表调整，数据预处理，偏差方差折衷，异常检测，自动编码器，时间序列预测，对象检测，情感分析，使用BERT进行意图识别）
2022-02-16 13:13:33
22.62MB
1
BEFAQ
BEFAQ(BERT Embedding Frequently Asked Question) 开源项目是好好住面向多领域FAQ集合的问答系统框架。
我们将Sentence BERT模型应用到FAQ问答系统中。开发者可以使用BEFAQ系统快速构建和定制适用于特定业务场景的FAQ问答系统。
BEFAQ的优点有：
（1）使用了Elasticsearch、Faiss、Annoy 作为召回引擎
（2）使用了Sentence BERT 语义向量（Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks）
（3）对同义问题有很好的支持
（4）支持多领域语料（保证了召回的数据是对应领域的，即使是同样的问题，也可以得到不同的答案。）
（5）提供了根据当前输入提示联想问题（suggest）功能的接口
BEFAQ的框架结构如下图
2022-02-15 20:55:29
119KB
1
伯特提取摘要器
此存储库是演讲摘要存储库的一般化。 该工具利用HuggingFace Pytorch变压器库来进行提取性汇总。 通过首先嵌入句子，然后运行聚类算法，找到最接近聚类质心的句子，可以实现这一目的。 该库还使用共指技术，利用库解析需要更多上下文的摘要中的单词。 可以在CoreferenceHandler类中调整Neurocoref库的贪婪性。
论文： :
尝试在线演示：
安装
pip install bert-extractive-summarizer
使用Neurocoref的共指功能需要一个spaCy模型，该模型必须单独下载。
默认模型是小型英语spaCy模型（en_core_web_sm，11Mb），并随此软件包自动安装。 要使用其他型号，您必须手动安装。
示例：安装中型（91 Mb）英文模型（有关更多模型，请参见）。
pip install spacy
pi
2022-02-09 10:11:18
33KB
1