基于bert的韵律预训练模型，用于中文语音生成，生成自然韵律的声音，听起来效果更加自然流畅

详细介绍文章地址： https://blog.csdn.net/c851666395/article/details/127703876

是一个情感分类的项目，前面是对emotion数据集的处理和分析，以及将整个数据集分词以及处理成模型的输入形式。 主要是通过加载一个文本分类的预训练模型，然后在数据集上面进emotion数据集上面的fine-tuning。然后对训练好的模型进行效果的分析，包括F1，Precision和Recall等。 fine-tune transformers distilbert-base-uncased - distilbert 是对 bert 的 distill 而来 - 模型结构更为简单， - bert-base-uncased 参数量：109482240 - distilbert-base-uncased 参数量：66362880 - trainer默认自动开启 torch 的多gpu模式， - `per_device_train_batch_size`: 这里是设置每个gpu上的样本数量， - 一般来说，多gpu模式希望多个gpu的性能尽量接近，否则最终多gpu的速度由最慢的gpu决定， - 比如快gpu 跑一个batch需要5秒。

在Pyrotch上实现情感分类模型，包含一个BERT 模型和一个分类器（MLP），两者间有一个dropout层。BERT模型实现了预训练参数加载功能，预训练的参数使用HuggingFace的bert_base_uncased模型。同时在代码中实现了基于预训练BERT模型的下游情感分类任务的fine_tune，包含了训练集上的训练、测试集上测试评估性能等内容。 情感分类的大致过程为：首先，将一个句子中的每个单词对应的词向量输入BERT，得到句子的向量表征。然后将句向量经过dropout层再输入分类器，最后输出二元分类预测。

DeBERTa：具有分散注意力的增强解码的BERT DeBERTa：具有分散注意力的增强解码的BERT这是DeBERTa实施的存储库。我们的代码仍处于发布业务流程中，它将在本周末准备就绪。 贡献该项目欢迎您的贡献和建议。 大多数捐款要求您同意一份《捐款者许可协议》（CLA），声明您有权并实际上授予我们使用您的捐款的权利。 有关详细信息，请访问https：// cla。

bert-base-chinese bert中文预训练基线模型

幽默是一种特殊的语言表达方式，在日常生活中扮演着化解尴尬、活跃气氛、促进交流的重要角色。而幽默计算是近年来自然语言处理领域的新兴热点之一，其主要研究如何基于计算机技术对幽默进行识别、分类与生成，具有重要的理论和应用价值。 本资源是基于基于bert的幽默识别模型，请结合我的博客使用！

R-BERT R-BERT是用分类的思想实现关系抽取。与基于BERT模型的分类模型有一些区别： 加入实体的标志符号，在BERT提取特征后，又提取了两个实体的词向量作为特征； 思想比较简单，模型的效果很好。 数据集 ccks2019关系抽取的数据集。将数据集处理为下面的格式： 出生日期 \t 汪晋贤，1996年1月2日出生于湖北省武汉市，身高175cm，是一名中场球员，现效力于大连一方足球俱乐部 代码结构 |__main.py |__data_loader.py |__model.py |__trainer.py |__utils.py |__export_onnx.py |__predict.py 模型结果

基于HuggingFace 哈工大hfl/chinese-bert-wwm-ext预训练模型微调的中文句子分类模型

tensorflow的预训练bert模型转换成pb文件，提供给大家下载