Transformer的一个TensorFlow实现

网口数据手册

Transformer-XL论文

Vanilla Transformer的论文

tensorflow2.0版本 Transformer模型 中英翻译

在Android上的Deit变压器。 分类实例 跑 为Android准备模型 将模型放入资产文件夹 生成并运行应用 参考 DEIT变形金刚回购 Pytorch移动示例 教程火车mnist vit变压器 VIT变压器仓库

vision in transformer论文源码

用于人脸识别的T2T-ViT网络。可参考博客：https://blog.csdn.net/Bixiwen_liu/article/details/114894804?spm=1001.2014.3001.5501

BERT在Azure机器学习服务上 此回购包含终端到终端的食谱和的 （双向编码器交涉来自变形金刚）用语言表达模型。 伯特 BERT是一种语言表示模型，其特征在于可以有效捕获语料库中深层和微妙的文本关系。 在原始论文中，作者证明了BERT模型可以很容易地改编以构建用于许多NLP任务的最新模型，包括文本分类，命名实体识别和问题解答。 在此仓库中，我们提供了笔记本，使开发人员可以从语料库中重新训练BERT模型，并微调现有的BERT模型以解决专门的任务。 此回购中提供了的简要可快速开始使用BERT。 预训练 BERT预训练中的挑战 将BERT语言表示模型预训练到所需的准确性水平是非常具有挑战性的。 结果，大多数开发人员从在标准语料库（例如Wikipedia）上经过预训练的BERT模型开始，而不是从头开始训练它。 如果在与训练前步骤中使用的语料库相似的语料库上训练最终模型，则此策略效果很好。 但是，

简体中文| 简介 PaddleNLP 2.0具有丰富的模型库，简洁易用的API与高性能的分布式训练的能力，可以为飞轮开发者提升文本建模效率，并提供基于Padddle 2.0的NLP领域最佳实践。 特性 丰富的模型库 涵盖了NLP主流应用相关的前沿模型，包括中文词向量，预训练模型，词法分析，文本分类，文本匹配，文本生成，机器翻译，通用对话，问答系统等，更多详细介绍请查看。 简洁易用的API 深度兼容飞轮2.0的高层API体系，提供可替换的文本建模模块，可大幅度减少数据处理，组网，训练互换的代码开发量，提高文本建模开发效率。 高效分散训练 通过深度优化的混合精度训练策略与舰队分布式训练API，可充