这篇文章给大家带来是Transformer在时间序列预测上的应用，这种模型最初是为了处理自然语言处理（NLP）任务而设计的，但由于其独特的架构和能力，它也被用于时间序列分析。Transformer应用于时间序列分析中的基本思想是：Transformer 在时间序列分析中的应用核心在于其自注意力机制，这使其能够有效捕捉时间序列数据中的长期依赖关系。通过并行处理能力和位置编码，Transformer 不仅提高了处理效率，而且确保了时间顺序的准确性。其灵活的模型结构允许调整以适应不同复杂度这篇文章给大家带来是Transformer在时间序列预测上的应用，这种模型最初是为了处理自然语言处理（NLP）任务而设计的，但由于其独特的架构和能力，它也被用于时间序列分析。Transformer应用于时间序列分析中的基本思想是：Transformer 在时间序列分析中的应用核心在于其自注意力机制，这使其能够有效捕捉时间序列数据中的长期依赖关系。通过并行处理能力和位置编码，Transformer 不仅提高了处理效率，而且确保了时间顺序的准确性。定制化训练个人数据集进行训练利用python和pytorch实现

时间序列预测-Transformer,Informer,Autoformer,FEDformer复现结果

transformer分类代码

原亚马逊的网址下的wikitext-2-v1的标准数据包, 压缩包内包含wiki.test.tokens、wiki.train.tokens、wiki.valid.tokens transformer模型训练样例用

1.自己复现的一个 Restormer 训练测试方法。 2.Restormer 对于显卡的要求很高，而且训练时间非常久，自己跑需要自行改变一些参数。 3.只需要将图片放入对应路径下就可以直接运行。 4.敲代码不易，希望能不吝支持，有问题欢迎交流。

使用说明 分对话系统和机器翻译两部分 data为数据集 model为训练的模型 translation文件夹下又分了Seq2Seq和transformer两个模型，大家按需查看使用 以transformer文件夹为例，attention.py主要实现了注意力机制，transformer.py实现了transformer的主体架构，data.py为数据的预处理以及生成了词典、dataset、dataloader，readdata.py运行可以查看数据形状，train.py为训练模型，predict.py为预测，config.py为一些参数的定义。 transformer机器翻译的模型是用cuda:1训练的，如果要使用可能需要修改代码 如：gpu->cpu，即在CPU上使用 torch.load('trans_encoder.mdl', map_location= lambda storage, loc: storage) torch.load('trans_decoder.mdl', map_location= lambda storage, loc: storage)

案例系列：美国人口普查_预测收入超过50K_TabTransformer二分类 本示例演示了如何使用进行结构化数据分类，TabTransformer是一种用于监督和半监督学习的深度表格数据建模架构。TabTransformer基于自注意力的Transformer构建而成。Transformer层将分类特征的嵌入转换为强大的上下文嵌入，以实现更高的预测准确性。在这里，我们定义数据集的元数据，这些元数据对于读取和解析数据为输入特征以及根据其类型对输入特征进行编码非常有用。# 数值特征的名称列表"age", # 年龄"education_num", # 受教育年限。

本课件是对论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 的导读与NLP领域经典预训练模型 Bert 的详解，通过介绍NLP领域对通用语言模型的需求，引入 Bert 模型，并对其架构进行宏观微观的解读，然后详细介绍 Bert 每预训练阶段采用的两个任务，以及常见的微调下游任务场景。最后通过可视化的方式，给出 Bert 在向量表征上的优势所在。

一份PPT带你快速了解Graph Transformer：包括Graph Transformer 的简要回顾且其与GNN、Transformer的关联 【图-注意力笔记，篇章1】Graph Transformer：包括Graph Transformer 的了解与回顾且其与GNN、Transformer的关联 【图-注意力笔记，篇章2】Graphormer 和 GraphFormers论文笔记之两篇经典Graph Transformer来入门 【异构图笔记，篇章3】GATNE论文阅读笔记与理解:General Attributed Multiplex HeTerogeneous Network Embedding 包含这几个部分 可以参考我的博客：https://blog.csdn.net/qq_41895003/article/details/129218936

swin transformer