Visual Transformer（ViT）直接应用图像patch序列的纯Transformer可以很好地执行图像分类任务，ViT获得了优异的结果，同时训练所需的计算资源大大减少。文章链接： https://blog.csdn.net/qq_39707285/category_128811927.html Visual Transformer专栏(https://blog.csdn.net/qq_39707285/category_12184436.html)，此专栏详细介绍各种Visual Transformer，包括应用到分类、检测和分割的多种算法。

是一个情感分类的项目，前面是对emotion数据集的处理和分析，以及将整个数据集分词以及处理成模型的输入形式。 主要是通过加载一个文本分类的预训练模型，然后在数据集上面进emotion数据集上面的fine-tuning。然后对训练好的模型进行效果的分析，包括F1，Precision和Recall等。 fine-tune transformers distilbert-base-uncased - distilbert 是对 bert 的 distill 而来 - 模型结构更为简单， - bert-base-uncased 参数量：109482240 - distilbert-base-uncased 参数量：66362880 - trainer默认自动开启 torch 的多gpu模式， - `per_device_train_batch_size`: 这里是设置每个gpu上的样本数量， - 一般来说，多gpu模式希望多个gpu的性能尽量接近，否则最终多gpu的速度由最慢的gpu决定， - 比如快gpu 跑一个batch需要5秒。

基于 Transformer 的锂电池寿命预测（Remaining Useful Life，RUL）（Python完整源码和数据） Packages pytorch 1.8.0 pandas 0.24.2 基于 Pytorch 的 Transformer 锂电池寿命预测（Remaining Useful Life，RUL）

CNN的成功依赖于其两个固有的归纳偏置，即平移不变性和局部相关性，而视觉Transformer结构通常缺少这种特性，导致通常需要大量数据才能超越CNN的表现，CNN在小数据集上的表现通常比纯Transformer结构要好。 CNN感受野有限导致很难捕获全局信息，而Transformer可以捕获长距离依赖关系，因此ViT出现之后有许多工作尝试将CNN和Transformer结合，使得网络结构能够继承CNN和Transformer的优点，并且最大程度保留全局和局部特征。 Transformer是一种基于注意力的编码器-解码器结构，最初应用于自然语言处理领域，一些研究最近尝试将Transformer应用到计算机视觉领域。 在Transformer应用到视觉之前，卷积神经网络是主要研究内容。受到自注意力在NLP领域的影响，一些基于CNN的结构尝试通过加入自注意力层捕获长距离依赖关系，也有另外一些工作直接尝试用自注意力模块替代卷积，但是纯注意力模块结构仍然没有最先进的CNN结构表现好。

BP-LSTM-Attention-transformer，含数据，可直接运行 文件夹目录如下: BP data bp_anomaly.py lstm+attention B0005.csv lstm_attention_battery.py transformer pue.csv pue_transformer.py 多输出 Data.csv lstm_50.py 如有问题可随时私聊我解决，包售后 BP文件夹是多分类和二分类问题，包括focalloss lstm+attention是lstm加注意力机制 transformer是介绍时间序列预测问题 lstm_50是时间序列预测的多输出问题 https://data-mining.blog.csdn.net/ 我的博客有相应的介绍

ChatGPT是一种基于自然语言处理和深度学习技术的聊天机器人，它可以模拟人类的语言行为，与用户进行自然、流畅、富有逻辑的对话。ChatGPT的优点在于它可以快速地进行训练和部署，适用于各种不同的应用场景，如在线客服、智能助手、教育领域等。以下是ChatGPT的一些特点和优势： 基于GPT技术：ChatGPT是基于著名的语言模型GPT（Generative Pre-training Transformer）技术开发的，GPT技术可以让ChatGPT具有更强的语言理解和生成能力，从而实现更加自然、流畅的对话效果。 可扩展性强：ChatGPT可以通过增加训练数据和改变模型结构来实现更好的性能，同时也支持多语言的处理，可以适应不同语言和文化背景的用户需求。 可定制化：ChatGPT可以基于不同的应用场景和需求进行定制，通过人工干预和调参来提高模型的准确性和效率，从而实现更好的用户体验。 智能化：ChatGPT可以通过学习用户的行为和偏好来优化对话，从而实现更加智能化的对话效果，满足用户的个性化需求。

绘图员 ,,,*,,*,,. 这个 repo 是的官方实现。 . 更新 06/10/2021 初始提交： 许可证文件和示例代码。 介绍 Graphormer最初是在描述的，它是一个标准的 Transformer 架构，具有多种结构编码，可以有效地将图的结构信息编码到模型中。 Graphormer 在 PCQM4M-LSC（ 0.1234 MAE ）、MolPCBA（测试值为31.39 AP(%) )、MolHIV（测试值为80.51 AUC(%) ）和 ZINC（测试值为0.122 MAE on test 80.51 AUC(%)上取得了强劲的性能，比之前的模型高出一倍大保证金。 主要结果 引用 Graphormer @article{ying2021transformers, title={Do Transformers Really Perform Bad for Gr

ChatGPT是一种基于自然语言处理和深度学习技术的聊天机器人，它可以模拟人类的语言行为，与用户进行自然、流畅、富有逻辑的对话。ChatGPT的优点在于它可以快速地进行训练和部署，适用于各种不同的应用场景，如在线客服、智能助手、教育领域等。以下是ChatGPT的一些特点和优势： 基于GPT技术：ChatGPT是基于著名的语言模型GPT（Generative Pre-training Transformer）技术开发的，GPT技术可以让ChatGPT具有更强的语言理解和生成能力，从而实现更加自然、流畅的对话效果。 可扩展性强：ChatGPT可以通过增加训练数据和改变模型结构来实现更好的性能，同时也支持多语言的处理，可以适应不同语言和文化背景的用户需求。 可定制化：ChatGPT可以基于不同的应用场景和需求进行定制，通过人工干预和调参来提高模型的准确性和效率，从而实现更好的用户体验。 智能化：ChatGPT可以通过学习用户的行为和偏好来优化对话，从而实现更加智能化的对话效果，满足用户的个性化需求。

逐行注释，十分详细！

注意力机制（英語：attention）是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重，同时减弱其他部分的权重，以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。 类似于注意力机制的架构最早于1990年代提出，当时提出的名称包括乘法模块（multiplicative module）、sigma pi单元、超网络（hypernetwork）等。注意力机制的灵活性来自于它的“软权重”特性，即这种权重是可以在运行时改变的，而非像通常的权重一样必须在运行时保持固定。注意力机制的用途包括神经图灵机中的记忆功能、可微分神经计算机中的推理任务[2]、Transformer模型中的语言处理、Perceiver（感知器）模型中的多模态数据处理（声音、图像、视频和文本）。人类的注意力机制（Attention Mechanism）是从直觉中得到，它是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。深度学习中的注意力机制借鉴了人类的注意力思维方式，被广泛的应用在自然语言