基于PSCAD软件，对变压器的物理模型进行建模，供大家学习

解决问题： TypeError: TextEncodeInput must be Union[TextInputSequence,Tupele[InputSequence, InputSequence]] 使用方法： pip install transformers_old_tokenizer-3.1.0-py3-none-any.whl from transformers_old_tokenizer import AutoTokenizer

可用于语义聚合任务中的文本编码器，它将句子和段落映射到 768 维密集向量空间，是 sentence_transformers 库的模型之一，官网下载速度缓慢，容易被墙，下载解压后，可以参考此文章进行模型本地加载 https://blog.csdn.net/weixin_43721000/article/details/125507996

这是一个句子转换器模型，它将句子和段落映射到 384 维密集向量空间，可用于聚类或语义搜索等任务，是 sentence_transformers 库的模型之一，官网下载速度缓慢，容易被墙，下载解压后，可以参考此文章进行模型本地加载 https://blog.csdn.net/weixin_43721000/article/details/125507996

基于transformers+bert预训练模型在语义相似度任务上的finetune

NLP领域取得最重大突破！谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！

图书简介 该书将带您学习使用Python的NLP，并研究了由Google，Facebook，Microsoft，OpenAI和Hugging Face等先驱者创建的变压器体系结构中的各种杰出模型和数据集。 这本书分三个阶段训练您。在向RoBERTa，BERT和DistilBERT模型过渡之前，第一阶段向您介绍从原始变压器开始的变压器体系结构。您会发现一些小型变压器的培训方法在某些情况下可以胜过GPT-3。在第二阶段，您将应用自然语言理解（NLU）和自然语言生成（NLG）的转换器。最后，第三阶段将帮助您掌握高级语言理解技术，例如优化社交网络数据集和假新闻识别。 在这本NLP书籍的最后，您将从认知科学的角度理解变压器，并精通将技术巨头预先训练好的变压器模型应用于各种数据集。 您将学到什么 使用最新的预训练变压器模型 掌握原始Transformer，GPT-2，BERT，T5和其他变压器模型的工作原理 使用优于经典深度学习模型的概念创建理解语言的Python程序 使用各种NLP平台，包括Hugging Face，Trax和AllenNLP 将Python，TensorFlow和Keras程序应用于情感分析，文本摘要，语音识别，机器翻译等 测量关键变压器的生产率，以定义其范围，潜力和生产限制

Transformers 为数以千计的预训练模型奠定了基础（包括我们熟知的Bert、GPT、GPT-2、XLM等），支持100多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨就是让最先进的 NLP 技术人人易用。Transformer还提供了便于快速下载和使用的API，让你可以把预训练模型用于给定文本上，在自己的数据集上对它们进行微调，然后通过modle hub与社区共享它们。此外，Transformer由三个最热门的深度学习库——Jax、PyTorch和TensorFlow支持，它们之间可以无缝整合。

DETR- End-to-End Object Detection with Transformers (Paper Explained)，来自需要你懂得的网站视频，生肉版本。

DETR学习分享：内含PPT分享