《谷歌自然语言处理模型BERT：论文解析与python代码》

NLP项目 自然语言处理项目，其中包括有关以下方面的概念和脚本： gensim ， fastText和tensorflow实现。 参见， doc2vec ， word2vec averaging和Smooth Inverse Frequency实现 对话系统的类别和组成 tensorflow LSTM （请参阅 ，和 ， ） fastText实现 ELMo，ULMFit，GPT，BERT，XLNet的原理 HMM Viterbi实现。 参见，中文解读 Named_Entity_Recognition 通过双向LSTM + CRF，张量tensorflow实现对NER品牌。 参见中文注释，中文解读 7_Information_retrieval 8_Information_extraction 9_Knowledge_graph 10_Text_generation 11

命名实体识别是自然语言处理的一项关键技术. 基于深度学习的方法已被广泛应用到中文实体识别研究中. 大多数深度学习模型的预处理主要注重词和字符的特征抽取, 却忽略词上下文的语义信息, 使其无法表征一词多义, 因而实体识别性能有待进一步提高. 为解决该问题, 本文提出了一种基于BERT-BiLSTM-CRF模型的研究方法. 首先通过BERT模型预处理生成基于上下文信息的词向量, 其次将训练出来的词向量输入BiLSTM-CRF模型做进一步训练处理. 实验结果表明, 该模型在MSRA语料和人民日报语料库上都达到相当不错的结果, F1值分别为94.65%和95.67%.

bert中文预训练模型，来源：https://huggingface.co/hfl/chinese-roberta-wwm-ext/tree/main，https://github.com/ymcui/Chinese-BERT-wwm

此项目是一个TensorFlow Bert的情感分析（二分类）项目 ①对代码进行了中文注释 ​ ②移除一些不必要的文件 ​ ③添加中文数据集，对中文数据集进行预处理Process，并在Bert上层构建二分类全连接神经网络

伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究，并鼓励社区寻找替代增加模型容量的创新方向。 您可以从 下载全部24个，也可以从下表单独下载： 高= 128 高= 256 高= 512 高= 768 L = 2 L = 4 L = 6 L = 8 L = 10 L = 12 请注意，此版本中包含的BERT-Base模型仅出于完整性考虑； 在与原始模型相同的条件下进行了重新训练。 这是测试集上相应的GLUE分数： 模型 得分 可乐 SST-2 MR

文字傻瓜 自然语言对文本分类和推理的攻击模型 这是该论文的源代码： 。 如果使用代码，请引用以下文章： @article{jin2019bert, title={Is BERT Really Robust? Natural Language Attack on Text Classification and Entailment}, author={Jin, Di and Jin, Zhijing and Zhou, Joey Tianyi and Szolovits, Peter}, journal={arXiv preprint arXiv:1907.11932}, year={2019} } 数据 我们的7个数据集在。 先决条件： 所需的软件包在requirements.txt文件中列出： pip install requirements.txt 如何使用

FinBERT-QA：使用 BERT 回答金融问题 FinBERT-QA 是一个问答系统，用于从数据集的任务 2 中检索有金融段落。 请参阅获取更多信息。 该系统使用来自信息检索和自然语言处理的技术，首先使用 Lucene 工具包检索每个查询的前 50 个候选答案，然后使用预训练的模型的变新排列候选答案。 FinBERT-QA 从 Huggingface 的库构建并应用 Transfer and Adapt [ ] 方法，首先将预训练的 BERT 模型转移并微调到一般 QA 任务，然后使用 FiQA 数据集将该模型适应金融领域。 转移步骤在的数据集上使用微调的 BERT 模型 ，它从 TensorFlow 转换为 PyTorch 模型。 在三个排名评估指标（nDCG、MRR、Precision）上结果平均提高了约 20%。 Overview of the QA pipeline:

albert_zh 使用TensorFlow实现的实现 ALBert基于Bert，但有一些改进。 它以30％的参数减少，可在主要基准上达到最先进的性能。 对于albert_base_zh，它只有十个百分比参数与原始bert模型进行比较，并且保留了主要精度。 现在已经提供了针对中文的ALBERT预训练模型的不同版本，包括TensorFlow，PyTorch和Keras。 海量中文语料上预训练ALBERT模型：参数充分，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准 一键运行10个数据集，9个层次模型，不同任务上模型效果的详细对比，见 一键运行CLUE中

自然语言处理学习笔记 机器学习及深度学习原理和示例，基于Tensorflow和PyTorch框架，Transformer，BERT，ALBERT等最新预训练模型以及源代码详解，以及基于预训练模型进行各种自然语言处理任务。以及模型部署 两种传统的模型： 基于规则或模板生成对话系统 基于概率的语言模型利用语料数据，实现了简略的2-gram模型，并利用该模型判断句子的合理性 根据中国城市的位置信息，实现简单的路径规划系统 根据武汉地铁的各站点的位置信息，实现简单的路径规划系统 图的广度优先搜索及深度优先搜索 搜索问题的抽象模式 旅行推销员问题 启发式 A *搜索 动态规划 机器学习算法，及其应用 python实现基本的神经网络：激活函数，损失函数，前向传播，反向传播 python实现各种梯度下降算法，初始化，批量归一化，正则化 python实施CNN ： Tensor Flow基本概念，张量，