机器学习支持的虚假新闻检测器 从初始构想到部署，构建端到端机器学习项目的完整示例。 此回购随附于博客文章系列，描述了如何构建假新闻检测应用程序。 这里包含的帖子： ：描述项目构想，设置存储库和初始项目工具。 ：描述如何使用工具获取数据集并执行探索性数据分析，以便更好地理解问题。 ：描述如何为第一个ML模型（随机森林分类器）获得功能训练/评估管道，包括如何正确测试管道的各个部分。 ：描述如何解释通过特征分析（通过诸如类的技术）和错误分析所学的第一个模型。 也可用于由驱动的第二个模型。 ：描述如何使用和部署模型以及构建随附的Chrome扩展程序。 还说明了用于以可伸缩和可复制的方式在应

ecco：可视化和探索NLP语言模型。 Ecco直接在Jupyter笔记本中创建交互式可视化文件，解释基于Transformer的语言模型（例如GPT2）的行为

暹罗深度神经网络的语义相似性。 该存储库包含Tensorflow中的暹罗神经网络的实现，该实现基于3种不同的主要深度学习架构构建： 卷积神经网络 递归神经网络 多头注意力网络 创建该存储库的主要原因是将GitHub上主要基于CNN和RNN架构构建的Siamese神经网络的知名实现方案与基于Transformer模型最初由提出的基于多头注意力机制构建的Siamese神经网络进行比较，这论文。 。 支持的数据集 当前版本的管道支持使用3个数据集： :NEW_button: 对抗自然语言推论（ANLI）基准： ， 安装 资料准备 为了下载数据，请执行以下命令（此过程可能需要一段时间，具体取决于您的网络吞吐量）：

RBERT：R中的BERT实现

seqGAN PyTorch实现的“ SeqGAN：具有策略梯度的序列生成对抗网络”。 （于兰涛等）。 该代码经过高度简化，注释和（希望）易于理解。 实施的策略梯度也比原始工作（ ）简单得多，并且不涉及推广-整个句子使用单一奖励（受的示例启发） ）。 使用的体系结构与原始工作中的体系结构不同。 具体而言，将循环双向GRU网络用作鉴别器。 该代码按论文中所述对合成数据进行实验。 我们鼓励您对代码作为问题的工作方式提出任何疑问。 要运行代码： python main.py main.py应该是您进入代码的入口。 技巧与观察 在这种情况下，以下黑客（从借来）似乎有效： 培训鉴别器

自然语言预处理（NLPre） 主要版本更新！ NLPre 2.0.0 后端NLP引擎pattern.en已被spaCy v 2.1.0取代。 这是针对pattern.en某些问题（包括不良lemmatization）的主要解决方案。 （例如，细胞因子->细胞牛） 对python 2的支持已被删除 在replace_from_dictionary支持自定义词典 在replace_from_dictionary使用后缀而不是前缀的选项 URL替换现在可以删除电子邮件 token_replacement可以删除符号 NLPre是一个文本（预处理）库，可帮助消除实际数据中发现的某些不一致之处。 纠

伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究，并鼓励社区寻找替代增加模型容量的创新方向。 您可以从 下载全部24个，也可以从下表单独下载： 高= 128 高= 256 高= 512 高= 768 L = 2 L = 4 L = 6 L = 8 L = 10 L = 12 请注意，此版本中包含的BERT-Base模型仅出于完整性考虑； 在与原始模型相同的条件下进行了重新训练。 这是测试集上相应的GLUE分数： 模型 得分 可乐 SST-2 MR

| 本项目提供了针对中文的XLNet预训练模型，扩展了丰富的自然语言处理资源，提供多种中文预训练模型选择。我们欢迎各位专家学者下载使用，并共同促进和发展中文资源建设。 本项目基于CMU /谷歌官方的XLNet： : 其他相关资源： MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文BERT-wwm预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2021年1月27日所有模型已支持TensorFlow 2，请通过变压器库进行调用或下载。 2020/9/15我们的论文被录用为长文。 2020/8/27哈工大讯飞联合实验室在通用自然语言理解评论GLUE中荣登榜首，查看，。 2020/3/11为了更好地了解需求，邀请您填写，刹车为大家提供更好的资源。 2020/2/26哈工大讯飞联合实验室发布 历史新闻2019/12/19本目录发布的模型已接受[Huggingface-Transformers]（ ） 2019/9/5 XLNet-base已可下载，查看 2019/8/1

GPT-2 PyTorch实施 目录 介绍 该项目是OpenAI GPT-2模型的PyTorch实现。 它提供模型训练，句子生成和量度可视化。 它被认为是可以理解和优化的。 我们设计的代码易于理解。 另外，我们使用来提高性能。 依存关系 正则表达式 tqdm 火炬 麻木 matplotlib 用法 怎么训练？ 在训练GPT-2模型之前，应准备语料库数据集。 我们建议使用构建自己的语料库。 相反，训练模块需要带有词汇表文件的标记化训练和评估数据集。 准备数据集后，可以使用以下方法训练GPT-2： $ python -m gpt2 train --train_corpus build/corpus.train.txt \ --eval_corpus build/corpus.test.txt \

XLNet-Pytorch 使用Pytorch包装器可轻松实现XLNet！ 您可以看到XLNet Architecture如何以小批量（= 1）进行预训练的示例。 用法 $ git clone https://github.com/graykode/xlnet-Pytorch && cd xlnet-Pytorch # To use Sentence Piece Tokenizer(pretrained-BERT Tokenizer) $ pip install pytorch_pretrained_bert $ python main.py --data ./data.txt --tokenizer bert-base-uncased \ --seq_len 512 --reuse_len 256 --perm_size 256 \ --bi_data True --mask_alpha 6 --mask_beta 1 \ --num_predict 85 --mem_len 384 --num_epoch 100 另外，您可以轻松地在运行代码。 纸中预训练的