自然语言预处理（NLPre） 主要版本更新！ NLPre 2.0.0 后端NLP引擎pattern.en已被spaCy v 2.1.0取代。 这是针对pattern.en某些问题（包括不良lemmatization）的主要解决方案。 （例如，细胞因子->细胞牛） 对python 2的支持已被删除 在replace_from_dictionary支持自定义词典 在replace_from_dictionary使用后缀而不是前缀的选项 URL替换现在可以删除电子邮件 token_replacement可以删除符号 NLPre是一个文本（预处理）库，可帮助消除实际数据中发现的某些不一致之处。 纠

伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究，并鼓励社区寻找替代增加模型容量的创新方向。 您可以从 下载全部24个，也可以从下表单独下载： 高= 128 高= 256 高= 512 高= 768 L = 2 L = 4 L = 6 L = 8 L = 10 L = 12 请注意，此版本中包含的BERT-Base模型仅出于完整性考虑； 在与原始模型相同的条件下进行了重新训练。 这是测试集上相应的GLUE分数： 模型 得分 可乐 SST-2 MR

文字傻瓜 自然语言对文本分类和推理的攻击模型 这是该论文的源代码： 。 如果使用代码，请引用以下文章： @article{jin2019bert, title={Is BERT Really Robust? Natural Language Attack on Text Classification and Entailment}, author={Jin, Di and Jin, Zhijing and Zhou, Joey Tianyi and Szolovits, Peter}, journal={arXiv preprint arXiv:1907.11932}, year={2019} } 数据 我们的7个数据集在。 先决条件： 所需的软件包在requirements.txt文件中列出： pip install requirements.txt 如何使用

FinBERT-QA：使用 BERT 回答金融问题 FinBERT-QA 是一个问答系统，用于从数据集的任务 2 中检索有金融段落。 请参阅获取更多信息。 该系统使用来自信息检索和自然语言处理的技术，首先使用 Lucene 工具包检索每个查询的前 50 个候选答案，然后使用预训练的模型的变新排列候选答案。 FinBERT-QA 从 Huggingface 的库构建并应用 Transfer and Adapt [ ] 方法，首先将预训练的 BERT 模型转移并微调到一般 QA 任务，然后使用 FiQA 数据集将该模型适应金融领域。 转移步骤在的数据集上使用微调的 BERT 模型 ，它从 TensorFlow 转换为 PyTorch 模型。 在三个排名评估指标（nDCG、MRR、Precision）上结果平均提高了约 20%。 Overview of the QA pipeline:

| 本项目提供了针对中文的XLNet预训练模型，扩展了丰富的自然语言处理资源，提供多种中文预训练模型选择。我们欢迎各位专家学者下载使用，并共同促进和发展中文资源建设。 本项目基于CMU /谷歌官方的XLNet： : 其他相关资源： MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文BERT-wwm预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2021年1月27日所有模型已支持TensorFlow 2，请通过变压器库进行调用或下载。 2020/9/15我们的论文被录用为长文。 2020/8/27哈工大讯飞联合实验室在通用自然语言理解评论GLUE中荣登榜首，查看，。 2020/3/11为了更好地了解需求，邀请您填写，刹车为大家提供更好的资源。 2020/2/26哈工大讯飞联合实验室发布 历史新闻2019/12/19本目录发布的模型已接受[Huggingface-Transformers]（ ） 2019/9/5 XLNet-base已可下载，查看 2019/8/1

基准短语提取基准数据集 该存储库包含大量精选的基准数据集，用于评估自动关键词提取算法。 这些数据集均使用Stanford CoreNLP套件进行了预处理，并以XML格式提供。 数据集格式 所有数据集均按照以下通用结构存储： dataset/ /test/ <- test documents /train/ <- training documents (if available) /dev/ <- validation documents (if available) /src/ <- e

伦敦 使用Python和GraphX的Spark中的身份图。 参考 指示 创建虚拟环境 virtualenv -p python3 .env source .env/bin/activate pip install -r requirements.txt 构建Docker映像 ./bin/build.sh slave ./bin/build.sh master ./bin/build.sh zoo ./bin/build.sh network 运行Docker容器 ./bin/start.sh slave ./bin/start.sh master ./bin/start.sh zoo 使用Hadoop集群UI 访问http://0.0.0.0:8088/cluster 。 监控Docker容器 ./bin/status.sh 停止Docker容器 ./bin/stop.sh slave

Natural Language Processing with PyTorch by Brian McMahan, Delip Rao Publisher: O'Reilly Media, Inc. Release Date: February 2019

Deep Learning for Natural Language Processing by Jason Brownlee 在 Python 中为自然语言开发深度学习模型

Implement natural language processing applications with Python using a problem-solution approach. This book has numerous coding exercises that will help you to quickly deploy natural language processing techniques, such as text classification, parts of speech identification, topic modeling, text summarization, text generation, entity extraction, and sentiment analysis. Natural Language Processing Recipes starts by offering solutions for cleaning and preprocessing text data and ways to analyze it with advanced algorithms. You’ll see practical applications of the semantic as well as syntactic analysis of text, as well as complex natural language processing approaches that involve text normalization, advanced preprocessing, POS tagging, and sentiment analysis. You will also learn various applications of machine learning and deep learning in natural language processing. By using the recipes in this book, you will have a toolbox of solutions to apply to your own projects in the real world, making your development time quicker and more efficient. What You Will Learn Apply NLP techniques using Python libraries such as NLTK, TextBlob, spaCy, Stanford CoreNLP, and many more Implement the concepts of information retrieval, text summarization, sentiment analysis, and other advanced natural language processing techniques. Identify machine learning and deep learning techniques for natural language processing and natural language generation problems Who This Book Is For Data scientists who want to refresh and learn various concepts of natural language processing through coding exercises.