医学文献中的因果关系提取 使用条件随机场进行因果关系提取和识别。 这是我们的教师的项目。 到项目演示。 介绍 因果关系是两个事件之间的关系：因果。 原因是结果的产生者，而结果是原因的结果。 例如“饥饿是年轻婴儿哭泣的最常见原因。” 原因是“饥饿”，结果是“哭泣”。 当前的工作集中在从医学领域文本中检测和提取因果关系。 从检测因果关系的角度来看，以下区别可能有用： •标记或未标记：如果有特定的语言单位表示这种关系，则标记因果关系； 否则未标记。 标有“我买了它，因为我读了很好的评论”； “当心。 不稳定”不是。 •歧义：如果商标始终表示因果关系，则它是明确的（例如，“因为”）。 如果它有

维基SQL 一个庞大的众包数据集，用于为关系数据库开发自然语言界面。 WikiSQL是与我们的工作《 一起发布的数据集。 引文 如果您使用WikiSQL，请引用以下内容： 钟国,、熊才明和理查德·索赫。 2017年。Seq2SQL：使用强化学习从自然语言生成结构化查询。 @article{zhongSeq2SQL2017, author = {Victor Zhong and Caiming Xiong and Richard Socher}, title = {Seq2SQL: Generating St

Natural Language Processing with TensorFlow-Packt Publishing (2018).pdf 高清带目录

LTP 4 LTP（Language Technology Platform） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。 If you use any source codes included in this toolkit in your work, please kindly cite the following paper. The bibtex are listed below: @article{che2020n, title={N-LTP: A Open-source Neural Chinese Language Technology Platform with Pretrained Models}, author={Che, Wanxiang and Feng, Yunlong and Qin, Li

HanLP: Han Language Processing | | | | | 面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 借助世界上最大的多语种语料库，HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务：分词（粗分、细分2个标准，强制、合并、校正3种）、词性标注（PKU、863、CTB、UD四套词性规范）、命名实体识别（PKU、MSRA、OntoNotes三套规范）、依存句法分析（SD、UD规范）、成分句法分析、语义依存分析（SemEval16、DM、PAS、PSD四套规范）、语义角色标注、词干提取、词法语法特征提取、抽象意义表示（AMR）。 量体裁衣，HanLP提供RESTful和nati

Twitter爬虫 描述 Twitter的API限制您查询用户的最新3200条推文。 这是一个痛苦的屁股。 但是，我们可以使用Selenium并进行一些网络抓取来规避此限制。 我们可以在Twitter上查询用户的整个时间，找到他们每个推文的ID。 从那里，我们可以使用tweepy API查询与每个tweet相关的完整元数据。 您可以通过更改scrape.py顶部的变量METADATA_LIST来调整收集哪些元数据。 就我个人而言，我只是收集文本来训练模型，因此，我只关心full_text字段，除了该推文是否为转推文。 我在scrape.py顶部列出了所有可用的tweet属性，以便您可以随意

贝特维兹 BertViz是用于可视化Transformer模型中注意力的工具，支持库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。 它扩展了的以及的库。 资源资源 :joystick_selector: :writing_hand_selector: :open_book: 总览 正面图 头部视图可视化给定转换器层中一个或多个注意头产生的注意模式。 它基于出色的。 尝试此 其中已预加载了头部视图。 头部视图支持Transformers库中的所有模型，包括： BERT： GPT-2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 模型视图 模型视图提供了对模型所有层和头部的关注的鸟瞰图。 试用此 其中已预加载了模型视图。 模型视图支持Transformers库中的所有模型，包括： BERT： GPT2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 神经元视图 神经元视图将查询和键向量中的单个神经元可视化，并

PyTextRank PyTextRank是一个Python实现TextRank作为，用于： 从文本文档中提取排名靠前的短语 对文本文档进行低成本的提取摘要 帮助推断从非结构化文本到结构化数据的链接 背景 与的更普遍用法相比， PyTextRank的目标之一是（最终）为提供支持。 这些方法可以互补的方式一起使用，以改善总体结果。 图算法的引入-特别是-为集成其他技术以增强执行的自然语言工作提供了更加灵活和强大的基础。 此处的实体链接方面仍然是计划中的后续版本，正在进行中。 在内部PyTextRank构造一个引理图以表示候选短语（例如，无法识别的实体）及其支持语言之间的链接。 一般而言，在短语排名之前丰富该图的任何方法都将倾向于改善结果。 丰富引理图的可能方法包括共和，以及在一般情况下利用知识图。 例如， 和都提供了推断实体之间链接的方法，并且可以将特定目的的知识图应用于特定的用例。 即使在文本中链接不是明确的情况下，这些也可以帮助丰富引理图。 考虑一段用不同的句子提到cats和kittens的段落：这两个名词之间存在隐含的语义关系，因为外kitten是外cat -因此可以在它

句子 这个存储库包含一个 R 包，它是一个围绕句子 C++ 库的 Rcpp 包装器 句子是一个无监督的分词器，它允许使用字节对编码和 Unigrams 执行文本分词 它基于论文SentencePiece: A simple and languagedependent subword tokenizer and detokenizer for Neural Text Processing [ ] 句子 C++ 代码可从。 这个包目前包含版本 v0.1.84 这个 R 包具有与 R 包类似的功能 特征 R 包允许您 构建字节对编码 (BPE)、Unigram、Char 或 Word 模型 应用模型对文本进行编码 应用模型将 id 解码回文本 下载基于维基百科的预训练句子模型 安装 对于普通用户，从本地 CRAN 镜像install.packages("sentencepiece")安装包

BERT的最好的朋友。 安装 Ernie需要Python 3.6或更高版本。 pip install ernie 微调 句子分类 from ernie import SentenceClassifier , Models import pandas as pd tuples = [( "This is a positive example. I'm very happy today." , 1 ), ( "This is a negative sentence. Everything was wrong today at work." , 0 )] df = pd . D