自然语言处理 分词 北邮 将一段没有空格的文本就行分词 效果很好

Dense Passage Retriever - 是一套用于开放领域问答任务的工具和模型Q&A Dense Passage Retriever Dense Passage Retriever - 是一组用于开放域问答任务的工具和模型。 它基于这项研究工作，并为多个问答数据集提供了最先进的结果。 特征密集检索器模型基于双编码器架构。 受本文启发的抽取式问答读者和排名者联合模型。 相关数据预处理和后处理工具。 推理时间逻辑的密集检索器组件基于 FAISS 索引。 安装 从源头安装。 推荐使用 Python 的虚拟或 Conda 环境。 git clone git@github.com:fairinternal/DPR.git cd DPR pip install 。 DPR 在 Python 3.6+ 和 PyTorch 1.2.0+ 上进行了测试。 DPR 依赖第三方库来实现编码器代码。 目前支持 Huggingface BERT、Pytext BERT 和 Fairseq RoBERTa 编码器模型。 由于标记化过程的普遍性，DPR 目前使用 Hugging

自然语言处理实战视频教程，自然语言处理中重要的算法，词向量模型。本课程从语言模型入手，详解词向量构造原理与求解算法。理论与实战结合， 基于深度学习主流框架Tensorflow实例演示如何用深度学习来进行文本分类任务，其中涉及深度学习主流架构LSTM模型以及自然语言处理中流行的word2vec词向量建模方法，分模块解读如何用框架一步步完成整个网络架构。

自然语言处理理论书籍很多，将实际操作的不多，能讲的这么系统的更少，从这个角度，本书是目前世界最好的自然语言处理实践教程。

nlp4go 注意：此解决方案不再开发。 进一步的开发是在NDA下完成的，无法发布 nlp4go的想法是为研究人员和开发人员提供一种基于go-lang的快速nlp工具包，该工具包提供了NLTK和其他NPL工具包的最常用功能，但具有可用于生产的计算性能。 可以在并行模式下执行的事情（例如独立句子的POS标记）应在go-routines中并行处理，以有效利用CPU内核。 当前支持的语言 英语 俄语<已计划 实施总计划 令牌生成器 树库 正则表达式 分裂 研究替代方案 POS标记器 感知器 字符串抽象可改善unicode的性能 与正则表达式的兼容性 unicode字符串的O（1）len（）操作 以字节和字符为单位 NER支持 解析中 我们需要一套完整的规则来进行语法分析 语法解析// ShiftReudce 依赖解析//汉尼拔港的Cython版本 WordNet界面 存储库结构在习惯上应类似

使用预训练语言模型BERT做中文NER

针对访问控制策略的自动化生成问题，提出了一种基于深度学习的ABAC访问控制策略生成框架，从自然语言文本中提取基于属性的访问控制策略，该技术能够显著降低访问控制策略生成的时间成本，为访问控制的实施提供有效支持。将策略生成问题分解为访问控制语句识别和访问控制属性挖掘两项核心任务，分别设计了 BiGRU-CNN-Attention和 AM-BiLSTM-CRF这 2个神经网络模型来实现访问控制策略语句识别和访问控制属性挖掘，从而生成可读、可执行的访问控制策略。实验结果表明，与基准方法相比，所提方法具有更好的性能。特别是在访问控制策略语句识别任务中平均F1-score指标能够达到0.941，比当前的state-of-the-art方法性能提高了4.1%。

药物推荐 通过自然语言学习进行药物推荐聊天机器人 数据集 数据集EDA 会员

统计自然语言处理基础(中文版+带书签).pdf 统计自然语言处理基础(中文版+带书签).pdf

MASS: 微软亚洲研究院开源新模型一种用于语言生成的新掩蔽序列到序列预训练