albert_zh 使用TensorFlow实现的实现 ALBert基于Bert，但有一些改进。 它以30％的参数减少，可在主要基准上达到最先进的性能。 对于albert_base_zh，它只有十个百分比参数与原始bert模型进行比较，并且保留了主要精度。 现在已经提供了针对中文的ALBERT预训练模型的不同版本，包括TensorFlow，PyTorch和Keras。 海量中文语料上预训练ALBERT模型：参数充分，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准 一键运行10个数据集，9个层次模型，不同任务上模型效果的详细对比，见 一键运行CLUE中

自然语言处理学习笔记 机器学习及深度学习原理和示例，基于Tensorflow和PyTorch框架，Transformer，BERT，ALBERT等最新预训练模型以及源代码详解，以及基于预训练模型进行各种自然语言处理任务。以及模型部署 两种传统的模型： 基于规则或模板生成对话系统 基于概率的语言模型利用语料数据，实现了简略的2-gram模型，并利用该模型判断句子的合理性 根据中国城市的位置信息，实现简单的路径规划系统 根据武汉地铁的各站点的位置信息，实现简单的路径规划系统 图的广度优先搜索及深度优先搜索 搜索问题的抽象模式 旅行推销员问题 启发式 A *搜索 动态规划 机器学习算法，及其应用 python实现基本的神经网络：激活函数，损失函数，前向传播，反向传播 python实现各种梯度下降算法，初始化，批量归一化，正则化 python实施CNN ： Tensor Flow基本概念，张量，

基于Pytorch的中文语义相似度匹配模型 基于Pytorch的中文语义相似度匹配模型 本项目将持续更新，对比目前业界主流文本匹配模型在中文的效果 运行环境：python3.7，pytorch1.2，transformers2.5.1 数据集采用LCQMC数据（将一个句子对进行分类，判断两个句子的语义是否相同（二分类任务）），因数据存在涉嫌嫌疑，故不提供下载，需要者可向官方提出数据申请 ，将数据解压到数据文件夹即可。模型评价指标为：ACC，AUC以及预测总计耗时。 嵌入：本项目输入都统一采用分字策略，故通过维基百科中文语料，训练了字向量作为嵌入。训练语料，矢量模型以及词表，可通过百度网盘下载。链接： : 提取码：s830 模型文件：本项目训练的模型文件（不一定最优，可通过超参继续调优），也可通过网盘下载。链接： : 提取码：s830 测试集结果对比： 模型 行政协调会 AUC 耗时（s

Deep text matching 1、前言 Github 上面有很多文本匹配项目，本项目工作主要借鉴了 和 ，模型的代码风格来自前者。另外模型是使用 keras 深度学习框架进行复现的，主要也是使用的前者的复现代码，只是增加了个别模型的复现，也去除了一些我觉得不太重要的模型；另外，由于本项目只是实验层面探索，所以将 matchzoo 源码中一些和模型无关的很多代码进行了删减，同时对部分模型的结构进行了细微的调整，没有完全遵从论文里的设置。 我使用这些模型在2018年蚂蚁金服的文本匹配竞赛数据集（数据集来自text matching 上传，因此数据的预处理代码也使用的该项目的代码）上进行了一些实验，另外我借鉴了 项目的代码测试了几个 bert 系列模型（bert 及其变体）。由于训练集、验证集、测试集中的正负样本比例都是1:1，因此我使用了准确率这一评价指标来衡量了这些模型的性能，结果

1、run_cnews_classifier.py 原生bert实现的文本分类 原文链接： 2、run_tnews_classifier.py 基于keras_bert实现的文本分类 原文链接： 3、run_lcqmc_similarity.py 基于bert4keras实现的文本相似度计算 原文链接： 4、run_kashgari_classifier.py 基于kashgari实现的文本分类 原文链接： 5、run_ChineseDailyNerCorpus.py 基于kashgari + bert/albert实现的ner 原文链接： 6、Bert_Train.py 基于bert训练模型，并保存为pb格式 原文链接： 7、Bert_Predict.py requests调用tf serving中的bert模型 原文链接： 8、fastbert.py 基于fastbert实现文本分类

bert下albert_chinese_small实现文本分类.rar

贝特维兹 BertViz是用于可视化Transformer模型中注意力的工具，支持库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。 它扩展了的以及的库。 资源资源 :joystick_selector: :writing_hand_selector: :open_book: 总览 正面图 头部视图可视化给定转换器层中一个或多个注意头产生的注意模式。 它基于出色的。 尝试此 其中已预加载了头部视图。 头部视图支持Transformers库中的所有模型，包括： BERT： GPT-2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 模型视图 模型视图提供了对模型所有层和头部的关注的鸟瞰图。 试用此 其中已预加载了模型视图。 模型视图支持Transformers库中的所有模型，包括： BERT： GPT2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 神经元视图 神经元视图将查询和键向量中的单个神经元可视化，并

对应github：https://github.com/YWP-2019/ALBERT-CRF-for-name-quantity-and-geographic-entity-extraction

本资源为albert的中文预训练模型的pytorch版本，albert为bert的轻量化版本，训练速度快，参数量小

情绪分析 在 上通过微调 ， 或训练的情感分析神经网络。 安装要求 pip install numpy pandas torch transformers 使用我在s3上载的模型分析您的输入 python analyze.py 火车模型 python train.py --model_name_or_path bert-base-uncased --output_dir my_model --num_eps 2 支持bert-base-uncase，albert-base-v2，distilbert-base-uncase和其他类似模型。 评估您训练的模型 python evaluate.py