星空直播 第一季第14課：具有抗干擾能力的Transformer對話系統Experiments詳解.mp4

用于BERT预训练，Bidirectional Encoder Representation from Transformers

用注意力機制處理對話。Dialogue transformer, Transformer Embedding Dialogue 處理干擾，non-cooperative users

Task oriented bert

Chinese NER Project 本项目为CLUENER2020任务baseline的代码实现，模型包括 BiLSTM-CRF BERT-base + X (softmax/CRF/BiLSTM+CRF) Roberta + X (softmax/CRF/BiLSTM+CRF) 本项目BERT-base-X部分的代码编写思路参考 。 项目说明参考知乎文章： Dataset 实验数据来自。这是一个中文细粒度命名实体识别数据集，是基于清华大学开源的文本分类数据集THUCNEWS，选出部分数据进行细粒度标注得到的。该数据集的训练集、验证集和测试集的大小分别为10748，1343，1345，平均句子长度37.4字，最长50字。由于测试集不直接提供，考虑到leaderboard上提交次数有限，本项目使用CLUENER2020的验证集作为模型表现评判的测试集。 CLUENER2020共有10个

以IMDB影评数据为基础，从BERT数据预处理、Input Embeddings、模型代码实现、矩阵内部信息分析到线上部署测试，帮助建立BERT模型训练和服务部署的全生命周期。

该文档主要是bert论文的python代码实现，从github网站上下载来的，有空再仔细看一下

本文是BERT实战的第二篇，使用BERT进行命名实体识别（序列标注类任务）。 1. 准备 1.1 环境 python 3.7； pytorch 1.3； transformers 2.3 （安装教程）； 1.2 数据 数据链接（链接：https://pan.baidu.com/s/1spwmV3_07U0HA9mlde2wMg 提取码：reic）； 2. 实战 2.1 训练代码 lr = 5e-5 max_length = 256 batch_size = 8 epoches = 20 cuda = True # cuda = False max_grad_norm = 1 warmup_s

基于BERT的ASR纠错-附件资源