This is an attempt to modify Dive into Deep Learning, Berkeley STAT 157 (Spring 2019) textbook's code into PyTorch.

给大家分享一套课程——【完整版11章】自然语言处理之动手学NER视频教程 课程大纲： 章节1 动手命名实体识别开篇 章节2 动手学命名实体识别之环境搭建 章节3 深度学习基础之卷积神经网络 章节4 深度学习基础之循环神经网络 章节5 深度学习基础之LSTM 章节6 基于BiLSTM+CRF的中文命名实体识别实战 章节7 命名实体识别项目案例 章节8 基于IDCNN+CRF的中文命名实体识别实战 章节9 Bert相关理论详细详解 章节10 基于Bert+LSTM+CRF的中文命名实体识别实战 章节11 基于Tensorflow2.x的命名实体识别实战

PDF文档动手学深度学习

基于pytorch的升读学习代码，李沐——动手学深度学习配套

自然语言处理动手学Bert文本分类.zip

自然语言处理动手学Bert文本分类视频教程，本套课程基于Pytorch最新1.4版本来实现利用Bert实现中文文本分类任务，延续动手学系列课程风格，全程手敲代码，跟着杨博一行一行代码撸起来。

文章目录一. 传统RNN二. GRUstep 1 : 载入数据集step 2 : 初始化参数step 3: GRUstep 4: 训练模型简洁实现GRU三. LSTMstep 1: 初始化参数step 2: LSTM 主函数step 3: 训练模型step 4: 简洁实现 一. 传统RNN RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） 二. GRU ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 重置⻔有助于捕捉时间序列⾥短期的依赖关系； 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系 step 1 : 载入数据集 import os os.listdir('/home

Task——Transformer 9.1 Transformer Transformer 是一种新的、基于 attention 机制来实现的特征提取器，可用于代替 CNN 和 RNN 来提取序列的特征。 Transformer 首次由论文 《Attention Is All You Need》 提出，在该论文中 Transformer 用于 encoder – decoder 架构。事实上 Transformer 可以单独应用于 encoder 或者单独应用于 decoder 。 Transformer 相比较 LSTM 等循环神经网络模型的优点： 可以直接捕获序列中的长距离依赖关系。 模

Task03： 过拟合和欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征x和对应的标量标签y组成的训练数据集，多项式函数拟合的目标是找一个K阶多项式函数 来近似 y。在上式中，wk是模型的权重参数，b是偏差参数。与线性回归

动手学关系抽取-知识图谱基础篇，本套课程基于Pytorch1.5版本来实现关系抽取任务，延续动手学系列课程风格，全程手敲代码，跟着杨博一行一行代码撸起来。 课程大纲： 第1章 课程简介 第2章 知识图谱概述 第3章 关系抽取概述 第4章 深度学习基础 第5章 基于CNN的关系抽取实战 第6章 基于BiLSTM的关系抽取实战