pytorch_chinese_lm_pretrain：pytorch中文语言模型预训练-源码
基于pytorch的中文语言模型预训练
ACL2020最佳论文有一篇论文提名奖，《不要停止预训练：使语言模型适应领域和任务》。本文涉及很多语言模型预训练的实验，系统的分析了语言模型预训练对子任务的效果提升情况。有几个主要方面：
在目标领域的数据集上继续预训练（DAPT）可以提高效果；目标领域的语料与RoBERTa的原始预训练语料越不相关，DAPT效果则提升更明显。
在具体任务的数据集上继续预训练（TAPT）可以十分“廉价”地提升效果。
结合两者（先进行DAPT，再进行TAPT）可以进一步提升效果。
如果能获取更多的，任务相关的无标注数据继续预训练（Curated-TAPT），效果则最佳。
如果
文件下载
评论信息
其他资源
- 数据结构与算法学习辅导及习题详解.张乃孝版
- 电机转速.vi
- Modbus通信协议(内附RTU+51单片机程序)
- 端元提取——顶点成分分析VCA的MATLAB代码
- AHB总线下的slave ram的verilog代码.rar
- 海思HI35xx平台h265解码实例
- mysql多维数据仓库指南+书中代码
- 矩阵分析 李保滨 作业+大作业
- P3型水文频率曲线
- 使用Matlab7.3开发的使用整数小波变换对图像进行3级分解和重构的程序
- ALIENTEK MiniSTM32 DHT11 温湿度传感器模块实验
- 北京理工大学《离散数学》两套期末模拟试卷（含答案）.pdf
- repo-info：有关已发布的官方图像的扩展信息（尤其是许可证和层详细信息）-源码
- SSH框架 Struts+Spring+Hibernate+Ajax+功能齐全(验证码+二进制文件图片读写数据库)的网站.zip
- JPEG编解码matlab
- AE真正的合成复制脚本教程
- submin
- 按钮小图标大全
- 现代通信网 穆维新课件
- 最小二乘辨识算法(matlab程序)
- python做量化：一个简单的均线系统
- FreeSWITCH中文语音文挡
- 隐含马尔科夫链的C语言实现
免责申明
【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【只为小站】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明