阿尔伯特-TF2.0
使用TF2.0的ALBERT模型微调
该存储库包含针对ALBERT的TensorFlow 2.0实现。
要求
python3
点安装-r requirements.txt
ALBERT预训练
从零开始的ALBERT模型预训练和特定于域的微调。 说明
下载ALBERT TF 2.0砝码
Verison 1
版本2
将模型解压缩到存储库中。
以上重量不包含原始模型中的最后一层。 现在只能用于微调下游任务。
从TF-HUB到TF 2.0全权转换
下载胶水数据
使用以下cmd下载
python download_glue_data.py --data_dir glue_data --tasks all
微调
要准备用于最终模型训练的微调数据,请使用脚本。 tf_record格式的结果数据集和训练元数据应稍后传递给训练或评估脚本。 特定于任务的参数将在以下各节中介绍:
1