是一个情感分类的项目,前面是对emotion数据集的处理和分析,以及将整个数据集分词以及处理成模型的输入形式。
主要是通过加载一个文本分类的预训练模型,然后在数据集上面进emotion数据集上面的fine-tuning。然后对训练好的模型进行效果的分析,包括F1,Precision和Recall等。
fine-tune transformers
distilbert-base-uncased
- distilbert 是对 bert 的 distill 而来
- 模型结构更为简单,
- bert-base-uncased 参数量:109482240
- distilbert-base-uncased 参数量:66362880
- trainer默认自动开启 torch 的多gpu模式,
- `per_device_train_batch_size`: 这里是设置每个gpu上的样本数量,
- 一般来说,多gpu模式希望多个gpu的性能尽量接近,否则最终多gpu的速度由最慢的gpu决定,
- 比如快gpu 跑一个batch需要5秒。
1