Bert 模型采取了两个预训练任务：Masked Language Model和Next Sentence Prediction，而这两个任务都是基于BertPreTrainedModel抽象基类。 2.1 BertPreTrainedModel 所有Bert-based的模型，包括预训练模型和下游任务模型都是基于BertPreTrainedModel类，用于初始化权重参数和加载预训练描述。同时也继承了PreTrainedModel的变量和方法。