图片GPT 图像GPT的PyTorch实施基于像素的纸张生成式预训练和随附的。 模型生成的来自测试集的半图像的完成。 输入第一列； 最后一栏是原始图片 iGPT-S已在CIFAR10上进行了预培训。 由于该模型仅在CIFAR10而非所有ImageNet上进行了训练，因此完成程度相当差。 在制品 GPU上的批量k均值用于量化更大的数据集（当前使用sklearn.cluster.MiniBatchKMeans 。） BERT样式的预训练（当前仅支持生成。） 从OpenAI加载预训练的模型。 重现至少iGPT-S结果。 根据他们的，最大的模型iGPT-L（1.4 M参数）接受了2500 V100天的培训。 通过大大减少注意力头的数量，层数和输入大小（这会成倍地影响模型大小），我们可以在不到2小时的时间一台NVIDIA 2070上在上训练自己的模型（26 K参数）。 分类微调 采