PyTorch滤波器响应归一化层(FRN)
过滤器响应归一化层(FRN)的PyTorch实现
0.如何将FRN应用于您的模型
自己用FRN + TLU替换模型中的BatchNorm2d + ReLU 。 当前,很难用功能轻松地替换它们。 因为许多模型在不同的地方使用相同的ReLU。
1.实验(分类)
我们使用 数据集。 该数据集包含49位艺术家及其照片。 在此实验中,我们按图片对艺术家进行分类。
1.0假定库
火炬== 1.3.1
催化剂== 19.11.6
配基== 0.4.3
如果使用--fp16选项
1.1获取数据集
如果可以使用kaggle API命令,则可以轻松下载
$ cd input
$ kaggle datasets download -d ikarus777/best-artworks-of-all-time
$ unzip best-artworks-of-a
1