Tensorflow 2.0的TabNet
本文的Tensorflow 2.0端口,其原始代码库可从。
上面的图像是从论文中获得的,其中模型是由两个阶段的块构成的-一个阶段用于关注输入要素,另一个阶段则用于构建模型的输出。
与纸张的差异
与本文和官方实施有两个主要区别。
此实现在规范化方法中提供了一种选择,可以是来自纸张的常规Batch Normalization ,也可以是Group Normalization 。
已经观察到,本文使用非常大的批处理大小来稳定“批处理归一化”并获得良好的概括性。 与此相关的一个问题是计算成本。
因此,组归一化(将组数设置为1,又称为实例归一化)提供了一个与批大小无关的合理选择。
可以将num_groups的Instance Normalization类型的行为设置为1,或-1的Layer Normalization类型的行为设置为-1。
此
2021-07-26 14:21:53
391KB
Python
1