PyTorch中的高效神经体系结构搜索(ENAS) 实现PyTorch实现。 ENAS通过在大型计算图中的子图模型之间共享参数,将( NAS )的计算需求(GPU小时)减少了1000倍。 关于Penn Treebank语言建模的SOTA。 ** [注意]请使用作者提供的官方代码:** 先决条件 Python 3.6+ tqdm,scipy,imageio,graphviz,tensorboardX 用法 安装必备组件: conda install graphviz pip install -r requirements.txt 要训​​练ENAS以发现RNN的复发细胞,请执行以下操作: python main.py --network_type rnn --dataset ptb --controller_optim adam --controller_lr 0.00035 \
1
NAS 的目标是找到一个合适的神经网络结构,用于在某个或者某类任务上有更好的泛化性能。如下图所示,这篇文章使用了一个 RNN 的控制器,用该控制器采样得到某一个神经网络结构 A,在该神经网络结构下训练数据并且得到相应的验证集上的准确率 R,使用该准确率来表征本次搜索得到的神经网络结构的好坏,进而将此作为信号来训练 RNN 控制器。
2021-08-02 10:33:09 81KB NAS
1
计算机视觉Github开源论文
2021-06-03 09:09:12 487KB 计算机视觉
1