PyTorch中的高效神经体系结构搜索(ENAS)
实现PyTorch实现。
ENAS通过在大型计算图中的子图模型之间共享参数,将( NAS )的计算需求(GPU小时)减少了1000倍。 关于Penn Treebank语言建模的SOTA。
** [注意]请使用作者提供的官方代码:**
先决条件
Python 3.6+
tqdm,scipy,imageio,graphviz,tensorboardX
用法
安装必备组件:
conda install graphviz
pip install -r requirements.txt
要训练ENAS以发现RNN的复发细胞,请执行以下操作:
python main.py --network_type rnn --dataset ptb --controller_optim adam --controller_lr 0.00035 \
1