三个 bound 不如一个 heuristic，三个 heuristic 不如一个trick

NAS 的目标是找到一个合适的神经网络结构，用于在某个或者某类任务上有更好的泛化性能。如下图所示，这篇文章使用了一个 RNN 的控制器，用该控制器采样得到某一个神经网络结构 A，在该神经网络结构下训练数据并且得到相应的验证集上的准确率 R，使用该准确率来表征本次搜索得到的神经网络结构的好坏，进而将此作为信号来训练 RNN 控制器。

Artificial Intelligence for Humans, Volume 1_Fundamental Algorithms-Heaton Research(2013) Artificial Intelligence for Humans, Volume 2_Nature-Inspired Algorithms-Heaton Research(2014) Artificial Intelligence for Humans, Volume 3_Deep Learning and Neural Networks-Heaton Research(2015)

具有时间编码的监督学习的目的是使神经元尖峰化，以使神经元响应给定的突触输入而发出任意的尖峰序列。 近年来，基于突触可塑性的监督学习算法发展Swift。 作为最有效的监督学习算法之一，远程监督方法（ReSuMe）使用常规的基于对的峰值定时依赖的可塑性规则，该规则取决于突触前和突触后峰值的精确定时。 在本文中，使用了基于三重态的依赖于尖峰时序的可塑性，它是一种强大的突触可塑性规则，其作用超出了经典规则，提出了一种新颖的监督学习算法，称为T-ReSuMe，以提高ReSuMe的性能。 所提出的算法已成功应用于各种尖峰序列的学习任务，其中所需的尖峰序列通过泊松过程进行​​编码。 实验结果表明，与传统的ReSuMe算法相比，T-ReSuMe算法具有更高的学习精度和更少的迭代次数，对于解决复杂的时空模式学习问题是有效的。

社区缺乏标准化的基准和度量标准。这一缺陷非常严重，以至于很难对修剪技术进行比较，也很难确定这一领域在过去三十年中取得了多大的进步。为了解决这种情况，我们确定了当前实践中的问题，提出了具体的补救措施，并引入了ShrinkBench，这是一个开源框架，用于促进修剪方法的标准化评估。我们使用收缩台对各种修剪技术进行了比较，结果表明，它的综合评价可以防止在比较修剪方法时常见的缺陷。

Feedforward Backpropagation Neural Networks（BP神经网络的Matlab程序），可通过运行test_example_NN.m实现对手写数字的训练学习

张量流和pytorch中的变体自动编码器 TensorFlow和PyTorch中可变自动编码器的参考实现。 我建议使用PyTorch版本。 它包括一个更具表达性的变分族的例子，。 变分推断用于使模型适合二值化MNIST手写数字图像。 推理网络（编码器）用于分摊推理并在数据点之间共享参数。 可能性通过生成网络（解码器）进行参数化。 博客文章： ： 具有重要性采样的示例输出，用于估计Hugo Larochelle的Binary MNIST数据集上的边际可能性。 测试集为-97.10边缘可能性。 $ python train_variational_autoencoder_pytor

神经网络与深度学习最好的入门书籍，比较适合初学者，但需要有一定的英文阅读能力

A Primer with MATLAB® and Python™ present important information on the emergence of the use of Python, a more general purpose option to MATLAB, the preferred computation language for scientific computing and analysis in neuroscience. This book addresses the snake in the room by providing a beginner’s introduction to the principles of computation and data analysis in neuroscience, using both Python and MATLAB, giving readers the ability to transcend platform tribalism and enable coding versatility. Includes discussions of both MATLAB and Python in parallel Introduces the canonical data analysis cascade, standardizing the data analysis flow Presents tactics that strategically, tactically, and algorithmically help improve the organization of code

Neural Network Design第二版英文原版