超参数优化

深度进化 如今，训练神经网络相对容易，但是仍然很难弄清楚要使用哪些网络体系结构和其他超参数-例如，多少神经元，多少层以及哪些激活功能？ 从长远来看，当然，神经网络将学习如何在没有人工干预的情况下构造自己。 在此之前，开发应用程序优化的神经网络的速度将受到选择和完善超参数所需的时间和专业知识的限制。 DeepEvolve旨在通过针对特定数据集和分类问题快速返回良好的超参数来帮助解决此问题。 该代码支持MLP（即完全连接的网络）和卷积神经网络的超参数发现。 如果您有无限的时间和无限的计算资源，则可以强行解决问题，只需比较和对比所有参数组合即可。 但是，在神经网络的大多数实际应用中，您可能必须权衡竞争的需求（时间，成本，在动态环境中不断优化AI性能的愿望），并且出于某种原因，您可能强烈希望能够快速为各种数据集生成良好的网络。 在这种情况下，遗传算法将很有用。 遗传算法 遗传算法可用于解决复杂的

深度学习网络的超参数学习论文，文中介绍了深度学习的超参数该根据什么因素进行选择

内容包含有：1.深度学习的实用层面、2.优化算法、3.超参数调试、Batch正则化和程序框架。以及相应的作业、讲义。

Optuna：超参数优化框架 文件| 安装指南| 教程Optuna是一个自动超参数优化软件框架，专门为机器学习而设计。 它以Optuna为特色：超参数优化框架 文件| 安装指南| 教程Optuna是一个自动超参数优化软件框架，专门为机器学习而设计。 它具有命令式，按运行定义样式的用户API。 多亏了我们的按运行定义API，用Optuna编写的代码具有高度的模块化，并且Optuna的用户可以动态构造超参数的搜索空间。 关键特性Optuna具有以下现代功能：

DO-Conv：深度超参数化卷积层 由金明曹，创建，孙铭超，， ，，和。 介绍 DO-Conv是深度过参数化的卷积层，可在训练阶段用作CNN中常规卷积层的替代，以实现更高的精度。在推理阶段，DO-Conv可以融合到常规卷积层中，从而导致计算量与常规卷积层的计算量完全相同。 有关更多详细信息，请参见的，其中我们展示了DO-Conv在各种基准数据集/任务上的优势。 我们高度欢迎的问题 我们非常欢迎与DO-Conv相关的问题，而不是电子邮件，而不是电子邮件。 此外，如果在发行中提供最少的可复制示例代码，那将是很好的。 ImageNet分类性能 我们以的为基准。基线中的设置已经过调整，以适应基线，并且在切换到DO-Conv期间不会被触摸。换句话说，DO-Conv是唯一且仅在基线上进行更改的工具，并且没有进行任何超参数调整来支持DO-Conv。我们认为GluonCV具有很高的重现性，但是，为了尽可

深度学习中的参数以及评价指标解读

超参数优化 实现不同的超参数优化方法

Genetic_Algorithm_Tuner 用遗传算法调整神经网络超参数

HyperPower（Keras / TensorFlow +薄荷） 通过贝叶斯优化对硬件进行感知的超参数搜索 + 神经网络。 描述 神经网络（NN）的超参数优化已成为一个具有挑战性的过程。 如果我们发现最佳的（根据分类错误）NN配置也满足硬件约束，例如最大推理运行时间，最大GPU能耗或功耗，则此设计问题将变得更加艰巨。 HyperPower利用贝叶斯优化的有效性来采用受硬件限制的超参数优化。 该代码库是基础： HyperPower: Power- and Memory-Constrained Hyper-Parameter Optimization for Neural Networks Dimitrios Stamoulis, Ermao Cai, Da-Cheng Juan, Diana Marculescu Design, Automation and Test in Eu