阿达·本
与论文工作相关的代码： “ AdaBnn：经过自适应结构学习训练的二值化神经网络”
该存储库当前包含两个协作笔记本：
带有实验性质的基于Keras实施AdaNet算法提出的由该文件实验“ ”在，对于学习神经网络结构为子网的集合。 此外，AdaBnn表示为对AdaNet的修改，它对运行时间施加了二进制约束，以尝试在时间方面提高性能，并且是一种基于“的正则化方式”。 “。
另外，包含的单独代码包含Adanet和AdaBnn实现及其文档。
一些发现
根据笔记本中提供的实验：
在自适应结构学习的情况下，对网络权重进行二值化具有类似的效果，即遗传算法中的突变率很高，在迭代之间很难遵循学习模式，在T迭代中不保持增量性能。
Adam优化在大多数情况下更适合于此类AdaBnn结构，并且迭代次数更少（本文中的T参数）。
目前，对AdaNet进行二值化处理并没有太大的改进，但它可能是为权重/激活添加约束作为自适应结构学习的正则化方法的起点。
进一步的工作
进一步的工作可能包括将二值化过程作为卷积子网的一部分，这是（M Courbariaux，2016）的最初建议。
例
导入依赖关
2022-04-29 11:23:47
4.24MB
1
针对贝叶斯网络结构学习方法难以兼顾高准确率和高效率的问题，提出了一种基于Markov Chain Monte Carlo(MCMC)方法的贝叶斯网络结构学习方法的改进。改进包括：使用依赖关系分析，利用统计学的方法对采样空间进行大幅缩减，能够在精确控制准确度的情况下大幅提高时间效率；结合先验知识，从理论角度将先验知识融入评分中得到完全服从后验分布的结果；搜索最优子结构，对于特定的一些结构搜索最优子结构而不是采用贪心的方法，提高了贝叶斯网络结构学习的准确率。通过理论分析可以证明时间复杂度得到了大幅的降低。并且可以在牺牲可预知的准确率的情况下，将指数时间复杂度降为线性时间。大量的数据实验表明，经改进后的方法在时间和准确性上都具有良好的表现。
2022-03-17 09:43:38
988KB
1