使用MCNN进行人群计数-MindSpark Hackathon 2018 使用多列卷积神经网络对ShanghaiTech数据集进行人群计数。 这是CVPR 2016论文“通过多列卷积神经网络进行单图像人群计数”的非正式实施。 注意：可以做出预测。 有关热图生成的工作正在进行中。 安装 安装Tensorflow和Keras 安装OpenCV 克隆此存储库（以防您不想训练模型并希望使用预先训练的模型）。 资料设定 从以下位置下载ShanghaiTech数据集： 投寄箱： ：//www.dropbox.com/s/fipgjqxl7uj8hd5/ShanghaiTech.zip dl

压缩文件包括两本最经典的Neural Network Introduction to Neural Networks for Java, 2nd Edition Jeff Heaton Introduction to the Math of Nerural Newtork Jeff Heaton

深度神经网络自监督视觉特征学习综述 为了在计算机视觉应用中学习得到更好的图像和视频特征，通常需要大规模的标记数据来训练深度神经网络。为了避免收集和标注大量的数据所需的巨大开销，作为无监督学习方法的一个子方法——自监督学习方法，可以在不使用任何人类标注的标签的情况下，从大规模无标记数据中学习图像和视频的一般性特征。本文对基于深度学习的自监督一般性视觉特征学习方法做了综述。首先，描述了该领域的动机和一些专业性术语。在此基础上，总结了常用的用于自监督学习的深度神经网络体系结构。接下来，回顾了自监督学习方法的模式和评价指标，并介绍了常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，总结和讨论了基于标准数据集的性能比较方法在图像和视频特征学习中的应用。 https://ieeexplore.ieee.org/document/9086055 https://www.zhuanzhi.ai/paper/0e9852bb57c7fe00cc59723fc0ee899f 引言 由于深度神经网络具有学习不同层次一般视觉特征的强大能力，它已被作为基本结构应用于许多计算机视觉应用，如目标检测[1]、[2]、[3]、语义分割[4]、[5]、[6]、图像描述[7]等。从像ImageNet这样的大规模图像数据集训练出来的模型被广泛地用作预训练模型和用于其他任务的微调模型，主要有两个原因:(2)在大规模数据集上训练的网络已经学习了层次特征，有助于减少在训练其他任务时的过拟合问题;特别是当其他任务的数据集很小或者训练标签很少的时候。 深度卷积神经网络(ConvNets)的性能在很大程度上取决于其能力和训练数据量。为了增加网络模型的容量，人们开发了不同类型的网络架构，收集的数据集也越来越大。各种网络，包括AlexNet [9]， VGG [10]， GoogLeNet [11]， ResNet [12]， DenseNet[13]和大规模数据集，如ImageNet [14]， OpenImage[15]已经被提出训练非常深的ConvNets。通过复杂的架构和大规模的数据集，ConvNets的性能在许多计算机视觉任务[1]，[4]，[7]，[16]，[17]，[18]方面不断突破先进水平。 然而，大规模数据集的收集和标注是费时和昂贵的。ImageNet[14]是pre-training very deep 2D convolutional neural networks (2DConvNets)中应用最广泛的数据集之一，包含约130万张已标记的图像，覆盖1000个类，而每一幅图像由人工使用一个类标签进行标记。与图像数据集相比，视频数据集由于时间维度的原因，其采集和标注成本较高。Kinetics数据集[19]主要用于训练ConvNets进行视频人体动作识别，该数据集由50万个视频组成，共600个类别，每个视频时长约10秒。许多Amazon Turk工作人员花了大量时间来收集和注释如此大规模的数据集。 为了避免费时和昂贵的数据标注，提出了许多自监督方法来学习大规模无标记图像或视频的视觉特征，而不需要任何人工标注。一种流行的解决方案是提出各种各样的前置任务让网络来解决，通过学习前置任务的目标函数来训练网络，通过这个过程来学习特征。人们提出了各种各样的自监督学习任务，包括灰度图像着色[20]、图像填充[21]、玩图像拼图[22]等。藉口任务有两个共同的特性:(1)图像或视频的视觉特征需要被ConvNets捕捉来解决前置任务;(2)监控信号是利用数据本身的结构(自我监控)产生的。 自监督学习的一般流程如图1所示。在自监督训练阶段，为ConvNets设计预定义的前置任务，并根据数据的某些属性自动生成前置任务的伪标签。然后训练卷积神经网络学习任务的目标函数。当使用前置任务进行训练时，ConvNet的较浅的块集中于低级的一般特征，如角、边和纹理，而较深的块集中于高级任务特定的特征，如对象、场景和对象部分[23]。因此，通过藉由任务训练的ConvNets可以学习内核来捕获低级特征和高级特征，这对其他下游任务是有帮助的。在自监督训练结束后，学习到的视觉特征可以作为预训练的模型进一步转移到下游任务中(特别是在数据相对较少的情况下)，以提高性能和克服过拟合。通常，在有监督的下游任务训练阶段，仅从前几层传递视觉特征。

医学影像中的机器学习--U-Net 是用于生物图像分割的卷积神经网络（CNN）。 为了保留更精细的特征图，使用了跳过连接来补充更深层中的数据。 在这项工作中，将相同的体系结构用于MRI脑部扫描，以预测一种给予另一种的方式。 这是通过将以两种不同方式扫描的原始MRI体数据切成可在网络上进行训练的2D图像来完成的。 该网络是使用 （用于CNN的MATLAB工具箱）实现的。

Theoretical Neuroscience - Computational and Mathematical Modeling of Neural Systems _ Peter Dayan, L. F. Abbott 计算神经必备的神经科学专著，作者是两个大牛。

PyTorch 神经网络。

MIT 学习神经网络经典书籍 Like the first edition, which it replaces, this volume is inspired by two great questions: “How does the brain work?” and “How can we build intelligent machines?” As in the first edition, the heart of the book is a set of close to 300 articles in Part III which cover the whole spectrum of Brain Theory and Neural Networks.

神经网络 Hebb 学习规则的简单 Matlab 代码。 这对NN初学者学生有好处。 它可以应用于简单的任务，例如逻辑“和”、“或”、“非”和简单的图像分类。

梯度集中TensorFlow 这个Python套件在TensorFlow中实现了梯度集中，这是Yong等人建议的一种简单有效的针对深度神经网络的优化技术。 。 它既可以加速训练过程，又可以提高DNN的最终泛化性能。 安装 运行以下命令进行安装： pip install gradient-centralization-tf 用法 为指定的优化器创建集中式渐变函数。 参数： optimizer ：一个tf.keras.optimizers.Optimizer object 。 您正在使用的优化程序。 例子： >> > opt = tf . keras . optimizers . Adam ( learning_rate = 0.1 ) >> > optimizer . get_gradients = gctf . centralized_gradients_for_optimize

神经教程 人工神经网络（ANN）从头开始于python教程。 基于此中篇文章的ANN结构以及基于此的对数据科学文章的输入 使用简单的2层设置-一个包含四个节点的隐藏层和一个输出层。 这两层都使用S型激活功能。 增加了学习率，并可能增加了偏见项。 我通过一个玩具示例，使用合成的土壤水分和土壤粒度数据来预测CO 2通量。 我看一下预测如何根据训练数据集的属性而变化。 如果您的训练数据集不能完全覆盖所有值范围，则您的模型将无法“学习”在这些条件下如何进行准确的预测。