智能优化算法课程 ML机器学习入门 神经网络基础 智能优化算法-BP神经网络基本原理简介

本文在总结前人研究的基础上，对导致糖尿病的危险因素进行分析，通过对哈尔滨工业大学 2014 年校医院体检数据集的特征变量进行逐步回归分析，得到与糖尿病显著相关的危险因素，保留其作为 BP 神经网络模型、支持向量机模型和集成学习模型的输入变量。机器学习算法在处理较为复杂的问题上有较好的准确度和泛化能力。将样本集中 2728 条数据根据要求按照 7：2：1 的比例划分成训练集、测试集和独立样本集。基于 BP 人工神经网络、支持向量机和集成学习模型分别建立进行机器学习仿真模拟。输入变量和模型的各种参数、核函数的选择都对预测结果产生有或多或少的影响。本研究中观察了如网络结构、学习率、惩罚因子、核函数及相关参数的改变对预测结果的影响，然后经过对参数进行调试选择，找到各个算法的最优模型。最后使用独立样本进行测试，三个模型的预测结果与原始数据相关性强，证明建模具有统计意义，其中人工神经网络的最优模型的测试集 AUC 更高，运行时间更短。所以，最终选择以网络结构为 7-1-1 的人工神经网络模型为本研究中糖尿病预测的最适模型。 关键词：糖尿病；危险因素；BP 人工神经网络；支持向量机；集成学习

此资源为自己编写，主要讲述了传统机器学习的k近邻、朴素贝叶斯、svm、感知机、逻辑回归等算法，对其的思想和优缺点做了总结。 由于此文档仅为学习时笔记，若有问题还请见谅，也希望读者能够指出。

摘要 现实中的很多实际问题都可以转化为数据信息处理中的数据分类问题，例如 气象预报、商品推荐、生物信息、网络检测等，而数据信息处理都是以机器学习 为基础进行研究的。随着科学技术的发展，机器学习算法的应用领域也变得十分 广泛。 本文主要介绍了两种机器学习算法:粒子群算法优化支持向量机和卷积神经 网络。其中研究了粒子群算法优化支持向量机在树叶分类和癌症基因分类中的预 测，卷积神经网络在图像分类中的应用。 (1)基于各种树叶的特征构建一个数据预处理模型:先对各种数据进行归一 化处理，采用主成分分析方法从16个特征中提取出3个主成分，再建立粒子群 算法优化后的支持向量机，用支持向量机对树叶数据进行分类预测。实验结果表 明，相对于遗传算法和网格搜索法寻到的最优参数相比，粒子群算法优化支持向 量机具有最高的准确率，高达94.1%，高于其他两种分类方法。 (2)将粒子群优化的支持向量机模型应用到癌症基因分类中，通过选取多组 不同的实验数据对癌症手术后病人的复发和不复发的基因样本进行预测分类。对 于三种不同分类方法对于癌症基因分类的不同分类效果，综合实验结果，粒子群 优化支持向量机在三种分类方法中达到

机器学习是人工智能的一个分支，其研究的目标是构建一个能够从数据中 自主学习出一定的规律(或模式)并将此规律应用于后续数据处理的系统。作 为一个基础性的学科分支，机器学习在许多领域有着重要的应用，例如生物信 息学、人工智能、航空航天、现代医学等。 图论作为一个数学分支，其在机器学习中的研究与应用近年来得到了快速 的发展。基于图论的机器学习算法就是把机器学习的问题归结为图论的问题 然后利用图论理论进行分析和求解的一类学习算法。相比较于其他算法模型， 基于图论的机器学习算法有着以下优势:一、图论作为一个数学分支，有着深 厚的数学理论背景，这为对机器学习算法从理论上分析做了必要的准备。二、 图论具有模型简单、概括力强的特点，这使得很多问题可以利用图论模型进行 描述和求解。三、图论模型可以利用矩阵描述并利用线性代数和矩阵理论知识 进行分析和求解，因此表达形式简洁但富有概括力，同时便于进行深入理论分 析。四、基于图论谱分析的机器学习算法很多具有闭合的解析解表达式，或者 可以利用凸优化理论进行求解，这样可以求得全局最优解，避免局部最优解。 已有的基于图论的机器算法研究主要集中在两个方面:一个是基于图

糖尿病预测应用 通过使用机器学习算法来预测糖尿病的应用程序。 它由Flask构建并部署在Heroku上。 在这个项目中，我们的目标是根据怀孕，血糖，血压，皮肤厚度，胰岛素，BMI，糖尿病谱系功能，年龄等各种特征来预测患者是否患有糖尿病。 我们将执行从数据收集到模型部署的所有步骤。 在模型评估期间，我们根据precision_score指标比较各种机器学习算法，并找到最佳算法。 然后，我们使用Flask（这是一个python微框架）创建一个Web应用。 部署-https: 截屏 安装 克隆此存储库并解压缩。 下载后，将cd放入flask目录。 使用Python 3开始一个新的虚拟环境并激活它。 使用pip install -r requirements.txt安装所需的软件包 执行命令： python app.py 在浏览器中打开http链接。

常用机器学习算法的简单手写实现，帮助更好理解算法

文本分类，使用机器学习算法，如朴素贝叶斯、逻辑回归、支持向量机等

项目的主要目标是使用深度学习和机器学习算法识别超速车辆。从视频中采集一系列图像后，使用Haar级联分类器检测卡车。分类器的模型使用大量正反图像进行训练，生成一个XML文件。然后跟踪车辆，并根据其各自的位置、ppm（每米像素数）和fps（每秒帧数）估计其速度。现在，已识别卡车的裁剪图像被发送用于车牌检测。CCA（连通成分分析）有助于车牌检测和字符分割。SVC模型使用字符图像（20X20）进行训练，为了提高精度，还进行了4次交叉验证（机器学习）。该模型有助于识别分割字符。识别后，计算出的卡车速度与车牌号一起输入excel表格。这些卡车还分配了一些ID，以生成一个系统化的数据库。

机器学习算法Python实现 一、线性回归 1、代价函数 2、梯度下降算法 3、均值归一化 4、最终运行结果 5、使用scikit-learn库中的线性模型实现 二、逻辑回归 1、代价函数 2、梯度 3、正则化 4、S型函数（即） 5、映射为多项式 6、使用的优化方法 7、运行结果 8、使用scikit-learn库中的逻辑回归模型实现 逻辑回归_手写数字识别_OneVsAll 1、随机显示100个数字 2、OneVsAll 3、手写数字识别 4、预测 5、运行结果 6、使用scikit-learn库中的逻辑回归模型实现 三、BP神经网络 1、神经网络model 2、代价函数 3、正则化 4、反向传播BP 5、BP可以求梯度的原因 6、梯度检查 7、权重的随机初始化 8、预测 9、输出结果 四、SVM支持向量机 1、代价函数 2、Large Margin 3、SVM Kernel（核函数） 4、使用中的模型代码 5、运行结果 五、K-Means聚类算法 1、聚类过程 2、目标函数 3、聚类中心的选择 4、聚类个数K的选择 5、应用——图片压缩 6、使用scikit-learn库中的线性