Machine-Learning机器学习笔记 回归分析Regression Analysis(LS,LASSO,RR,RLS,BR), 聚类Clustering(KNN, EM, Mean-shift) 数字分类Digits Classification

1、从Kmeans说起 Kmeans是一个非常基础的聚类算法，使用了迭代的思想，关于其原理这里不说了。下面说一下如何在matlab中使用kmeans算法。 创建7个二维的数据点：复制代码 代码如下:x=[randn(3,2)*.4;randn(4,2)*.5+ones(4,1)*[4 4]];使用kmeans函数：复制代码 代码如下:class = kmeans(x, 2);x是数据点，x的每一行代表一个数据；2指定要有2个中心点，也就是聚类结果要有2个簇。 class将是一个具有70个元素的列向量，这些元素依次对应70个数据点，元素值代表着其对应的数据点所处的分类号。某次运行后，class的

k-means聚类算法 k-means是发现给定数据集的k个簇的算法，也就是将数据集聚合为k类的算法。 算法过程如下： 1）从N个文档随机选取K个文档作为质心 2）对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类，我们一般取欧几里得距离 3）重新计算已经得到的各个类的质心 4）迭代步骤（2）、（3）直至新的质心与原质心相等或迭代次数大于指定阈值，算法结束 算法实现 随机初始化k个质心，用dict保存质心的值以及被聚类到该簇中的所有data。 def initCent(dataSet , k): N = shape(dataSet)[1] cents = {} ran

聚类概念 聚类是把相似的东西分到一组，它是一个无监督问题，没有标签使用 难点： 对于有标签的有监督学习问题，标签可以便于我们来评估模型，无监督学习问题在评估上比较难一点 对于不同的参数组合，得到的学习结果，因为比较难对模型做评估，所以不能通过一个精确度的好坏来选择参数组合 K-MEANS算法 K-MEANS算法是聚类问题中，最简单，也是最实用的一个算法 基本概念 一个数据放进来，需要指定K值，来声明要得到簇的个数 质心：一个簇的数据均值，即向量各维取平均即可（迭代时使用） 距离的度量：常用欧几里得距离和余弦相似度（数据需先标准化） 优化目标 通过目标函数进行不断地优化、求解 min∑i=1K∑

基于Matlab实现： 模式识别 改进的K-Means++算法 实现模式分类

mean shift的matlab代码，包括两个文件，一个是mean shift聚类函数，一个是测试程序，简单，好用

mean shift 用c语言实现的代码，可以尝试的了解聚类过程。

改进的基于划分算法的三维点云聚类matlab实现点云聚类算法_改进k-means_k-mean_K._源码.zip

根据网上基于划分法k-means的聚类算法，我做了改进。可以预设一个最大的类数和一个半径，自动划分合适的类。最终将随机三维点云聚类完成后显示为不同颜色。

根据网上基于划分法k-means的聚类算法，我做了改进。可以预设一个最大的类数和一个半径，自动划分合适的类。最终将随机三维点云聚类完成后显示为不同颜色。