这是我找到的一个用matlaB写的LDA算法的代码实例

LDA漫游指南 pdf 完整版 免费 LDA算法是主题模型领域非常著名的算法，值得深入研究应用，该算法也有很深刻的数学背景和技术启发。

现在我们回到LDA的原理上，我们在第一节说讲到了LDA希望投影后希望同一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大，但是这只是一个感官的度量。现在我们首先从比较简单的二类LDA入手，严谨的分析LDA的原理。 　　　　假设我们的数据集D={(x1,y1),(x2,y2),...,((xm,ym))}D={(x1,y1),(x2,y2),...,((xm,ym))},其中任意样本xixi为n维向量，yi∈{0,1}yi∈{0,1}。我们定义Nj(j=0,1)Nj(j=0,1)为第j类样本的个数，Xj(j=0,1)Xj(j=0,1)为第j类样本的集合，而μj(j=0,1)μj(j=0,1)为第j类样本的均值向量，定义Σj(j=0,1)Σj(j=0,1)为第j类样本的协方差矩阵（严格说是缺少分母部分的协方差矩阵）。 　　　　μjμj的表达式为： μj=1Nj∑x∈Xjx(j=0,1) μj=1Nj∑x∈Xjx(j=0,1) 　　　　ΣjΣj的表达式为： Σj=∑x∈Xj(x−μj)(x−μj)T(j=0,1) Σj=∑x∈Xj(x−μj)(x−μj)T(j=0,1) 　　　　由于是两类数据，因此我们只需要将数据投影到一条直线上即可。假设我们的投影直线是向量ww,则对任意一个样本本xixi,它在直线ww的投影为wTxiwTxi,对于我们的两个类别的中心点μ0,μ1μ0,μ1,在在直线ww的投影为wTμ0wTμ0和wTμ1wTμ1。由于LDA需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是我们要最大化||wTμ0−wTμ1||22||wTμ0−wTμ1||22,同时我们希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差wTΣ0wwTΣ0w和wTΣ1wwTΣ1w尽可能的小，即最小化wTΣ0w+wTΣ1wwTΣ0w+wTΣ1w。综上所述，我们的优化目标为： argmaxwJ(w)=||wTμ0−wTμ1||22wTΣ0w+wTΣ1w=wT(μ0−μ1)(μ0−μ1)TwwT(Σ0+Σ1)w argmax⏟wJ(w)=||wTμ0−wTμ1||22wTΣ0w+wTΣ1w=wT(μ0−μ1)(μ0−μ1)TwwT(Σ0+Σ1)w 　　　　我们一般定义类内散度矩阵SwSw为： Sw=Σ0+Σ1=∑x∈X0(x−μ0)(x−μ0)T+∑x∈X1(x−μ1)(x−μ1)T Sw=Σ0+Σ1=∑x∈X0(x−μ0)(x−μ0)T+∑x∈X1(x−μ1)(x−μ1)T 　　　　同时定义类间散度矩阵SbSb为： Sb=(μ0−μ1)(μ0−μ1)T Sb=(μ0−μ1)(μ0−μ1)T 　　　　这样我们的优化目标重写为： argmaxwJ(w)=wTSbwwTSww argmax⏟wJ(w)=wTSbwwTSww 　　　　仔细一看上式，这不就是我们的广义瑞利商嘛！这就简单了，利用我们第二节讲到的广义瑞利商的性质，我们知道我们的J(w)J(w)最大值为矩阵S−12wSbS−12wSw−12SbSw−12的最大特征值，而对应的ww为S−12wSbS−12wSw−12SbSw−12的最大特征值对应的特征向量! 而S−1wSbSw−1Sb的特征值和S−12wSbS−12wSw−12SbSw−12的特征值相同,S−1wSbSw−1Sb的特征向量w′w′和S−12wSbS−12wSw−12SbSw−12的特征向量ww满足w′=S−12www′=Sw−12w的关系! 　　　　注意到对于二类的时候，SbwSbw的方向恒为μ0−μ1μ0−μ1,不妨令Sbw=λ(μ0−μ1)Sbw=λ(μ0−μ1)，将其带入：(S−1wSb)w=λw(Sw−1Sb)w=λw，可以得到w=S−1w(μ0−μ1)w=Sw−1(μ0−μ1)， 也就是说我们只要求出原始二类样本的均值和方差就可以确定最佳的投影方向ww了。

使用R语言中的jiebaR包，对中文文本进行分词，求词频，做词云图并进行LDA主题建模。

里面文档对LDA算法有详细的推导过程，并带有仿真代码；同时还有一份关于LDA所运用的数学知识笔记。希望对你们学习和理解LDA算法有帮助！！！

本文使用小波变换对输入人脸图像降维，KLDA对人脸图像进行特征变换，最后通过欧氏距离分类器完成人脸分类，同时在不同因素（小波函数的种类，小波变换的阶数，最佳鉴别向量所取的个数，训练样本数）的影响下对比了相同条件下LDA的识别率。

针对短文本特征稀疏、噪声大等特点，提出一种基于 LDA 高频词扩展的方法，通过抽取每个类别的高频词作为向量空间模型的特征空间，用 TF-IDF 方法将短文本表示成向量，再利用 LDA 得到每个文本的隐主题特征，将 概率大于某一阈值的隐主题对应的高频词扩展到文本中，以降低短文本的噪声和稀疏性影响。实验证明，这种方法的分类性能高于常规分类方法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u010161379/article/details/

LDA算法分析中文教程,fisher 线性判别式,降维，分类算法，线性判别分析算法教程 ，内附LDA实验代码

还在为PCA、ICA、LDA而烦恼吗，作为一个机器学习与模式识别方向的研究生，这三个术语困扰了我很久，自己在网上找了很多的资料，最后发现了这个超级棒的ppt，讲得很清楚明了。好资料当然要相互分享嘛，希望这个ppt同样对大家有所帮助。