MATLAB优化算法实战应用案例-MARKOV应用分析

两个法国RL大牛所写的经典强化学习Tutorial，算法理论介绍相当严格，文献总结全面

本国际标准为使用马尔可夫技术建模和分析系统以及评估可靠性，可用性，可维护性和安全措施提供了指导。 该标准适用于必须分析表现出与状态相关的行为的系统的所有行业。 该标准涵盖的马尔可夫技术假定恒定的与时间无关的状态转换速率。 这种技术通常被称为齐次马尔可夫技术。

em算法matlab代码带变分贝叶斯层次EM的隐马尔可夫模型聚类 隐马尔可夫模型（HMM）是一种广泛使用的用于表示时间序列数据的生成模型，而聚类HMM吸引了机器学习研究人员的浓厚兴趣。 但是，仍然难以确定集群中心的集群数（K）和隐藏状态数（S）。 在本文中，我们提出了一种新颖的基于HMM的聚类算法，即变分贝叶斯分层EM算法，该算法通过其密度和先验性对HMM进行聚类，并同时学习紧凑地表示每个聚类结构的新型HMM聚类中心的后验。 数字K和S以两种方式自动确定。 首先，我们在该对（K，S）上放置一个先验值，然后近似其后验概率，从中选择具有最大后验概率的值。 其次，当没有数据样本分配给它们时，一些簇和状态被隐式删除，从而导致模型复杂度的自动选择。 代码实施 该工具箱包含VBHEM-H3M的主要功能，并且基于Matlab。 其中包括 setup.m：设置工具箱的路径。 src： vbhem：VBHEM算法。 hmm：用于学习HMM的VBEM。 compare_mtds：本文使用的比较方法，CCFD，VHEM，DIC和PPK。 plots：用于绘制结果。 util：其他代码。 演示：使用VBHEM

经典书籍马尔可夫随机场用于图像分析的第三版.新版中加入了许多新的东西:MRF inference的最新方法

T h is book contains inform ation obtained from authentic and highly regarded sources. Reasonable efforts have been made to publish reliable data and inform ation, but the author and publisher cannot assume responsibility for the validity o f all m aterials or the consequences o f their use. T he authors and publishers have attem pted to trace the copyright holders o f all m aterial reproduced in this publication and apologize to copyright holders if perm ission to publish in this form has not been obtained. If any copyright m aterial has not been acknowledged please write and let us know so we may rectify in any future reprint.

Probability, Markov chains, queues and simulation: the mathematical basis of performance modeling BOOK

主要介绍了在Python上基于Markov链生成伪随机文本的教程,是一个基于马尔可夫算法的小实现,充分体现了Python在科学计算中的用途,需要的朋友可以参考下

dtw － DTW算法演示程序 mfcc.m － MFCC参数计算程序 dtw.m － 基本的DTW算法 dtw2.m － 优化的DTW算法 testdtw.m － DTW算法测试程序 vad.m － 端点检测程序 cdhmm － 连续高斯混合HMM演示程序 pdf.m － 高斯概率密度函数 mixture.m － 混合高斯的输出概率 inithmm.m － HMM参数初始化 getparam.m － 计算观察序列的参数 viterbi.m － 语音识别的Viterbi算法 baum.m － Baum-Welch训练算法（一次叠代） main.m － 多HMM训练主程序 train.m － 对一个HMM进行训练的程序 recog.m － 识别程序 vad.m － 端点检测程序 mfcc.m － MFCC参数计算程序 samples.mat － 作者的汉语数码0-9录音 hmm.mat － 一次HMM训练结果 record － 辅助录音程序 record.m － 录音程序的脚本文件 record.fig － 录音程序的GUI sample.m － 录音程序的回调函数

Queueing Networks and Markov Chains Modeling and Performance Evaluation with Computer Science Application第二版，排队网络的经典书籍，Gunter Bolch，Stefan Greiner， Hermann de Meer， Kishor S. Trivedi著。