通过序列计算马尔可夫的k步转移矩阵的MATLAB小程序，初学请指教

马尔可夫随机场（MRF）变化检测MATLAB源码

针对智能水下机器人(AUV)软件故障修复过程中存在的修复代价过高和系统环境只有部分可观察的问题,提出了一种基于微重启技术和部分客观马尔可夫决策(POMDP)模型的AUV软件故障修复方法。该方法结合AUV软件系统分层结构特点,构建了基于微重启的三层重启结构,便于细粒度的自修复微重启策略的实施;并依据部分可观马尔可夫决策过程理论,给出AUV软件自修复POMDP模型,同时采用基于点的值迭代(PBVI)算法求解生成修复策略,以最小化累积修复代价为目标,使系统在部分可观环境下能够以较低的修复代价执行修复动作。仿真实验结果表明,基于微重启技术和POMDP模型的AUV软件故障修复方法能够解决由软件老化及系统调用引起的AUV软件故障,同与两层微重启策略和三层微重启固定策略相比,该方法在累积故障修复时间和运行稳定性上明显更优。

语音识别基于hmm(隐马尔可夫模型)算法代码汇总(算法源码及应用)

利用Matlab编程进行马尔可夫预测

这是2002年Kevin Murphy等人写的matlab的mdp源码，可以直接调用其中的所有函数，另外附件中还有其他页面详细介绍mdp和强化学习等知识。

2009年写的matlab mdp源码，里面有全部的英文document介绍说明

关于马尔可夫链的MATLAB程序峄做信道分析及离散事件仿真度的同事有用。

该文档主要讲解马尔可夫聚类算法（The Markov Cluster Algorithm，MCL），配有计算公式，转化方法，结合实例讲解算法过程，个人感觉思路很清晰，讲解的很详细。

马氏决策的好书，可用于Internet流量分析建模，无线网络资源分配建模