markov chain......................................................

这里是 ShowMeAI 持续分享的【开源eBook】系列！内容覆盖机器学习、深度学习、数据科学、数据分析、大数据、Keras、TensorFlow、PyTorch、强化学习、数学基础等各个方向。整理自各平台的原作者公开分享（审核大大请放手） ◉ 简介：本书作者 Ricardo M. Czekster。书籍讲解了马尔可夫链及基本求解方法，包含Markov Chains、DTMC、CTMC等章节。可以在 https://github.com/czekster/markov 页面找到本书的基础材料，例如C编程代码和解决方案、MATLAB脚本、本书提供的示例的棱柱模型（CTMC/DTMC）等。 ◉ 目录： 第1章：Markov Chains（马尔科夫链） 第2章：DTMC（Discrete Time Markov Chains） 第3章：CTMC（Continuous Time Markov Chains） 第4章：More projects and models（更多项目与模型）

Pierre Bremaud的著作，学习随机过程的最好教材，英文版pdf

从零开始的应用概率论 数据和幻灯片与在线网络研讨会系列一起提供：Data For Science的 。 在Binder中运行代码： 机器学习和人工智能的最新进展引起了计算机科学和数学这两个领域的极大关注和兴趣。 这些进步和发展中的大多数都依赖于随机模型和概率模型，需要对概率论以及如何将其应用于每种特定情况有深入的了解。 在本讲座中，我们将以动手和渐进的方式介绍概率论的理论基础以及诸如工业和学术界实际应用中常用的马尔可夫链，贝叶斯分析和A / B测试等最新应用。 时间表 基本定义和直觉 了解什么是概率 计算不同结果的可能性 根据特定的概率分布生成数字 根据样本估算种群数量 随机游走和马尔可夫链 模拟一维随机游走 了解网络上的随机游走 定义马尔可夫链 实施PageRank 贝叶斯统计 了解条件概率 派生贝叶斯定理 了解如何更新信仰 A / B测试 了解假设检验 测量p值 比较两个结果的可能

马尔科夫链理论与应用

Finite markov chains and algorithmic applications 　　2002, 114pp. 　　softcover gbp 14.95 　　isbn 0-521-89001-2 　　cambridge 　　本书是作者在瑞典chalmers技术大学讲课的基础上形成的一本数学教材，主题是markov链的基本理论及其在随机算法中的应用。

这是关于马尔科夫链的电子书，高清，最新版本，经典著作，英文版

本书描述了一般状态空间马尔可夫链的现代理论，并将其应用于运筹学，时间序列分析以及系统和控制理论。

有两个函数： (1) simCTMC.m 用于模拟跳转时间和跳转到的相应状态，给定 Q 矩阵和所需的周期数。 (2) simCTMC_t.m 使用 simCTMC.m 的输出来生成状态的时间序列模拟。

Markov Chains -- Models, Algorithms and Applications