8.4 图模型中的推断
我们现在考虑图模型中的推断问题,图中的⼀些结点被限制为观测值,我们想要计算其他结
点中的⼀个或多个⼦集的后验概率分布。正如我们将看到的那样,我们可以利⽤图结构找到⾼
效的推断算法,也可以让这些算法的结构变得透明。具体来说,我们会看到许多算法可以⽤图
中局部信息传播的⽅式表⽰。本节中,我们会把注意⼒主要集中于精确推断的⽅法。在第10章
中,我们会考虑许多近似推断的算法。
⾸ 先, 让 我 们 考 虑 贝 叶 斯 定 理 的 图 表 ⽰。 假 设 我 们 将 两 个 变 量x和y上 的 联 合 概 率 分
布p(x, y)分解为因⼦的乘积的形式p(x, y) = p(x)p(y | x)。这可以⽤图8.37(a)中的有向图表⽰。
现在假设我们观测到了y的值,如图8.37(b)中的阴影结点所⽰。我们可以将边缘概率分布p(x)看
成潜在变量x上的先验概率分布,我们的⽬标是推断x上对应的后验概率分布。使⽤概率的加和
规则和乘积规则,我们可以计算
p(y) =
∑
x′
p(y | x′)p(x′) (8.47)
这个式⼦然后被⽤于贝叶斯定理中,计算
p(x | y) =
p(y | x)p(x)
p(y)
(8.48)
因此现在联合概率分布可以通过p(y)和p(x | y)。从图的⾓度看,联合概率分布p(x, y)现在可以
表⽰为图8.37(c)所⽰的图,其中箭头的⽅向翻转了。这是图模型中推断问题的最简单的例⼦。
8.4.1 链推断
现在考虑⼀个更加复杂的问题,涉及到图8.32所⽰的结点链。这个例⼦是本节中对更⼀般的
图的精确推断的讨论的基础。
具体地,我们会考虑图8.32(b)所⽰的⽆向图。我们已经看到,有向链可以被转化为⼀个等价
的⽆向链。由于有向图中任何结点的⽗结点数量都不超过⼀个,因此不需要添加任何额外的链
接,并且图的有向版本和⽆向版本表⽰完全相同的条件依赖性质集合。
这个图的联合概率分布形式为
p(x) =
1
Z
ψ1,2(x1, x2)ψ2,3(x2, x3) · · ·ψN−1,N (xN−1, xN ) (8.49)
我们会考虑⼀个具体的情形,即N个结点表⽰N个离散变量,每个变量都有K个状态。这种情
况下的势函数ψn−1,n(xn−1, xn)由⼀个K ×K的表组成,因此联合概率分布有(N − 1)K2个参
数。
274
2021-10-23 20:29:27
11.71MB
PRML中文版
1