图模型中的推断-协议芯片手册详细资料。vl103，pd3.0

8.4 图模型中的推断 我们现在考虑图模型中的推断问题，图中的⼀些结点被限制为观测值，我们想要计算其他结 点中的⼀个或多个⼦集的后验概率分布。正如我们将看到的那样，我们可以利⽤图结构找到⾼ 效的推断算法，也可以让这些算法的结构变得透明。具体来说，我们会看到许多算法可以⽤图 中局部信息传播的⽅式表⽰。本节中，我们会把注意⼒主要集中于精确推断的⽅法。在第10章 中，我们会考虑许多近似推断的算法。 ⾸ 先， 让 我 们 考 虑 贝 叶 斯 定 理 的 图 表 ⽰。 假 设 我 们 将 两 个 变 量x和y上 的 联 合 概 率 分 布p(x, y)分解为因⼦的乘积的形式p(x, y) = p(x)p(y | x)。这可以⽤图8.37(a)中的有向图表⽰。 现在假设我们观测到了y的值，如图8.37(b)中的阴影结点所⽰。我们可以将边缘概率分布p(x)看 成潜在变量x上的先验概率分布，我们的⽬标是推断x上对应的后验概率分布。使⽤概率的加和 规则和乘积规则，我们可以计算 p(y) = ∑ x′ p(y | x′)p(x′) (8.47) 这个式⼦然后被⽤于贝叶斯定理中，计算 p(x | y) = p(y | x)p(x) p(y) (8.48) 因此现在联合概率分布可以通过p(y)和p(x | y)。从图的⾓度看，联合概率分布p(x, y)现在可以 表⽰为图8.37(c)所⽰的图，其中箭头的⽅向翻转了。这是图模型中推断问题的最简单的例⼦。 8.4.1 链推断 现在考虑⼀个更加复杂的问题，涉及到图8.32所⽰的结点链。这个例⼦是本节中对更⼀般的 图的精确推断的讨论的基础。 具体地，我们会考虑图8.32(b)所⽰的⽆向图。我们已经看到，有向链可以被转化为⼀个等价 的⽆向链。由于有向图中任何结点的⽗结点数量都不超过⼀个，因此不需要添加任何额外的链 接，并且图的有向版本和⽆向版本表⽰完全相同的条件依赖性质集合。 这个图的联合概率分布形式为 p(x) = 1 Z ψ1,2(x1, x2)ψ2,3(x2, x3) · · ·ψN−1,N (xN−1, xN ) (8.49) 我们会考虑⼀个具体的情形，即N个结点表⽰N个离散变量，每个变量都有K个状态。这种情 况下的势函数ψn−1,n(xn−1, xn)由⼀个K ×K的表组成，因此联合概率分布有(N − 1)K2个参 数。 274