前日，本专栏介绍了Karl Friston教授提出的自由能原理（亦称：主动推理），其中没有介绍系统与环境之间如何区隔内外状态。今天补充这个概念——马尔可夫毯。

知识点

1.马尔可夫毯指的是当用一组变量推断一个随机变量的特征时，如果有这样一个子集能够直接满足，不需要添加其他变量，这样一个包含所有有用信息的子集称为马尔可夫毯。

2.当马尔可夫毯最小时，我们无法在不损失任何信息的情况下去掉一个变量，这便称为马尔可夫边界（Markov Boundary）。

3.在机器学习领域，马尔可夫毯可以找到被研究节点相关的特征节点。在可信贝叶斯网络中，一个节点的马尔可夫毯为该节点的父节点、子节点以及子节点的父节点。

定义

马尔可夫毯是数学中的一个概念，指的是当用一组变量推断一个随机变量的特征时，如果有这样一个子集能够直接满足，不需要添加其他变量，这样一个包含所有有用信息的子集称为马尔可夫毯。[2]

当马尔可夫毯最小时，我们无法在不损失任何信息的情况下去掉一个变量，这便称为马尔可夫边界（Markov Boundary）。

严格的马尔可夫毯定义指的是在随机变量全集中，假设有一个变量X和集合A和集合B，三个自己没有交集，并集为全集。给定集合A时，变量X和集合B没有任何关系，则称集合A是变量X的马尔可夫毯。[1]

在机器学习领域，马尔可夫毯可以找到被研究节点相关的特征节点。在可信贝叶斯网络中，一个节点的马尔可夫毯为该节点的父节点、子节点以及子节点的父节点。

图注：可信贝叶斯网络中的马尔可夫毯 [2]

马尔可夫毯的应用

1.特征选择

特征选择是从原始的特征空间中选择一个最优特征子集的过程。这一过程需要去除冗余特征。

由于所有非马尔可夫毯的变量都是冗余的，因此进行特征抽取时，人们只需要关注马尔可夫毯中的信息，不需要对整个数据集进行分析。[3]

2.贝叶斯网络结构学习

贝叶斯网络的结构学习需要从给定的数据集中学习出网络的结构，即各节点之间的依赖关系，这需要判断网络中任意两个节点之间是否相连，且指向如何。

如果能够知道某个节点的马尔可夫毯，就可以减少独立性测试的范围。[4]

例如，对于下图中的节点X，其马尔可夫毯为图中的灰色节点。如果去除所有灰色节点，则节点X，以及其余的节点都是独立的。

图注：节点X及其马尔可夫毯（父节点、子节点，以及子节点的父节点）[5]

参考链接

[1] 何宪. 基于贝叶斯网络的马尔可夫毯发现算法研究. MS thesis. 电子科技大学, 2012.

[2] Markov blanket：https://en.wikipedia.org/wiki/Markov_blanket

[3] 马尔可夫毯（Markov Blanket）：https://blog.csdn.net/jbb0523/article/details/78424522

[4] 基于约束的贝叶斯网络结构学习算法-Grow-Shrink：https://blog.csdn.net/u012558945/article/details/79179782

[5] Margaritis, Dimitris. Learning Bayesian network model structure from data. Carnegie-Mellon Univ Pittsburgh Pa School of Computer Science, 2003. 

内容中包含的图片若涉及版权问题，请及时与我们联系删除