贝叶斯网络（BayesianNetwork, BN）是人工智能领域的一种重要的处理概率问题的技术。贝叶斯网络是不确定性推理的图模型。在图模型中，节点表示变量（可以是离散的，也可以连续的），弧表示变量之间的有向关系（往往是因果关系）。在贝叶斯网络中，这种关系是可以被量化的（概率表示），从而使得在获取新信息之后，可以更新概率。

贝叶斯网络的图结构

节点表示领域的变量，X= X1;::Xi; :::Xn

两个节点对之间的有向弧Xi! Xj表示节点之间的直接依赖关系，以条件概率表示；

           弧约束：不允许出现有向弧组成的循环，这样的图模型也称作directedacyclic graphs/dags.

知识工程师领域建模时，需要考虑

               首先，识别领域变量，变量的值/状态应该是互斥、穷尽的。常用的离散型变量有布尔型、顺序型、整型。

               变量的设计不仅需要有效地表示领域，同时还要有足够的细节来支持推理/推算。

               其次，设计图结构。

               节点、子节点、父节点、后代、祖先，根节点、叶节点、中间节点；

               节点的马尔可夫毯（Markov blanket ）consistsof the node’s parents, its children, and its children’s parents.

          接下来就是最主要的计算条件概率了。CàX，就可以表示为条件概率P(X|C)。

          如果是离散型变量的话就列一下conditional probabilitytable (CPT)，考虑父节点和子节点的所有值组合。

               对于根节点，没有父节点，但是也可以有先验概率Prior。

               另外还需要注意的是：

               马尔可夫性质（Markov property）：所有的直接依赖间，应当不存在除已有弧之外的其他建模方式。

              具有马尔可夫性质的贝叶斯网络也称为Independence-maps(or, I-maps for short)，即不存在依赖边的节点间的独立性都是真实的，但是，并不意味着，存在依赖边的节点之间的依赖关系是真实的。意思就是，如果节点之间没有依赖关系，那么这个在真实环境中确实如此。但是存在依赖关系的节点，在真实环境中并不一定如此。比如，一个完全图中，节点之间都有依赖关系，那么0对节点之间没有依赖关系。针对这0对节点而言，确实没有观察到他们之间的依赖关系。然而，并不是所有的节点对之间的依赖关系都是真实的，有些可能具有冗余，那么就存在一个minimalI-maps。

               如果BN中每一条边都是系统中的依赖的话，那么BN也称作Dependence-map, D-map。如果BN即是I-map又是D-map的话，那它就是完美的map，perfectmap.

贝叶斯网络上的推理

           在对领域进行合理建模后，可以根据新观察到的数据进行推理。当观察到某一变量的新数据时，可以在上面做条件概率更新了，probabilitypropagation or inference or belief updating。需要注意的是，这一更新并不一定受限于边的方向。

推理类型(Reasoning)

diagnostic reasoning：观察到子节点，推理父节点，推理方向与依赖方向相反；

predictive reasoning：观察到父节点，推荐子节点；

intercausal reasoning：观察到的数据同时涉及因果两种节点，

explaining away是intercausal reasoning的一种特例。

证据类型（Evidence）

               具体证据：明确的证据；

               证据也可能不明确；AOR B

               反例negative evidence：NOT A

Virtual evidence（likelihood evidence）：不明确，具有一定的概率的

数值推理

               Belief updating can be doneusing a number of exact and approximate inference

algorithms.

理解BN

           BN事实上是一种联合概率分布的表现形式。

P(x1;x2; : : : ;xn) =P(x1)P(x2jx1) :: : ;P(xnjx1; : : : ;xn-1)

根据图结构中的依赖关系，当前节点仅与其父节点有关，可以表示为条件概率：

P(x1;x2; : : : ;xn) =连乘P(xijParents(Xi))

后续的求解过程才是关键，不过暂且不看。

其他参考资料

Introducing Bayesian Networks. http://www.csse.monash.edu.au/bai/book/BAI_Chapter2.pdf

Heckerman, D. (2008). Atutorial on learning with Bayesian networks. InInnovations inBayesian Networks (pp. 33-82). Springer Berlin Heidelberg.

Tutorial: Graphical Models and Bayesian Networks with R. http://people.math.aau.dk/~sorenh/misc/2014-useR-GMBN