$$ \newcommand{\P}{\mathrm{P}} $$

1. 完备事件

对于完备事件组$X = \{x_1, x_2, \dots, x_n\}$：

$$ \begin{align} \begin{split} \P(x_1) + \P(x_2) + \dots + \P(x_n) = 1 \end{split} \label{eq:1} \end{align} $$

常用的技巧构造乘法系数，例如$\P(Y) = \sum\limits_{i=1}^{n}\P(x_i|\theta)\P(Y)$

2. 全概率公式

对于完备事件组$X = \{x_1, x_2, \dots, x_n\}$，事件$Y$的全概率公式：

$$ \begin{align} \begin{split} \P(Y) &= \P(Y, x_1) + \P(Y, x_2) + \dots + \P(Y, x_n) \newline &= \P(x_1)\P(Y|x_1) + \P(x_2)\P(Y|x_2) + \dots + \P(x_n)\P(Y|x_n) \end{split} \label{eq:2} \end{align} $$

使用概率密度函数表示为：

$$ \begin{align} \begin{split} f(Y) &= \int_{-\infty}^{+\infty}f(Y, x) \mathrm{d}x \newline &= \int_{-\infty}^{+\infty}f(Y|x)f(x) \mathrm{d}x \end{split} \label{eq:3} \end{align} $$

3. 独立事件

$X$和$Y$为两事件独立，则：

$$ \begin{align} \begin{split} \P(X, Y) &= \P(X)\P(Y|X) \newline &= \P(Y)\P(X|Y) \newline &= \P(X)\P(Y) \end{split} \label{eq:4} \end{align} $$

在朴素贝叶斯分类的推到中，可以用到诸如等式$P(X|Y, \theta) = P(X|\theta)$。

4. 贝叶斯公式

根据$\eqref{eq:2}$和$\eqref{eq:4}$得：

$$ \begin{align} \begin{split} \P(x_1|Y) &= \frac{\P(x_1, Y)}{\P(Y)} \newline &= \frac{\P(x_1)\P(Y|x_1)}{\sum\limits_{i=1}^{n} \P(x_i)\P(Y|x_i)} \end{split} \label{eq:5} \end{align} $$

多元贝叶斯公式：

$$ \begin{align} \begin{split} \P(x_1|Y_1, Y_2) &= \frac{\P(x_1, Y_1, Y_2)}{\P(Y_1, Y_2)} \newline &= \frac{\P(Y_2|x_1, Y_1) \P(x_1, Y_1)}{\P(Y_1, Y_2)} \newline &= \frac{\P(Y_2|x_1, Y_1) \P(Y_1|x_1) \P(x_1)}{\P(Y_1, Y_2)} \newline &= \frac{\P(Y_2|x_1, Y_1) \P(Y_1|x_1) \P(x_1)}{\sum\limits_{i=1}^{n} \P(Y_2|x_i, Y_1) \P(Y_1|x_i) \P(x_i)} \end{split} \label{eq:6} \end{align} $$

特别的，当$Y_1$和$Y_2$相互独立，则$\P(Y_2|x_1, Y_1)=\P(Y_2|x_1)$。所以，$\eqref{eq:6}$可以转换为：

$$ \begin{align*} \begin{split} \P(x_1|Y_1, Y_2) &= \frac{\P(Y_2|x_1) \P(Y_1|x_1) \P(x_1)}{\sum\limits_{i=1}^{n} \P(Y_2|x_i) \P(Y_1|x_i) \P(x_i)} \end{split} \end{align*} $$

由于$Y_1$和$Y_2$相互独立，也可以理解为：

$$ \begin{align*} \begin{split} \P(x_1|Y_1, Y_2) &= \frac{\P(Y_1, Y_2|x_1) \P(x_1)}{\P(Y_1, Y_2)} \newline &= \frac{\P(Y_2|x_1) \P(Y_1|x_1) \P(x_1)}{\P(Y_1, Y_2)} \newline &= \frac{\P(Y_2|x_1) \P(Y_1|x_1) \P(x_1)}{\sum\limits_{i=1}^{n} \P(Y_2|x_i) \P(Y_1|x_i) \P(x_i)} \end{split} \end{align*} $$

多数情况下：

• 使用$P(x_1|Y) \propto \P(x_1)\P(Y|x_1)$，式$\eqref{eq:5}$中的分母可以看作常数，求出每一个$P(x_i|Y)$后，标准化$P(x_i|Y)=\frac{P(x_i|Y)}{\sum_{i=1}^{N}P(x_i|Y)}$。

更新记录

2020年09月11日