贝叶斯决策轮

概率模型
样本 $x$ 上的条件风险
$$ R(c_i\,|\,x) = \sum_{j=1}^{N}\lambda_{ij}\mathbb{P}(c_j\,|\,x) $$
总体风险 $$ R(h) = \mathbb{E}_x [R(h(x)\,|\,x)] $$
贝叶斯最优分类器 $$ h^*(x) = \arg\min_{c} R(c\,|\,x) $$
最小化分类错误率 $$ h^*(x) = \arg\max_{c} \mathbb{P}(c\,|\,x) $$

估计后验概率

判别式模型 - 对条件分布 $\mathbb{P}(c\,|\,x)$ 直接建模
生成式模型 - 对联合概率分布 $\mathbb{P}(c, x)$ 建模
$$ \mathbb{P}(c\,|\,x) = \frac{\mathbb{P}(c)\mathbb{P}(x\,|\,c)}{\mathbb{P}(x)} $$
类先验概率 $\mathbb{P}(c)$ 可以通过大数定律估计
类条件概率无法通过大数定律直接估计：样本状态空间>>样本空间（计算-组合爆炸；数据-样本稀疏）

属性条件独立性假设：将所有属性联合概率分布转换为单一属性概率分布
$$ \mathbb{P}(c\,|\,x) = \frac{\mathbb{P}(c)}{\mathbb{P}(x)}\prod_{i=1}^{d}\mathbb{P}(x_i\,|\,c) $$
朴素贝叶斯分类器
$$ h_{nb}(x) = \arg\max_{c} \mathbb{P}(c)\prod_{i=1}^{d}\mathbb{P}(x_i\,|\,c) $$
$$ \mathbb{P}(c) = \frac{|D_c|}{|D|} \quad \mathbb{P}(x_i\,|\,c) = \frac{|D_{c,x_i}|}{|D_c|} $$
拉普拉斯修正（初始集先验假设）
$$ \mathbb{P}(c) = \frac{|D_c|+1}{|D|+N} \quad \mathbb{P}(x_i\,|\,c) = \frac{|D_{c,x_i}|+1}{|D_c|+N_i} $$
实现方式：查表、懒惰学习、增量学习

独属性依赖假设
$$ \mathbb{P}(c\,|\,x) \varpropto \mathbb{P}(c)\prod_{i=1}^{d}\mathbb{P}(x_i\,|\,c, pa_i) $$

Bagging + SPODE
$$ \mathbb{P}(c\,|\,x) \varpropto \sum_{i=1,\,|D_{x_i}|\geq m’}^{d}\mathbb{P}(c,x_i)\prod_{j=1}^{d}\mathbb{P}(x_j\,|\,c, x_i) $$

结构：有向无环图DAG + 参数：条件概率表CPT
$$ \mathbb{P}(x_1,x_2,\cdots,x_d) = \prod_{i=1}^{d} \theta_{x_i\,|\,\pi_i} $$