一、HMM与MEMM
1. 概念介绍
- HMM：隐马尔可夫模型
- 生成模型
- 本质上就类似于我们将朴素贝叶斯在单样本分类问题上的应用推广到序列样本分类问题上。
- MEMM：最大熵马尔可夫模型
- 判别模型
- 利用判别式模型的特点，直接对每一个时刻的状态建立一个分类器，然后将所有的分类器的概率值连乘起来；
2. 图示
3. 标签偏置问题(Label Bias Problem)
- 通俗的解释：
- 在大量的数据训练下，模型更倾向选择概率最大的组合；
- 条件概率熵越小，越不考虑观测值；
二、MEMM与CRF
1. 概念介绍
- CRF：条件随机场（condition random field）
- 判别式模型
- 理论基础是逻辑回归。这里我们将从单样本二分类问题扩展到单样本多分类问题，最后延伸到序列样本多分类问题。
2. 图示
3. CRF的概率密度函数(PDF)
4. CRF解决的问题
- Learning：参数估计问题
- Inference：
- 边缘概率
- 条件概率
- 一般在生成模型中较为关注，CRF中不关注
- MAP推断
