引言
1856 年出生的马尔可夫是俄国著名数学家，他研究并提出一个用数学方法就能解释自然变化的一般规律模型，后人将其命名为马尔可夫链（Markov Chain）。作为概率论的一个重要分支，随机过程撑起了概率论的半壁江山，如今，它广泛使用在诸如天气预报、统计物理、天体物理、运筹决策、经济数学、安全科学、人口理论、可靠性及计算机科学等领域。 自然中存在的随机过程非常广泛，利用随机过程的理论建模，总会涉及马尔可夫链，比如我们熟知的液体中颗粒所做的布朗运动，商业活动中需要研究每天的销售情况，在数字通信中的语音信号、视频信号，以及自然语言处理等。它可以将无规则的运动用数学描述出来，对现实生产生活有着巨大的指导意义。
【知识准备】
概率的乘法公式：
定义：设 A 、 B 是两个事件，且 ，则称 为事件 A 发生的条件下事件 B 的条件概率。
【概念辨析】
我们所熟知的条件概率是 ，所以，它们的关系可以用图 2-9-1 来说明。
图 2-9-1 A、B 间的关系
当 A 、 B 相关联时，或者说存在交集时， 。以图 2-9-1 为例，，而按照 即 。
其实， 就是概率的乘法公式，即一件事情发生的概率等于造成这件事发生的接连发生的事件概率的乘积。其基本思路为：如果要让 A 、 B 同时发生，那么就让其中一个先发生，不妨设 A 先发生， A 发生以后 B 再发生，则 A 、 B 就会同时发生。概率论对联合概率，即 的简要定义如下：
表示 同时发生的概率。以 为例，表示的是 A 、 B 同时发生的概率。
当 A 、 B 相互独立时，也就是交集为空时， 。
当 A 、 B 相关联时，或者说存在交集时， 。
如果是 n 个事件，则乘法公式为
全概率公式的基本概念是，若事件 满足下列两个条件：
（1） （ 是“对所有的”“对任意一个”，即任意一个 , 不相等，且事件
无交集）；
（2） 。
则称 为完备事件组。
全概率公式为
关于完备事件组，举例如下：死亡事件={病死、老死、意外、其他}，这是一个完备事件组，包含了死亡事件的所有可能，且各类型之间界限分明；而天气状态={多云、大风、有雨、晴天、阴天、其他}就不是一个全概率事件，因为大风天气也可以有雨，各类型之间范围有交叉。
如图 2-9-2 所示，一个事件的全事件完备组为 ，而 B 是与所有 A 事件相关联的事件，则 。
图 2-9-2 A、B 事件