马尔可夫链 发表评论(0) 编辑词条

　　马尔可夫链，因安德烈•马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。
　　马尔可夫链是随机变量X_1,X_2,X_3...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_{n+1}对于过去状态的条件概率分布仅是X_n的一个函数，则
　　P(X_{n+1}=x|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}=x|X_n).
　　这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。
　　马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。
　　马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。物理马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。
　　马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
　　马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。
　　它们是后面进行推导必不可少的条件:(1)尺度间具有马尔可夫性质.随机场从上到下形成了马尔可夫链,即 Xi 的分布只依赖于 Xi,与其他更粗 糙的尺度无关,这是因为 Xi 已经包含了所有位于其上层的尺度所含有的信息.(2) 随机场像素的条件独立性.若 Xi 中像素的父节点已知,则 Xi 中的像素彼此独立.这一性质使我们不必再 考虑平面网格中相邻像素间的关系,而转为研究尺度间相邻像素(即父子节点)间的关系.(3) 设在给定 Xn 的情况下,Y 中的像素彼此独立.(4) 可分离性.若给定任一节点 xs,则以其各子节点为根的子树所对应的变量相互独立.
　　从只有一个节点的根到和图像大小一致的叶子节点,建立了完整的四叉树模型,各层间的马尔可夫链的因 果关系使我们可以由非迭代的推导过程快速计算出 X 的最大后验概率或后验边缘概率.
　　完整的四叉树模型也存在一些问题.(1) 因概率值过小,计算机的精度难以保障而出现下溢,若层次多,这一 问题更为突出.虽然可以通过取对数的方法将接近于 0 的小值转换成大的负值,但若层次过多、概率值过小,该 方法也难以奏效,且为了这些转换所采用的技巧又增加了不少计算量.(2) 当图像较大而导致层次较多时,逐层 的计 算甚 为繁琐 下 溢 现 象肯定 会出 现 , 存储中 间变 量也 会占 用大 量空 间 , 在时 间空间 上都 有更 多的 开销 . (3) 分层模型存在块效应,即区域边界可能出现跳跃,因为在该模型中,同一层随机场中相邻的像素不一定有同 一个父节点,同一层的相邻像素间又没有交互,从而可能出现边界不连续的现象.
　　为了解决这些问题,我们提出一种新的分层MRF 模型——半树模型,其结构仍然是四叉树, 只是层数比完整的四叉树大大减少,相当于将完整的四叉树截为两部分,只取下面的这部分.模型最下层仍和图像 大小一致,但最上层则不止一个节点.完整的四叉树模型所具有的性质完全适用于半树模型,不同点仅在于最上层,完整的树模型从上到下构成 了完整的因果依赖性,而半树模型的层间因果关系被截断,该层节点的父节点及祖先均被删去,因此该层中的各 节点不具有条件独立性,即不满足上述的性质 2,因而对这一层转为考虑层内相邻节点间的关系.半树模型和完 整的树模型相比,层次减少了许多,这样,层次间的信息传递快了,概率值也不会因为过多层次的逐层计算而小 到出现下溢.但第 0 层带来了新的问题,我们必须得考虑节点间的交互,才能得出正确的推导结果,也正是因为在 第 0 层考虑了相邻节点间的影响,使得该模型的块现象要好于完整的树模型.对于层次数的选取,我们认为不宜多,太多则达不到简化模型的目的,其优势体现不出来,但也不能太少,因 为第 0 层的概率计算仍然要采用非迭代的算法,层数少表明第 0 层的节点数仍较多,计算费时,所以在实验中将 层数取为完整层次数的一半或一半稍少.
　　

 
　　图像分割即已知观测图像 y,估计 X 的配置,采用贝叶斯估计器,可由一个优化问题来表示:
　　?x = arg min [E C ( x, x )′ | Y = y] ,x其中代价函数 C 给出了真实配置为 x 而实际分割结果为 x′时的代价.在已知 y 的情况下,最小化这一代价的期 望,从而得到最佳的分割.代价函数取法不同得到了不同的估计器,若 C(x,x′)=1?δ(x,x′)(当 x=x′时δ(x,x′)=1,否则 δ(x,x′)=0)得到的是 MAP 估计器,它意味着 x 和 x′只要在一个像素处有不同,则代价为 1,对误分类的惩罚比较重,汪西莉 等:一种分层马尔可夫图像模型及其推导算法
　　而在实际中存在一些误分类是完全允许的.若将半树模型的 MPM 算法记为 HT-MPM,它分为向上算法和向下算法两步,向上算法自下而上根据式(2)、 式 (3)逐层计 算P(yd(s)|xs)和 P(xs,xρ(s)|yd(s)), 对最下层 P(yd(s)|xs)=P(ys|xs). 向下算法自上 而下根据 式 (1)逐层计算 P(xs|y),对最上层由 P(x0|y)采样 x0(1),…,x0(n),

马尔可夫链的例題
考虑以下股票模式，若股票上涨则明天会上涨的几率为0.7;若股价下跌则明天会上涨的几率为0.5。
这是一个马尔科夫链，状态0代表上涨，而状态1代表股票下跌。
转换矩阵为:
0.7 0.3
P= 0.5 0.5

假设一个赌者有$1，而且每次赌赢$1的几率为p，或赌输$1的几率为1-p。
这个赌博當其中一位赌者累积为$3或破产($0)就停止。
这个模式是马尔可夫链，状态相当于赌者手上的钱，即$0,$1,$2,$3，及其转换矩阵为:
       1    0    0    0
     1-p   0    p    0
p=  0   1-p   0    p
      0    0     0   1