excel学习库

正常返状态的周期

§4.1 马尔可夫链的概念和转移概率 1.马尔可夫链的定义 第一页，共119页。 上式是马尔可夫链的马尔可夫性质（或无后效）的数学表。 关于近三年来同志们的实际表现。 物资招标技术评分表图表与交易pdf视觉图表打印pdf说话用图表pdf表达。 从定义中可以看出，马尔可夫链的统计特性完全由条件概率决定。 第二页，共一百一十九页。 2.转移概率第三页，共119页。 下面我们只讨论齐次马尔可夫链，通常省略“齐次”二字。 第四页，共一百一十九页。 称为系统状态的一步转移概率矩阵。 它有性质：式(2)中，j是对状态空间I的所有可能状态进行求和，这个性质表示一步转移概率矩阵中任意一行元素之和为1. 满足上述性质（1）和（2）的矩阵通常称为随机矩阵。 第五页，共一百一十九页。 第六页，共一百一十九页。 第七页，共一百一十九页。 证明（1）利用全概率公式和马尔可夫性，有八页，共一百一十九页。 (3) 令式(1)中l=1，可用矩阵乘法证明。 (4) 由(3)可以归纳证明。 定理 1 中的公式 (1) 称为 - 方程，简称 C--K 方程。 它在马尔可夫链转移概率的计算中起着重要作用。 (2) 表明 n 步转移概率完全由一步转移概率决定。 式(4)表明，齐次马尔可夫链的n步转移概率矩阵是一步转移概率矩阵的n次方。 第九页，共一百一十九页。 第十页，共一百一十九页。 第十一页，共一百一十九页。 由式(1)可知，绝对概率完全由初始分布和n步转移概率决定。 第十三页，共一百一十九页。 3.马尔可夫链的一些简单例子 例1 walk 第14页，共119页。 假设在第k个转移步中，向右移动了x步，向左移动了y步，k步后转移状态由i变为j，则第十五页，共一百页和十九页。 定性数据分析 统计分析 pdf 销售业绩分析模板 建筑结构 地震破坏分析 销售进度分析表 京东商城竞争策略分析 实例2 赌徒输问题 赌徒A的资金为a元，赌徒B的资金为b元。 赌博，每局输者给赢者1元钱，不设平局，一直进行到两人输一局为止。 假设在每一轮中，A 获胜的概率为 p，B 获胜的概率为 ，求 A 失败的概率。 这道题本质上是一个有两个吸收墙的随机游走。从A的角度来看，他在初始时刻处于a中，每次移动一格，向右移动（即赢得1元

)为p，向左移动（即损失1元）的概率为q。 一旦达到0（即A失光）或a+b（即B失光），游泳就停止了。 此时的状态空间为{0, 1, 2, ..., c}，c=a+b,。 现在的问题是求粒子从a开始，在到达状态c之前到达状态0的概率。 第十六页，一共一百一十九页。 考虑粒子从j移动一步的情况，解是一样的。 根据全概率公式，这个方程本质上是一个差分方程，它的边界条件是第十七页，共一百一十九页。 然后假设可以获得两个相邻差异之间的递归关系。 所以，如果要先问，需要讨论r的第十八页，一共一百一十九页。 两个公式的第十九页相比较，一共一百一十九页。 所以，这是第二十页，一共一百一十九页。 用同样的方法，可以得到B先失光的概率。 从上面的计算结果可以看出，一共有119页。 例3 天气预报问题假设昨天和今天都下雨，明天下雨的概率是0.7； 昨天没下雨，今天下雨，明天下雨的概率是0.5； 昨天下雨，但今天没有下雨，明天下雨的概率是0.5。 为 0.4； 昨天和今天都没有下雨，明天下雨的概率是0.2。 如果周一和周二下雨，求周四下雨的概率。 解决方案：假设昨天和今天连续下雨为状态 0（RR），昨天没有下雨今天有雨为状态 1（NR），昨天下雨今天没有下雨为状态 2（RN），昨天和今天没有下雨被称为state 3 (NN)，所以天气预报模型可以看一个4个状态的马尔可夫链，转移概率是第22页，一共119页。 R代表下雨，N代表没有下雨。 类似于适用于所有状态的一步转移概率。 它的一步转移概率矩阵是第二十三页，一共一百一十九页。 它的两步转移概率矩阵是第二十四页，一共一百一十九页。 由于周四下雨，说明进程的状态为0或1，所以周一周二连续下雨，周四下雨的概率为25页，共119页。 第二十六页，总共一百一十九页。 第二十七页，一共一百一十九页。机房里的电脑经常出故障。 研究人员每 15 分钟观察一次计算机的运行状态，收集 24 小时的数据（共 97 次观察）。 1表示正常状态，0表示异常状态，得到的数据序列如下： 分析状态空间：I={0,1}。 实例7秒

十八页，一共一百一十九页。 96次状态转移的情况：因此，一步转移的概率可以通过频率近似为：第29页，共119页。 下面研究齐次马尔可夫链的有限维分布。 特点：由行向量表示为一维分布，由初始分布和转移概率矩阵决定。 第30页，共119页。 马尔可夫链的n维分布 有限维分布还是由初始分布和转移概率矩阵决定 第31页，共119页。 一步转移概率实例8页32，共119页。 解法先求两步转移概率矩阵所以：第33页，共119页。 第三十四页，总共一百一十九页。 将两个黑球和两个白球平均放入两个缸中，每次从每个缸中随机取出一个球，然后将抽取的球交换到缸中。 设X(0)表示一开始第一个球罐中白球的个数，说明X(n)构成齐次马尔可夫链，写出状态空间。 (2) 写出一步和两步转移概率矩阵。 例 9 第 35 页，共 119 页。 讲解第三十六页，共一百一十九页。 §4.2 马尔可夫链的状态分类 1.状态分类37页，共119页。 一百一十九页中的第三十八页。 第三十九页，共一百一十九页。 一百一十九页的第四十页。 一百一十九页中的第四十一页。 第四十页，共一百一十九页。 第四十三页，总共一百一十九页。 第 44 页，共一百一十九页。 注：从状态是否频繁返回三个等级，如果频繁返回，是否正常返回，如果正常返回，是否非周期性，状态分为以下几种：第45页，共119个页。 证书第四十六页，共119页。 证书第四十七页，共119页。 因此，通过归纳，我们有 d=t 证明。 第四十八页，共一百一十九页。 求从状态 1 开始，经过 n 步转换后，第一次到达每个状态的概率。 如果用式（4.16）计算，解会很复杂，所以我们直接通过状态转移图（4.5）来计算。 第四十九页可以通过归纳法得到，总共一百一十九页。 同理，我们可以得到第50页，共119页。 2. 循环状态判别及其性质51页，共119页。 一百一十九页中的第五十二页。 第五十三页，共一百一十九页。 对于循环状态i，为了区分它是遍历的还是零循环的，我们不加证明地给出如下定理。第54页

一百一十九页。 第五十五页，总共一百一十九页。 五十六页，共一百一十九页。 一百一十九页中的第五十七页。 一百一十九页中的第五十八页。 从CK方程，总有------ (4.27) 五十九页，共一百一十九页。 ------------(4.28)60页，共119页。 (2) 仍序第六十一页，共一百一十九页。 第 62 页，共一百一十九页。 一百一十九页的第六十页。 我们先来看一个上一节的样题，第64页，一共119页。 (4.29) 一百一十九页中的第六十五页。 对于固定状态k，注释从全概率公式第六十六页开始，一共一百一十九页。 (4.30) 注意上式两边之和，U(k)=0，由(4.30)公式得到第六十七页，共一百一十九页。 由此我们知道总是返回状态 0。 一百一十九页中的第六十八页。 §4.3 状态空间的分解第 69 页，共 119 页。证明了引理。 闭集意味着从C的内部无法到达C的外部。这意味着粒子一旦进入闭集C，它将永远停留在C中。 七十页，一共一百一十九页。 状态 I 称为吸收状态，例如 =1。 显然状态 i 吸收等同于单点集 {i} 是闭集。 一百一十九页中的第七十一页。 例4.12 无限制随机游走是不可约马尔可夫链，每个状态的周期为2，正常返回。 我们知道从循环状态只能到达循环状态，所以I中的所有循环状态形成一个闭集C。在C中，互通关系是自返回的、对称的和可传递的，因此它确定了一个分类关系。 根据互通关系，我们可以得到状态空间的分解定理。 第七十二页，共一百一十九页。 证书C是所有循环状态的集合，D=IC是所有非返回状态。 按互通关系分解C，73页，共119页。 七十四页，一共一百一十九页。 尝试分解这条链，指出每个状态的循环性和周期性。 第七十五页，共一百一十九页。 可以看出，1是常态循环状态，周期等于3。包含1的基本循环闭集使得状态3和5也是常态循环，周期为3。同理，可以已知6是正常返回状态。 七十六页，一共一百一十九页。 可以看出2是遍历状态。 I=D∪C1∪C2={4}∪{1,3,5}∪{2,6}.第七十七页，共一百一十九页

页。 一百一十九页中的七十八页。 第七十九页，共一百一十九页。 定理4.11 对于周期为d 的不可约马尔可夫链，其状态空间C 可以唯一分解为d 个互不相交的子集之和，即第80 页，共119 页。 第八十一页，总共一百一十九页。 实际上是八十二页，总共一百一十九页。 第八十三页，总共一百一十九页。 例4.14 假设不可约马尔可夫链的状态空间为C={1,2,3,4,5,6}，转移矩阵为84页，共119页。 从右边的状态转移图不难看出，每个状态的周期d=3。 现在固定状态i=1，这样这条链在C中的移动就显示在第八十五页，一共一百一十九页。 八十六页，一共一百一十九页。 一百一十九页中的八十七页。 一百一十九页中的八十八页。 第八十九页，共一百一十九页。 例如，假设X是一个齐次马尔可夫链，状态空间是S={a, b, c, d, e}，转移概率矩阵是要尝试分析的状态类型。 九十页，一共一百一十九页。 解画出其状态转移概率图，如下页图所示。 从图中不难发现，C={a,c,e}是一个闭状态集，D={b,d}是一个非常循环的集合，自然C是正常循环非周期的。 如果我们发现转移矩阵可以重新排列，这相当于将状态的顺序重新排列为 S={a,c,e,b,d}。 由上和标准excel标准差excel标准差函数exl标准差函数国标检验抽样标准表免费下载red head文件格式标准下载表格P 则我们知道异常状态集合D={b,d } 和遍历状态集 C={ a,c,e}。 D和C也是S的两个等价类，显然C是闭集，D不是闭集。 一百一十九页第九十一页。 例如，假设齐次马尔可夫链的状态空间为S={1,2,3,4,5,6,7,8}，转移概率矩阵为92页，共119页. 例如，如果齐次马尔可夫链的状态空间为 S={1,2,3,4,5,6,7,8,9}，则其转移概率矩阵具有以下形式： 其中 * 表示正数, 其余均为零。 尝试确定此齐次马尔可夫链的状态类型。 九十三页，共一百一十九页。 例如，假设齐次马尔可夫链的状态空间为S={0,1,2,…,}，其转移矩阵如下（状态转移图如下）：试讨论该链成为循环链的充分必要条件。 一百一十九页中的第九十四页。 §4.4 渐近性质和平稳分布第 95 页，共 119 页。定理 4.4 的证明，对于 N

一百一十九页中的第九十六页。 推论1 有限状态的马尔可夫链不可能都是非循环状态，也不能包含零循环状态，所以不可约的有限马尔可夫链一定是正规循环的。 这就产生了矛盾。 矛盾，完全证明。 一百一十九页中的第九十七页。 推论 2 如果马尔可夫链中有一个零循环状态，则必须有无限多个零循环状态。 一百一十九页中的第九十八页。 那么我们有下面的一般定理。 一百一十九页中的第九十九页。 第一百页，一共一百一十九页。 于是(4.37)得证。 第 101 页，共 119 页。第 102 页，共 119 页。 第 103 页，共 119 页。 一百一十九页中的一百零四页。 定理 4.15 在总共 119 页中有第 105 页用于任何状态 i、j。 第一百零六页，共一百一十九页。 第 107 页，共 119 页。 2. 固定分布第 108 页，共 119 页。 按照归纳法，一共有一百零九页，一共一百一十九页。 其实可以类推得出。 第一百一十页，共一百一十九页。 一百一十九页中的一百一十一页。 再次证明必要性，假设马尔可夫链是正规的，那么通过CK方程，对于任意正数N，有一百一十二页，一共一百一十九页。 下面将进一步证明等号成立，通过(I)将(I)式加到j，假设对于某一个j，(I)式严格大于，则一百一十三页，a总共一百零一十九页。 于是就有了自相矛盾的结果：所以有一百一十四页，一共一百一十九页。 推论 1 具有有限状态的不可约非周期马尔可夫链必须具有平稳分布。 推论 2 如果不可约马尔可夫链的所有状态都是非循环或零循环，则不存在平稳分布。 证明由定理4.13推导可知，这条马尔可夫链只有正态返回状态，再由定理4.16可知一定存在平稳分布，证明完成。 然而，根据定理 4.13，一百一十九页中有一百一十五页。 第 116 页，共 119 页。 例4.16 设马尔可夫链的转移概率矩阵为马尔可夫链的平稳分布和各状态的平均返回时间。 一百一十九页中的一百一十七页。 示例 4.17 设马尔可夫链的转移矩阵为： 求每个不可约闭集的平稳分布。 第 118 页，共 119 页。 一百一十九页中的一百一十九页。

红胜火税务筹划咨询