马尔可夫模型

马氏链模型是关于随机动态系统的一类模型，适用于时间、状态都离散并具有无后效性（或马尔可夫性）的场合.所谓无后效性就是系统未来的状态只与系统现在的状态有关，与以前的状态无关.

马氏链模型在经济、社会、生态、遗传等许多领域中有着广泛的应用.值得提出的是，虽然它是解决随机转移过程的工具，但是一些确定性系统的状态转移问题也能用马氏链模型处理，本节首先介绍一些马氏链的简单模型.

例8-6　商店销售问题

某商店每月考查一次经营情况，其结果用销路好与销路坏两种状态中的一种表示.已知如果本月销路好，则下月仍保持这种状态的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4.试分析若开始商店处于销路好，那么经过若干月能保持销路好的概率为多大？如果开始商店处于销路坏的状况呢？

【解题思路】

商店的经营状况是随机的，每月转变一次，用随机变量X_n表示第n个月的经营状况.X_n=1表示销路好，X_n=2表示销路坏，n=0，1，2，…，X_n称为这个经营系统的状态.用a_i（n）表示第n个月处于状态i的概率（i＝1，2），即a_i（n）=PX_n=i.用P_ij表示本月处于状态i，下月转为状态j的概率（i，j＝1，2），即P_ij=PX_n+1=j/X_n=i.a_i（n）称为状态概率，P_ij称为状态转移概率.这里，X_n+1只与X_n和P_ij有关，而与系统以前的状态X_n-1，X_n-2，…无关，即无后效性.由此，利用全概率公式容易得到以下离散方程组：

根据已知条件，p₁₁=0.5，p₂₁=0.4.所以显然有p₁₂=1-p₁₁=0.5，p₂₂=1-p₂₁=0.6.当商店开始销路好，即a₁（0）=1，a₂（0）=0时，用上式立即可以算出a₁（n），a₂（n），n=1，2，…，结果如表8-5所示.由数字变化规律可以看出，当n→∞时，a₁（n）→4/9，a₂（n）→5/9.当商店开始销路坏时，用同样的方法可以得到结果如表8-6所示.

表8-5　开始销路好时状态概率的变化

表8-6　开始销路坏时状态概率的变化

对照上表可以看出，虽然对于各个n，具体的数字不完全相同.但是当n→∞时却会得到完全一样的结果，即n→∞时的状态概率趋于稳定值，且这个稳定值与初始状态无关，后面将仔细讨论这个问题.

例8-7　微量元素检测问题

考查微量元素磷在自然界中的转移情况，假定磷元素只分布在土壤、草、牛、羊等生物体，及上述系统之外（如河流中）这三种自然环境里.每经过一段时间磷在上述三种环境里的比例会发生变化，变化具有无效性.假定经过一定时间，土壤中的磷有30%被草吸收，又被牛羊吃掉，有20%排至系统之外，50%仍在土壤中；生物体中的磷有40%因草枯死、牛羊排泄又回到土壤中，40%移出系统，20%留在生物体内；而磷一旦移出系统之外，就100%地不再进入系统.假定磷在土壤，生物体和系统外的初始比例是0.5∶0.3∶0.2，试研究经过若干段时间后磷在三种环境中的转移情况.

【解题思路】

磷在三种环境中的分布及其变化是确定性的.但是如果把它在某种环境如土壤中的比例视为处于这种状态的概率（将全部含量作为一个整体），把它的变化比例视为转移概率，就能用随机转移的马氏链模型来解决这个问题，时期用n=0，1，2，…离散化，X_n=1，2，3分别表示第n时期磷处于土壤、生物体和系统外三种状态.a_i（n）表示状态概率，即分布比例（i=1，2，3）.P_ij表示由X_n=i到X_n+1=j的转移概率，即变化的比例.状态的转移具有无后效性，利用全概率公式并将P_ij的数字代入得到：

以初始状态概率a₁（0）=0.5，a₂（0）=0.3，a₃（0）=0.2代入上式计算，结果如表8-7所示.从表中可以看出，当n→∞时a₁（n）→0，a₂（n）→0，a₃（n）→1.这表示磷终将全部移出系统.事实上，不论初始条件如何，n→∞时的结果都是一样的.顺便指出，如果开始磷全部在系统外，即处于状态3，有a₁（0）=a₂（0）=0，a₃（0）=1.那么对于任意的n都有a₁（n）=a₂（n）=0，a₃（n）=1，即一旦进入状态3就永远不会转移到其他状态.

表8-7　数据转移分析

通过这两个例子有助于了解下面给出的马氏链的基本概念：

按照系统的发展，时间离散化为n=0，1，2，….对每个n，系统的状态用随机变量X_n表示.设X_n可以取k个离散值X_n=1，2，…，k，且X_n=i的概率记作a_i（n），即状态概率.从X_n=i到X_n+1=j的概率记作P_ij，即转移概率.如果X_n+1的取值只取决于X_n的取值及转移概率，而与X_n-1，X_n-2，…的取值无关，那么这种离散状态按照离散时间的随机转移过程称为马氏链.由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为：

其中a_i（n）和P_ij应满足：

引入状态概率向量和转移矩阵：a（n）=（a₁（n），a₂（n），…，a_k（n）），P=（p_ij）_k×k，则基本方程可以表示为：a（n+1）=a（n）P.由此还可以得到：a（n）=a（0）Pⁿ.

上式表明转移矩阵P式非负阵，P的行和为1，称满足上式的矩阵P为随机矩阵.容易看出，对于马氏链模型最基本的问题是构造状态X_n及写出转移矩阵P，一旦有了P，那么给定初始状态概率a（0）就可以计算任意时间n的状态概率a（n）.

从上面两例的计算结果可以看出这两个马氏链之间有很大的差别，事实上它们属于马氏链的两个重要类型，下面分别介绍这些类型.

正则链：表8-5表示的一类马氏链的特点是，从任意状态出发经过有限次转移都能达到另外的任意状态.给出如下的定义：一个有k个状态的马氏链如果存在正整数N，使从任意状态i出发经N次转移都以大于零的概率达到状态j（i，j=1，2，…，k），则称为正则链.

若马氏链的转移矩阵为P，则它是正则链的充要条件是：存在正整数N使P^N＞0（指P^N的每一个元素大于零）.从例8-6已经知道，从任意初始状态a（0）出发，n→∞时状态概率a（n）趋于与a（0）无关的稳定值.事实上有如下的定理：

正则链存在唯一的极限状态概率w=（w₁，w₂，…，w_k），使得当n→∞时状态概率a（n）→w与初始状态概率a（0）无关.w又称稳态概率，满足：wP=w，.还不难看出，存在，记作P^∞，并且P^∞的每一行都是稳态概率w.如果记P^∞=（p^（∞）_ij），那么有p^∞_ii=w_i.

从状态i出发经n次转移，第一次到达状态j的概率称为i～j的首达概率，记作f_ij（n）.于是，为由状态i第一次到达状态j的平均转移次数.特别地，μ_ii是状态首次返回的平均转移次数.对于正则链，有μ_ii=1/w_i.

吸收链：例8-7的特点是状态3的转移概率P₃₃=1，于是系统一旦进入状态3就再不会离开它，可以把它看做“吸收”其他状态的一个状态，并且从状态1或2出发，可以经有限次转移到达状态3.例8-7表示了如下定义的一类重要的马氏链.

转移概率P_ii=1的状态i称为吸收状态，如果马氏链至少包含一个吸收状态，并且从每一个非吸收状态出发，都能以正概率经有限次的转移到达某个吸收状态，那么这个马氏链称为吸收链.

吸收链的转移矩阵可以写成简单的标准形式.若有r个吸收状态，k-r个非吸收状态，则转移矩阵P可表为：

其中k-r阶方阵Q的特征值λ（Q）满足|λ（Q）|＜1.这要求矩阵R_（k-r）×r中必含有非零元素，以满足从任一非吸收状态出发经有限次转移可达到某吸收状态的条件.这样Q就不是随机矩阵，它至少存在一个小于1的行和，且如下定理成立：

对于吸收链P的标准形式，（I-Q）可逆，，记元素全为1的列向量e=（1，1，…，1）^T，则y=Me的第i分量是从第i个非吸收状态出发，被某个吸收状态吸收的平均转移次数.

设状态i是非吸收状态，j是吸收状态，那么首达概率f_ij实际上是i经n次转移被j吸收的概率，而，则是从非吸收状态i出发终将被吸收状态j吸收的概率.

例8-8　市场占有量分析问题

为了预测A、B、C三个厂家生产的某种抗病毒药在未来的市场占有情况，进行市场调查.主要调查以下两件事：（1）目前的市场占有情况：若购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，那么A、B、C三药厂目前的市场占有份额分别为：40%、30%、30%，称（0.4，0.3，0.3）为目前市场的占有分布或称初始分布.（2）查清使用对象的流动情况：流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出，从订货单表可以得到相关数据如表8-8所示.

表8-8　顾客订货情况表

【解题思路】

假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买A、B、C三厂家药的三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表8-7，可以得模型的转移概率矩阵：

矩阵中的第一行（0.4，0.3，0.3）表示目前是A厂的顾客下季度有40%仍买A厂的药，转为买B厂和C厂的各有30%.同样，第二行、第三行分别表示目前是B厂和C厂的顾客下季度的流向.

由P可以计算任意的k步转移矩阵，如三步转移矩阵：

从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况.如从第二行（0.504，0.252，0.244）知，B厂的顾客三个季度后有50.4%转向买A厂的药，25.2%仍买B厂的，24.4%转向买C厂的药.

设S^（k）=（p^（k）₁，p^（k）₂，p^（k）₃）表示预测对象k季度以后的市场占有率，初始分布则为S^（0）=（p^（0）₁，p^（0）₂，p^（0）₃），市场占有率的预测模型为S^（k）=S^（0）•P^k=S^（k-1）•P.

已知S^（0）=（0.4，0.3，0.3），由此可预测任意时期A、B、C三厂家的市场占有率.三个季度以后的预测值为：

大致上，A厂占有一半的市场，B厂、C厂各占四分之一.依次类推下去可以求得以后任一个季度的市场占有率，最终达到一个稳定的市场占有率.

当市场出现平衡状态时，可得方程如下：

p₁，p₂，p₃就是A、B、C三家的最终市场占有率.

例8-9　遗传问题

豆科植物茎的颜色有绿有黄，生猪的毛有黑有白，有粗有细.人类会出现先天性疾病如色盲等，这些都是基因遗传的结果.基因从一代到下一代的转移是随机的，并且具有无后效性，因此马氏链模型是研究遗传学的重要工具之一，这里给出的简单模型属于完全优势基因遗传理论的范畴.

生物的外部特征，如豆科植物茎的颜色，人的皮肤或头发，由生物体内相应的基因决定.基因分优势基因和劣势基因两种，分别用d和r表示.每种外部表征由体内的两个基因决定，而每个基因都可以是d或r中的一个，于是有三种基因类型，即dd、dr和rr，分别称为优种、混种和劣种，用D，H和R表示.含优种D和混种H基因类型的个体，外部表征呈优势，如豆科植物的茎呈绿色，人的皮肤或头发有色素；含劣种R基因类型的个体，外部表征呈劣势，如豆科植物的茎呈黄色，人的皮肤或头发无色素.

生物繁殖时，一个后代随机地继承母亲两个基因中的一个和父亲两个基因中的一个，形成它的两个基因.一般两个基因中哪一个遗传下去是等可能的，所以父母的基因类型就决定了每一后代基因类型的概率.父母基因类型的组合有全是优种DD，全是劣种RR，一优种一混种DH（父为D，母为H或父为H，母为D）6种状况.简单的计算可以得到对每种组合其后代各种类型的概率，如表8-9所示.

表8-9　基因变化概率

【解题思路】

这是自然界中生物群体的一种常见的，也是最简单的交配方式.考查一个群体，假设雄性和雌性的比例永远相等，并且有相同的基因类型分布，即雄性和雌性的D、H、R的数量比例相等.所谓随机交配是指对于每一个不论属于D、H或R的雌性（或雄性）个体，都以D∶H∶R的数量比例为概率，与一个不论属于D、H或R的雄性（或雌性）个体交配，其后代则按照前面所说的方式等可能地继承其母亲和父亲的各一个基因，来决定它的基因类型.假定在初始一代的群体中，三种基因类型的数量比例D（dd）：H（dr）：R（rr）=a∶2b：c，满足a+2b+c=1，记p=a+b，q=b+c则群体中的优势基因d与劣势基因r的数量比例为d：r=p：q，且p+q=1.以下讨论随机交配方式产生的一系列后代群体中的基因类型分布.

用X_n=1，2，3分别表示第n 代的一个体属于D、H及R基因类型，即3种状态.a_i（n）表示个体属于第i种状态的概率，i=1，2，3可视为第n代的群体属于第i种基因类型的比例.转移概率p_ij可用下式计算：

p _ij =P{一个后代具有基因j/母亲具有基因i}.

在已知母亲基因类型的条件下，后代的基因类型取决于父亲的基因类型.值得指出的是，在计算p_ij时与其考虑被随机选择为父亲的三种不同基因类型比例a∶2b：c，不如直接考查从雄性群体中以p：q的比例获得优势基因d和劣势基因r.譬如p₁₁=P{后代为D（dd）/母亲为D（dd）}，为使后代是D（dd）只需从雄性群体中获得d，所以p₁₁=p，类似的有p₁₂=P{后代为H（dr）/母亲为D（dd）}=q，p₁₃=P{后代为R（rr）/母亲为D（dd）}=0，p₂₁=P{后代为D（dd）/母亲为H（dr）}=0.

后代需以1/2的概率从母体获得d，同时以p的概率从雄性群体中获得d，所以p₂₁=p/2，同理有p₂₁=P{后代为H（dr）/母亲为H（dr）}=1/2，p₂₃=q/2.用同样的方法算出p₃₁，p₃₂，p₃₃后得到转移矩阵：

对于基因类型的初始分布，即初始状态概率a（0）=（a，2b，c），其中a，2b，c满足：p=a+b，q=b+c.利用马氏链基本方程可以得到：

显然这个分布将保持下去，这表明不管初始一代基因类型分布如何，只要是从群体中随机选择的，那么在随机交配方式中第一代继承者的基因类型分布为D：H：R =p²∶2pq∶q²，并永远不变.这个结果在遗传学中称为Hardy-Weinberg 平稳定律.利用定理容易知道上式表示的是一个正则链，由于算出其稳定分布也是w=（p²，2pq，q²）.表明当初始一代不是从群体中选取，而是随意指定时（如a（0）=（1，0，0）），在随机交配方式下经过足够长的时间，3种基因类型的分布也趋向上述稳定分布.

这个模型得到结果的正确性已由观察和试验证明.如自然界中通常有p=q=0.5，于是三种基因类型的平稳分布为D：H：R=0.25∶0.5∶0.25，而优种D和混种H 的外部表征呈优势.据观察，豆科植物呈绿色（优势表征）的约占0.75，与上面的结果相一致.

最后观察在随机交配下三种基因类型的首次返回平均转移次数，即平均经过多少代每种基因类型首次回到原来的类型.据定理，D、H、R 类型的首次返回平均换代数目为：

即一个群体中基因d越多（p越大），基本类型D（dd）的平均换代数目越小.

针对数学建模问题中的机理分析类问题，本章先后介绍了微分方程模型和马尔可夫模型两种基本分析方法.其中微分方程模型在实际应用中的范围较广，本章分别针对传染病模型、种群竞争模型、房室模型进行分析，目的在于让大家能够明白微分方程模型的建立方法.在马尔可夫模型中，本章只涉及一些基本的实例，感兴趣的学生可以参看有关参考书.