第十二章 馬氏鏈模型
12.1 健康与疾病
12.2 钢琴销售的存贮策略
12.3 基因遗传
12.4 等级结构
12.5 资金流通
馬氏鏈模型
•系統在每個時期所處的狀態是隨機的 .
•從一時期到下時期的狀態按一定概率轉移 .
•下時期狀態只取決於本時期狀態和轉移概 率 . 已知現在,將來與過去無關(無後效
性)
描述一類重要的隨機動態系統 ( 過程 ) 的模 型 .
馬氏鏈 (Markov Chain)
—— 時間、狀態均為離散的隨機轉移過程
通過有實際背景的例子介紹馬氏鏈的基本概念和性 質 .
例 1. 人的健康狀況分為健康和疾病兩種狀態,設對 特定年齡段的人,今年健康、明年保持健康狀態的 概率為 0.8, 而今年患病、明年轉為健康狀態的概率 為 0.7.
12.1 健康與疾病
人的健康狀態隨著時間的推移會隨機地發生轉變 . 保險公司要對投保人未來的健康狀態作出估計 , 以 制訂保險金和理賠金的數額 .
若某人投保時健康 , 問 10 年後他仍處於健康狀態的 概率 .
, 1 , 0 ,
2 , 1 ,
),
( 1
P X j X i i j n
pij n n
转移概率
Xn+1 只取決於 Xn 和 pij, 與 Xn-1, … 無關
8 .
11 0
p
p
12 1 p
11 0 . 2
7
.
21
0
p
p22 1
p21 0 . 3
年年年 年
年年年 年年 年
n Xn n
, 2
, 1
, 1 , 0 ,
2 , 1
), (
) (
n i
i X
P n
ai n
状态概率
狀態與狀態轉移
狀態轉移具
有無後效性 1 1 11 2 21
)
(
)
(
)
1
( n a n p a n p
a
0.8 0.2 0.3
0.7
22 2
12 1
2
( n 1 ) a ( n ) p a ( n ) p
a
1 2
n0
a2(n) 0 a1(n) 1
設投保 時健康
給定 a(0), 預 測 a(n),n=1,2,
…
設投保
時疾病 a
2(n) 1 a1(n) 0
n 時狀態概率趨於穩定值 , 穩定值與初始狀態無 關 .
22 2
12 1
2
21 2
11 1
1
)
(
)
(
)
1
(
)
(
)
(
)
1
(
p n
a p
n a
n a
p n
a p
n a
n a
3…
0.778… 0.222…
∞ 7/9 2/9
0.7 0.77 0.777… 0.3 0.23 0.223…
7/9 2/9
狀態與狀態轉移
1 0.8 0.2
2 0.78 0.22
0.8 0.2 0.3
1 0.7 2
1 2 3 0.1
0.02 1
0.8 0.18 0.25
0.65
例 2. 健康和疾病狀態同上, Xn=1~ 健康 ,Xn=2~ 疾 病
33 3
23 2
13 1
3
32 3
22 2
12 1
2
31 3
21 2
11 1
1
)
(
)
(
)
(
)
1
(
)
(
)
(
)
(
)
1
(
)
(
)
(
)
(
)
1
(
p
n
a
p
n
a
p
n
a
n
a
p
n
a
p
n
a
p
n
a
n
a
p
n
a
p
n
a
p
n
a
n
a
p11=0.8,p12=0.18,p13=0.02 死亡為第 3 種狀態,記 Xn=3
健康與疾
病
p21=0.65,p22=0.25,p23=0.1 p31=0,p32=0,p33=1
n0 1 2 3
a2(n) 0 0.18 0.189 0.1835
a3(n) 0 0.02 0.054 0.0880
a1(n) 1 0.8 0.757 0.7285
設投保時處於健康狀態,預測 a(n),n=1,2,
…
•不論初始狀態如何,最終都要轉到狀態 3 ;
•一旦 a1(k)=a2(k)=0,a3(k)=1, 則對於 n>k,a1(n)=0 , a2(n)=0,a3(n)=1, 即從狀態 3 不會轉移到其他狀 態 .
狀態與狀態轉移
0 0
1 50 ∞
0.1293 0.0326 0.8381
, , , , ,
), (
) (
1 0 2
1
n k i
i X
P n
ai n
状态概率
), (X 1 j X i P
pij n n 转移概率
) ,
, (
, ,
,2 0 1
1
k n Xn
状态
馬氏鏈的基本方程
1 )
(
1
n
k a
i i
k i
p
p k
j ij
ij 0, 1, 1,2, ,
1
)
(非负,行和为
转移概率矩阵
1
~
}
{ p
ij k kP
P
n
a
n
a ( 1 ) ( )
k
i
p
n
a
n
a
kj j ji
i
( 1 ) ( ) , 1 , 2 , ,
1
基本方程
状态概率向量
~
))
(
,
),
(
),
(
(
)
( n a
1n a
2n a n
a
kP
na
n
a ( ) ( 0 )
w wP
w
满足
馬氏鏈的兩個重要類型
1. 正則鏈 ~ 從任一狀態出發經有限次轉移 能以正概率到達另外任一狀態 ( 如例 1) .
0
,
N P
N正则链
P
n
a
n
a ( 1 ) ( )
)
(
)
(
,
w a n w n
正则链
3 . 0 7 . 0
2 . 0 8 . . 0
年 1 P
) 9 / 2 , 9 / 7 ( w
2 2
1
1 2
1
3
.
0
2
.
0
7
.
0
8
.
0
w w
w
w w
w
1
1
k i
wi
w满足
w
1 w
2 1
2 1
0 . 7
2
.
0
w w w ~ 穩態概率
Q
R
P I
r r0
馬氏鏈的兩個重要類型
2. 吸收鏈 ~ 存在吸收狀態(一旦到達就不會離 開
的狀態 i, pii=1 ) , 且從任一非吸收狀態出發經 有
限次轉移能以正概率到達吸收狀態 ( 如例 2). 有 r 個吸收狀態的吸收
鏈的轉移概率陣標準形 式
R 有非 零元素
0
)
1(
s
Q
sQ
I
M
Te (1,1,,1)
Me y
y y
y ( 1, 2,, k r)
yi~ 從第 i 個非吸收狀態出發,被某個吸收狀 態吸收前的平均轉移次數 .
12.2 鋼琴銷售的存貯策略
鋼琴銷售量很小,商店的庫存量不大以免積壓資 金 . 一家商店根據經驗估計,平均每週的鋼琴需求為 1 架 .存貯策略:每週末檢查庫存量,僅當庫存量為零時
,才訂購 3 架供下周銷售;否則,不訂購 .
•估計在這種策略下失去銷售機會的可能性有多 大 ?
以及每週的平均銷售量是多少 ?
背景與問
題
問題分析
顧客的到來相互獨立,需求量近似服從泊松分佈, 其參數由需求均值為每週 1 架確定,由此計算需求 概率 .存貯策略是週末庫存量為零時訂購 3 架週末的庫 存量可能是 0, 1, 2, 3 ,周初的庫存量可能是 1, 2, 3. 用馬氏鏈描述不同需求導致的周初庫存狀態的變 化 .動態過程中每週銷售量不同,失去銷售機會(需求 超過庫存)的概率不同 .
可按穩態情況(時間充分長以後)計算失去銷售機 會的概率和每週的平均銷售量 .
模型假設
鋼琴每週需求量服從泊松分佈,平均每週 1 架 . 存貯策略:當週末庫存量為零時,訂購 3 架, 周初到貨;否則,不訂購 .
以每週初的庫存量作為狀態變量,狀態轉移具 有無後效性 .
在穩態情況下計算失去銷售機會的概率和每週 的平均銷售量 , 作為該存貯策略的評價指標 .
模型建立
Dn~ 第 n 周需求量,均值為 1 的泊松 分佈P D (
n k ) e / ! (
1k k 0,1, 2, ) L
Sn~ 第 n 周初庫存量 ( 狀態變 量 )狀態轉
移規律
n n
n n
n n
n D S
S D
D S S
, 3
,
1
368 .
0 )
0 (
) 1 1
( 1
11 P Sn Sn P Dn
p
0 )
1 2
( 1
12 P Sn Sn
p
632 .
0 )
1 (
) 1 3
( 1
13 P Sn Sn P Dn
p
} 3 , 2 , 1 {
n S
Dn0 1 2 3 >3 P0.368 0.368 0.184 0.061 0.019
448 . 0 368 . 0 184 . 0
264 . 0 368 . 0 368 . 0
632 . 0 0
368 . 0
33 32
31
23 22
21
13 12
11
p p
p
p p
p
p p
p P
狀態轉移 陣
448 .
0 )
3 (
) 0 (
) 3 3
( 1
33 P Sn Sn P Dn P Dn
p
… …
模型建立
P
n
a
n
a ( 1 ) ( )
3 , 2 , 1 ),
( )
(n P S i i
ai n
狀態概率
) 452 .
0 , 263 .
0 , 285 .
0 ( )
, ,
( 1 2 3
w w w w
馬氏鏈的基本方程
448 . 0 368 . 0 184 . 0
264 . 0 368 . 0 368 . 0
632 . 0 0
368 . 0 P
正則鏈 穩態概率分佈 w 滿足 wP=w
已知初始狀態,可預測第 n 周初庫存量 Sn=i 的概率
0
,
N P
N正则链 P
2 0
n, 狀態概率 a(n) (0.285,0.263,0.452)
第 n 周失去銷售機會的概
率
P ( D
n S
n)
n 充分大時 Sn i wi P( )
模型求解
0 . 264 0 . 285 0 . 080 0 . 263 0 . 019 0 . 452
從 長 期 看 , 失 去 銷 售 機 會 的 可 能 性 大 約 10%.
1. 估計失去銷售機會的可能性
)
(
)
3
(
1
i S
P i S
i D
P n
i
n
n
D 0 1 2 3 >3
P0.368 0.368 0.184 0.061 0.019
3 2
1
( 2 ) ( 3 )
)
1
( D w P D w P D w
P
)
452
.
0
,
263
.
0
,
285
.
0
(
w存貯策略的評價指標
0.105
模型求解
第 n 周 平均售 量
]
)
,
(
[
3
1 1
i
n n
i j
n
j P D j S i
R
452 .
0 977 .
0
263 .
0 896 .
0 285
. 0 632 .
0
) (
] ) (
) (
[
3
1 1
i S
P i
S i D
iP i
S j D
P
j n
i
n n
n n
i j
從長期看,每週的平均銷售量為 0.857( 架 )
n 充分大 時 Sn i wi P( )
需求不超過存量 , 需求被 售
需求超過存量 , 存量被 售
思考:為什麼每週的平均銷售量略小於平均需求 量 ?
2. 估計每週的平均銷售
量 iP(Dn i, Sn i) 存貯策略的評價指標
每週平均需求量 1 架
0.857
敏感性分 析
當平均需求在每週 1 ( 架 ) 附 近波動時,最終結果有多大變 設 Dn 服從均 化。
值的泊松分 佈
( n ) ke / !, ( 0,1, 2, ) P D k
k k L2 2
e 0 1 e
e e 1 (1 )e
e / 2 e 1 ( / 2)e P
� �
� �
� �
� �
� �
狀態轉移 陣
0.8 0.9 1.0 1.1 1.2
P 0.073 0.089 0.105 0.122 0.139
第 n 周 (n 充分大 ) 失去銷售機會的 概率
) (Dn Sn P
P
當平均需求 (=1.0) 增長 ( 或減少 )10% 時,
失去銷售機會的概率 P 將增長 ( 或減少 ) 約 15%.
鋼琴銷售的存貯策略
存貯策略 ( 週末庫存為 0 則訂購 3 架 , 否則不訂購 ) 已定 , 計算兩個指標 ( 失去銷售的概率和每週平均 銷售量 ).
給出其他存貯策略 ( 如週末庫存為 0 或 1 則訂購使 下周初庫存為 3 架 , 否則不訂購 ), 討論這兩個指標 ( 習題 1).
動態隨機存貯策略是馬氏鏈的典型應用 .
關鍵是在無後效性的前提下恰當地定義系統的狀 態變量 ( 本例是每週初的庫存量 ).
12.3 基因遺
背景
•生物的外部表徵由內部相應的基因決傳
定 .•基因分優勢基因 d 和劣勢基因 r 兩種 .
•每種外部表徵由兩個基因決定 , 每個基 因
可以是 d, r 中的任一個 . 形成 3 種基因類 型:
dd~ 優種 D,dr~ 混種 H,rr~ 劣種 R.
•基因類型為優種和混種 , 外部表徵呈優勢
;
基因類型為劣種 , 外部表徵呈劣勢 .
•生物繁殖時後代隨機地(等概率地)繼承 父、母的各一個基因,形成它的兩個基因 . 父母的基因類型決定後代基因類型的概率 .
完全
優勢
基因
遺傳
父母基因類型決定後代各種基因類型的概率
父母基因類型組合 後代各種
基因類型 的概率
DD RR DH DR HH HR
D
R H
1 0 0
0 0 1
1 / 2 1 / 2
0
0 1 0
1 / 4 1 / 2 1 / 4
0 1 / 2 1 / 2
3 種基因類型: dd~ 優種 D,dr~ 混種 H,rr~ 劣 種 R
完全優勢基因遺傳
P(DDH)=P(dddd,dr)=P(ddd)P(ddr) P(RHH)=P(rrdr,dr)=P(rdr)P(rdr)
=11/2=1/2
=1/21/2=1/4
隨機繁殖
•設群體中雄性、雌性的比例相等, 基因類型的分佈相同 ( 記作 D:H:R).
•每一雄性個體以 D:H:R 的概率與一雌性個 體
交配,其後代隨機地繼承它們的各一個基 因 .
•設初始一代基因類型比例 D:H:R=a:2b:c
( a+2b+c=1), 記 p=a+b, q=b+c, 則群體中優 勢
基因和劣勢基因比例 d:r=p:q(p+q=1). 假設
建模 狀態 Xn=1,2,3 ~ 第 n 代的一個體屬於 D, H, R狀態概率 ai(n) ~ 第 n 代的一個體屬於狀 態 i(=1,2,3) 的概率 .
討論基因類型的演變情 況
)) (
) (
(X 1 j 后代基因类型 X i 父基因类型 P
pij n n
p dd
X dd
X P
p11 ( n1 1(后代为 ) n (父为1 ))
基因比例 d:r=p:q
q dd
X dr
X P
p12 ( n1 2(后代为 ) n (父为1 )) 0 )
1 )
( 3 ( 1
13 P X 后代为rr X (父为dd)
p n n
2 / 2
/ 1 )
2 )
( 1 ( 1
21 P X dd X dr p p
p n 后代为 n (父为 )
2 / 1 2
/ 1 2
/ 1
) 2
) (
2 ( 1
22
q p
dr X
dr X
P p
n n
)
(父为
后代为
q
p
q
p
q
p
P
0
2
/
2
/
1
2
/
0
轉移概率矩陣 狀態轉移概率
隨機繁殖
)
,
2
,
(
)
1
(
)
2
(
)
,
2
,
(
)
0
(
)
1
(
2 2
2 2
q pq p
P a
a
q pq p
P a
a
1 2
,
c b
a
c b
q b a
p
馬氏鏈模型
a ( n 1 ) a ( n ) P , n 0 , 1 ,
), 2 , ( )
0
( a b c
a
q p
q p
q p
P
0
2 / 2
/ 1 2
/
0
)
,
2
,
(
)
0
( w wP p
2pq q
2a 任意,稳态分布
自然界中通常 p=q=1/2 穩態分佈
D:H:R=1/4:1/2:1/4
基因類型為 D 和 H, 優勢表徵——綠色
,
基因類型為 R, 劣勢表徵——黃色 . 解釋“豆科植物的莖,綠色 : 黃色
=3:1”
(D+H):R=3:1
隨機繁殖
近親 繁殖
在一對父母的大量後代中 , 雄雌隨機配對繁 殖,討論一系列後代的基因類型的演變過程
。 狀態定義為配對的基因類型組 Xn=1,2,3,4,5,6~ 配對基因組合為合
DD,RR,DH,DR,HH,HR狀態轉移概率
1 )
' '
' '
( 1
11
DD X
DD X
P p
n n
4 / 1 2
/ 1 2 / 1
) ' '
' '
( 1
31
DH X
DD X
P p
n n
2 / 1 4
/ 1 0
0 4
/ 1 0
4 / 1 4
/ 1 8
/ 1 4
/ 1 16 / 1 16 / 1
0 1
0 0
0 0
0 4
/ 1 0
2 / 1 0
4 / 1
0 0
0 0
1 0
0 0
0 0
0 1
P 馬氏鏈模型
T
Me
y
6
4 5 3 , 5 2 3 , 6 2 6 , 4 5
3 / 8 3
/ 4 6
/ 1 3
/ 2
3 / 4 3
/ 8 3
/ 1 3
/ 4
3 / 4 3
/ 8 3
/ 4 3
/ 4
3 / 2 3
/ 4 6
/ 1 3
/ 8 )
(I Q 1 M
2 / 1 4 / 1 0
0 4
/ 1 0
4 / 1 4 / 1 8 / 1 4 / 1 16 / 1 16 / 1
0 1
0 0
0 0
0 4 / 1 0
2 / 1 0
4 / 1
0 0
0 0
1 0
0 0
0 0
0 1
P
I 0
R Q
狀態 1(DD), 2(RR) 是吸收 態,馬氏鏈是吸收鏈—— 不論初始如何,經若干代 近親繁殖,將全變為優種 或劣種 .計算從任一非吸收
態出發,平均經過 幾代被吸收態吸收 . 純種 ( 優種和劣種 ) 的某些品質不如混 種,近親繁殖下大 約 5~6 代就需重新 選種 .
近親繁殖
12.4 等級結
社會系統中需要適當且穩定的等級結
構
構 .• 描述等級結構的演變過程,預測未來的結 構 .•確定為達到某個理想結構應採取的策略 . 引起等級結構變化的因素:
•系統內部等級間的轉移:提升和降級 .
•系統內外的交流:調入和退出 ( 退休、調離 用馬氏鏈模型描述確定性的轉移問題 ( 將轉等 ). 移比例視為概率 ).
年总人数 t
t n t
N k
i
i
1
) ( )
(
) (
) ) (
( N t t t n
ai i
基本模 型
1 )
( ,
0 )
(
1
t a t
a k
i i
a(t)~ 等級結 i
構
等級 i=1,2,,k (如助教、講師、教 授)數量分佈 n(t)=(n1(t),n2(t), ,nk(t))
ni(t) ~t 年屬於等級 i 的人數, t=0,1, 比例分佈 a(t)=(a1(t),a2(t), ,ak(t))
轉移矩陣 Q={pij}kk,pij 是每年從 i 轉至 j 的比例
) ,
, ,
(r1 r2 rk
r
调入比例
T 1
( ) k i i( ) ( ) ~
i
W t w n t n t w t
�
年退出总人数退出的比例
每年从
,
退出比例
w (
w1,
w2, ,
wk)
wi~
i基本模 型
k
i
w
p
w
p
ij ik j
i
ij
1 , , 0 , 1 , ,
1
的人数
年调入
年调入总人数, r R t t i
t
t
R ( ) ~
i( ) ~
ri~ 每年調入 i 的比例 ( 在總調入人 數中 )
1 ,
0
1
k i
i
i r
r
pij~ 每年從 i 轉至 j 的比例
)
(
)
(
)
(
)
1
( t N t R t W t
N
总人数
)
(
)
(
)
1
(
1
t
R
r
t
n
p
t
n
j
ki ij i j
j
人数
等级
基本模 型
1
1
1 1
k
j ij i
k
i i
w p
r
)
(t
n wj j
r
t
R
Q
t
n
t
n ( 1 ) ( ) ( )
( ) ( ) ( ) ( ) T ( ) R t W t M t n t w M t
)
(
)
1
(
)
( t N t N t
M
总人数增量
( 1) ( )( T ) ( ) n t n t Q w r M t r
) ( ,
) ( ,
} {
) ( ) (
t R r
t W w
p Q
t N t n
ij
调入 退出 转移 总人数
分布
~
基本模型)
(
),
0
(
),
(
,
,
, w r M t n n t
Q 可预测
已知
r
w
Q
P
Tn ( t 1 ) n ( t ) P M ( t ) r
基本模 型
( 1) ( )( T ) ( ) n t n t Q w r M t r
1
,
1
},
{
1 1
k
i i
k
j ij i
ij p w r
p
Q (随机矩阵)
的行和为1 P
0
)
(
)
1
(
)
( t N t N t
若总人数不变 M
( 1) ( ) ( )(
T)
a t a t P a t Q w r
等级结构
一致
与马氏链基本方程 a ( n 1 ) a ( n ) P
等級結構 a(t) ~ 狀態概 率
P~ 轉移概率矩 陣
T
1
( )
( , , )k . r a a Q w r
a a a
L 若存在使,
称为稳定结构
k
i i
i r
r r
1
1 ,
应满足 0
用調入比例進行穩定控制
P Q w rT
P
t
a
t
a ( 1 ) ( )
1 },
{
1
k
j ij i
ij p w
p Q
問題:給定 Q, 哪些等級結構 可以用合適的調入比例保持 不變
( T )
a a Q w r
k
i i
r
1
可验证 1
0
aQ r
a
T
r a aQ aw
a 為穩定結 構
为稳定结构
aaQ a
8 . 0 0
0
3 . 0 6
. 0 0
0 4
. 0 5
. 0 Q
用調入比例進行穩定控
制
3 2
3
2 1
2
1 1
8 . 0 3
. 0
6 . 0 4
. 0
5 . 0
a a
a
a a
a
a a
aQ a
求穩定結構 a=(a1,a2,a3) (a1+a2+a3=1)
(0.5,0.5,0)
a2=a1 a3=1.5a2
(0,0.4,0.6)
5 . 1 : 1 : 1 :
:
: 5
. 1
3 2
1
2 3
1 2
a a
a
a a
a
a 与 交点
a*
B (0,0,1)
(0,1,0)
(1,0,0)
A 例大學教師 ( 助教、講師、教
授 ) 等級 i=1,2,3 ,已知每年轉 移比例
) 428 .
0 , 286 .
0 , 286 .
0
* ( a
2 3
1 2
5
.
1 a
a
a
a
可行域A穩定域 B
) , ,
, ,
(0 1 0
1
i
i k
i
i
e
e r 记 r
k j
ij i
ik i
i i
m i
M
m m
m m
i M
1 2
1, , , )
( 行元素和 的第
记
行 的第
记
i k
i
k
i i
i
i
e M r m
r
rM
1 1
用調入比例進行穩定控制
研究穩定域 B 的結
構 a (aw rMT)
为稳定结构
aaQ a
尋求 aaQ 的另一種形
T 式
( )
a a Q w r
r a aQ
Taw
) 1
(
I Q M
( T)
a aw rM 对行求和
T 1
1
( k i i )
i
aw r
�
k i
i i k
i
i i
r m r a
1 1
用調入比例進行穩定控制
ki i i
s
b
a
1
0 0
i
i b
r
.
1
,
0
1
是稳定结构
时
且
的线性组合,
为系数的
能表为以
当
a b
b
s b
a
k i
i i
i i
穩定域 B 是 k 維空間中以 si 為頂點的凸多 面體
研究穩定域 B 的結 構
k
j
j j
i i i
r b r
1
i i i
s m
k i
bi 1
可验证 1
ki
i i
k i
i i
r
m
r
a
1 1