5.5.3 推移行列の基本形
一時的状態を最初に、吸収状態をその後に並べる、というようにして状態推移行列を書き直 すと
P =
( Q R O I
)
となる。Iは単位行列、0は要素が全部0の行列、Rはすべての要素が0ではない行列、つまり、
Qは行和が1未満となるような行が少なくとも一つはある、というように分解できる。
5.5.4 吸収方程式
一時的状態の集合をT、吸収状態の集合をAとする。j∈T, k∈Aに対して、一時的状態jか ら出発していつかは吸収状態kに吸収される確率を計算したい。一段階推移解析を適用すると、
P(X∞=k|X0=j) = (∑
i∈T
+∑
i∈A
)
pjiP(X∞=k|X1=i)
=∑
i∈T
pjiP(X∞=k|X0=i) +pjk P(X∞=k|X0=j) =ajkとすると、
ajk=∑
i∈T
pjiaik+pjk
A= (ajk)とすると、
A=QA+R したがって、
A= (I−Q)−1R
おしまい。Aの行和は１。つまり、ある一時的状態から出発して最終的にどの状態に吸収される か、ということを表す確率ベクトルになっている。
5.5.5 基本行列
上のI−Qの逆行列(I−Q)−1を基本行列という。なぜ「基本」か？あらゆるところに顔を 出すから。逆行列は存在するか。
A=QA+R を繰り返し適用すると、
A=Q(QA+R=Q(Q(QA+R) +R) +R=...
= (I+Q+Q2+...)R 両辺に左からI−Qを掛ければ
(I−Q)(I+Q+Q2+...) = lim
n→∞(I−Qn) =I
最後の等式は、|r|<1のときrn→0となるようなもの。詳しくは固有値の議論。したがって A= (I−Q)−1R
5.5.6 吸収されるまでの時間
吸収されるまでの時間をTとすると、その期待値に関してやはり一段階推移解析を適用して計 算することができる
E(T |X0=j) = (∑
i∈T
+∑
i∈A
)
pjiE(T |X1=i)
= 1 +∑
i∈T
pjiE(T |X0=i)
tj =E(T |X0=j)とおいて、それを要素とするベクトルをt、すべての要素が1のベクトルを 1とすると、
t=1+Qt したがって、
t= (I−Q)−11 と、ここでも基本行列が出てくる。
練習5.24 推移確率行列が以下のように与えられるマルコフ連鎖を考える。ただし、Qはm次 正方行列、Iはk次単位行列とする。このとき、nステップ推移確率Pnを計算しなさい。
P =
( Q R 0 I
)
練習5.25（数学の問題）正方行列Qで、各要素は非負、行和が１以下で少なくと行和が１未満 の行があるようなものとする。このとき、I+Q+Q2+Q3+...の逆行列が(I−Q)−1である ことを示しなさい。
練習5.26 勝つ確率がpの賭を繰り返し行う。最初に与えられたチップは１枚、相手は２枚、毎 回チップを１枚ずつ賭けて、勝った方が場の２枚のチップを獲得する。で、どちらかのチップが 無くなったら１回の勝負が終わりで、３枚のチップを集めた方が相手からA円受け取る。この 勝負を倦まず弛まず続けるものとする。
(0)自分のチップの枚数の変化をサンプルパスで表しなさい。また、累積獲得賞金額のサンプ ルパスを描きなさい。
(1)１回の勝負で自分が勝つ確率を計算しなさい。
(2)１回の勝負が付くまでに行う賭の回数を計算しなさい（分布と平均）。 (3)１回の勝負で自分が獲得する賞金の期待値を計算しなさい。
(4)賭が公平であるためには勝つ確率がpをいくつにすればよいですか。
(5)勝つ確率pが２分の１、つまり、ゆがみのないコインを使って賭をするものとします。こ のとき、１回コインを投げる毎に、平均いくら損することになりますか。
練習5.27 状態が0,1, ..., Nの既約なマルコフ連鎖を考える。
(1)状態jから出発して、いつかは状態kを訪問する確率はいくつですか。それはなぜですか。
(2)状態jから出発したという条件の下で、状態0を訪問する前に状態Nを訪問する確率を xjとしたとき、xj, j= 0,1, ..., Nが満たす連立方程式を導きなさい。
(3)もし∑
kkpjk =j, j= 1,2, ..., N−1ならば、(2)の解はxk =k/N と表されることを証 明しなさい。
練習5.28 インフルエンザの感染モデル。n0個の赤い玉と、N−n0個の白い玉を用意します。
ランダムに二つの玉を取り出し、二つの玉の色が同じならばそのまま元に戻し、さもなければ、
確率qで白い玉を赤く塗り替えて元に戻すものとします。赤い玉が感染者を表し、二つの玉を取 り出すことはランダムに２人が出会うことを表し、色を塗り替えるということはある確率で感染 するということを表しています。n0は最初の保菌者の数を表します。Xnをn回の試行後の赤 い玉の個数を表すものとすると、{Xn;n= 0,1,2, ...}は吸収的マルコフ連鎖になることを示し、
X0= 1から始めて全員が感染するまでに何ステップかかるか計算しなさい。