2.9 ( 既約な確率行列は． ． ． ) 確率行列 T が既約とする．このとき，

(1a)T は固有値1を持つ．

(1b)T の，固有値1に属する固有ベクトルは，そのすべての成分を正の実数にとれる．

(1c)T の，固有値1に属する固有空間は1次元である．

(2)Tの固有値の絶対値は1以下である．

(3)Tの，1以外の固有値に属する固有ベクトルxはdと直交する．つまり，∑

jxj= 0である．

かなり進歩したけども，マルコフ過程の収束をいうにはまだ足りない．特に，絶対値が1である固有値が1以外 にもあるかもしれないのが哀しい．これを打破するには，まだ条件が必要だ．

定義4.2.10 (強い連結性) 確率行列Tは，ある（大きな)nをとると

(Tⁿ)ij >0 (1≤i, j≤Ω) (4.2.30)

とできるとき，強い連結性を満たすという．これは要するに，「どんな状態i, jを持ってきても，うまくn回の¹⁴ジャ ンプを選んで，jからiに行ける」ことを意味している．

14ここは「ちょうどn回で」すべてがつながることが重要．ここが弱い連結性（既約性）との違い．

この条件を付けると，大体，望み通りの結果がでてくる．まずは定理を書こう．

定理4.2.11 確率行列T が強い連結性を持っているとする．つまり，あるnがあって，(Tⁿ)ijがすべてのi, jに対 して正．このとき，

(1a)T は固有値1を持つ．

(1b)T の，固有値1に属する固有ベクトルは，そのすべての成分を正の実数にとれる．

(1c)T の，固有値1に属する固有空間は1次元である．

(2)Tの固有値の絶対値は1以下である．

(3)Tの，1以外の固有値に属する固有ベクトルxはdと直交する．つまり，∑

jx_j= 0である．

(4)Tの，絶対値が1の固有値は1のみである（他の固有値の絶対値は1より真に小さい）．

（証明）新しいのは(4)だけなので，これを証明する．Tの固有ベクトルをu，固有値をλとする．証明はふたつ にわける．まず，uの位相がそろっていない（つまり，すべての成分を非負の実数とすることができない）場合を 考える．次に，位相がそろった場合を考える．

まず，位相がそろっていない場合．Tⁿをuにかけると，Tⁿu=λⁿuとなる．この両辺を成分で書き下し絶対値 をとると，(4.2.17)付近でやったのと同じようにして

|λⁿ| |ui|= ∑

j

(Tⁿ)ijuj

(4.2.31)

を得る．この右辺に三角不等式を使いたいのだが，今はすべての(Tⁿ)ijが正なので，ujのすべての位相がそろって いない限り，三角不等式を使えば必ず損をする．つまり，

|λⁿ| |ui|<∑

j

(Tⁿ)ij|uj| (4.2.32)

がすべてのiについて成り立ってしまう．

この両辺をiについて和をとると

|λⁿ|∑

i

|ui|<∑

i

∑

j

(Tⁿ)ij|uj|=∑

j

|uj| (4.2.33)

を得る．そこでこの両辺を∑

i|ui|=∑

j|uj|>0でわって，

|λⁿ|<1 (4.2.34)

を得る．つまり，u_jのすべての位相がそろっていない限りは|λ|<1が言えた．

次にujの位相がそろっている場合（すべてのujを非負にできる場合）を考える．この場合，u_jはすべて非負にな るように調整すると，Tu=λuの左辺は非負，右辺もuは非負なので，λも非負だ．この事実を利用して，Tu=λ を成分で書き下して和をとる. 今回はすべてが非負なので不等号の入る余地はなく，

λⁿ ∑

i

ui=∑

i

ui (4.2.35)

となり，両辺をわると

λ= 1 (4.2.36)

を得る．つまり，この第二のケースは固有値1の場合しかないのだ．

以上から，強い連結性がある場合には，T^N についてもかなり強い事がいえる．まず，以下の補題を証明しておく．

補題4.2.12 Tが強い連結性をもつとする．(r,d) = 0なるr∈C^Ωに対しては，

lim

N→∞T^Nr=0 (4.2.37)

である．

（証明）rの各成分を実部と虚部にわけるとr=r⁰+ir⁰⁰（r⁰,r⁰⁰は成分が実数であるベクトル）といつでも書ける．

なので，r∈R^Ωの場合に証明すれば十分である．以下，これを証明する．

考えているrは(d,r) = 0を満たす．つまり，∑

jrj = 0である．そこでrjの添字を，ujが非負のところと負の ところに分解する（つまり，添字の集合I+とI₋を用意して，j∈I+ならujは非負，j ∈I₋ならujは負，とす る）．条件から

∑

j∈I+

rj+ ∑

j∈I₋

rj= 0, ∑

j∈I+

rj = ∑

j∈I₋

|rj| (4.2.38)

が成り立っている．rの1-ノルムkrk1を

krk1:=∑

j

|r_j| (4.2.39)

と定義すると，上から

∑

j∈I₊

rj = ∑

j∈I₋

|rj|=krk/2 (4.2.40)

であることに注意（後で使う）．

T は強い連結性を満たすので，あるnがあって，(Tⁿ)ij >0がすべてのi, jで成立する．まずは，

lim

`→∞T<sup>n`</sup>r=0 (4.2.41)

を示す．もしこれができれば，任意のNをnで割った商と余りに分けて書いて（N =n`+k）やると，N → ∞の 場合には`→ ∞だから

lim

N→∞T^Nr= lim

`→∞T<sup>k</sup>T<sup>n`</sup>r=0 (4.2.42)

となって証明が終わる．

さて，Tⁿrのi成分を以下のように考える：

(Tⁿr)i=∑

j

(Tⁿ)ijrj = ∑

j∈I+

(Tⁿ)ijrj− ∑

j∈I₋

(Tⁿ)ij|rj|=

∑Ω j=1

(Tⁿ)ij|rj| −2 ∑

j∈I₋

(Tⁿ)ij|rj| (4.2.43) さて，(Tⁿ)ij はすべて正なので，その最小値があるはずだ．それをδ >0とすると上の右辺は

≤

∑Ω j=1

(Tⁿ)ij|rj| −2 ∑

j∈I₋

δ|rj|=

∑Ω j=1

(Tⁿ)ij|rj| −δkrk (4.2.44) と抑えられる（最後のところで(4.2.40)を用いた）．I₊とI₋を取り替えて同様に議論すると

(Tⁿr)i ≥ −

∑Ω j=1

(Tⁿ)ij|rj|+δkrk (4.2.45) が示される．この二つを合わせて

|(Tⁿr)i| ≤

∑Ω j=1

(Tⁿ)ij|rj| −δkrk (4.2.46) が得られる．これは1-ノルムの言葉では（途中でTⁿも確率行列であることを用いる）

kTⁿrk1=∑

i

|(Tⁿr)i| ≤∑

i

{∑^Ω

j=1

(Tⁿ)ij|rj| −δkrk}

=∑

j

|rj| −Ωδkrk1= (1−Ωδ)krk1 (4.2.47)

を意味する．

以下，これをくり返したい．任意の正の整数mに対してs := T^mrはやはりdとの内積がゼロである．実際，

tTd=dだったので

(T^mr,d) = (r,^t(T^m)d) = (r,(^tT)^md) = (r,d) = 0 (4.2.48)

従って特に，s:=Tⁿrに対して上の議論をくり返して

kT²ⁿrk1=kTⁿsk1≤(1−Ωδ)ksk1= (1−Ωδ)kTⁿrk1≤(1−Ωδ)²krk1 (4.2.49) が得られる．これを更にくり返すと，任意の正の整数`に対して

kT^{n`</sup>rk1≤(1−Ωδ)<sup>`}krk1 (4.2.50)

がいえる．Ω, δともに正なので，`→ ∞で右辺はゼロに行く．ベクトルのノルムがゼロに行くので，T<sup>n`</sup>rはゼロ に行く．

これを用いて，T^N の極限形がわかる．

定理4.2.13 Tが強い連結性を持つとき，

Nlim→∞T^N =u1t

d (4.2.51)

である．ここで，u1とは，T の固有値1に対する固有空間の基底で，その成分はすべて正，またその規格化は ku1k1= 1としたものである．

（注意）うえのu₁^tdというのは，u₁は縦ベクトル，^tdは横ベクトルと思って，行列のかけ算をしなさい，という こと．成分で書けば，そのij成分は(u1)i(d)j= (u1)iである．

（証明）行列の等式（A=B）を証明する一つの方法は，両辺を任意のベクトルにかけた結果が等しい事をしめ すことだ．なぜなら，任意のxに対して(A−B)x≡0ならA−B= 0だから．

そこで，以下では任意のx∈C^Ωに対してT^Nxを計算する．多少天下りではあるが，

c1:= (x,d)

(u₁,d)= (x,d), r:=x−c1u1 (4.2.52) と定める（分母の内積は∑

j(u)j = 1である）．c₁の定義から，

(r,d) = 0 (4.2.53)

が満たされることがわかる（というか，この条件を満たすようにc1を決めた）．つまり，xを

x=c1u1+r, c1:= (x,d) (4.2.54)

と分解したことになる．

この両辺にT^N をかけると

T^Nx=c₁T^Nu₁+T^Nr=c₁u₁+T^Nr (4.2.55) となるが，右辺第2項は上の補題4.2.12によってゼロに行く．よって，

lim

N→∞T^Nx= (x,d)u1 (4.2.56)

が任意のx∈C^Ωに対して証明できた．

さてA=u1tdを定義すると（つまり，Aij:= (u1)i），任意のx∈C^Ωに対して (Ax)i=∑

j

(u1)ixj =∑

j

xj(u1)i = (x,d) (u1)i (4.2.57) つまり，ベクトルとして

Ax= (x,d)u1 (4.2.58)

が成り立つ．これは(4.2.56)における，lim_N→∞T^N のxへの作用と同じだから，両者は一致する．

4.2.3 マルコフ連鎖の定常分布

以上を用いて，マルコフ連鎖の長時間挙動を調べよう．以前に得た式 P[

X_N =FX₀=I]

=

∑Ω i=1

∑Ω j=1

∑Ω k=1

· · ·

∑Ω m=1

T_{F m} · · ·T_kjT_jiT_iI= (T^N)_{F I} (4.2.59) を思すと，T^N が計算できればよい．最も強力な結果を出すため，遷移行列Tは強い連結性を持つと仮定する．こ のときのT^N は既に上の定理4.2.13で与えた．よって，任意の初期分布p⁽⁰⁾に対して

lim

N→∞T^Np⁽⁰⁾=u₁^td p⁽⁰⁾=u₁×(d,p⁽⁰⁾) (4.2.60) となるけども，p⁽⁰⁾が確率分布なので，(d,p⁽⁰⁾) = 1である．結果として

定理4.2.14 Tが強い連結性をもつとき，任意の初期分布p⁽⁰⁾に対して lim

N→∞T^Np⁽⁰⁾=u₁ (4.2.61)

がなりたつ．ここでu1はTの固有値1に対する固有ベクトルで，その成分は正の実数，規格化は∑

juj = 1とし たものである．

このように，強い連結性の下では，マルコフ連鎖の長時間後の様子は一意に定まってしまうのである．これは非常 に一般的，かつ強力な結果である．ただし，状態の数が有限であったことがかなり効いているのは心にとどめてお いた方が良いだろう．

4.3 マルコフ過程（時間連続）

前節ではt= 0,1,2,3, . . .だけの，離散的な時間を考えた．そしてt= 4からt= 5への遷移が行列Tで確率的に 決まってるとした．

しかし，世の中の自然な時間は連続であり，tが整数以外のときにもジャンプが起こるような過程はたくさんあり そうだ．この問題を考えてみる．ただし前節と同じく，状態はΩ個しかないものとする．

4.3.1 問題設定

時間が連続的に流れるモデルを考えたいのだが，少しだけ注意が必要だ．一つの自然なアプローチは，時間が離散的 な場合の極限として連続時間を扱うことである．つまり，δを非常に小さな正の数として，t=nδ（n= 0,1,2,3, . . .）

のところだけをまず考える．そして，時刻t=nδにおいて状態jにいたときに，時刻t= (n+ 1)δでは状態iにい る確率（遷移確率）を，T_ijと書くことにする．（ここまではtの間隔が1秒からδ秒に変わっただけで，前節と同じ である．）時刻tでの状態分布をp^(t)と書けば，p^(t+1)=Tp^(t)ということだ．

このようなマルコフ連鎖にてδ→0の極限を考えてやれば，連続時間のマルコフ連鎖（数学ではマルコフ過程と 呼ばれる）が得られるはずだ．しかし本当にそうだろうか？

例えば，T21 = 0.01だったとしよう．これは一回のジャンプで1 から2へ行く確率が0.01ということ．しかし，

1秒の間にはジャンプするチャンスが1/δ回くらい残ってる．いくら確率0.01が小さいとは言っても，δ↓0の極限 ではこの回数は無限だいだ．つまり，1秒後には（δ↓0の極限では）確実にこのジャンプは起こってしまっている．

別の言い方をすれば，t= 0からt= 1への状態の変化はp⁽¹⁾ =T^Np(0)で与えられるが（N = 1/δ），δ↓0で はN → ∞であり，1秒後にはT^∞のみが効くことになってしまう．これでは，状態はこのマルコフ連鎖の定常状 態に収束してしまっており，面白いことは全く起こらない．

何が悪かったかは明白である．1秒に無限回も跳ぶのに，跳ぶ確率を正に設定していたら，そりゃ呼び過ぎだ．こ れを直すには，1秒に平均1回程度（1回でなくても良いが，有限回）跳ぶように，遷移行列を定義し直せば良い．

大雑把に言って，1秒間に跳ぶ回数はTij/δなんだから，これがO(1)になるようにすれば良い，つまり，T_ij がδ

に比例するようにすれば良いのだ．ただし，i=jの場合はほとんど1にしておくべきである．（一瞬の間δでは，ま ず跳べない．つまり，j=iのところはほぼ確率1にならないと困る．）

というわけで，今考えてる問題では，

Tij=δij+δRij (4.3.1)

のような形になってるべきだと思われる（ここでR_ijは無限小時間でのジャンプの割合を表す行列）．

こう仮定すれば，

p^(t+δ)=Tp^(t)= (I_Ω+δR)p^(t) (4.3.2)

ということなので，δで割ってδ↓0とすれば，

d

dtp^(t)=Rp^(t) 成分では d

dtp_i(t) =∑

j

R_ijp_j(t) (4.3.3)

という式が得られる．これがマルコフ過程の基礎方程式である．

T に制限がついたのと同じく，Rにも制限がつく．つまり，∑

jpj(t)は全確率で1だから，上の微分方程式をi について足したものはゼロでないと困る：

0 =∑

i

d

dtp_i(t) =∑

ij

R_ijp_j(t) (4.3.4)

これがすべてのp^(t)について成り立つべきであるから，

∑

i

Rij= 0 (4.3.5)

が必要である．

4.3.2 時間発展を解く

上の微分方程式は係数が定数なので，簡単に解ける．特に，行列の指数関数 e^A:=

∑∞ n=0

1

n!Aⁿ (4.3.6)

を使うのがコンパクトに書けてよい．結果は

p^(t)=e^tRp⁽⁰⁾ (4.3.7)

となる．後はこの指数関数の性質を調べれば良い．

Perron-Frobeniusの定理からすべてを導出し直しても良いが，以下のように考えると，離散的な場合に（ほとん

ど）帰着できる．

今，上の時間発展の系をt= 0,1,2, . . .でだけ，観察しよう．この整数時間の間の時間発展はT :=e^Rが担ってい る．つまり，t= 0,1,2,3,… をみた系は，このT =e^Rを遷移行列にもつマルコフ連鎖になっているわけだ．T は もちろん，確率行列であるから，前節の結果がいろいろと使える．

特に，Rが定義4.2.6の正しい意味で既約であれば，T =e^Rは強い連結性をもつ．（なぜなら，e^A=∑_∞

n=0Aⁿ/n!

にはすべてのAⁿが現れているので，どんなi, jをとってきても，Aⁿのどれかでi, jがつながる）．従って，T が 強く連結されている場合の結果が今も使える．

定理4.3.1 Rが既約のとき，今考えているマルコフ過程は一意的な定常状態に近づく．この定常状態は，Rの固有

値ゼロの唯一の固有ベクトルであり，その成分はすべて正の実数にとれる．

まあ，状態数が有限の場合なら，連続時間の方が離散的な時間よりも簡単である．（似たようなことは微分方程式 と差分方程式に関しても割合，よく見られる．例えばlogistic mapはカオスを出すことで有名だが，その連続バー ジョンでは何も面白いことは起きない．）

ドキュメント内 2011.11.29. (ページ 32-38)