甠（正再帰性）

全文

(1)❤. 確率数理工学に. ー. ー. 再帰性と到達日咀（平均到達時間と平均再帰時間） mini。）=状態 i. t. {. から j. E. への平均到達日椚. | X☹）=. k P( T j k =. E 1万 1X。=i ]. ( i f 附くかどう）=1） (otherwise). ( T j = int I nの 1 X n j } ） =. main)を平均再帰時間と呼ぶが一. 同. 甠（正再帰性）. が再帰的なとき、岬や m うが正再帰的. |. i. が零再帰的な. ini)<o. man. （非再帰的なら自動的に m に ☹ に. a. =. 。. である）. で三鬱鬱鬱鬱..𣟧蟵が副孿懋鬱. -. 確率数理工学12. 1 / 12.

(2) 平均到達時間の計啠. .it?時刻にた倒善との後にえへ到達（う m. には） = P（うま）×1. 高. +. P. た）|. t. m いう）. 1 t. =. じ. 㐂. t. mlk. う））. んかうたに行ってから. y へ I stepで. うから. 到達. I t. に到達するのに必要なstep 数. j. P （うた） m （たま）. がっ）t. 臿. P（うた）=臿 Hi.た）= 1 ）. この方程式を各j ごとに解く.. うとすれば平均再帰時階でも求まる。. i. 解が一意でなければ最小の非負解（いこう））がそれになる-_⑧. I I. （証明は与えないが、補足資料の吸収確率の計算と同様に示せる.）. （吸収確率）. i:非再帰的な状態で再帰的な状態えからすへの吸収_確_率. I I. 照. i. が再帰的かつ. d. からのを含む再帰的な同値類への. 到達確率. →うなら f には）=1. である。. 前田の講義資料より、（のう）=1ですが再帰的になることは示せている. f. よって、. ニ）. i. も分解定理より、ある再帰的な既約成分に含まれる）. j. →. このことから、. i が.うは再帰的なので、再び同じ議論により、. f なるに1でもある，. ぼには）で. Hi.う）=f （こう'）がわかる。. （うに到達すれば必ずおにも到達するL .. 'シきたないりき製奥再帰的同値類 Hi.の. 確率数理工学12. 逆もしかり）. はページに証明. 2 / 12.

(3) （参考）. にだしな）について.. Hi,た）= f に.う）になることの証明. Ht.た）=P( T o N i i ) E P（なE たく -. =. ー. f. ）P （なくかい=i ). 名を通ってから左に到達す prob. る. p（たくかX。こう）哬くa Noこう）= f に.う）. l たとうと逆にすれば、. I なく. i. （う，た）=1. （うた）. Ef. は.た）も得るので、. f hた）=. flaky. 吸収確率の計算方法ー. C. （がまを含む再帰的な同値十𥫣（閉かつ既約）. 非再帰的な元の集合. T :. うた）f. f (i.う）二品。 PC. （たま）十 Hi.た）HE.う）+高邰岳は. た）性. ）. たE {た. ここで. C （ま）. E E C くう）-T. なので、. f （うう）=. きf a n. 彘，R i k ). f は、う）= I. t. E,. この方程式を解けば良い.. （分解定理）. = 。. Hi.た）f. （たま）. （なという）については. H i ,j'）=f （うま）とする）. 解が一意でない場合は最小の非負解がそれ2なる.. ー. 確率数理工学12. ー. 3 / 12.

(4) ❤. 亜. の破産確率. ギャンブラー、. -. o. o. .. （破産）. 資産i. q. 石隺率 P. p. n. 6- .. で t. 1 万円. 8 で - 1. ". 万円. 所持金0で破産. から始めて破産する確率を求める. d oに1，. a. にtho)）. (i)：んから始めて破産する確率. 方程式：. a. (i)= palm). do). =. q. t. a. にり. 1. p l a n ) - a（う）]= q a に） =. {a. ( i ). a t. （に1.2、-.-）. [ a ( i ) - aにリ]. P 信）「. ( Pキ9）した9=主）. ftp.i. =. k . あるd.PER を用いて書ける.. (i). p. のとき. o. （とう）. Each) E l t. O fa. （う）. やはり. E. I. f=. 0. w. P > 8 のとき. i. →. 一方、 d = よってつまり、. よりの二 I で. a に）=1. 必ず破産する.. e. で a に） → 0 で. にもなくば9た）で言い. （な）. より. 人. (h). である。. a （0）=ド f = 1. 最小の非負解は d=0， P= 1 で達成される。（う）=（ま）. aで. e. 確率数理工学12. 0. 必ず破産する. o. do)=1. (III). P=. から d = 1 なので9に）=1. よって d o ) = 1. ( i i ) P = 9 のとき. より. t. 運が良ければ破産しない 4 / 12.

(5) $. #. 直（平均再帰時間の性質と正再帰性の条件）任意のでるに対し、. 橋. 市 e P"では. 特にうが正再帰的な Tmは、かくか）. 直感的な興. ）. =. -_-到達確率いる） m. はま）が平均再帰時間. 品方言P"'は、j ) > 0 （湖はCornF ). で郎"どう1は"から出発してのステップ目までに平均的にまに滞在していた時間の割合"である. →. mなの時間後にまに戻るので、. まず、うからうへ到達する確執（うら）.うに到達したら、. 平均的に高いの割合でるに滞在していることになる。. I. y. が既幽あるとする... （I) まが正再帰的ならはE I に対. 想え部になる） .した。>o =. （ii) うが零再帰的なら. h e I において. 橋. O. が（こう）. -. 二. （うまに1であることはすでに示している. ( H : I が既約で.うが再帰的なi f I n C i ) は T h mより示せる. i ). は自明ではない. 証明は省略 .. (Thanの Proof). {b. Z n=. E l N j( n ) I X。=i. ]. =. E. 毖望ら. ）. ←. とする.. E l Z E N . =i. ] =. 時刻hまでにうにいた. N j（が臿Z た. 臿Pは'(i.う）. 回数. とする.. に注意する.. （l) まずえこうて考える (X。こうこう）なん）. を状態うたを固めに訪れた時間とする（だなint{に11NjmZED. Tj'"=0 確率数理工学12. とする、. そんなんが無ければ. とする. 5 / 12.

(6) the よって、. だたなば）とする。. すると、. 大数の強法則より. h は独立同一分布に従う. (Mark.性）. 聖 = t t h t k a s tばかs また、可は）の定義より TCNが " E. n. E H , ] = E [な1どう] =. m は、ま）. とこれは. くな（似""". m はまた. ゆるす）. なので. 鬱䯊鬱・鬱. 、前田資料より.. である（a)ここでるが再帰的であると仮定すると N j( n ) → よって、. （b). 一方、. NaF)'s. m. （する）. である。一方、. (as.）. 𡏄. =. 芸. +. -. でもあるので、. (as.）を得る.. な.j ). m. たたきた t i s しな _. Lei. なので.. ( a .S.）. うが非再帰的なら、mは、う）=. 君川 →. ( i i ) i t j のとき.. か. はならない. (as). うが非再帰的なら P（想N j( n ) は 1 X。=j ) = 1 F g(jig). 表明ーーつ. も. た. -. （だa ). い. （なか (T,=. ）. T E. （i).(i)より、. いずれにしても. 炭，. -. >. Nats 確率数理工学12. {M!う）. ( i fT e a ) (otherwise). Cas.）. m1が11万人が ( a s ). 6 / 12.

(7) 両辺の期待値をとれば、ルベーグの優収束定理より. 桔すだがいる）= 1稿三（興 N i i ] =. =. =. E. 傴興 lx。=i ]. E 1𤹪，11なくがけ。こう. Tj. P Ga l. .. ]. f 型. X。=i ) =. m 的）. 定常分布と極咀（定常分布） T =（たい）， T H . . . . ）：. 下が定常分布 ※. 咀. 毧. I. / /. 上の分布. （た（うに産でいたうりた：平衡方程式 x. Markov連鎖で更新しても分布が変わらない.. （定常分布が存在するとは限らない）. （極限分布）. （石は初期分布）. た（うに E た。(d)がいる）下が. t. d. t. 任意のーーたに対し、. t i n （極限分布が存在するとは限らない）. 稿. IP. IP"'=. た. 確率数理工学12. 極限分布. '☹. ）. （う）. =. （ま. T ）. （なE. I). の離散分布なので法則収束）/. という形をしていなければいけない. 4石（う）=(Oo....，0.1，0，0，-_-）. とすればわかる.. 7 / 12.

(8) # 。極限分布が存在すれば、それは一意的な定常分布である.. N I. i. t チェックせよ.. 定常分布が存在しても極限分布が存在するとは限らない.. 。. な例. た（註）， p =(Y'。）下1になり、不は定常分布. の、。. しかし、昨 1！。，！！蠶，周期性がある. →. T o =（10）. とすると、. 大にしたり、. ー. 鼺鬱ー. で収束しない、極限分布は存在しない. .. -. T I （マルコフ連鎖の定常分布）. マルコフ連会員は既通であると仮定する。. すると、以下は同値（I). ある j. が正再帰的が正再帰的. E I. に）全てのー E I ーま. （ろ）. で、何より正再帰性は. クラスの性質）. 定常分布たが存在する。. （l).に1.13）のもと、定常分布は一意に定まり、. たま）= で与えられる.. 凸. h t &. P"（する）= '。。不，. （まからすに戻ってくるまでの平たる時なる） m t 間. 正再帰的なまに対し、 M(i)= とすると.. & n. =. たのに. O. P( X n= ☹ ，な >n |x. 器， m. =. うに平均的に痾の. 割合で滞在）. j)まるを出発に. 再び2に戻るまでに. どれくらいえにいたか. は定常分布になる。. （工の既知性は仮定していない、定常分布は一意とは限らない）確率数理工学12. （た（う）はまを出発してるに戻るまでに、どれくらいにに滞在していたかを. 表す）. 8 / 12.

(9) (Lem の Proof) まずµ（う） = p （どう，な>o l X。=j ) = 1 であるまた、. 垚. ( P（たくかたう）=1にも注意）. M i ). =. & E P （たん.な>n | X i j ). INT>n =& HT? =. =. Mir) n I がる）. E [ T.g l X。=j ]. =. m （おう）. なので . では確率分布になる.-. FM?.i)=PNe=i.Tj7llXo=ま） F M. （う）. である。右辺 = M. （i). =. （たキシのとき）. ET"'（う、i. = =. = =. ここで.. （ii). M の定義より. FT'か（うん） Pいた）. E （た）なら良い、. P( i ,k ). とすると、. ). Mink). E H X i n , た >l . X e i た I X。こう） P （た>l、 X e i た I X。こう） P ( T . p l +1， Xeいた I X。こう） FM"（うた）（右辺）= M k ). E. はすぐわかる。. ぐうきた）（うきたに注意）. （たまのとき）. 上と同様に. E T ) は .'d ) P(i.た）. = =. このとき、. 確率数理工学12. = E P ( X i i , な >e , Xen！ I がる） P （た=1+1 1X。=j ). ☆（右辺）= P（な <o | X 。 =j ) = 1 =1（う）. y. 9 / 12.

(10) (Proofof Thin). （2）→ （ 1 ）. は明らか.. （I) -）（2）はE I. を任意に取る. るE. 既約性より. よって、ヨを，. m. i. t. I Nで. E. j. I. は正再帰的であるとする. である。 PG)（う.う）70. PCM)（すえ）>0 より.. たん.it f i s t EP"'(iii). f i Fi、当一作）には）. E. P"（する）に）は☹）、. > 。. p. > o. 𤇾部_がない感祜部になる. =. >. >. o. c. n. n. 11. .. E. ）. E. 亠 > 0. o. m （うか. なりえは正再帰的.. たまは正再帰的. mの性質より）. なが正再帰的なう。直前の Lemより. （2）→（3）. ある定常分布が存在する.. （3）一つに）. 既約性より、定常分布のに対し.た（う）>0なようについて.. にG. I. でないん. であるよって、あるM E I N で. とできる. よって. 下に）= となる。. FT. 一方、. （う'）が）は！i. 「うE. I. では）=方言(E. M Y うう）>o. に大（ま）がない）70. においてでは） p. T. e. （たま）. ）. n. （：《=大（ま）， T は定常分布なので）. =. E T. 後収束定理. 確率数理工学12. 一工をした）に. EI. EPM(kia)）た（た）で☹= T i 10 / 12.

(11) となるので、. T. （うになる. が成り立つ、. か）. これとたくう）>0を合わせると、. l e n > 0 2ある。. mは.の. よって、. m は、かくか、つまりまは正再帰的.. （一意性）上の議論で、たまになるか）が言えてしまっているので、. 一意性も示されている.. x. 咀（周期性）. この周期 dCi)= ド( i n ) s. 凸 i. -. ←. >. j. _. なら dに）=d （う）. o. なる M I I. の最大公約な久. （周期はクラスの性質）. -. （極限分布の存在条件）. マルコフ連全員が既約であるとする。. 正再帰的連鎖が {非周期. 的. N I. な. 極限分布頲. =の極限分布は定常分布で不は） = t 𦹀帰的な定常分布が存在. で与えられる.. .. 凸. 既約で正再帰的なマルコフ連鎖が非周期的ならもう.うE. I. h. で. PG)(i.う）=. ☹_=. たくう）. （定常分布）.. 周期的 ( dには2）なら. PG)(i.う）は収束しない（証明は、カップリング法による.補足資料を参照のこと）. 確率数理工学12. 11 / 12.

(12) (Proof o f Thin). (い）. Lem による.. に）極限分布が存在すれば、定常分布が存在するので、正再帰的また、先の Lem より周期的ならがいる）は収束せず極限分布が存在しなくなるので、非周期的でなくてはいけない. a. T d （大数の強法則）. 既約かつ定常分布たが存在するとき、（極限分布の存在は仮定しない） f : I → R が炁 I f（りけい） < e （つまりた、[If( i ) 1 ] < a ) なら、. 六点f (Xた） - ） E T H 品連鎖. 「1積分. ]. （9.. x. ※ 大数の強法則により、 MCMC法が正当化される.. 確率数理工学12. 12 / 12.

(13)