情報理論 Keio University Sasase Lab 情報理論プリント

1

次 状態 予測 い う 激 い変化 温 度 無い 大気 水 陸 熱的慣性 あ

．度

／．．度

確率過程 情報

2

非マルコフ過程 (0^{重マルコフ過程} 完全ラン 過程＇

確率過程 前 状態 依存 い あ ば 程度依存 重要

マルコフ過程

1^{重マルコフ過程} (^{単純マルコフ過程＇}

ｎ重マルコフ過程 (^整数ｎ＜1^＇

マルコフ過程

3

非マルコフ過程 ₍ 完全ラン 過程 ₎

単純マルコフ過程 ＆ ₁ 重ラン 過程＇

Ｘ

k-1 k ^時間

＝





P _{k k1 k2  1  k}

時間

Ｘ





P _{k k1 k2  1  k k1}

4

ル化

ｎ重マルコフ過程 ｎ 決

あ 確率過程 性質 決 う

ｎ

例えば ｎ ． あ ば 非マルコフ ／ 単 純マルコフ過程

 

) X

, ,

X , X

, X

| P(X

X , ,

X , X

| X

P

n k 3

k 2

k 1

k k

1 2

k 1

k k













 ^



5

ル化 一例

X

ｔ 実測値

実験式₍ ル化 一種＇

n n 3

3 2

2 1

0

^{a t a t a t a t}

a

x _{     }

う たパラ ー 決

6

シ ノン線図

マルコフ過程 見え 形 表現

例えば コイン投

非マルコフ過程＆完全ラン 過程＇ た場合 シ ノン線図

Head=H Tail=T

H H H H H T H H H T T H H H T

0 ⁵

15

10

H H H T H T H H H H H H H T T

1 HorT ₉

8 4 6

3 ^{2 0} 5 7

H _T 10

5

/

 4

p

5

/

 1

p

7

H T

H

T

確率５．％ コイン 普通

前 例 _H 確率 高い変 コイン

8

P^＆H|T)^：T ^次 H ^{来 確率}

＆遷移確率 た 条件付確率＇ P^＆H|H)

H T

P^＆T|H) P^＆T|T)

1 3 2

4

5

7 ⁸ 6

9

P^＆H|T)

P^＆T|T) P^＆H|T)+P^＆T|T)=1

10

T

9

非マルコフ過程 最初

例 同 う 線図 H H T H H T H H T H H T H H T H H T H H T H H T

0 5 10

15 20

1 HorT ²

4 3 ⁵

6 7 ⁸

1 _{2 5} ⁸

4 7

6 3 9

Ｈ Ｔ

P^＆H|H) P^＆T|H) P^＆T|T)

P^＆Ｈ|^Ｔ)

P^＆H)=2/3 P^＆Ｔ)=1/3

単純マルコフ過程 _{T T}へ 遷移 無い わ

10

ル化 確率過程 性質 分

H H T H H T H H T H H T H H T H H T H H T H H T

0 5 10

15 ²⁰

HH

TH

HT

TT

2 ⁵

6

3 4

11

遷移確率

P(T|H) P(H|H) ^{求 方}

H T T H T H H T T H H H T T T

P(T|H)=4/7

P(H|H)=3/7 ^和；／

12

英文 ルフ ベッ 出現確率

文字 確率 モールス符号

Space 18%

E 11%

T 8.6%

A 6.7%

O 6.5%

N 5.8%

R 5.6%

I 5.1%

S ^５％

Z 0.06%

シ ノン線図 応用

13

英文 完全ラン 過程 仮定 た場合 英作

文作成例

  ^{E  0 . 11 ,  , P}   ^{0  0 . 065 , }

P

入

OCRO HLIRGWR NMIELIS EULL

NBNEDEBYA TH EEI ALH RNHTTPA

OOBOOVA NAH BRL

文章 く い！

文章 さ 前後関係 あ う

14

＆単純マルコフ過程 ＇

   

 ^{R | | A}  ^{    , , P}  ^{I | Space |  }  ^{ ,  ,}

P

N

O

P

T

H

P

与え ち 与え 作文

   

P

,

ONE IE ANTOSOUTINYS ARE T INCTORE ST BE S DEAMY A CHIN D ILON ASIV TUCCO WE AT TE ASONAR FUSO TIZIN ANDY TOBE SEACE CTISB

英文 く った

15

＆₂重マルコフ過程＇



 _



^{, ( | , )}

)

,

|

0

(

P

IN NO IST LAT WHEY CRA TICT FROURE BIRS GROCD PONDENOME OF MEMONSTRURES OF THE REPTAGIN IS REGOACTIONA OF CRE