情報理論 Keio University Sasase Lab 情報理論プリント

♪

♪

 ^{♪ ｜ ♪}  ^{＝ }

P

英文作成 作曲 ほう 良い

い 特 _{CM BGM} 作曲

良い う

作文 大変そう

MOZART LIKE

ム ン

演奏時間

自動作曲

インタ 送局 開設 う いう諸君 要注意！ _BGM 言え 著作権 対象

自動作曲 ば著作権 あ 局 あ ！

インタ へ

H ^{最大 求}

冗長度 エン ロ

砂漠 国 天気 報 月 ／回程度 雨 報 出 毎日 報 出 こ 冗長 あ 一方 日本 そ ク ク 変わ 天気 報

け ば 冗長 い

,^{天気 報 エン ロ} H ^考え

  ^p

^{, P} _{ } ^p

^{, P} _{ } ^p

P ^雨 _ ^曇 _ ^晴 _

3

1

2

1

 ^p  ^p 

p

3 2

1

^{, p , p}

p

3 2

3 2

2 2

1 2

1

^{log p p log p p log p}

p

H _{   }

3 2

1

^{p p}

p _{ }

 ^{1 / 3 , 1 / 3 , 1 / 3}  ^{ log 3}

H

雨 曇 晴 確率 等 い時 天気 報 エン ロ _H 最大 わ 冗長 無く 報

っ 困難 あ 証明略

場合 _H 最大

一般 等確率 場合 エン ロ 最大

n n

n

n

H n ¹ , ¹ , ¹ , , ¹ _{ } log



 



 _{  }

次 _0,1 系列 エン ロ 情報量_H

1 1

0

0 ^{log p p log p}

p

H _{  }

あ 当然 ₁ あ

1 0  p  p

こ 最大値_H 求



 



0

0 ^{log p 1 p log 1 p}

p

H _{    }

あ _{/ 0}

0  dp

dH p₀





log

log _{0   0 }

 ^{p p}

時 最大 わ 最大値 _{H 1 /}通報 あ

1

0 ^p

p _ 2

/

0 1 p

6

messa ge bit

H _{m } 1 /

H

0 1/10 ^{1/2 1}

100011011 0110010101

2 / 1 ,

2 /

1 ₁

0 _ ^p _

p

1111011111 0111111111

10 /

9 ,

10 /

1 ₁

0 _ ^p _

p

冗長＆ _Redundancy ＇









r _{ } / _1_ /

Hm^{：最大 エン ロ H ：実際 エン ロ}



  

H

N

i

m ^{1/ log 1/ log}

1







_



p

_ N ¹

通報 ビット_/

1 2

log _

 Hm

通報 ビット_/

58 . 1 3

log _

 Hm

＆_N=2)

＆_N=3)

例題

0 1 ^{表 タ あ} 0 1/2 1 1/2

現

こ 確実 ₂度繰 返 そ 冗長度 いく あ ？

一度 ₂度繰 返

0 00

1 11

 1

H

H _ 1

 1

H

_H

_{ 2}

00,01,10,11 4 タ 送

通報

ビット _/

2

4

log





H

2

/

1

2

/

1

1 _{ }



例題

0 1 ^タ 100^{個送っ こ 最大情報量 H}_m

一度 ０度繰 返

タ 送 得 そ 確率 時 等確率 最大エン ロ

011001010011000110101001 101000110101110010

2100

²

通報 ビット_/

100 2

log ¹⁰⁰ _

 Hm

2^100



p 冗長度₌₀

2100

2 , 1

2



p

2^{度繰 返 H} _ ^{log 250} _ ^{50ビット/通報} 100^個

☆エ ソ ☆

冗長 少 いほう い ？

明治₁₀ 西南 役＆明治 府 薩摩 戦＇ 最 前線 官軍本部 あ 一通 電信電報 届い

当時 電信電報 濁点 省略

キ ヘイシサ タ コオ ク モ オオシ

こ 敵 兵士薩摩 ばこ 服 多 読 戦 呑気 電報 あ

実 敵 兵自殺 降伏 者多 あっ 冗長 少 い 誤 こ あ 例 あ

キ ヘ イ シ

－ － －－

サ タ

－

コ オ ク

－－－－ －－

モ

－－－

オ オ シ

－－

14

和文符号 独自 作 い い

イ ロ ニ ホ ヘ

－ － －

？ ＠ Ａ Ｂ Ｃ Ｄ

へ Ｃ 同 符号 あ 和文 へ 確率 高 く い

濁点

Ｉ

濁点 あ 覚えや い う っ い 和文 要 英文 参考 覚えや い形

演習問題₁

P(H|H)= ^１ / ^５ P(T|H)= ^０ / ^５ P(T|T)=1/ ^１

P(H|T)= ^０ / ^１

H T

)

(

),

( H

P T

P





k ^{求 さい}

演習問題０

通報_A 確率 _{1/2 ,B 1/4,C D 1/8} あ 個々 情報量I(A),I(B),I(C),I(D) ^求

均情報量＆エン ロ ＇ 求