情報理論 Keio University Sasase Lab 情報理論プリント

情報理論

情報工学科

笹瀬 巌

[email protected] www.sasase.ics.keio.ac.jp

矢上キ ンパ _24-312A

参考書：

基礎情報理論 藤田広一 昭 堂

授業 こ 教科書 沿 いま 完全 い 授業を く聞い く さい

こ 授業 々演習を 出席も確認

ま

こ プ ント 前講義担当任者 中川正雄

誉教授 作成さ ァイ を元 作成

情報理論 う 役 立 ？

計算機 中 容量 大 さ ：情報量 計算機 ーをうまく使う ：情報圧縮 計算機も 間違う：誤 検出符号

情報理論 背景

音声 Ａ 標本化 定理

情報源 符号化

通信路 符号化

音声 Ａ

情報源 復号化

通信路 復号化

ノイ や歪

， 波形 連続波形

通信

通信路

ケイタイ

情報 定量化

定量化 必要性

定性的 分 い現象 扱い く い 情報も重さや速度 う 定量化 必要 あ 定量化さ 学問 成立

情報 性質

情報を比較 う

A) ^{旅客機 墜落}

B) ^{小型ト ック 道路 落}

A) ^{う 情報量 多い}

A) ^{う 起こ 確率 低く} B) ^起こ

確率 高い あ

情報 量 確率 関係 あ そう あ

確率 小さい＝情報量 多い

確率

_p

p

p

2

^log

log 1 _{ }

情報量＝

天気 良い いう 象 確率 _1/4 あ ば こ 情報量

] [

1 2

log _{2 } bit



確率 情報量

独立 象 情報量

今日 天気 良い休日 あ いう通報 今日 天気 良い 今日 休日 あ

与え い 両者 も 確率_1/4 独 立 起こ ば 起こ 確率 _1/16

あ そ 情報量 次 う

]

[

16 4

log

1 _ bit



今日 天気 良い 情報量

]

[

4 2

log

1 _ bit



今日 休日 あ 情報量も

]

[

4 2

log

1 _ bit



通報 情報量

]

[

4

2

4 2

log 1

4

log 1

16

log

1 _{ }

_

_{  } bit



独立 通報 通報 情報量 個々 通報 情報量 和

独立 い場合 情報量 和 い 個々 通報間 関係 あ あ

エントロ ー 平均情報量

砂漠 国 天気予報 日本 天気予報 砂漠 国：

晴 晴 晴 晴 晴 晴 曇 晴 晴 晴 晴 曇 晴 晴 晴 晴 曇 雨 晴 晴 晴 晴 晴 晴

 ^雨  ^{＝ 1/32}

P ^I   ^{雨 ＝ log}

^{32  5 ビット}

日本：

晴 曇 雨 雨 曇 晴 晴 晴 曇 曇 雨 雨 晴 曇 晴 雨 曇 雨 晴 晴 曇 晴 曇 雨

  ^{雨 ＝ 1/4}

P ^I   ^{雨 ＝ log}

^{4  2 ビット}

砂漠 国 雨 情報量 日本 も大 い

→

以上 検討 盲点：

雨 情報量 考え い い 雨

晴

曇

砂漠：

 

    ^{1 29 / 16 / 32}

32

/

1

＝

曇

＝

雨

P

P

P _{ }

   

ビット 曇

ビット 雨

29 log

32 log

4 16

log

5 32

log

2 2

2 2











 I

I I

日本：

_{ }

   

4 / 1

＝ 晴

＝ 曇

＝ 雨

P P

P

_{ }

   

ビット 曇

ビット 雨

1 2

log

2 4

log

2 4

log

2 2 2











 I

I I

5 ^ット

0.24 ^ット

4 ^ット

2 ^ット 2 ^ット

1 ^ット

砂漠 確率

確率

日本

1.0 1.0

雨 曇 晴

平均情報量₍エントロ ー_:H) 考え方

べ 雨 曇 晴 情報量 平均 砂漠 国 天気予報 エントロ ー

     

通報

ビット _/

624

.

0

32

/

29

24

.

0

16

/

1

4

32

/

1

5















H

日本 天気予報 エントロ ー

     

通 報 ビ ッ ト_/

5 . 1

2 / 1 1

4 / 1 2

4 / 1 2













 H

日本 エントロ ー 方 大 い

日本 天気 変化 激 く天気予報 情報量 大 い

砂漠 国 次 日 天気予報を 晴 けば殆 正解 あ

日本 天気予報 難 い エントロ ー 高いこ 予測 くいこ もあ

エントロ ー_H 一般的







i

i

i

^p

p

H

1

log