情報理論 Keio University Sasase Lab 情報理論プリント

符号化

情報源 通報 _1,0 符号 通信路 送 出 タル通信 さ 実現 や い

情報源 ^{符号化 通信路}

1,0 ^{い符号化 ール 符号 あ}

一般的 言え い

A： ・－ B：－・・・

C： －・－・ D：－・・

例_{1 Yes, No} 通信路 送 符号化方法 Yes 1,No 0

τ

1 0 1 00 11

例2 0 1 2 --- 9 10^{個 数} 0 1 ^符号

送 こ ₃ ッ 表現 う う ？

0 1 2 3 4

5 6 7 8 9 0 0 0

0 0 1 0 1 0 0 1 1 1 0 0

1 0 1 1 1 0 1 1 1

？

？

二 数 送 い ２ ッ 見 う

5 6 7 8 9 0

1 2 3 4

0 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0

0 1 0 1 0 1 1 0 0 1 1 1 1 0 0 0 1 0 0 1 1 0 1 0 1 0 1 1 1 1 0 0 1 1 0 1 無駄

A,B,C,D,E,F,---,X,Y,Z 26

5 ^ッ

 ^x

^{, x}

^{, x}

^{, x}

^{, x}



A _

0

1 or

x

_

26

32

2

_{ }

A,B,C,D,E , ----,X,Y,Z

5 ^{ッ 符号}

A,B,C,D ,---,Z

無駄 無いう い 符号化 無い

？

そ 有 ！

ノン 第／ 理

A,B,C,--- ---,X,Y,Z

H=log26=4.7 ^{ッ ＆等確率 ＇}

＆_{0,1,0, ,} ＇

4.7 ^ッ

整数 無い 等長符号 ば

情報源 ン ロ ー８_H 通信路 符号容量８_C 2^{進符号通信路}

0,1

τ τ

 1





_W

W

1

2 W

_

 1

 2

W



 1

C

ノン 第一符号化 理

そ 背景

情報源 通信路 結合さ 符号化_(Coding) あ 情報源 々 送 い情報 例えば画像 音声

ータ そ 制約 あ 通信路 電

線 軸ケー ル ァ バー 屋内空間 屋外空間

大気圏 宇 空間 あ や 物理的制約 あ

こう 二 ンター ー 符号化器

(Coder) ^あ

情報源 通信路 間 符号化器 手 結ば い

無駄 大 い く う

Yes No

0,1 ,9

A,B, ,Z

通信路

1^通報/τ 1/4^通報/τ

1/5^通報/τ

τ

単純 等長符号 利用 H=1 (bit/ ^通報)

H=3.2^＆bit/^通報＇

H=4.7^＆bit/^通報＇

情報源 ン ロ ー Ｈ 通信路 容量 _C

＆／＇ 説明

Ｃ＆＝_{max R)} 求 方８ 通信路 い _τ秒 ／ ．

送 こ 確率 送 ば最 大 Ｒ

わ _C=1/τ あ

Yes/No ^{等確率 Ｈ＝／}bit/^{通報 あ} C/H ^／通

報_/τ送

． ７ 数 _H=3.2bit/通報 _{C/H 1/3.2}通

報_/τ 等長符号 表 例えば _{0 0000,}／

0001,---,9 1001 ^{送 こ} C/H 1/4^通報_/τ

等長符号 ／_/3.2/τ 少 能率 悪いこ

Ａ Ｘ い _{C/H 1/4.7}通報_/τ 等長符号

1/5^通報_/τ ^あ 1/4.7^通報_/τ ^{少 能率 悪い}

C/H ^{越え い}

＆０＇ 説明

C/H ^{そ 十 近い符号化 在}

ノン 非常 長い符号＆無限 長い＇ 用い ＆０＇ 証明 い い 有限 長さ 具体的 オールマ

ー 符号 示 い い

次 示 彼 前 い 符号化 あ オー

ルマ ー＆ 場合 最適 わ 場

合 _C/H 達 ＇ い

ノン 符号化方法

＆／＇情報源 通報 確率 大 い順 並べ

＆０＇初 ₀個 ₁個 ₂個_--- 順次加え

＆１＇ ₂進数 表

＆２＇次 不等式 満足 整数ｍ_j 求



,

,

,

0 _ P

p

_ P

p

_ p

_ P

p

p

p

_

_ 



,

,

1

^P

P

P

1

)

/

1

(

log

)

/

1

(

log

p

_ m

_

p

_

(5) ^{０進表示 桁 こ} _j^番目 通報 対 符号

---

2 ^進表示

0.1

0.01

0.001

0.0001

0.00001

---

P

m

^u

2

2

2

2

2

15

1

 0

P ^{0 . 000}

2

/

1

1

2

 ^p 

P ^{0 . 100}

4

/

1

2

/

2

1

1

3

 ^p  ^p  

P ^{0 . 110}

8

/

1

4

/

1

2

/

3

1

2 1

4

 ^p  ^p  ^p   

P ^{0 . 111}

決

1

2

log

2

log _ m

_{ }

1

 1

m

1

4

log

4

log _ m

_{ }

2

 2

m

1

8

log

8

log _ m

_{ }

3

,

3 _

 ^m

m

m

1/2 0.000 1 0

1/4 0.100 2 10

1/8 0.110 3 110

1/8 0.111 3 111

s

p

P

m

u

s

s

s

s

符号化 能率

符号化 能率

C

 R

Ｒ＝＆そ 符号化 ＇通信速度 Ｃ＝最大通信速度

C

 R

1

冗長度＝

ノン 符号化 構 前例

通報 種類 確率 符号 符号長

4 3 2 1

s

s

s

s

8

/

1

8

/

1

4

/

1

2

/

1

111

110

10

0

  ^



3

3

2

75 . 1 8

8 log 2 1

4 4 log

2 1 2 log

1    

 H





 ^{3 ) 1 . 75}

8

2 1

4 2

1

2

( 1 _{     }



a v



 ^{1 /}

/

75

.

1 _



R

C R

00 01 10 11 ^符号化





 ²





875

.

0

2

75

.

1 



R

_{ 0 . 875}

C

R

ノン 符号化 不等長符号 並

べ

例８ ^s

^s

^s

^s

010110111

こ 目

等長符号 場合 う ？

誤 あ 符号化 理

情報源符号化 理 ノン第／

理 こ 第０ 理 言う

情報源 情報源符号化

1001110--

A,B,C,--

通信路

第一符号化 理

情報源

情報源符号化

A,B,C,-

-

通信路

第二符号化 理



雑音

通信路符号化

(1) 10011100 10010100 ₅

番目

信端

信

端

ータそ

／ ． １回繰 返 送

(1) ^{繰 返さ 送信 ＆０＇ １度繰 返 送信}

３番目 ラー 発見 訂正 ₁ 種 通信

路符号化 い 能率 悪い 能率

犠牲 誤 除く い ？

ノン 能率 ／ 近く 誤 完全

除く方法 あ い 具体的

方法 示さ い 証明 い

[ ^{ノン 第二符号化 理} ]

Ｈ 情報源 ン ロ ー Ｃ 通信路容量

)}

|

(

)

(

{

max H x H x y

C

p

^



)

1

( _{ }

C

H _

＆／＇ あ ば 誤 確率 いく

． 近 け 符号化 在

＆０＇ あ ばそ う 符号化

い

＆１＇ あい い度

H-C ^{いく 近 け こ}

C

H _

C

H _ ^{H ( x | y )}

)

| (x y H

) (x

H(x)=C

(1) ⁽²⁾

(3)

)

(

)

|

( x y H x

H _

C x

H y

x

H( | ) _ ( )_

理 ₍₁₎ ＆１＇ 有 得 領域 そ 以外

あ 得 い

誤

り

多

い

符号化 改善