情報システム 第9回講義資料

情報学科CSコース情報システム（３年後期）

講義ノート

ー第９回ー

デジタル放送とデータ放送

田中克己

角谷和俊

2

動画像

„

動画像の情報量

„

(例) 500 x 500 x 8 x 30 = 60 Mbps

„

縦横画素：

500

„

1画素あたりのビット数： 8

„

1秒当たりの表示画像枚数： 30

„

カラーテレビ信号の場合は約

100Mbps

„

画像圧縮技術

„

差分符号化，フレーム間予測符号化

„

動き補償予測

„

周波数成分への変換と近似・省略

3

差分符号化(DPCM) (1/2)

画像を差分で表現

„

画像の画素値は分散

„

差分値は出現頻度に偏りが大

(エントロピー符号化の効果大)

82 71 61 50 41 30 74 65 55 44 36 25 69 60 51 41 30 20 66 56 45 34 25 15 61 50 41 29 21 10 11 10 11 9 11 30 9 10 11 8 11 25 9 9 10 11 10 20 10 11 11 9 10 15 11 9 12 8 11 10 画像 左画素との差分

4

差分符号化(DPCM) (2/2)

予測値による符号化

„

近傍の画措置から符号化する画素(注目画素)

の画素値を予測

„

予測値と実際の画素値との予測誤差を符号化

xxxx

aaaa

c

cc

c

b

bb

b

予測誤差

E = x-(a+c-b)

2 0 0 1 0 30 0 1 1 -3 1 25 -1 -2 -1 2 0 20 -1 2 -1 1 -1 15 61 50 41 29 21 10

※

(c-b)は(x-a)に近い

5

フレーム間予測符号化

„

連続するフレームは同じような内容

静止領域が多い画像に対して効率的

„

フレームメモリ

1フレーム前の画像を記憶するメモリ

50 55 56 55 50 50 50 55 56 55 50 50 50 55 56 55 50 50 50 55 56 55 50 50 50 50 55 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 55 56 55 50 50 55 56 55 50 50 55 56 55 50 50 55 56 55 50 50 50 55 50 50 50 50 50 50 50 0 5 1 -1 -5 0 0 5 1 -1 -5 0 0 5 1 -1 -5 0 0 5 1 -1 -5 0 0 0 5 -5 0 0 0 0 0 0 0 0 現フレームの画像 前フレームの画像 予測誤差

6

動き補償予測（1/2)

被写体の動きが大きい場合

動いた方向と距離を表す位置情報(動きベクトル)を予測値

50 55 56 55 50 50 50 55 56 55 50 50 50 55 56 55 50 50 50 55 56 55 50 50 50 50 55 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 55 56 55 50 50 55 56 55 50 50 55 56 55 50 50 55 56 55 50 50 50 55 50 50 50 50 50 50 50 0 5 1 -1 -5 0 0 5 1 -1 -5 0 0 5 1 -1 -5 0 0 5 1 -1 -5 0 0 0 5 -5 0 0 0 0 0 0 0 0 50 55 56 55 55 50 50 55 56 55 55 50 50 55 56 55 55 50 55 50 50 50 56 55 55 50 50 55 55 50 50 50 50 50 50 50 現フレームの画像 前フレームの画像 被写体が「右に１画素」シフトした画像 動き補償予測誤差

7

動き補償予測（2/2)

動き位置情報の検出

„

現フレームの画像を重なりのない16X16画素のブロックに

分割

„

上下左右15画素以内の領域を動き補償範囲とする

„

予測誤差が最小のブロックを最適予測ブロックとして選択

現ブロック 動きを調べる前フレーム内の範囲 同一位置のブロック 現フレーム画像 前フレーム画像

8

離散コサイン変換

離散コサイン変換(DCT: Discrete Cosine Transform)

„

画像データを周波数成分に変換する直交変換

„

周波数成分の数は画素数と等しい

„

DCT係数値を符号化

DCT

9

基本パターン群 周波数大 → 周 波 数 大 →

DCTの基本パターン群

DCT係数の意味

„

周波数成分が水平と垂直の2方向

„

基本パターンのを含む度合い

100 100 100 100 105 105105 105 110 110 110 110 100 100100 100 120 120 120 120 115 115115 115 125 125 125 125 130 130130 130 130 130 130 130 135 135135 135 165 165 165 165 175 175175 175 140 140 140 140 160 160160 160 180 180 180 180 200 200200 200 4 44 4 4 44 4 - ---7777 - ---2222 6 66 6 - ---7777 0 00 0 0 00 0 3 33 3 4 44 4 36 36 36 36 102 102102 102 - ---6666 0 00 0 46 46 46 46 548 548548 548 DCT 逆DCT DCT係数値 画素値 直流成分

10

DCT係数の近似・省略

100 105 110 100 120 115 125 130 130 135 165 175 140 160 180 200 4 4 -7 -2 6 -7 0 0 3 4 36 102 -6 0 46 548 0 00 0 0 00 0 - ---10101010 0 00 0 10 1010 10 - ---10101010 0 00 0 0 00 0 0 00 0 0 00 0 40 4040 40 100 100100 100 - ---10101010 0 00 0 50 5050 50 500 500500 500 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 40 4040 40 100 100100 100 0 00 0 0 00 0 50 5050 50 550 550550 550 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 0 00 0 550 550550 550 4 44 4 4 44 4 - ---7777 - ---2222 6 66 6 - ---7777 0 00 0 0 00 0 3 33 3 4 44 4 36 3636 36 102 102102 102 - ---6666 0 00 0 46 4646 46 0 00 0 101 107 108 103 124 113 130 129 129 131 167 178 136 160 186 199 106 105 105 104 115 120 128 133 128 141 161 174 137 156 184 204 138 138 138 138 138 138 138 138 138 138 138 138 138 138 138 138 -37 -32 -27 -37 -16 -22 -12 -7 -7 -2 29 38 3 23 43 63 DCT 概略値で近似 高周波成分省略 直流成分のみ 直流成分省略 DCT係数 原画像 逆DCT 逆DCT 逆DCT 逆DCT

11

MPEG（Motion Picture Experts Group)

デジタル動画と音声の圧縮・伸長に関する規格

ITU-TS（国際電気通信連合：旧CCITT）とISO（国際標準化機構）で制定 „

MPEG1

データ転送レート1.5Mbpsまでの動画と音響を対象

„

MPEG2

データ転送レート数M～数十Mで、放送メディアが対象

„

MPEG4

画像を物体毎に符号化できるオブジェクトベース符号化

や誤り耐性符号化を含む

„

MPEG7

映像コンテンツの標準記述手法

12

MPEG2(1/2)

„

放送メディアのための符号化方式

„

1994年仕様確定

„

通信，放送，蓄積用，標準テレビ，および高品質テレビ用

„

プロファイルとレベル

MP@ML(Main Profile at Main Level) ：CSデジタル放送

MP@HL(Main Profile at High Level) ：BSデジタル放送の一部

„

ハイブリッドDCT

動き補償＋DCT [MP@ML]

„

圧縮率

13

MPEG2(2/2)

ピクチャタイプ

„

Iピクチャ(intra-coded picture)

そのピクチャ内でフレーム内符号化されたピクチャ „

Pピクチャ(predictive-coded picture)

前方のピクチャからフレーム間予測符合化されたピクチャ

„

Bピクチャ(bidirectionally predictive-coded picture)

前後のピクチャから双方向予測符号化されたピクチャ I1 B6 P4 B8 B9 P7 B11 B12 P10 B14 B15 I13 B2 B3 B5 GOP(N=15, M=3)

GOP(Group of Pictures)

„

I, P, Bピクチャが組み合わさった一組

„

GOPの中には必ず1つのIピクチャを含む

14

デジタル放送

MEPG-2 Systems：

映像・音声・データの同期技術

MPEG-2 TS（トランスポートストリーム）

„

ES(Elementary Stream)パケット

エンコードされた映像，音声，データコンテンツなど

„

PES(Packetized Elementary Stream)パケット

パケット化され分割されたES

„

セクション

番組選択，送受信間の同期，各種サービス

„ PSI (Program Specific Information)：伝送制御信号 „ SI (Service Information)：番組配列情報（EPGなど）

„ DSM-CC (Digital Storage Medeia-Command and Control)：

15

信号多重化

各種データのパケット化，信号の多重化

映像 符号化 音声 符号化 マルチメディアデータ 符号化 パケット化 パケット化 TS化 スクランブル 伝送路_符号化 セクション セクションセクション セクション PES PES 多重 多重多重 多重（（（（MPEG-2 System) TS ヘッダ

PID=ｋ PID=m PID=ｋ PID=ｋ

．．．． ．．．． PES パケット トランスポート ストリーム

16

放送サービスと伝送プロトコル

マルチメディアサービス トランスポートストリーム セクション PESパケット PESパケット セクション PSI/SI 映像・音声 データストリーム データカルーセル EPG テレビ 字幕・文字スーパー データ放送 マルチメディア符号化

17

データ放送方式の種類

„

データコンテンツ

„

時間依存コンテンツ

„

時間非依存コンテンツ

„

ダウンロード型コンテンツ

„

データ放送方式

„

独立PES （MPEG2 private PES)

時刻情報を合わせて伝送（字幕，文字スーパー） „

データカルーセル (MPEG2 DSM-CC)

DSM-CCセクション形式．ある周期で同じデータを繰り返し送信． „

イベントメッセージ伝送方式 (セクションフォーマット)

受信機上のアプリケーションに対する同期・非同期メッセージ （画面切り替えなど）

18

ディジタル放送コンテンツ記述言語

BML: Broadcast Markup Language

映像，静止画，音声，文字の配置，表示，サイズを制御

„

基本記述：

XHTML1.0

„

動作記述：

ECMAScript

(Javaスクリプトベース）

DOM

(文書へのアクセスAPI）

„

表示制御：

CSS1(Cascading Style Sheets), CSS2

„

放送用拡張機能： ARIBで規定

<script> function changePic(){ document.getElemtnyld(“pic”).data = “picture2.jpg” } …..

<object onclick = “changePic()” id =“pic”

data = “picture.jpg” type =“image/jpeg” style =“…”> </object>

onclick属性：

選択されたときに呼び出す関数 scriptタグ：

19

放送とメタデータ

番組インデックス

„ 放送番組の選択や検索を補助するメタデータ „ MEPG-2 Systems セクション形式 „ マルチシナリオ，階層化番組，ダイジェスト視聴，検索 „

2種類のセクション形式

„ ERT（Event Relation Table)

ツリー構造により番組構造を定義

„ LIT (Local-event Information Table)

番組中のシーン（時間的断片）を指定 0 1 2 3 4 5 1 2 3 4 5 6 7 シーン

20

データ放送方式の例

放送センター 受信端末 多 多多 多 重 重重 重 装 装装 装 置 置置 置 衛星放送 受信機 受信機 受信機 受信機 映像＆音声 選手 選手 再生 再生再生 再生ｿﾌﾄｳｴｱｿﾌﾄｳｴｱｿﾌﾄｳｴｱｿﾌﾄｳｴｱ 再生 再生 再生 再生ｿﾌﾄｳｴｱｿﾌﾄｳｴｱｿﾌﾄｳｴｱｿﾌﾄｳｴｱ インタラクティブデータ リモコン リモコン リモコン リモコン 送出 送出送出 送出 送出 送出 送出 送出 システム システムシステム システム システム システム システム システム 選手情報 試合状況 選手情報 映像 映像映像 映像＆＆＆音声＆音声音声音声 番組 番組 番組 番組オーサオーサオーサオーサ 番組 番組 番組 番組オーサオーサオーサオーサ リングシス リングシス リングシス リングシス リングシス リングシス リングシス リングシス テム テム テム テム テム テム テム テム データカルーセル データカルーセルデータカルーセル データカルーセル

カルーセル型送出方式

21

データ放送方式の例

- コンテンツの制御

-Video Audio V4 A1 Audio _A2 Audio _A3 Video _V3 Video _V2 Video _V1 A1 A2 V3 V2 V1 ナ ビ ゲ ー シ ョ ン 情 報

複数コンテンツと制御情報

„ 動画，音声 „ ナビゲーション情報 ＶｉｄｅｏとＡｕｄｉｏを制御（時間経過，ボタン押下など） ({V1, V2, V3, V4,}, {A1, A2, A3}) (V1, A1) (V3, A1) (V2, A1) (V2, A2) if (buttonPress) GotoPage #Page 2 else GotoPage 5 endif ... if (buttonPress) GotoPage #Page 2 ... YES NO

22

データ放送方式の例

送出フォーマット

-MPEG 準拠の付加データ表現フォーマット

MPEG 静止画

静止画

静止画

静止画

if (buttonPress) GotoPage #Page 2 ...

MPEG 動画

動画

動画

動画・

・・

・音声

音声

音声

音声

① ① ① ① 画面上表示画面上表示画面上表示画面上表示データデータデータデータ ② ② ② ② スクリプトスクリプトスクリプトスクリプト ③ ③ ③ ③ 同期情報同期情報同期情報同期情報 ｔ 購入 次へ YES NO

MPEG

ス

ト

リ

ー

ム

ナビゲーション

ナビゲーション

ナビゲーション

ナビゲーション情報

情報

情報

情報

23

データ放送方式の例

コンテンツの再生

-…

次へ 受信機 受信機 受信機 受信機のののメモリのメモリメモリメモリ 受信機 受信機 受信機 受信機のののメモリのメモリメモリメモリ へ へ へ へ へ へ へ へ一場面一場面一場面一場面一場面一場面一場面一場面分格納分格納分格納分格納分格納分格納分格納分格納 ② ② ② ②画面画面画面画面ははは組は組み組組みみ立み立立て立ててて ② ②② ②画面画面画面は画面ははは組組み組組みみ立み立立立てててて if (buttonPress) GotoPage #Page 2 else GotoPage 5 endif ... if (buttonPress) GotoPage #Page 2 ... YES NO if (buttonPress) GotoPage #Page 2 ... if (buttonPress) GotoPage #Page 2 ... 次へ if (buttonPress) GotoPage #Page 2 ... if (buttonPress) GotoPage #Page 2 ... if (buttonPress) GotoPage #Page 2 ... 画面組立 画面組立画面組立 画面組立てててて 画面組立 画面組立画面組立 画面組立てててて 次へ ① ①① ①番組番組を番組番組をを場面単位を場面単位場面単位に場面単位に分割にに分割分割分割してしてして構成して構成構成構成 ① ①① ①番組番組番組番組をををを場面単位場面単位場面単位場面単位にに分割にに分割分割して分割してして構成して構成構成構成

…

次へ 次へ ④ ④④ ④ ④ ④ ④ ④MPEGMPEG静止画静止画の静止画静止画静止画静止画静止画静止画のののの活用ののの活用活用活用活用活用活用活用 画面上データと スクリプト “ボタンボタンボタンボタンがががが押押押押されたらされたらされたらされたら 次 次 次 次のののの画面画面画面画面へへへへGO“ 手順 手順 手順 手順にににに従従従従いいいい 手順 手順 手順 手順にににに従従従従いいいい リモコン リモコン リモコン リモコン処理処理処理処理 リモコン リモコン リモコン リモコン処理処理処理処理 ③ ③ ③ ③カルーセルカルーセルカルーセルカルーセルでででで送出送出送出送出 ③ ③ ③ ③カルーセルカルーセルカルーセルでカルーセルででで送出送出送出送出

24

データ放送方式の例

動画コンテンツとデータ

-„ 動画動画動画動画

„ ナビゲーションナビゲーションナビゲーションナビゲーション情報情報情報情報（（（（NI)NI)NI)NI)

„ 画面上画面上の画面上画面上ののの静止画静止画静止画静止画ボタンボタンボタンボタン „ ボタンボタンボタンのボタンのの動作の動作動作を動作を記述をを記述記述した記述したしたしたスクリプトスクリプトスクリプトスクリプト 選択 選択 選択 選択してしてしてして受信受信受信受信 選手情報 スコア G 1-2 T リモコン

…

受信機 論理的表現 論理的表現 論理的表現

論理的表現 (Authoring View) 物理的表現物理的表現物理的表現物理的表現 (Transport Format)

NI N1 N2 N3 t1 t2 Video Elementary Stream 1 Audio Elementary Stream 1 Video Audio t1 t2 t3 V1 A1 N1 N1 N1 N2 N2 N2 N2 N1 NI N3 N3 t3 V1 A1