Microsoft Word - report.doc

INFORMATION AND COMMUNICATION ENGINEERS

Copyright ©2009 by IEICE

［チュートリアル招待講演］ MPEG ビデオ符号化方式

渡辺 裕

^†

†早稲田大学大学院国際情報通信研究科

〒367-0035 埼玉県本庄市西富田

1011 E-mail: †hiroshi.watanabe@waseda.jp

あらまし

MPEGはMoving Picture Experts Groupの略称であり，ISO/IEC JTC1におけるオーディオビジュアル符号化標準の 開発機関及び規格の両者を意味する．MPEGビデオ規格の代表的なものにMPEG-1, MPEG-2, MPEG-4, MPEG-4 AVCがある．こ のうち，

MPEG-2

は

DVD

と

HDTV

に，

MPEG-4 AVC

は携帯端末用ワンセグ放送，

BD

^{用映像符号化}，

YouTube

などで 用いられている．本稿では，ネットワーク帯域の消費量が大きいと考えられるMPEG-2のビデオ符号化方式を中心に，圧縮さ れたビットストリームの生成及び転送の仕組みについて解説する．

キーワード

MPEG,

動画像符号化

, MPEG-4 AVC, H.264

［ Tutorial Invited Lecture ］ MPEG Video Coding System

Hiroshi WATANABE

^†

†Graduate School of Global Information and Telecommunication Studies, Waseda University

1011 Nishitomida, Honjo, Saitama 367-0035 Japan

E-mail: †hiroshi.watanabe@waseda.jp

Abstract MPEG is an abbreviated expression of “Moving Picture Experts Group.” It means both standard developing group and specification itself for audio-visual representation at ISO/IEC JTC 1. Major MPEG standards are MPEG-1, MPEG-2, MPEG-4 and MPEG-4 AVC. Among them, MPEG-2 is used for DVD and HDTV and MPEG-4 AVC is used for one-segment mobile TV broadcasting, Blu-ray Disk video coding and YouTube. In this report, mainly MPEG-2 video coding system is introduced since it certainly consumes a lot of network bandwidths and how compressed bitstreams are generated and transported is described.

Keyword MPEG, Video Coding, MPEG-4 AVC, H.264

1.

ま え が き

MPEGはMoving Picture Experts Groupの 略 称 で あ り ， ISO/IEC JTC1 に お け る オ ー デ ィ オ ビ ジ ュ ア ル 符 号 化 標 準 の 開 発 機 関 及 び 規 格 の 両 者 を 意 味 す る ．MPEG ビ デ オ 規 格 の 代 表 的 な も の にMPEG-1, MPEG-2, MPEG-4, MPEG-4 AVCが あ る ．

こ の う ち ，MPEG-1はVideo CDな ど 蓄 積 メ デ ィ ア を タ ー ゲ ッ ト と し て 開 発 さ れ た ． 通 信 用 の 符 号 化 標 準 の 開 発 は ITU-T の 担 務 で あ る た め ，ISO/IECで は 蓄 積 メ デ ィ ア 用 と し て の 必 要 条 件 を 満 足 す る 符 号 化 標 準 の 開 発 を 目 指 し た ．当 初, MPEG-1はPC上 で 動 作 す る デ ィ ジ タ ル 映 像 と し て 流 通 し た ． フ ァ イ ル の 拡 張 子 に は

*.mpgが 用 い ら れ た ． し か し 現 在 で は MPEG-4 AVCな

ど の 後 発 の 符 号 化 方 式 の 方 が 効 率 が 良 い た め あ ま り 使 わ れ て い な い ．

MPEG-2は MPEG-1 の 仕 様 に 加 え て ， 高 レ ー ト 化 及 び イ ン タ レ ー ス 画 像 対 応 を 特 徴 と す る 汎 用 的 な 映 像 符 号 化 方 式 で あ る ．MPEG-2の 主 要 タ ー ゲ ッ ト は DVD , HDTVで あ る ． 一 方 ，MPEG-4 AVCはMPEG-2を さ ら に 効 率 改 善 し た 方 式 で あ り ， 携 帯 端 末 用 ワ ン セ グ 放 送 や BD用 映 像 符 号 化, YouTubeな ど で 用 い ら れ て い る ．

本 稿 で は ， ネ ッ ト ワ ー ク 帯 域 の 消 費 量 が 大 き い と 考 え ら れ る MPEG-2の ビ デ オ 符 号 化 方 式 を 中 心 に ，圧 縮 さ れ た ビ ッ ト ス ト リ ー ム の 生 成 及 び 転 送 の 仕 組 み に つ い て 解 説 す る ．

2. MPEG-2

符 号 化 方 式

2.1. ヘッダ

MPEG で は 単 一 の 画 像 フ ォ ー マ ッ ト を 規 定 し な い ． 符 号 化 デ ー タ の ヘ ッ ダ に 続 く 部 分 に 水 平 ・ 垂 直 ・ 時 間 解 像 度 を フ ラ グ と し て 記 入 す る 柔 軟 な 方 法 を 採 っ て い る ． こ の フ ラ グ 情 報 を 解 読 す る こ と に よ り ， 特 定 の 復 号 後 の 画 像 が 特 定 の ハ ー ド ウ ェ ア で 表 示 で き る か ど う か の 判 別 が 行 え る ． 代 表 的 な 画 像 サ イ ズ と し て ア ス ペ ク ト 比16:9のHDTVに 対 し て は1920画 素 ×1080ラ イ ン ，4:3 の 従 来 の テ レ ビ 画 像 に 対 し て は 2 タ イ プ が あ る ． 図 1に 示 す NTSCに 基 づ い た 720 画 素 ×480 ラ イ ン ×29.97 frame/secと ，PALに 基 づ い た720画 素 ×576 ラ イ ン ×25 frame/s の 2 種 類 で あ る ． 異 な っ た 画 素 ア ス ペ ク ト 比 に 対 処 す る た め ，画 素 の 水 平/垂 直 比 の パ タ ー ン を フ ラ グ 化 し て ヘ ッ ダ に 多 重 化 す る ． ま た 映 画 の フ レ ー ム レ ー ト も 指 定 で き る 構 成 に な っ て い る ．

図1 標 準 TVに 対 す る 画 像 フ ォ ー マ ッ ト の 例

2.2. GOP

MPEGで はGOP（Group of Pictures）と 呼 ば れ る 単 位 で 符 号 化 が 行 わ れ る ．GOPに は ，ラ ン ダ ム ア ク セ ス 再 生 を 可 能 と す る た め ， 動 き 補 償 フ レ ー ム 間 予 測 を 全 く 用 い ず に 符 号 化 す る フ レ ー ム （I ピ ク チ ャ ） が 挿 入 さ れ る ． す な わ ち I ピ ク チ ャ は 静 止 画 像 と し て 符 号 化 さ れ る ．Iピ ク チ ャ の 符 号 化 方 式 は ，ほ ぼ JPEGに 近 い 手 法 が 適 用 さ れ る ．ま た ，GOPで は ，蓄 積/再 生 処 理 に 要 す る 時 間 的 制 約 が 少 な い こ と を 利 用 し ， 双 方 向 動 き 補 償 に よ る フ レ ー ム 間 予 測 符 号 化 を 行 う フ レ ー ム （B ピ ク チ ャ ） を 用 い て ， 符 号 化 効 率 を 向 上 さ せ て い る ． 通 常 の ， 順 方 向 動 き 補 償 フ レ ー ム 間 予 測 符 号 化 さ れ る フ レ ー ム （P ピ ク チ ャ ） は ，B ピ ク チ ャ の 予 測 に 用 い ら れ る ．GOP構 造 を 図 ２ に 示 す ．

図2 GOP (Group of Pictures) 構 造

図 2に お い て ， 各 フ レ ー ム の 番 号 は ， 入 力 時 間 順 を 示 す ．Bピ ク チ ャ の 符 号 化 は Pピ ク チ ャ の 符 号 化 後 に な る た め ， 処 理 順 序 は ，I→P→B→B→P→B→B→P→

… の よ う に な る ． こ の 構 造 に よ り 処 理 遅 延 が 増 大 す る が ， 隠 れ て い た 部 分 が 現 れ る 場 合 な ど に 符 号 化 効 率 を 向 上 さ せ る こ と が で き る 利 点 が あ る ．

2.3.

マクロブロック

MPEG で は ， 動 き 補 償 フ レ ー ム 間 予 測 符 号 化 が 用 い ら れ る ． 動 き 補 償 を 行 う た め に は ， 動 き ベ ク ト ル 検 出 を ブ ロ ッ ク 単 位 に 行 う ．こ の ブ ロ ッ ク サ イ ズ は 16画 素

×16ラ イ ン で あ り ，マ ク ロ ブ ロ ッ ク と 呼 ば れ る ．マ ク ロ ブ ロ ッ ク は ， 輝 度 ブ ロ ッ ク だ け で な く 2つ の 色 差 ブ ロ ッ ク も 含 む ． 色 差 信 号 は ， 輝 度 信 号 に 比 べ て ， 水 平 お よ び 垂 直 方 向 に 半 分 の 解 像 度 を 持 ち ， ブ ロ ッ ク サ イ ズ は 8 画 素 ×8 ラ イ ン と な る ． 得 ら れ た 動 き ベ ク ト ル は ， 右 お よ び 下 方 向 を 正 と 定 義 す る （X, Y） の2次 元 ベ ク ト ル と し て 扱 う ． 動 き 補 償 フ レ ー ム 間 予 測 に よ る 差 分 デ ー タ は8×8画 素 単 位 でDCTに よ り 変 換 さ れ て ， 符 号 化 さ れ る ． 一 方 ， 動 き ベ ク ト ル は ， マ ク ロ ブ ロ ッ ク 単 位 で 見 る と 隣 接 マ ク ロ ブ ロ ッ ク の ベ ク ト ル と 近 い 値 を と る こ と が 多 く な る ． そ こ で ， 動 き ベ ク ト ル の 符 号 化 に は ， 隣 接 マ ク ロ ブ ロ ッ ク の 動 き ベ ク ト ル の 値 で 予 測 し た 後 ，予 測 差 分 ベ ク ト ル を ハ フ マ ン 符 号 化 す る ． こ こ で ， 動 き ベ ク ト ル の 差 分 は ， 水 平 お よ び 垂 直 方 向 の ベ ク ト ル に つ い て そ れ ぞ れ 独 立 に 計 算 す る ．一 般 に ， 画 像 内 で 多 く の 領 域 が 同 じ 方 向 に 動 い て い る 場 合 ， 予 測 差 分 ベ ク ト ル は 0近 傍 に 集 中 す る ． そ こ で ，0近 傍 の 差 分 ベ ク ト ル に 対 す る 符 号 を 短 く 設 定 す る こ と に よ り ， 符 号 化 効 率 の 向 上 を 図 っ て い る ．

2.4.

シンタクス

符 号 化 デ ー タ で あ る ビ ッ ト ス ト リ ー ム の 構 文 を シ ン タ ク ス と 呼 ぶ ． シ ン タ ク ス は ， 階 層 構 造 に な っ て お り ， シ ー ケ ン ス ，GOP， ピ ク チ ャ ， ス ラ イ ス ， マ ク ロ ブ ロ ッ ク ， ブ ロ ッ ク の 6階 層 で 多 重 化 さ れ る ． シ ン タ ク ス の レ イ ヤ と 機 能 を 表 1に 示 す ． テ レ ビ 会 議 用 の ビ デ オ 符 号 化 標 準 で あ る H.261やH.263の ビ ッ ト ス ト リ ー ム は 通 信 を 基 本 と し て い る た め ， ビ ッ ト 単 位 で ス タ ー ト コ ー ド の 位 置 が 変 化 す る ． し か し ，MPEG で は ， デ ィ ス ク か ら の ピ ッ ク ア ッ プ 時 の 読 み 取 り 単 位 を 考 慮 し て ス タ ー ト コ ー ド は バ イ ト 単 位 に 揃 え ら れ て い る ． シ ー ケ ン ス は ，そ の ヘ ッ ダ を 除 き ，GOPの 繰 り 返 し で 構 成 さ れ る ．GOPはI，P，Bピ ク チ ャ の 組 み 合 わ せ か ら な り ，ピ ク チ ャ は 垂 直 方 向 の 16ラ イ ン か ら な る 複 数 の ス ラ イ ス で 構 成 さ れ る ． ス ラ イ ス は 1つ 以 上 の マ ク ロ ブ ロ ッ ク か ら な り ， マ ク ロ ブ ロ ッ ク は ，4 個 の 輝 度 信 号 ブ ロ ッ ク と 2個 の 色 差 信 号 ブ ロ ッ ク か ら な る ． 4:2:2 フ ォ ー マ ッ ト や4:4:4 フ ォ ー マ ッ ト の 場 合 に は 色 差 ブ ロ ッ ク の 数 が 異 な る ．

表1 シ ン タ ク ス の レ イ ヤ と 機 能

シ ン タ ク ス の レ イ ヤ 機 能

シ ー ケ ン ス プ ロ グ ラ ム 内 容 の ラ ン ダ ム ア ク セ ス 単 位

GOP ビ デ オ の ラ ン ダ ム ア ク セ ス 単 位

ピ ク チ ャ 基 本 的 な 符 号 化 単 位

ス ラ イ ス 同 期 回 復 単 位

マ ク ロ ブ ロ ッ ク 予 測 単 位

ブ ロ ッ ク DCT単 位

図3に ，MPEGビ デ オ シ ー ケ ン ス の 空 間 的 な 階 層 構 造 を 示 す ． こ れ ら の 階 層 構 造 は ， 同 期 を 取 る た め の ユ ニ ー ク な ヘ ッ ダ （ 可 変 長 符 号 の 中 に あ っ て ， 特 殊 で 見 つ け や す い 符 号 ） の 確 保 が 第 一 の 目 的 で あ る が ， 階 層 化 に よ る 処 理 の 並 列 化 も 可 能 に し て い る ． す な わ ち あ る レ イ ヤ 以 下 は 同 じ よ う な 処 理 が 繰 り 返 さ れ る た め ， ソ フ ト ウ ェ ア や ハ ー ド ウ ェ ア を 専 用 設 計 で き る 利 点 が あ る ．

図3 MPEGビ デ オ シ ー ケ ン ス の 空 間 的 な 階 層 構 造

2.5.

インタレース対 応

プ ロ グ レ ッ シ ブ 画 像 を 対 象 と す る MPEG-1と は 異 な り ，MPEG-2 で は ， 現 在 の 標 準 TV の 信 号 形 式 で あ る イ ン タ レ ー ス 画 像 を 扱 え る こ と が 特 徴 で あ る ． イ ン タ レ ー ス 画 像 は NTSC 信 号 の 場 合 ，29.97Hz の フ レ ー ム か ら な り ，1 フ レ ー ム は 59.94Hzの 2 フ ィ ー ル ド か ら な る ． こ れ ら の フ ィ ー ル ド は ， 垂 直 方 向 の ラ イ ン 位 置 が 交 互 に な っ て い る ． イ ン タ レ ー ス 画 像 は 被 写 体 が 動 い て い る 場 合 に は ， 垂 直 方 向 の 解 像 度 を 半 分 に し て ， 動 き の 再 現 性 を 高 め る よ う に 動 作 す る ． 逆 に 動 き が な い 場 合 に は ， 垂 直 方 向 の 解 像 度 が 2倍 に な る ．

MPEG-2 で は ， イ ン タ レ ー ス 画 像 に 対 し て ， 効 率 良 く 動 き 補 償 フ レ ー ム 間 予 測 を 行 う た め の 工 夫 が な さ れ て い る ． 動 き 補 償 フ レ ー ム 間 予 測 を 行 う た め の ， 基 準 画 像 の 取 り 方 と し て ， フ レ ー ム 構 造 と フ ィ ー ル ド 構 造 が あ る ． フ レ ー ム 構 造 で は ，2 つ の フ ィ ー ル ド を 用 い て フ レ ー ム 単 位 あ る い は フ ィ ー ル ド 単 位 に 動 き 補 償 を 行 う ． フ ィ ー ル ド 構 造 で は ， 動 き 補 償 に よ る 予 測 の 対

象 は 常 に ど ち ら か の フ ィ ー ル ド で あ り ， フ ィ ー ル ド 単 位 の 動 き 補 償 に 限 定 さ れ る ．

フ レ ー ム 構 造 の 場 合 に は ， フ レ ー ム 単 位 の 予 測 を 用 い る こ と が で き る ． 順 方 向 予 測 と 逆 方 向 予 測 を 組 み 合 わ せ る 双 方 向 予 測 を ， 前 後 の フ レ ー ム か ら 行 う こ と が で き る ．そ れ に 加 え て ，対 象 と す る Kフ レ ー ム の マ ク ロ ブ ロ ッ ク の 信 号 を 2つ の フ ィ ー ル ド に 分 割 し て ， 動 き 補 償 を 行 う フ ィ ー ル ド 単 位 の 予 測 も 可 能 で あ る ． フ ィ ー ル ド 単 位 の 処 理 で は ，1 つ の フ レ ー ム は ， ト ッ プ フ ィ ー ル ド と ボ ト ム フ ィ ー ル ド に 分 割 さ れ る ． そ れ ぞ れ の フ ィ ー ル ド は ， 前 後 の フ レ ー ム に 含 ま れ る 4つ の フ ィ ー ル ド か ら 動 き 補 償 を 行 う こ と が で き る ．

フ ィ ー ル ド 構 造 の 場 合 に は ， 予 測 の 対 象 は 個 々 の フ ィ ー ル ド で あ る の で ， フ ィ ー ル ド 単 位 の 予 測 だ け し か 用 い る こ と が で き な い ． フ ィ ー ル ド 構 造 は フ レ ー ム 構 造 よ り 単 純 で あ り ， ハ ー ド ウ ェ ア の 簡 単 化 を 目 的 と し て い る ．

フ レ ー ム 構 造 と フ ィ ー ル ド 構 造 に お け る 動 き 補 償 フ レ ー ム 間 予 測 に は ， い く つ か の バ リ エ ー シ ョ ン が あ る ．フ レ ー ム 構 造 の 場 合 に は ，16×16画 素 の フ レ ー ム 単 位 の 予 測 ，16×8 画 素 の フ ィ ー ル ド 2 個 を 組 み 合 わ せ る フ ィ ー ル ド 単 位 の 予 測 ， さ ら に ， デ ュ ア ル プ ラ イ ム と 呼 ば れ る 予 測 を 切 り 替 え て 用 い る こ と が で き る ．

入 力 画 像 や 動 き 補 償 フ レ ー ム 間 差 分 画 像 は ，8×8画 素 の ブ ロ ッ ク 毎 に DCTが 適 用 さ れ ，係 数 に 変 換 さ れ た 後 に ハ フ マ ン 符 号 化 さ れ る ． 各 ブ ロ ッ ク で は ， 画 像 に 含 ま れ る 被 写 体 に 動 き が あ る か ど う か に よ り ， 垂 直 方 向 の 画 素 の 類 似 性 が 異 な る ． フ ィ ー ル ド 間 に 動 き が な い 場 合 に は ， フ ィ ー ル ド 単 位 の ブ ロ ッ ク を 形 成 す る よ り も ，フ レ ー ム 単 位 の ブ ロ ッ ク で DCTを 適 用 し た 方 が 効 率 的 で あ る ． 隣 接 ラ イ ン 間 の 画 素 の 類 似 性 を 利 用 で き ，相 関 が 高 い の で ，DCT係 数 が よ り 低 域 周 波 数 に 偏 る ． 逆 に ， フ ィ ー ル ド 間 に 動 き が あ る と ， フ レ ー ム 単 位 の ブ ロ ッ ク で は ， 隣 接 ラ イ ン 間 の 画 素 相 関 が 低 下 す る ．こ の よ う な 場 合 に は フ ィ ー ル ド 単 位 の DCTを 用 い た 方 が ， 圧 縮 率 の 点 で 有 利 と な る

2.6. プロファイルとレベル

MPEG-2 は 仕 様 用 途 を 限 定 し な い 汎 用 符 号 化 方 式 と し て ， 種 々 の ユ ー ザ 要 求 を 満 足 す る よ う に 設 計 さ れ て い る ． 例 え ば ， 低 遅 延 ， 高 画 質 ， ラ ン ダ ム ア ク セ ス ， ス ケ ー ラ ビ リ テ ィ な ど が あ る ． 要 件 に 対 応 で き る よ う に ， エ ン コ ー ダ の 機 能 や パ ラ メ ー タ （ 例 え ば ， 画 像 サ イ ズ や 量 子 化 特 性 ， 符 号 化 ビ ッ ト レ ー ト な ど ） を 選 択 可 能 と し て い る ． こ れ ら の パ ラ メ ー タ を 符 号 化 デ ー タ の ヘ ッ ダ 部 分 に 記 載 す る ．デ コ ー ダ で は 復 号 に 先 立 ち ， ヘ ッ ダ 部 分 を 読 み 込 ん で パ ラ メ ー タ を 知 り ， 復 号 動 作 を 決 定 す る ． し か し ， パ ラ メ ー タ の 選 択 の 自 由 度 が 大 き く ， デ コ ー ダ 設 計 が 複 雑 に な る ． そ こ で ， デ コ ー ダ が ど の 範 囲 ま で 対 応 で き る か を 示 す ， 機 能 ・ パ ラ メ ー タ 群 が 定 義 さ れ て い る ．こ れ を「 プ ロ フ ァ イ ル 」と「 レ ベ ル 」 と 呼 ぶ ． プ ロ フ ァ イ ル は ， 符 号 化 ツ ー ル を 適 当 な 機 能 単 位 で 区 切 っ た も の で あ る ． レ ベ ル は ， 対 応 で き る 画 像 サ イ ズ で 区 切 っ た も の で あ る ．

メ イ ン プ ロ フ ァ イ ル・メ イ ン レ ベ ル(MP@ML)は 最 も 多 く の ア プ リ ケ ー シ ョ ン で 使 わ れ る 互 換 ポ イ ン ト で あ る ．DVD と 通 常 の デ ィ ジ タ ル テ レ ビ 放 送 は MP＠ML を 用 い る ．ま たHDTVで は メ イ ン プ ロ フ ァ イ ル・ハ イ レ ベ ル （MP@HL） を 用 い る ． 予 測 に は ， 双 方 向 予 測 を 用 い る こ と が で き る ． 双 方 向 予 測 に は 遅 延 が 大 き く な る 欠 点 が あ る が ，DVDな ど の 遅 延 が 問 題 と な ら な い 蓄 積 メ デ ィ ア の ア プ リ ケ ー シ ョ ン で は ， 符 号 化 効 率 を 優 先 さ せ て こ の 予 測 方 式 が 用 い ら れ る ． メ イ ン プ ロ フ ァ イ ル の 仕 様 を 表 2に 示 す ．

2.7.

VBV (Virtual Buffer Verifier)

MPEG-2 ビ デ オ に よ り 生 成 さ れ る フ レ ー ム 毎 の デ ー タ 量 の 例 を 図 4 に 示 す ．I ピ ク チ ャ で は 予 測 符 号 化 を 用 い る こ と が で き な い た め ， デ ー タ 量 は 必 然 的 に 大 き く な る ．P ピ ク チ ャ で は I ピ ク チ ャ か ら の 予 測 を 用 い る こ と が で き る た め ， 同 程 度 の 画 品 質 を 得 る た め に は デ ー タ 量 は 1/4 程 度 で 済 む ．B ピ ク チ ャ で は 双 方 向 の 予 測 が 効 果 を 発 揮 す る た め ， さ ら に 少 な い デ ー タ 量 と な る ． 画 像 中 の オ ブ ジ ェ ク ト が 平 行 移 動 だ け の 場 合 に は ，ほ ぼ 動 き ベ ク ト ル だ け の デ ー タ で 画 像 を 構 成 で き ， DCT係 数 を 必 要 と し な い こ と に な る ．こ の よ う な 場 合 に は Bピ ク チ ャ の デ ー タ 量 は 極 端 に 減 少 す る ．

フ レ ー ム 毎 に 発 生 情 報 量 が 大 き く 変 化 す る た め ， 一 定 レ ー ト の チ ャ ネ ル に デ ー タ を 転 送 す る た め に は バ ッ フ ァ メ モ リ が 必 須 と な る ．

図4 フ レ ー ム 毎 の デ ー タ 量 の 例

表2 メ イ ン レ ベ ル ・ メ イ ン プ ロ フ ァ イ ル の 仕 様

項 目 内 容

画 像 フ ォ ー マ ッ ト ITU-R601サ イ ズ 以 下

(720x480x29.97Hz, 720x576x25Hz) 符 号 化 ビ ッ ト レ ー ト 15Mbit/s以 下

色 差 形 式 4:2:0

ピ ク チ ャ タ イ プ I, P, B

符 号 化 構 造 フ レ ー ム 構 造 お よ び フ ィ ー ル ド 構 造 動 き 補 償 フ レ ー ム 間 予 測

フ レ ー ム 構 造 の 場 合 フ ィ ー ル ド 構 造 の 場 合

フ レ ー ム 16x16, フ ィ ー ル ド16x8, デ ュ ア ル プ ラ イ ム 予 測 フ ィ ー ル ド16x16, フ ィ ー ル ド 16x8, デ ュ ア ル プ ラ イ ム 予 測 動 き ベ ク ト ル の 範 囲 -127.5～127.5画 素 ，0.5画 素 精 度

バ ッ フ ァ サ イ ズ 1 835 008ビ ッ ト 以 下

互 換 性 MPEG-1互 換 （MPEG-2デ コ ー ダ がMPEG-1符 号 化 ビ ッ ト ス ト リ ー ム を 復 号 可 能 ）

イ ン ト ラ DC係 数 予 測 10ビ ッ ト 以 下

イ ン ト ラ VLC MPEG-1お よ び 新 テ ー ブ ル を ピ ク チ ャ レ イ ヤ で 選 択 DCT係 数 ス キ ャ ン ジ グ ザ グ お よ び 新 ス キ ャ ン を ピ ク チ ャ レ イ ヤ で 選 択 エ ラ ー 耐 性 イ ン ト ラ マ ク ロ ブ ロ ッ ク に 動 き ベ ク ト ル 付 加

VBRモ ー ド 含 ま れ る

復 号 器 （ デ コ ー ダ ） 側 で は ， 一 定 転 送 速 度 の チ ャ ネ ル か ら デ ー タ を 受 け て バ ッ フ ァ メ モ リ に 蓄 え た 後 ， 復 号 を 開 始 す る ． そ の 際 に バ ッ フ ァ メ モ リ が 空 に な っ た り ， オ ー バ ー フ ロ ー し た り し な い こ と が 重 要 で あ る ． そ こ で 符 号 化 器 （ エ ン コ ー ダ ） で は ， 仮 想 的 に 復 号 バ ッ フ ァ 検 証 器(Virtual Buffer Verifier) を 持 ち ，1フ レ ー ム 毎 の 符 号 化 ビ ッ ト 数 が オ ー バ ー フ ロ ー や ア ン ダ ー フ ロ ー を 起 こ さ な い よ う に 符 号 化 制 御 を 行 う ． ど れ だ け バ ッ フ ァ に デ ー タ が 溜 ま っ た 時 点 で 復 号 を 開 始 す れ ば 良 い か を 示 す 値 は ヘ ッ ダ に 書 き 込 ま れ る 必 要 が あ る ． こ の 値 が 大 き い と ス ト リ ー ミ ン グ な ど の Web ア プ リ ケ ー シ ョ ン で は ， デ ー タ を 受 信 し て か ら 再 生 ま で の 時 間 が 長 く な る と い う 問 題 を 生 じ る ．

3. MPEG-4 AVC (H.264) 3.1. 共 同 規 格

MPEG-4 AVC， はISO/IEC JTC 1とITU-T の 共 同 作 業 グ ル ー プ(Joint Video Team: JVT)に よ り2003年 に 作 成 さ れ た 動 画 像 符 号 化 標 準(ISO/IEC 14496-10)で あ る ． 特 徴 は 圧 縮 率 を 高 め た こ と に あ り ，ISO/IEC に お け る 名 称 は 高 度 ビ デ オ 符 号 化(Advanced Video Coding)で あ り ，ITU-T で は ，H.264 と 呼 ば れ る ．AVC は MPEG-4 のPart10と い う 位 置 付 け で あ る が ， い わ ゆ る MPEG-4 ビ デ オ(MPEG-4 Part2)の 特 徴 で あ る オ ブ ジ ェ ク ト ベ ー ス の 符 号 化 で は な く ， 符 号 化 効 率 の 向 上 を 目 指 し た も の で あ る ． ま た ，H.264 はITU-T 側 か ら 見 れ ば ， テ レ ビ 電 話 用 に 開 発 さ れ たH.261，H.263を 継 承 す る 高 性 能 な ビ デ オ 符 号 化 で あ る ．

3.2.

符 号 化 効 率

AVC は 通 常 の MPEG 符 号 化 に 比 べ て 1.5－2 倍 の 符 号 化 効 率 を 達 成 で き る ． 基 本 的 な 符 号 化 ア ル ゴ リ ズ ム は ，従 来 のMPEGと 同 様 に マ ク ロ ブ ロ ッ ク 単 位 の 予 測 や 直 交 変 換 や 量 子 化 を 用 い る ． し か し ， 予 測 や 変 換 に 使 わ れ る 符 号 化 ツ ー ル は 非 常 に 数 多 く ， そ れ ら の 中 か ら 最 適 な も の を 選 び 出 し て 使 う 仕 組 み を と っ て い る ． 一 方 ， 新 し い エ ン ト ロ ピ ー 符 号 化 や ブ ロ ッ ク 除 去 フ ィ ル タ は 従 来 のMPEG符 号 化 に は な か っ た 技 術 要 素 で あ り ， 符 号 化 効 率 す な わ ち 同 ビ ッ ト レ ー ト で の 画 質 改 善 に 大 き く 貢 献 し て い る ． 特 に MPEG-2に 比 べ て ， 可 変 ブ ロ ッ ク サ イ ズ 動 き 補 償 ，重 み 付 き 予 測 ，INTRA予 測 ， デ ブ ロ ッ キ ン グ フ ィ ル タ ， エ ン ト ロ ピ ー 符 号 化 な ど が 性 能 改 善 に 大 き く 貢 献 し て い る ．

3.3. スライス

AVCで は1フ レ ー ム の 画 像 の 中 で 異 な っ た 種 類 の 予 測 を ス ラ イ ス 単 位 で 用 い る こ と が で き る ． ス ラ イ ス に は ，I-ス ラ イ ス ，P-ス ラ イ ス ，B-ス ラ イ ス が あ る ．I- ス ラ イ ス で は ，16×16 画 素 の ブ ロ ッ ク 単 位 に 周 辺 の 画 素 値 を 用 い て 4 種 類 の 外 挿 予 測 を 行 う ． ま た 16×16

画 素 の ブ ロ ッ ク を 4分 割 し ，4×4画 素 の ブ ロ ッ ク 単 位 に 9種 類 の 外 挿 予 測 を 切 り 替 え て 用 い る こ と が で き る ． こ れ ら は INTRA予 測 と 呼 ば れ る ．

P-ス ラ イ ス で は ， 可 変 ブ ロ ッ ク 動 き 補 償 フ レ ー ム 間 予 測 を 行 う ．16×16画 素 の ブ ロ ッ ク を ，16×8, 8×16， 8×8画 素 の 4種 類 に 分 割 し て 処 理 で き る ．8×8画 素 の ブ ロ ッ ク は ， さ ら に ，8×4, 4×8，4×4画 素 の 4種 類 の サ イ ズ に 分 割 で き る ．

B-ス ラ イ ス は ， 必 ず し も 時 間 的 に 過 去 と 未 来 の フ レ ー ム か ら 予 測 す る の で は な く ， 過 去 の 2つ の フ レ ー ム か ら 加 重 平 均 し て 予 測 画 像 を 生 成 す る こ と が で き る ． こ の た め ， フ ェ ー ド イ ン や フ ェ ー ド ア ウ ト と い っ た 徐 々 に 輝 度 が 変 化 す る よ う な 場 合 に も ， 効 率 良 く 予 測 が 行 え る ．

動 き ベ ク ト ル は1/4画 素 精 度 で 計 算 さ れ る ．1/2画 素 精 度 の た め の 画 素 値 の 計 算 に は 6タ ッ プ の FIRフ ィ ル タ が 用 い ら れ る ． 次 に 1/4 画 素 精 度 の た め の 画 素 値 の 計 算 に は ，縦 横 あ る い は 斜 め 方 向 に 2タ ッ プ の FIRフ ィ ル タ が 用 い ら れ る ．P-ス ラ イ ス の 予 測 に 用 い る 画 像 は ， 既 に 符 号 化 し た 画 像 の な か か ら ， い く つ か の 画 像 を 指 定 し て 行 わ れ る ． こ の た め に ， 符 号 化 済 み の 画 像 に 対 し て ， 予 測 に 用 い る か ど う か を 示 す 参 照 ピ ク チ ャ リ ス ト が 準 備 さ れ る ．

3.4.

可 変 ブロックサイズ動 き補 償

AVCに お け る 変 化 の 最 小 単 位 は ，予 測 の 最 小 単 位 で あ る 4×4画 素 の ブ ロ ッ ク で あ る ．さ ら に ，実 数 演 算 に 起 因 す るDCTとIDCTの ミ ス マ ッ チ を 避 け る た め に ， DCTを 近 似 し た 変 換 を2.5倍 し て 整 数 化 し た 変 換Tが 用 い ら れ ， 整 数 精 度 DCT と 呼 ば れ る ． ま た ， 逆 変 換 T-1も 対 応 す る 整 数 変 換 で 与 え ら れ る ．

ま た ，イ ン ト ラ モ ー ド の 16×16 画 素 の ブ ロ ッ ク に つ い て は ，4x4の 整 数 変 換 に よ り 16個 のDC係 数 が 得 ら れ る ． こ れ ら の DC 係 数 に 対 し て は ア ダ マ ー ル 変 換 を 用 い る ．色 差 成 分 Cr, Cbの ブ ロ ッ ク に つ い て は ，サ イ ズ が 縦 横 1/2 で あ る た め ， そ れ ぞ れ 4 個 の DC成 分 に 対 し て ア ダ マ ー ル 変 換 を 用 い る ．

3.5.

エントロピー符 号 化

エ ン ト ロ ピ ー 符 号 化 は AVC に お い て 特 に 大 き く 変 わ っ た 点 で あ る ． 改 良 型 の ハ フ マ ン 符 号 化 の 他 に ， 算 術 符 号 化 が 取 り 入 れ ら れ た ． ま た ， ピ ク チ ャ ヘ ッ ダ な ど の 重 要 な 情 報 に は ， 誤 り 耐 性 の 強 い 指 数 ゴ ロ ム (Golomb) 符 号 化 が 用 い ら れ る ．指 数 ゴ ロ ム 符 号 は ，符 号 の 先 頭 か ら ，プ リ フ ィ ッ ク ス（ 数 個 の 符 号“0”），セ パ レ ー タ （ 符 号 “1”）， サ フ ィ ッ ク ス （ 数 個 の “1” と

“0”の 組 み 合 わ せ ）か ら な る ．プ リ フ ィ ッ ク ス と サ フ ィ ッ ク ス の 長 さ は 同 じ で あ る ．最 も 短 い 符 号 は“1”で あ り ，ビ ッ ト 数 を 増 や す に 従 い ，順 次“010”, “011”

と 続 く ． こ れ ら を 非 負 整 数 値 に 対 応 さ せ る ．

指 数 ゴ ロ ム 符 号 を 使 用 し な い 部 分 に 対 し て は ， 改 良 型 ハ フ マ ン 符 号 化 で あ る CAVLC (Context-based Adaptive Variable Length Coding， コ ン テ キ ス ト 適 応 型 可 変 長 符 号 化) と ， 算 術 符 号 化 の CABAC (Context- based Adaptive Binary Arithmetic Coding，コ ン テ キ ス ト 適 応 型2値 算 術 符 号 化) が 用 い ら れ る ．AVCの メ イ ン プ ロ フ ァ イ ル で は ， こ れ ら は ピ ク チ ャ 単 位 に 切 替 え 可 能 で あ る が ， ベ ー ス ラ イ ン プ ロ フ ァ イ ル や 拡 張 プ ロ フ ァ イ ル で は ，CAVLCの み 使 用 で き る ．

3.6. AVC

プロファイル

AVCに は 表3に 示 す 基 本 的 な3つ の プ ロ フ ァ イ ル が あ り ， 予 測 に 用 い る ス ラ イ ス の 種 類 ， エ ン ト ロ ピ ー 符 号 化 ， イ ン タ レ ー ス 対 応 の 観 点 か ら 決 め ら れ る ． レ ベ ル は 15 種 類 が 符 号 化 ビ ッ ト レ ー ト(64kbit/sec－ 240Mbit/sec) に 応 じ て 設 定 さ れ る ．

ベ ー ス ラ イ ン プ ロ フ ァ イ ル は ， エ ラ ー 耐 性 に 優 れ て お り ， テ レ ビ 電 話 や テ レ ビ 会 議 ， 携 帯 電 話 な ど に 用 い ら れ る ． メ イ ン プ ロ フ ァ イ ル は ， 高 圧 縮 用 で あ り ， 放 送 や 蓄 積 メ デ ィ ア に 適 す る ． 拡 張 プ ロ フ ァ イ ル は イ ン タ ー ネ ッ ト で の 利 用 を 目 的 と す る ． 特 に ベ ー ス ラ イ ン プ ロ フ ァ イ ル は ， 既 に テ レ ビ 会 議 装 置 や 地 上 波 デ ジ タ ル 放 送 （ ワ ン セ グ ） に 採 用 さ れ て い る ．

表3 AVCに お け る プ ロ フ ァ イ ル プ ロ フ ァ イ

ル

ス ラ イ ス の 種 類

エ ン ト ロ ピ ー 符 号 化

イ ン タ レ ー ス 対 応 ベ ー ス ラ イ

ン

I, P-ス ラ イ ス

CAVLC 不 可

拡 張 I, P, B-ス ラ

イ ス

CAVLC 不 可

メ イ ン I, P, B-ス ラ イ ス

CAVLC, CABAC

可

4.

ア プ リ ケ ー シ ョ ン

4.1. TS

と

PS

テ レ ビ ジ ョ ン 放 送 や 通 信 で 用 い ら れ るMPEG-2は 蓄 積 メ デ ィ ア と は 異 な っ た 多 重 化 が 行 わ れ る ． オ ー デ ィ オ デ ー タ や 他 の メ タ デ ー タ と 共 に 多 重 化 さ れ た ビ デ オ デ ー タ は ， 伝 送 目 的 の 場 合 ト ラ ン ス ポ ー ト ス ト リ ー ム (Transport Stream; TS) と い う 形 式 に 整 形 さ れ る ．一 方 ， 蓄 積 メ デ ィ ア で は プ ロ グ ラ ム ス ト リ ー ム と (Program Stream; PS) い う 形 式 に 整 形 さ れ る ．ト ラ ン ス ポ ー ト ス ト リ ー ム は188バ イ ト の 小 さ な パ ケ ッ ト で あ り ， オ ー デ ィ オ デ ー タ が 一 定 間 隔 で 挿 入 さ れ る ． デ ー タ を 受 信 次 第 ， 順 次 復 号 再 生 す る ア プ リ ケ ー シ ョ ン に 適 し て い る ． プ ロ グ ラ ム ス ト リ ー ム は1フ レ ー ム 分 の 圧 縮 画 像 デ ー タ と オ ー デ ィ オ デ ー タ を 並 べ て ， 大 き な パ ケ ッ ト と し て 扱 う ． 遅 延 が 許 容 で き る 蓄 積 メ デ ィ ア の ア プ リ ケ ー シ ョ ン に 適 し て い る ．

4.2.

エラー耐 性

通 信 時 の ネ ッ ト ワ ー ク エ ラ ー や DVD か ら の 転 送 エ ラ ー が 生 じ た 場 合 ， ビ ッ ト エ ラ ー に 近 け れ ば 映 像 は 基 本 的 に ス ラ イ ス 単 位 で 壊 れ る ． 復 号 側 の 機 能 と し て 前 フ レ ー ム の 画 像 で 補 完 し た り ， 動 き ベ ク ト ル を 用 い て エ ラ ー を 目 立 た な く し た り す る 工 夫 が 可 能 で あ る ． し か し バ ー ス ト エ ラ ー の よ う な 場 合 に は ， 次 の Ｉ ピ ク チ ャ 或 い は I ス ラ イ ス ま で 正 常 な 復 号 が 不 可 能 と な る ． そ の た め 放 送 な ど で は GOPサ イ ズ を 15，す な わ ち1/2 秒 毎 に 回 復 可 能 に 設 定 し て い る ．

4.3.

YouTube

YouTube で は 低 ビ ッ ト レ ー ト 向 け の 独 自 の 符 号 化 方 式On2に 代 え て ，MPEG-4 AVCが 使 用 さ れ 始 め て い る ． ビ デ オ を ア ッ プ ロ ー ド す る 際 にHDTVレ ベ ル の 高 精 細 ， 高 品 質 な デ ー タ を 送 っ て も ， 通 常 の ス ト リ ー ミ ン グ 時 に は 低 品 質 な 映 像 と し て 提 供 さ れ る ． し か し ， サ ー バ 内 部 に は 高 品 質 な バ ー ジ ョ ン も 存 在 し て い る ．URLの 最 後 尾 に&fmt=22 な ど ア ッ プ ロ ー ド 時 の フ ォ ー マ ッ ト に 対 応 し た 英 数 字 を 追 加 す る と ， 元 の 品 質 で の 画 像 再 生 が 可 能 と な る ． こ の オ プ シ ョ ン を 多 く の ユ ー ザ が 用 い る と ネ ッ ト ワ ー ク の ト ラ ヒ ッ ク が 急 増 す る 可 能 性 が あ る ．

5. む す び

本 稿 で は ，MPEG ビ デ オ 符 号 化 方 式 に つ い て ， ネ ッ ト ワ ー ク 帯 域 の 消 費 量 が 大 き い と 考 え ら れ る MPEG-2 の ビ デ オ 符 号 化 方 式 を 中 心 に ， 圧 縮 さ れ た ビ ッ ト ス ト リ ー ム の 生 成 及 び 転 送 の 仕 組 み に つ い て 解 説 し た ．

文 献

[1] 亀 山 渉 、 花 村 剛, “改 訂 版 デ ジ タ ル 放 送 教 科 書

（ 上 ）MPEG-1/2/4～H.264/AVC”, イ ン プ レ ス 標 準 教 科 書 シ リ ー ズ, Sep. 2004.