博士論文審査結果報告書

1

早稲田大学大学院情報生産システム研究科

博士論文審査結果報告書

論 文 題 目

L o w - c o m p l e x i t y S V C / AV C Tr a n s c o d e r b a s e d o n D a t a E x p l o i t a t i o n a n d A p p r o x i m a t i o n f o r Vi d e o c o n f e r e n c i n g

申 請 者 Lei SUN

情報生産システム工学専攻 画像情報システム研究

2013 年 6 月

2

ビ デ オ 会 議 シ ス テ ム は 、 離 れ た 地 点 間 で 、 デ ジ タ ル 化 さ れ た 映 像 や 音 声 を リ ア ル タ イ ム に や り 取 り す る こ と を 可 能 に す る も の で あ り 、企 業 の み な ら ず 、 あ ら ゆ る 組 織 に お い て 必 要 不 可 欠 な コ ミ ュ ニ ケ ー シ ョ ン ツ ー ル と な っ て き て い る 。 テ レ ビ 会 議 シ ス テ ム を 実 現 す る た め の 最 も キ ー と な る 技 術 が 動 画 像 圧 縮 で あ る が 、 従 来 の シ ス テ ム の 多 く は 、 国 際 標 準 と し て 様 々 な ア プ リ ケ ー シ ョ ン に 展 開 さ れ て い る H . 2 6 4 / AV C ( A d v a n c e d Vi d e o C o d i n g )が 用 い ら れ て き て い る 。 一 方 、2 0 0 7 年 、AV C の 拡 張 仕 様 と し て H . 2 6 4 / S V C ( S c a l a b l e Vi d e o

C o d i n g )が 標 準 化 さ れ て い る 。S V C は 、 複 数 の サ ブ セ ッ ト の ビ ッ ト ス ト リ ー

ム を 統 合 し 、 単 一 の ビ ッ ト ス ト リ ー ム と し て 伝 送 を 可 能 に す る 技 術 で あ り 、 サ ブ セ ッ ト の ビ ッ ト ス ト リ ー ム を 空 間 (異 な る 画 素 数)、 時 間 (異 な る フ レ ー ム レ ー ト)、 品 質 (異 な る P S N R )の 3 つ の ス ケ ー ラ ビ リ テ ィ を 有 す る 積 層 構 造 で 構 成 し て お り 、必 要 と な る ス ト リ ー ム を 適 応 的 に 抽 出 す る こ と が で き る 。 こ の 仕 組 み に よ り 、 解 像 度 、 演 算 性 能 、 通 信 性 能 な ど の 仕 様 の 異 な る 様 々 な 端 末 間 で 動 画 像 の や り 取 り が 可 能 と な り 、 次 世 代 の ビ デ オ 会 議 の た め の 圧 縮 技 術 と し て 期 待 さ れ て い る 。

近 年 、S V C を ベ ー ス と し た ビ デ オ 会 議 シ ス テ ム が 製 品 化 さ れ 、 市 場 に 広 が り つ つ あ る が 、依 然 と し て 従 来 の AV C ベ ー ス の ビ デ オ 会 議 シ ス テ ム も 多 く 使 わ れ て い る と い う の が 現 状 で あ る 。AV C と S V C は 、 ビ ッ ト ス ト リ ー ム の 仕 様 が 異 な る た め 、 双 方 で 通 信 す る こ と は で き な い 。 こ の た め 、S V C と AV C の シ ス テ ム 間 の ビ デ オ 会 議 を 可 能 に す る に は 、S V C / AV C フ ォ ー マ ッ ト 間 の ト ラ ン ス コ ー デ ィ ン グ 処 理 が 必 要 と な る 。 こ の 解 決 策 の 一 つ と し て 、 デ コ ー ダ と エ ン コ ー ダ を カ ス ケ ー ド 接 続 し た 再 符 号 化 方 式 ( R e - e n c o d i n g m e t h o d ) が あ る 。 再 符 号 化 方 式 は 、 入 力 ビ ッ ト ス ト リ ー ム を 一 度 完 全 に デ コ ー ド し た 後 、 再 び エ ン コ ー ド す る 手 法 で あ る が 、 デ コ ー ダ と エ ン コ ー ダ の 両 者 の 演 算 処 理 が 必 要 と な り 、 シ ス テ ム 全 体 の 演 算 量 は 膨 大 と な る 。 高 価 な ハ ー ド ウ ェ ア エ ン ジ ン 等 を 必 要 と せ ず 、 汎 用 的 な プ ロ セ ッ サ 上 で 実 時 間 処 理 可 能 な ビ デ オ 会 議 シ ス テ ム を 実 現 す る た め に は 、 種 々 の ト ラ ン ス コ ー デ ィ ン グ 処 理 を 低 演 算 量 で 処 理 で き る ア ル ゴ リ ズ ム が 強 く 求 め ら れ て き て い る 。

本 論 文 は 、 上 記 の 課 題 を 解 決 す る た め 、 次 世 代 の ビ デ オ 会 議 シ ス テ ム 実 現 の キ ー と な る 、S V C と AV C 間 の ト ラ ン ス コ ー ダ の 低 演 算 量 化 の た め に 取 り 組 ん だ 研 究 成 果 に つ い て ま と め た も の で あ る 。S V C シ ス テ ム と AV C シ ス テ ム の 双 方 向 で の 通 信 を 可 能 と す る た め 、S V C か ら AV C と の そ の 逆 の ２ 方 向 の ト ラ ン ス コ ー ダ を 視 野 に 入 れ て い る 。 ま た 、 空 間 、 時 間 、 品 質 の ３ つ の ス ケ ー ラ ビ リ テ ィ の う ち 、 時 間 方 向 の ス ケ ー ラ ビ リ テ ィ は フ レ ー ム 遅 延 が 大 き い た め 、 即 時 性 が 重 要 と な る ビ デ オ 会 議 シ ス テ ム で は 、 利 用 で き な い 。 こ の た め 、 空 間 と 品 質 に 注 力 し て い る 。 さ ら に 、S V C で は 、 固 定 の 符 号 化 構 造 が 用 い ら れ て い る が 、AV C で は 固 定 と 可 変 の ２ 種 類 が 存 在 す る た め 、 同 種 間 ( H o m o g e n e o u s )と 異 種 間 ( H e t e r o g e n e o u s )の 両 者 の ト ラ ン ス コ ー ダ を 取 り 上 げ て い る 。

低 演 算 量 化 の た め の 方 策 と し て は 、 デ ー タ 再 利 用 と デ ー タ 近 似 の ２ つ の ア プ ロ ー チ を 提 案 し て い る 。 デ ー タ 再 利 用 は 、 符 号 化 モ ー ド 、 動 き ベ ク ト ル 、 残 余 な ど の 入 力 ス ト リ ー ム に 含 ま れ る デ ー タ を 利 用 し て 、 処 理 を ス キ ッ プ さ せ る 事 に よ り 、 演 算 量 の 削 減 を 図 る も の で あ る 。 ま た 、 デ ー タ 近 似 は 、 演 算 量 の 多 い モ ジ ュ ー ル を 、 低 演 算 量 な 処 理 で 近 似 し 、 置 き 換 え る 事 に よ り 、 処 理 の 削 減 を 可 能 に す る も の で あ る 。

3

以 下 に 各 章 毎 の 概 略 を 述 べ 、 評 価 を 加 え る こ と と す る 。

第 1 章 で は 、 テ レ ビ 会 議 シ ス テ ム の 現 状 、AV C お よ び S V C の 特 徴 、S V C / AV C ト ラ ン ス コ ー ダ の 必 要 性 や 、 既 存 の ト ラ ン ス コ ー ド 技 術 な ど 、 研 究 の 背 景 を 述 べ た 後 、 本 論 文 の 着 眼 点 や 目 標 を 述 べ て い る 。

第 2 章 で は 、粗 レ ベ ル ( C o a r s e L e v e l )の モ ー ド マ ッ ピ ン グ に 基 づ く 空 間 ス ケ ー ラ ビ リ テ ィ 向 け の AV C - > S V C ト ラ ン ス コ ー ダ ア ル ゴ リ ズ ム を 提 案 し て い る 。 こ の 提 案 手 法 で は 、 符 号 化 モ ー ド と 動 き ベ ク ト ル の 情 報 を 再 利 用 す る こ と に よ り 低 演 算 量 化 を 図 っ て い る 。従 来 技 術 は 、決 定 論 的 ( D e t e r m i n i s t i c ) な モ ー ド マ ッ ピ ン グ 手 法 を 用 い て お り 、S V C の 符 号 化 モ ー ド は 、AV C の 入 力 デ ー タ か ら 直 接 算 出 さ れ る 。 一 方 、 提 案 手 法 で は 、 非 決 定 論 的 ( N o n - d e t e r m i n i s t i c )手 法 を 用 い て お り 、 最 初 に AV C フ レ ー ム の 同 一 位 置 の 符 号 化 モ ー ド お よ び 探 索 範 囲 に 存 在 す る モ ー ド を 用 い て 、 適 応 的 に モ ー ド を 決 定 す る 。 さ ら に 、 分 割 マ ッ ピ ン グ に よ り 、 探 索 範 囲 内 の テ ク ス チ ャ の 滑 ら か さ に 応 じ て 複 数 の 候 補 を 設 け 、 よ り 最 適 な も の を 選 択 す る こ と に よ り 、 画 質 損 失 を 最 小 限 に 抑 え て い る 。 本 手 法 を ソ フ ト ウ ェ ア 実 装 し 、 多 種 多 様 な ビ デ オ 会 議 シ ー ン を 想 定 し た 評 価 画 像 を 用 い て 評 価 し た 結 果 、 再 符 号 化 方 式 と 比 較 し 平 均 8 2 . 7 %の 処 理 時 間 削 減 が 可 能 な 事 を 示 し て い る 。 こ れ は 、 従 来 の 代 表 的 手 法 で あ る R . S a c h d e v e ( I C I S , 2 0 0 9 )と 比 較 し て 、2 . 1 倍 の 削 減 率 と な っ て い る 。 ま た 、R . S a c h d e v e の 手 法 の 画 質 損 失 が 約 1 d B と 大 き い の に 対 し て 、 提 案 手 法 で は 、 同 じ ビ ッ ト レ ー ト で の 画 質 損 失 は 、 平 均 0 . 11 d B と 極 め て 小 さ く な っ て い る 。

第 ３ 章 で は 、 ハ イ ブ リ ッ ド 領 域 ト ラ ン ス コ ー デ ィ ン グ に 基 づ く 空 間 ス ケ ー ラ ビ リ テ ィ 向 け の S V C - > AV C ト ラ ン ス コ ー ダ ア ル ゴ リ ズ ム を 提 案 し て い る 。 従 来 手 法 で は 、 画 素 領 域 あ る い は 周 波 数 領 域 の い ず れ か で ト ラ ン ス コ ー デ ィ ン グ 処 理 を 行 っ て い る 。 周 波 数 領 域 で の 処 理 は 、 演 算 量 が 少 な い が 符 号 化 効 率 が 悪 く 、周 波 数 領 域 で は 、画 素 領 域 よ り も 高 い 符 号 化 効 率 が 期 待 で き る が 、 演 算 量 は 多 い 。 そ こ で 、 提 案 手 法 で は 、S V C フ レ ー ム 内 の マ ク ロ ブ ロ ッ ク を AV C と 互 換 性 の あ る グ ル ー プ と 互 換 性 の な い グ ル ー プ の 二 つ 分 け 、前 者 は 周 波 数 領 域 、 後 者 は 画 素 領 域 で 処 理 す る ハ イ ブ リ ッ ド 手 法 を 用 い て い る 。 し か し 、 こ の ハ イ ブ リ ッ ド 手 法 は エ ラ ー が フ レ ー ム 毎 に 蓄 積 す る ド リ フ ト( d r i f t ) 問 題 を 引 き 起 こ す 。 こ の 問 題 を 解 決 す る た め 、 基 準 フ レ ー ム ( I f r a m e )に 対 し て は 、 新 た な レ ー ト 歪 み 最 適 化 ( R a t e - D i s t o r t i o n O p t i m i z a t i o n )手 法 を 提 案 す る こ と に よ り 予 測 画 素 の 精 度 を 高 め 、 画 質 を 改 善 し て い る 。 ま た 、 予 測 フ レ ー ム ( P f r a m e )で は 、積 算 さ れ た ド リ フ ト エ ラ ー を 評 価 し 、当 該 フ レ ー ム の 入 力 に 加 え る 事 に よ り エ ラ ー 補 償 し て い る 。 評 価 の 結 果 、 再 符 号 化 手 法 と 比 較 し て 、 平 均 9 6 . 4％ の 処 理 時 間 削 減 が 可 能 な 事 を 示 し て い る 。 こ れ は 、 従 来 の 代 表 手 法 で あ る H . L i u ( I C M E , 2 0 0 9 )と 比 較 し て 、2 . 1 倍 の 削 減 率 と な っ て い る 。ま た 、提 案 手 法 の 画 質 損 失 は H . L i u の 手 法 と 比 較 し て 、同 じ ビ ー ト レ ッ ト で 0 . 1 - 0 . 5 d B 改 善 し て い る 。

第 4 章 で は 、 量 子 化 領 域 の 動 き 補 償 と イ ン ト ラ 予 測 に 基 づ く 品 質 ス ケ ー ラ ビ リ テ ィ 向 き の S V C - > AV C 同 種 間 ト ラ ン ス コ ー ダ ア ル ゴ リ ズ ム を 提 案 し て い る 。P. A s s u n c a o ( I C A S S P, 1 9 9 6 )に よ っ て 提 案 さ れ た 画 素 領 域 で の 単 一 ル ー プ ( S i n g l e l o o p )ト ラ ン ス コ ー デ ィ ン グ 手 法 が 、従 来 技 術 と し て 幅 広 く 用 い ら れ て い る が 、変 換 処 理 に 多 く の 演 算 量 が 必 要 で あ る 。そ こ で 、本 提 案 で は 、 画 素 領 域 で は な く 変 換 処 理 後 の 量 子 化 領 域 に お け る 係 数 を 直 接 用 い 、 変 換 処

4

理 を 完 全 に ス キ ッ プ さ せ る こ と に よ り 、 演 算 量 を 大 幅 に 削 減 し て い る 。 具 体 的 に は 、 動 き 補 償 処 理 に お け る 予 測 器 は 、 オ ー バ ー ラ ッ プ す る マ ク ロ ブ ロ ッ ク の 面 積 に 比 例 す る 重 み 付 け を 行 っ た 和 で 近 似 し て い る 。 一 方 、 イ ン ト ラ 予 測 処 理 で は 、 隣 接 す る マ ク ロ ブ ロ ッ ク に お い て 、 マ ク ロ ブ ロ ッ ク の 何 画 素 が イ ン ト ラ 予 測 に 用 い ら れ て い る か で 重 み 付 け を 行 い 、 そ れ ら の 和 で 近 似 し て い る 。 評 価 の 結 果 、 提 案 手 法 は 、 単 一 ル ー プ 手 法 に 基 づ い て 実 装 し た も の と 比 較 し て 4 . 8 倍 高 速 に 処 理 可 能 で 、 再 符 号 化 方 式 と 比 較 し て 約 0 . 7 1 d B の 画 質 損 失 で 、平 均 9 8 . 1 %の 極 め て 大 き な 処 理 時 間 削 減 が 可 能 な 事 を 示 し て い る 。 第 5 章 で は 、 ペ ア 型 モ ー ド マ ッ ピ ン グ と 動 き ベ ク ト ル 予 測 ・ 絞 り 込 み に 基 づ く 品 質 ス ケ ー ラ ビ リ テ ィ 向 き の S V C - > AV C 異 種 間 ト ラ ン ス コ ー ダ ア ル ゴ リ ズ ム を 提 案 し て い る 。 従 来 は 、 第 ４ 章 に 示 し た 同 種 間 ト ラ ン ス コ ー デ ィ ン グ 手 法 の み が 提 案 さ れ て い る が 、 こ れ ら は 、 多 く の 演 算 量 を 削 減 可 能 な 一 方 で 、 対 象 動 画 に よ っ て は 画 質 劣 化 が 大 き く 、 高 品 質 が 重 要 と な る シ ス テ ム に は 適 用 で き な い 。 そ こ で 、 本 提 案 で は 、 新 た な 概 念 と し て 、AV C に お い て 一 般 的 に 用 い ら れ る 複 数 参 照 フ レ ー ム に 基 づ く I P P P 符 号 化 構 造 へ の 異 種 間 ト ラ ン ス コ ー ダ を 提 案 し 、 符 号 化 効 率 の 改 善 を 図 っ て い る 。 画 質 劣 化 と 演 算 量 増 大 を 抑 さ え る た め 、提 案 手 法 で は 、対 応 す る フ レ ー ム に 対 し て 、入 力 の S V C モ ー ド だ け で な く 、 イ ン ト ラ モ ー ド 方 向 の 最 も 近 い ２ つ の モ ー ド を ペ ア に し て チ ェ ッ ク し て い る 。 一 方 、 対 応 し な い 参 照 フ レ ー ム に 対 し て は 、 動 き ベ ク ト ル を 、 ま ず 既 知 の 動 き ベ ク ト ル の 組 み 合 わ せ に よ り 予 測 し 、 さ ら に 、 予 測 さ れ た 動 き ベ ク ト ル は 、 参 照 フ レ ー ム の 回 り の 近 接 ブ ロ ッ ク を 用 い て さ ら に 絞 り 込 み を 行 っ て い る 。 評 価 の 結 果 、 提 案 手 法 は 、 再 符 号 化 方 式 と 比 較 し て 平 均 的 に 9 4 . 3 %の 処 理 時 間 削 減 が 可 能 な 事 を 示 し て い る 。 一 方 、 同 じ ビ ッ ト レ ー ト で の 画 質 損 失 は 0 . 0 4 8 d B で あ り 、 同 種 間 ト ラ ン ス コ ー ダ を 用 い た 場

合 の 0 . 3 3 d B と 比 較 し て 、 極 め て 小 さ く な っ て い る 。

第 ６ 章 は 、結 論 と し て 、本 論 文 の ま と め と 今 後 の 課 題 に つ い て 述 べ て い る 。 以 上 が 本 論 文 の 評 価 の 概 要 で あ る が 、 要 約 す れ ば 、S V C と AV C 間 の ト ラ ン ス コ ー ダ の 低 演 算 量 化 を 目 的 と し て 、 デ ー タ 再 利 用 と デ ー タ 近 似 の 概 念 に 基 づ く 、 双 方 向 、 空 間/品 質 ス ケ ー ラ ビ リ テ ィ 、 同 種/異 種 間 の ト ラ ン ス コ ー デ ィ ン グ ア ル ゴ リ ズ ム を 提 案 し 、 再 符 号 化 方 式 と 比 較 し て 8 2 . 7〜9 8 . 1 %の 処 理 時 間 削 減 を 実 現 し て い る 。 こ れ ら の 成 果 は 、 次 世 代 の ビ デ オ 会 議 シ ス テ ム の キ ー と な る S V C / AV C ト ラ ン ス コ ー デ ィ ン グ 処 理 の 低 演 算 量 化 に 貢 献 し 、 そ の 低 コ ス ト 化 や 応 用 範 囲 拡 大 に 大 き く 寄 与 し て い く と 考 え ら れ 、 実 用 面 で 高 く 評 価 で き る 。 ま た 、 デ ー タ 再 利 用 ・ 近 似 に 着 目 し た ア プ ロ ー チ は 、 種 々 の ト ラ ン ス コ ー ダ の 低 演 算 量 化 手 法 と し て 有 効 で あ る こ と を 示 し た 点 に お い て 、 学 術 面 で も 高 く 評 価 で き る 。 よ っ て 本 論 文 は 、 博 士(工 学)学 位 論 文 と し て 価 値 の あ る も の と 認 め る 。

2 0 1 3 年 5 月 2 9 日 審 査 員

主 査 早稲田大学 教授 博士(情報科学)(早稲田大学) 池永 剛 早稲田大学 教授 博士(工学)(大阪大学) 吉村 猛 早稲田大学 教授 工学博士(京都大学) 木村 晋二 工学院大学 教授 工学博士(早稲田大学) 合志 清一