動画像符号化プロセッサの歴史と将来展望

招待論文

動画像符号化プロセッサの歴史と将来展望

榎本

忠儀

†a)

Advancement and Prospect of Video Codec Processors

Tadayoshi ENOMOTO

†a)

あらまし 動画像符号化プロセッサLSI（符号化 LSI）が世界で初めて開発されたのは 1987 年であった．その 後飛躍的な発展を遂げ，現在のディジタルマルチメディア時代が築かれた．本論文では，まず符号化_{LSI 開発の} 歴史を振返る．次に符号化_{LSI の高速化・高性能化・低電力化を実現するために開発された各種技術を解説する．} 更に，_{MPEG-2 符号化 LSI，MPEG-4 符号化 LSI のチップアーキテクチャ，機能，特徴，H.264/AVC のチッ} プ応用を詳述する．最後に，将来に向けた符号化_{LSI の低電力化技術に言及し，符号化 LSI の将来を展望する．}

キーワード MPEG，H.264/AVC，動画像，符号化，LSI

1.

ま え が き

1980年代の初めDSP（Digital Signal Processor） は既に製品化され，音声処理を中心に通信機器に多 用されていた．しかし，動画像符号化プロセッサLSI （符号化LSI）はまだ実現されていなかった．当時，画 像LSIといえば，積和演算を用いた単純なエッジ検出 ができるチップで，複雑な動画像を符号化することは できなかった．開発の遅れは動画像符号化が複雑な上， 大量のデータを実時間処理しなくてはならない，製造 プロセス技術が集積度・速度の点で成熟していなかっ た，等が主な理由であった．1987年この問題を解決し たプログラム方式・フル符号化機能搭載の符号化LSI が世界で初めて開発され，テレビ（TV）会議システ ムに用いられた[1], [2]． その後，動画像符号化方式が次々と標準化された． 図1に符号化方式，符号化LSIとその応用を示す． 1989年テレビ電話/会議システムの動画像符号化方 式であるH.261が勧告された[3]．1993年にはディ ジタル蓄積メディア（DVD），通信分野，放送分野 （地上デジタルテレビ放送等）向け動画像符号化方式 であるMPEG-2（Moving Pictures Experts Group Phase 2）が規格された[4]．1998年通信速度の低い回

†_{中央大学大学院理工学研究科情報工学専攻，東京都}

Graduate School of Science and Engineering, Chuo Univer-sity 1–13–27 Kasuga, Bunkyo-ku, Tokyo, 112–8551 Japan a) E-mail: [email protected]

線を用いて，携帯テレビ電話等の映像を配信するための MPEG-4標準の仕様が確定された[5]．2003年携帯テ レビ電話からHDTV放送の符号化を目的に，MPEG-4 part-10 AVC (Advanced video coding)/H.264（以下 H.264/AVC）が標準化された[6]． 動画像符号化の規格化に合わせて，ワンチップで DVDの符号化が可能な符号化LSI，携帯テレビ電話 用符号化LSI，SDTV向け1チップ符号化LSI，地上 デジタル放送向け1チップ符号化LSI，High-Profile HDTV向け1チップ符号化LSI等が続々と開発され， これらのLSIを駆使したマルチメディア産業がこの 20年間で目覚ましい発展を遂げた． 本論文では，まず2.で動画像符号化LSI開発の歴 史を振返る．次に3.で符号化LSIの基本チップアー キテクチャとその高速化，高性能化，低電力化技術を 解説する．4.，5.でそれぞれMPEG-2符号化LSI， MPEG-4符号化LSIのチップアーキテクチャ，機能， 特徴を詳述する．6.ではH.264/AVC符号化LSIと その応用を述べ，7.で将来に向けた符号化LSIの低 消費電力化技術を詳述する．最後に8.で動画像符号 化プロセッサと動画像符号化方式を展望する．

2.

動画像符号化

LSI

の歴史

動画像符号化機能をフル搭載したLSIが開発され たのは1987年であった[1], [2]．本符号化LSIはプロ グラム方式の符号化LSIで，P-VSP（Programmable Video Signal Processor）と呼ばれ，世界で初めて開

図 1 動画像符号化方式，動画像符号化プロセッサ LSI とその応用 Fig. 1 History of video codec processors and their applications.

図 2 世界で初めて開発に成功した符号化 LSI（P-VSP）[1] Fig. 2 Photograph of the world’s first video codec processor (P-VSP) in which a flexible multi-stage pipeline architecture is implemented [1].

発に成功した符号化LSIである．図2にP-VSPの チップ写真を示す．動画像符号化LSIの開発は音声通 信向けDSPの開発から15年以上遅れた．遅れの理由 は，複雑でかつ処理量の多い動画像符号化アルゴリズ ムを実時間で高速処理する能力が要求されたこと，規 模が極めて大きい回路を1個のチップに集積するプロ セス技術が成熟していなかったこと，等が挙げられる． LSIの回路規模や消費電力を大幅に削減するため に，符号化アルゴリズム，中でも演算量が最も多い 動きベクトル検出（Motion Estimation：ME）アル ゴリズム，を高速化（すなわち，処理量の大幅な削 減）することが必須である．1980年以後，全探索 法に代わるMEアルゴリズムの改良・開発が相次 いだ．探索点数を制限し，ブロックマッチング数を 低 減 す る 技 術 と し て ，画 素 数 を 削 減 す る サ ブ サ ン プリング法（2画素精度，4画素精度等）[7]，テレ スコピック法[8]，中断法[9]，傾斜法[10]，S-UMHS （Simplified Unsymmetrical-cross Multi-Hexagon-grid Search）[11]，A2_{BCS（Adaptively Assigned}

Breaking-off Condition Search）[12]，超高速サブサ

ンプリング法[13]等が開発された．また，離散コサイ

ン変換（discrete cosine transform：DCT）の乗算回

数を半減するチェンの高速DCTアルゴリズムも開発 された[14]． アルゴリズムの改良以外に，回路技術やアーキテク チャ技術（ベクトル処理，パイプライン処理，並列処 理）の発展も著しい．チェンの高速DCTアルゴリズ ムと併用して，回路規模と消費電力を大幅に削減する 分散演算法アーキテクチャ[15]，ベクトル処理アーキ テクチャ[16]，異なる二つの符号化プロセス（変換符 号化，予測符号化）をマクロブロックレベルで並列・ パイプライン処理するチップアーキテクチャとパイプ

ライン処理[17], [18]，等がある．

テレビ会議システムの符号・復号化器等への応用を

目的としたプログラム方式の符号化LSIとして，前出

のP-VSP [1]に続き，二次元DMA（Direct Memory Access）機能を搭載した符号化LSI [19]，ベクトル処理 アーキテクチャを採用したS-VSP（Super-high-speed VSP）[16]，4並列演算器を搭載した符号化LSI [20]，

マルチプロセス方式の符号化LSI [21]等が開発され

た．1993年には300 MHz動作のVSP3（Video Sig-nal Parallel-Pipeline Processor）が開発された[17]． VSP3チップ1個で動画像を実時間で処理するH.261 符号化システムを構築できるようになった． 1993年11月蓄積応用（DVD）や通信・放送応用 （ 衛 星 放 送 ，地 上 デ ジ タ ル 放 送 ，ケ ー ブ ル テ レ ビ ） に対して，高品質な動画像を符号化（4∼15 Mbit/s） するMPEG-2が規格化された[4]．まず，MP@ML （Main Profile at Main Level）に 準 拠 し た 動 画 像 （720画素× 480画素× 30フレーム/秒）を実時間で 処理する専用チップの開発に拍車がかかった．例えば， チェンの高速DCTアルゴリズムと分散演算法アーキ テクチャを組み合わせたDCTチップ（1992年）[22]， 動きベクトルを効率良く検出する動き予測プロセッサ （1995年）[23]が開発された．1994年から1996年に かけて，動き予測チップ，DCTチップ，制御用RISC で構成されたチップセットが開発された[24]．1997年 以後，DVD対応民生用録画再生プレーヤーへの応用を 目的に，チップセットと同等な性能をもつ1チップ符 号化LSIが続々と開発された[25]．更に地上デジタル 放送に向け，2002年に1チップ符号化LSI（VASA： Versatile and Advanced Signal processing Architec-ture）[26]が開発された．1999年4月，電話回線等の 通信速度の低い回線（10∼384 kbit/s）を用いて，低 画質，高圧縮率の映像の配信を目的としたMPEG-4 が標準化された[5]．2000年に入ると，携帯テレビ電 話への応用を目指し，MPEG-4に準拠した低電力符 号化LSIの開発が急速に進み[27]，2001年10月に運 用が開始された． 2003年5月，低速・低画質の用途（携帯テレビ電話） から大容量・高画質の動画（HDTV放送）の符号化を 目的に，H.264/AVCが標準された[6]．H.264/AVC は，MPEG-2に比べ，データ量を約半分に圧縮できる． ディジタルビデオカメラ，次世代DVD（HD DVD， ブルーレイディスク）等で標準動画形式として採用さ れている．また，HDTV向けの符号化LSIの報告も 相次いでおり[28]∼[30]，今後低電力・高性能な High-Profile HDTV向け1チップ符号化LSIの開発に拍車 がかかるであろう． 以上述べた符号化LSIの発展は主動的に開発を進め てきた我が国LSI技術者による貢献が極めて大きい．

3.

動画像符号化

LSI

の高速・低電力化技術

符号化LSI開発の黎明期，LSI技術はまだ1µm世 代で，高速化・高性能化に限界があった．低ビットレー トのテレビ会議向け符号化LSIでさえ，動画像を実時 間符号化処理するためには，様々な技術を新たに開発 する必要があった[2], [31]．本章では黎明期に開発され たプログラム方式，ブロックレベルの並列・パイプラ イン処理方式，高速化・高性能化回路技術，等を解説す る．また，携帯機器に必須な低電力技術にも言及する． 3. 1 フル機能搭載・プログラム方式 世界初の符号化LSI（P-VSP）には動画像符号化に 必要な積和演算回路，差分絶対値演算回路，累算回路， 最小値検出回路，二次元アドレッシングが可能な2ポー トSRAM，データROM，バレルシフタ，正規化器等， すべての機能ブロックがフル搭載されている[2], [31]． P-VSPは各種符号化処理方式，方式の変更，様々 な応用等に柔軟に対応できるプログラム方式の符号化 LSIである．プログラム方式は現在では業界標準方式 として，符号化プロセッサに必須の方式である． 高速化・高性能化を図るために，DCT等の積和演 算は2段パイプライン積和系ユニットで，動きベクト ル検出（ME）は3段パイプライン加算系ユニットで， それぞれ処理される．各処理が1クロック周期内で処 理できるよう，高速差分絶対値演算回路[32], [33]，高 速乗算回路が搭載されている．動作速度が14.3 MHz のCMOS P-VSPを用いて，実時間処理可能なH.261 対応のテレビ会議システムを実現するために，36個の P-VSPを並列に動作させ，信号処理性能を飛躍的に 拡大した．つまり，各P-VSPにCIF画面の1/36を 分担させた[34]． 3. 2 クロック周波数の高速化 1980年代，プロセッサのクロック周波数（f_c）は年 率1.2倍強で高速化されてきた．これは主としてデバ イスやプロセスの改良によるところが大きかった．し かし，デバイス・プロセスの改善だけでは fc を飛躍 的に高めることは難しい．微細加工技術のみに頼らず， アルゴリズム，ロジック，アーキテクチャ，回路を含 めたすべての技術を改良・開発して，チップ全体で大

きな性能向上を得る手法が重要となる．このような考 え方から，冗長2進数・三次のブースデコーダを用い た高速積和演算回路，最適化2段パイプライン構成， 0.8µmプロセス，Bi-CMOSドライバ，等が新たに開 発された．この結果，当時のプロセッサのf_cより1け た以上速い200 MHzの16 b積和コアを実現すること ができた（1989年）[2], [31]． 3. 3 高スループット化技術 fcを高めるだけでは大量の二次元データを扱う動画 像符号化を高速処理できない．そこで，性能（スルー プット）を飛躍的に向上させるため， （1） チップ外からデータを低速で取り込み，チッ プ内演算回路へ高速にデータを供給するダブルバッ ファ方式の2ポートメモリ， （2） 対応する演算ユニットとデータを独立に送受 できるアドレス生成機能付き画像メモリ， （3） チップ搭載形PLLクロックドライバ， 等の技術を考案・実用化し，大量画像データの高速ベ クトル演算を可能にした．これらの技術を搭載した 250 MHz S-VSPを1991年に開発した[16]．H.261に 準拠する符号化システムが本チップ2個で構築できる ようになった． 3. 4 並列・パイプライン処理技術 S-VSPを用いてシングルチップ符号化システムを構 築するためには，S-VSPを500 MHzで動作させなくて はならない．当時最新の0.5µm BiCMOS技術を導入 しても，最高速度は300 MHzしか望めなかった．そこで 300 MHz動作でもS-VSPの2倍以上のスループットを 実現するために，様々なブレークスルーが必要となった． P-VSP，S-VSPには加算系ユニットと積和系ユニッ トが搭載されていたが，両ユニットが並列に動作するこ とはなかった．これは，加算系ユニットを用いる予測符 号化（フレーム差分・加算，ME等）と積和系ユニットを 用いる変換符号化（DCT，量子化，逆DCT，逆量子化 等）の同時処理が不可能と見られていたためであった． その後，一つの処理データに対して加算系ユニットを用 いて予測符号化処理をしているとき，他の処理データに 対して積和系ユニットを用いて変換符号化処理ができ ることが分かった．この結果，図3に示すように，異な る二つの符号化プロセスを同時にかつブロックレベルで 並列・パイプライン処理する処理方法と，本処理方法を 実現するチップアーキテクチャが開発された[17], [18]． 本技術も業界標準方式として，あらゆる動画像符号化 プロセッサに採用されており，本技術なしでは動画像符 図 3 ブロックレベルの並列・パイプライン処理技術を適 用した動画像符号化の処理手順 [17]

Fig. 3 Processing times for motion picture coding. A parallel block-level pipeline architecture is used for a Video Signal Parallel-Pipeline Pro-cessor (VSP3) [17].

図 4 ブロックレベルの並列・パイプライン処理技術を採 用した符号化 LSI（VSP3）[17]

Fig. 4 Photograph of a 300-MHz, 16-bit, 0.5-µm BiCMOS Video Signal Parallel-Pipeline Pro-cessor (VSP3) [17]. 号化プロセッサの小形化，高速化，低電力化は難しい． ブロックレベルの並列・パイプライン処理技術や 0.5µm BiCMOS技術を採用し，各種回路の高速化 を図ることにより，チップ全体でS-VSPの2倍強の 処理性能（1.5 GOPS）をもつ300 MHz VSP3を構 築することが可能となった（1993年）[17]．チップ写 真，ブロック図をそれぞれ図4，図5に示す．VSP3

図 5 ブロックレベルの並列・パイプライン処理技術を採用した符号化 LSI（VSP3）の 構成 [17]

Fig. 5 Block diagram of a Video Signal Parallel-Pipeline Processor (VSP3) [17].

は120万個のトランジスタ，114 Kbitデータメモリ及 び32 Kbit命令メモリを搭載し，消費電力は13 Wで ある．本チップ1個で，H.261に準拠する符号化シス テムの構築が可能となった． 3. 5 低消費電力技術 携帯端末機器では動作時消費電力（PAT）の削減は 最重要課題である．処理量が極めて多いME処理の 演算量を大幅に削減するため，最適動きベクトルを自 動的に検出し，符号化処理を早期に停止する高速アル ゴリズムが必須となった．この課題を解決するため， 中断法[9]と呼ばれる高速アルゴリズムが開発された． 本アルゴリズムとゲーテッドクロック方式を併用する ことにより，動きベクトルが検出され次第，回路を停 止できるようになった．この結果，PATを大幅に削減 できるようになった．この電力削減技術は，MPEG4 携帯テレビ電話向け符号化LSIで実用化され，業界標 準方式として今日必須の技術となっている． 更に，符号化プロセッサの最適fc，最適供給電圧 （VD）を適応的に予測可能なA2BCS [12]と呼ぶ高速 アルゴリズムが開発された．本アルゴリズムと動的電 圧・周波数協調方式（DVFS：Dynamic Voltage and Frequency Scaling）を併用すると，7.で述べるよう に，ME回路のPATを飛躍的に削減できる．本技術 はHDTV対応符号化LSIの電力削減技術として期待 されている． 3. 6 漏れ電流削減回路技術 素子の微細化で顕在化する様々な漏れ電流を低減す るため，トランジスタのしきい値電圧を実効的に高 くする逆バイアス方式，トランジスタ内各部の電位 を自動的に低下する電界緩和方式の開発が必須であ る．この課題を解決するため，SVL（Self-controllable Voltage Level）回路[35]をはじめとする各種漏れ電流 削減技術が開発された．この結果，携帯端末向け符号 化LSIの待機時電力（PST）の増大，スタンバイ時の メモリ記憶データの消失等の問題も一挙に解決された．

4. MPEG-2

符号化

LSI

本 章 で は DVD等 の 民 生 機 器 向 け に 開 発 さ れ た MPEG-2ワンチップ符号化LSI [25], [36]とHDTV向 けに開発されたMPEG-2ワンチップ符号化LSI [26] を概観する． 4. 1 DVD等の民生機器向け符号化LSI DVD向け符号化LSIの構成は布線論理（ハードワ イヤード）形，マルチプロセッサ形，折衷（ミックス） 形に分類される．布線論理形符号化LSIは動きベク トル検出（ME），離散的コサイン変換（DCT）等の 各機能ユニットを専用回路で構成し，これらを一つの チップに搭載したLSIで，東芝[37]，NEC [38]，富 士通[39]が開発した．図6に東芝の符号化LSIの構 成を示す．動きベクトルの一次探索としてNECは水 平間引きひし形探索法を，東芝はマルチフィールド水 平間引きテレスコピック探索法を，富士通は適応的階 層探索と適応的サブサンプリングを採用している．ま た，二次探索として各社とも半画素探索法を用いてい る．NEC，東芝の符号化LSIは制御用に外付プロセッ サが必要だが，富士通の符号化LSIは不要である．

図 6 DVD等民生機器向け MPEG2 符号化 LSI [37]

Fig. 6 Block diagram of an MPEG2 video codec processor for DVDs etc. [37].

マ ル チ プ ロ セッサ 形 符 号 化 LSI は 複 数 のRISC （Reduced Instruction Set Computer）やDSPを搭

載し，各プロセッサに複数の機能を分担させるLSIで

ある．この形態のLSIとして米C-Cubeの符号化LSI がある[40]．本符号化LSIは全体制御用と符号化制御 用の命令セットを備えた32 bit RISCコア，ME処理 以外の画像処理を実行する1.6 GOPS DSP，階層探索 法を用いたME回路から構成され，各種インタフェー スを備えている．本LSIは符号化処理していないと き，復号処理をすることができる． 折衷形符号化LSIは主な機能ユニットを布線論理で 実現し，LSI制御，動き補償制御，符号化制御，可変 長符号化（VLC）等をRISCやDSPで実現するLSI である．ME用専用回路以外の機能ユニットを実現す る方法は次の3種類に分類できる．第1はMP@ML 仕様に特化した符号化LSI（松下，ソニー），第2は マルチプロセッサ構成が可能でプロファイルやレベル がスケーラブルに変えられる符号化LSI（三菱），第 3は第2の形態を含め，更に音声処理，多重化処理を も取り込んだ符号化LSI（三菱）である．松下の符号 化LSIはマルチタスク制御用のRISCと一次ME用 全探索形専用回路を採用している[41]．RISCには豊 富なマクロ命令が用意され，ユーザが所望の符号化制 御アルゴリズムを自由に実現することができる．民生 機器への応用に適している．ソニーの符号化LSIはコ ントローラにDSPを採用している[42]．また2種類 のMEアルゴリズム，適応サブサンプリング，適応探 索範囲制御を採用している．更に2面の探索ウィンド ウを設定することにより，激しい動きとゆっくりした 動きの動きベクトルを効率良く検出できる．応用は光 DISKレコーダー等民生機器である．NTTの符号化 LSIはチップ間で参照画面の受渡しを効率良く行うた めのデータ転送機構を備えている[43]．三菱の符号化 LSIはビデオ符号化とオーディオ符号化システムをワ ンチップで実現している[44]． 4. 2 HDTV向け符号化LSI 2003年HDTV規格の地上デジタル放送が開始され た．これに先立ち，2000年にSDTV用LSIを複数個 で構成したHDTV規格のエンコーダシステムが開発 された．2002年には地上デジタル放送対応（素材伝 送向け）のワンチップMPEG-2符号化LSI（VASA） も開発された[26]． VASAは，図7に示すように，マクロブロックパイ プライン動作[18]する3個のビデオエンコーダコア， ビデオデコーダコア，多重化/分離コア，複数個の専 用ハードウェア機能ブロックから構成されている．こ れらは128 bit@200 MHzのシステムバスに接続され， 高速データ転送が可能な外部メモリインタフェース 部（MIF）を介して，2系統のオフチップ高速DRAM

（Double Data Rate SDRAM）に接続されている． VASA は チップ 制 御 用RISC（TRISC），ビ デ オ RISC（VRISC），システムRISC（SRISC）を内蔵 している．これらRISC内蔵ソフトとプログラム可 能なMIFの協調動作により，柔軟なチップ制御と多 チップ拡張を可能としている．0.13µm，8層メタル CMOSプロセスを用いた14 mm角VASAは6,140 万個のトランジスタを集積し，fcは200 MHz，PAT は5 Wである． VASAチップ1個でMPEG-2 422P@HL符号化処 理を実現できる．複数個のVASAチップを連結すると， 臨場感のある大画面映像（4,096画素×2,048ライン× 60 fps）の符号化処理も可能となる．

図 7 HDTV向け MPEG2 符号化 LSI [26]

Fig. 7 Block diagram of an MPEG2 video codec processor for HDTVs [26].

図 8 携帯テレビ電話向け MPEG-4 符号化 LSI [45]

Fig. 8 Block diagram of an MPEG4 video codec processor for cellular phones [45].

5. MPEG-4

符号化

LSI

2001年10月第3世代携帯電話（IMT-2000）が市 場に投入され，本格的な動画通信サービスが実用化さ れた．本章では運用開始直後の携帯テレビ電話に用い られたMPEG-4ワンチップ符号化LSI [27], [36]を概 観する． 2000年2月東芝が開発したMPEG-4対応の携帯 テレビ電話向け符号化LSIは，図8に示すように，3 個のコア（画像圧縮伸長コア，音声圧縮伸長コア，信 号の多重分離処理コア），16 Mbit DRAM及び各種 インタフェースで構成されている[45]．各コアに搭載 された16 bit RISCは複数個のハードウェア演算器， DMAコントローラを制御し，処理の柔軟性と低消費 電力化を両立している．画像圧縮・伸長コアはDCT， 量子化，逆DCT，逆量子化，ME等を処理する個別 の専用回路で構成されている．複数の演算器がマク ロブロック処理をパイプライン的に並列処理するこ とにより[18]，低fc（60 MHz）動作に成功している． 0.25µm CMOSチップの面積は10.84 mm角，搭載 MOSFET数は20.5 M個である．従来のゲーテッドク ロック技術の採用に加え，DRAMの混載，しきい値 可変CMOS技術の採用，ME検出を中断する技術[9] 等，各種の低消費電力化技術が導入されている．この 結果，消費電力は240 mWに低減されている［供給電 圧2.5 V（内部），3.3 V（I/O），61.44 MHz動作時］． 2001年2月松下が開発したMPEG-4対応の符号 化LSIはDSPコア，MPEG-4専用エンジン，20 Mb DRAM，各種インタフェース部を内蔵している[46]． 専用エンジンとして，DSPコアとチェイニングが可能 な専用回路（DCT，逆DCT，他），DSPコアと独立 に動作可能な専用回路（VLC，VLD，ME/動き補償， 他）が搭載されている．0.18µm CMOSチップの面 積は8.8 mm角，搭載MOSFET数は31 M個である． ME処理を中断する技術[9]とゲーテッドクロック技術 の採用，画像表示用と画像圧縮・伸長用20 Mb-DRAM

の混載により，低消費電力（90 mW）を達成している ［シンプルL1コーデック，QCIF画像，15 fps，供給 電圧1.8 V（内部），2.9 V（I/O），54 MHz動作時］．

2000年5月三菱が開発したMPEG-4対応・符号化 LSIは8並列SIMD形プロセッサ，RISCプロセッサ， VLCプロセッサ，15 Kb SRAM，各種インタフェース 部を内蔵し，柔軟なDMA転送機能を備えている[47]． 0.18µm CMOSチップの面積は12 mm2，搭載論理 ゲート数は300 K個である．SIMD形プロセッサに よるfcの低減，ゲーテッドクロック/オペランドアイ ソレーション技術，マトリックス演算用の大形命令サ ポート等，各種の低消費電力化技術が導入されてい る．符号化処理（CIF，30 fps，100 MHz）時の見積り PAT は280 mWである．

6. H.264/AVC

符号化

LSI

2003年H.264/AVCが標準化された[6]．MPEG-2 に比べ，演算量は増加するが，データ量を約半分に高 圧縮できることから，移動体端末向け放送（ワンセグ 放送），次世代DVD，民生ディジタルビデオカメラ 等に使われており，MPEG-4（携帯テレビ電話等）や MPEG-2（衛星放送，地上デジタル放送）からH.264 へ置き換えが進行している． 6. 1 ディジタル家電向け符号化LSI 現在，H.264/AVCは携帯テレビ電話，次世代DVD （HD DVD，ブルーレイディスク），ディジタルビデオ カメラ，携帯音楽プレーヤー，ワンセグ，携帯ゲーム機 等に標準動画形式として採用されており，HDエンコー ダとして様々な符号化LSIが開発されている．例え ば，ブルーレイディスク向けのUniphier（Panasonic）， EMMA3（NEC），Matiz（NEL），ディジタルビデオ カメラ向けのUniphier（Panasonic），MB86H51（富 士通），等である． 6. 2 地上デジタル放送対応符号化LSI VASAの後継チップとして，VASAとほぼ同一アー キテクチャで，小形化・低電力化した1チップ符号化 LSI（SARA/E）が開発された[28]．SARA/Eチップ 1個で，MPEG-2 422P@HLだけでなく，H.264/AVC high422 profile（フルHD：1080i）にも対応できる． 90 nm，9層メタルCMOSプロセスを用いた11.85 mm 角SARA/Eは1億4000万個のトランジスタを集積 し，fcは200 MHz，PATは3 Wである． RenesasのフルHD：1080i対応チップはマクロブ ロックレベルの符号化を並列・パイプライン動作さ せ[18]，これと並列にVLC動作させることにより，低 速動作と低電力化を図っている[29]．65 nm，7層メタ ルCMOSプロセスを用いたチップ（5.4 mm×5.5 mm） は375万個ゲートを集積し，フルHD（1080i）処理 時のPAT は256 mW（fc= 162 MHz）である． 台湾の大学が開発したフルHD：1080i対応チップ はフレーム並列アーキテクチャを採用することにより， オフチップメモリのバンド幅とfcを従来の1/2に削減 している[30]．90 nm CMOSプロセスを用いたチップ （16.76 mm2_{）は208万個のゲートを集積し，フルHD} （1080i）処理時のPAT は439 mW（fc= 166 MHz） である． 今後，低電力・高性能なHigh-Profile HDTV向け 1チップ動画像符号化LSIの開発に拍車がかかるであ ろう． 6. 3 アプリケーションプロセッサ 動画像符号化処理以外に，グラフィックス描画処理 回路，多数のCPUやDSPコアを1個のチップに搭載 することにより，様々なマルチメディア機能を実現す るアプリケーションプロセッサと呼ばれるLSIの進展 が著しい．このアプリケーションプロセッサを活用す ると，携帯電話機でHDTV対応の動画像符号化処理 ができる．現在，720p（1280× 720画素）で30 fpsの HDTV動画像を符号化・復号化するH.264/AVC対 応のアプリケーションプロセッサが製品化されている． BroadcomのBCM2727（720p対応チップ）は2個 のSIMD演算器，DSPコア，動画像符号化・復号化 処理回路，JPEG符号化・復号化処理回路，二次元・ 三次元グラフィックス描画処理回路等で構成される 動画像処理エンジンが搭載されており，HDビデオデ コーダ，プロ用ディジタルカメラ，ゲーム機器等に応 用できる[48]．また，携帯電話機とテレビとの接続が 可能なHDMIインタフェースの処理機能を備えてい る．HDTV動画像符号化（720p）は主として専用回 路（動画像符号化処理回路）で行い，SIMD演算器と DSPコアは動画像符号化処理回路の処理を補う．この とき，PATは450 mWである．

Texas Instruments のOMAP2430は携帯電話機 のハイエンドモデルをターゲットとしたアプリケー ションプロセッサーで，動画フォーマットとしては WindowsMedia9，H.264，RealVideoをサポートし，

7.

将来に向けた符号化プロセッサ

携帯情報端末向け符号化LSIでは低電力化が必須で ある．特に処理量が多いME処理を高速化して，ME 回路を低電力化することが課題である．これまで，高 速ME法[9]，ゲーテッドクロック方式を用いて，最 適動きベクトルが検出され次第，ME回路を停止し， 動作時消費電力（PAT）を削減する方法がとられてい た[45], [46]．この方法では，PATは信号処理量に比例 して削減される．処理量が事前に予測できれば，fcと VD を最適値に設定できるので，理想的にはPAT を 信号処理量の3乗に比例して削減できる．この手法は DVFS制御方式と呼ばれ，ゲーテッドクロック方式よ り格段に有利である[12]．DVFS制御方式の効果を十 二分に発揮するため，信号処理量の変化を事前に予測 できるA2BCS（Adaptively Assigned Breaking-off Condition Search）と呼ばれる高速ME法が世界で初 めて開発された[12]．また，本A2_BCS 法を適用した H.264/AVC対応・DVFS制御MEプロセッサも開発 された．90 nm CMOS技術を用いた本プロセッサの PAT は28.3µWである．DVFS制御を用いない従来 形MEプロセッサと比べ，PATは1/40以下に低減さ れている[50]．

8.

む す び

1987年動画像符号化プロセッサLSIが初めて開発 されて以来，わずか20年余りで符号化LSI並びにこ れをベースとしたマルチメディアシステムの性能・機 能が飛躍的に発展し，今日の巨大なディジタルマルチ メディア市場が形成された． 符 号 化 ア ル ゴ リ ズ ム 分 野 で は 圧 縮 効 果 の 大 き な H.264/AVCをベースとして，更に広い適用領域と高 度な機能を目指した新しい方式が急速に進展するであ ろう．例えば，複数のカメラで撮影された映像を効率良 く符号化し，対象シーンを三次元的にとらえる多視点 映像符号化（MVC：Multi-view Video Coding），一つ のビットストリームから画質や解像度，フレームレー トの異なる映像を再生できるアーキテクチャをもつス ケーラブル符号化（SVC：Scalable Video Coding）， 再構成形ビデオ符号化（RVC：Reconfigurable Video Coding），4:4:4高品質符号化等，である[51]．

符号化LSIではH.264/AVCをベースとした High-Profile HDTV（720p，1080p）を符号化できる低電 力・動画像符号化LSIの開発に拍車がかかるであろう． 更に，上記低電力・動画像符号化LSIをマクロとして オンチップし，MVC，SVC等の新技術を取り入れた 高機能アプリケーションプロセッサが開発されよう． また，符号化応用分野において，映像コンテンツで は動画広告・ディジタル放送の高度化，映像監視・分 析では監視・入室管理のインテリジェント化，映像コ ミュニケーションでは臨場感の富んだ遠隔医療・遠隔 講義等が開発されるであろう． 謝辞 執筆にあたり多くの助言を頂きましたNTT エレクトロニクス（株）の笠井良太博士に感謝致し ます． 文 献

[1] T. Enomoto, M. Yamashina, T. Kunio, I. Tamitani, H. Harasaki, Y. Endo, T. Nishitani, M. Satoh, and K. Kikuchi, “A microprogrammable realtime video signal processor (VSP) LSI for motion compensation and vector quantization,” Proc. Custom Integrated Circuits Conference, pp.303–306, May 1987. [2] T. Enomoto, “High-troughput technologies for video

signal processor (VSP) LSIs,” IEICE Trans. Elec-tron., vol.E79-C, no.4, pp.459–471, April 1996. [3] CCITT SGXV Working Party XV/1 Specialists

Group on Coding for Visual Telephony, Document 584, Nov. 1989.

[4] ISO-IEC JTC1/SC29/WG11 Moving Picture Experts Group, 93/225, 1993.

[5] ISO-IEC JTC1/SC29/WG11 N2502, “ISO/IEC FDIS 14496-2 information technology-generic coding of audio-visual objects — Part 2: Visual,” Oct. 1998. [6] ISO-IEC 14496-10:2003, “Information Technology —

Coding of audio-visual object — PART 10: Advance video coding,” Dec. 2003.

[7] 松本純一，小田部晃，堀口智也，榎本忠儀，“階層探索を 併用した 4 ビット 2 ステップ中断法と CMOS 差分絶対 値和回路，”信学技報，ICD2000-204, March 2001. [8] “Test Model 5,” ISO/IEC JTC1/SC29/WG11/

N0400.

[9] T. Enomoto, Y. Sasajima, A. Hirobe, and T. Ohsawa, “Fast motion estimation algorithm and low power CMOS motion estimation array LSI for MPEG-2 encoding,” Proc. ISCAS, Orlando, Florida, vol.4, pp.IV-203–IV-206, May/June 1999.

[10] 深山正幸，遠山，高松，今村，橋本，吉本雅彦，“HDTV 対応低消費電力 MPEG2/MP@HL 動き検出プロセッサ LSIの開発 (1) —VLSI アーキテクチャ—，” 2002信学総 大，C-12-13, March 2002.

[11] X. Yi, J. Zhang, N. Ling, and W. Shang, “Im-proved and simplified fast motion estimation for JM,” JVT-P021.doc, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 16th meeting, Pozan, Poland, July 2005.

CMOS motion estimation processor implementing dynamic voltage and frequency scaling (DVFS) and fast motion estimation algorithm,” Proc. In-ternational Symposium on Circuits and Systems (ISCAS’2008), in Seattle, Washington, USA, B3L-B.2, pp.1672–1675, May 2008.

[13] 榎本忠儀，居坂詩紋，小林信彰，“探索窓サイズを動きに 追随して適応設定する超高速動きベクトル検出アルゴリズ ムの開発，”信学技報，IE2008-77, Oct. 2008.

[14] W.H. Chen, C.H. Smith, and S.C. Fralick, “A fast computational algorithm for the discrete co-sine transform,” IEEE Trans. Commun., vol.COM-25, no.9, pp.1004–1009, Sept. 1977.

[15] A. Peled and B. Liu, “A new hardware realization of digital filters,” IEEE Trans. Acoust. Speech Signal Process., vol.ASSP-22, pp.456–462, Dec. 1974. [16] J. Goto, K. Ando, T. Inoue, M. Yamashina, H.

Yamada, and T. Enomoto, “250-MHz BiCMOS super-high-speed video signal processor (S-VSP) ULSI,” IEEE J. Solid-State Circuits, vol.SC-26, no.12, pp.1876–1884, Dec. 1991.

[17] T. Enomoto, M. Motomura, T. Inoue, K. Suzuki, J. Goto, B.S. Shih, M. Yamashina, M. Nomura, Y. Koseki, T. Kimura, T. Atsumo, T. Horiuchi, and H. Yamada, “A 300 MHz, 16 bit, programmable video signal processor ULSI for a single chip teleconfer-encing systems,” Proc. European Solid-State Cir-cuits Conference (ESSCIRC’93), pp.94–97, in Seville, Spain, Sept. 1993.

[18] M. Motomura and T. Enomoto, “Motion picture coder and system for controlling（動画像符号化器と その制御方式），”米国特許，登録番号，5,394,189, 1995. [19] 松村哲哉，他，“24 b，50 ns ビデオシグナルプロセッサ，” 信学技報，ICD89-5, April 1989. [20] 南 俊 宏 ，山 内 寛 紀 ，田 代 豊 ，鈴 木 豊 ，笠 井 良 太 ， 高橋淳一，遠藤乾一，浜口重建 ，“ビデオシグナルプロ セッサ IDSP のデータフロー制御，”信学技報，ICD91-12, April 1991. [21] 児玉 久，宮越英司，岡本 潔，祇園雅弘，峯丸貴行， 大谷昭彦，豊蔵真木，荒木敏之，竹野浩司，秋山利秀， Brent Wilson，青野国年，“リアルタイム MPEG2 コー デック用 DSP，”信学技報，ICD94-82, Aug. 1994. [22] S. Uramoto, Y. Inoue, A. Takabatake, J. Takeda, Y.

Yamashita, H. Terane, and M. Yoshimoto, “A 100-MHz 2-D discrete cosine transform core processor,” IEEE J. Solid-State Circuits, vol.27, no.4, pp.492– 499, April 1992.

[23] K. Ishihara, S. Masuda, S. Hattori, H. Nishikawa, Y. Ajioka, T. Yamada, H. Amishiro, and M. Yoshimoto, “A half-pel precision MPEG2 motion estimation processor with concurrent three-vector search,” Dig. Tech. Paper of the IEEE Int. Nat. Solid-State Circuits Conf., pp.74–75, 1995.

[24] T. Matsumura, H. Segawa, S. Kumaki, Y. Matsuura, A. Hanami, H. Yamaoka, R. Streitenberger, S.

Nakagawa, K. Ishihara, T. Kasezawa, Y. Ajioka, A. Maeda, and M. Yoshimoto, “A chip set architec-ture for programmable real-time MPEG2 encoder,” Proc. IEEE Custom Integrated Circuits Conf, 17.1.1– 17.1.4, 1995.

[25] 榎本忠儀，青野邦年，石居俊之，大井 康，尾高敏則， 酒井 潔，松村哲哉，“（パネル討論）ワンチップ MPEG2 符号化 LSI の現状と将来，”信学技報，ICD98-60, June 1998. [26] 長沼次郎，岩崎裕江，新田高庸，中村 健，吉留 健， 小倉充雄，中島靖之，田代 豊，大西隆之，池田充郎， 遠藤 真，八島由幸，“1 チップ HDTV MPEG-2 CODEC LSI構成技術 - VASA，” NTTジャーナル，pp.12–14, Sept. 2003. [27] 榎本忠儀，吉本雅彦，木村淳一，高橋俊也，荒川文男， 大平英雄，高橋真史，道山淳児，“（パネルディスカッショ ン）携帯情報端末（IMT-2000 等）用 MPEG-4 LSI 技 術，”信学技報，ICD2000-59, Aug. 2000.

[28] K. Nitta, M. Ikeda, H. Iwasaki, T. Onishi, T. Sano, A. Sagata, Y. Nakajima, M. Inamori, T. Yoshitome, H. Mtsuda, R. Tanida, A. Shimizu, K. Nakamura, and J. Naganuma, Digest of Tec. Papers, Symposium on VLSI Circuit, pp.100–101, 2008.

[29] K. Iwata, S. Mochizuki, T. Shibayama, F. Izuhara, H. Ueda, K. Hosogi, H. Nakata, M. Ehama, T. Kengaku, T. Nakazawa, and H. Watanabe, Digest of Tec. Pa-pers, Symposium on VLSI Circuit, pp.102–103, 2008. [30] Y.-H. Chen, T.-D. Chuang, Y.-J. Chen, C.-T. Li, C.-J. Hsu, S.-Y. Chien, and L.-G. Chen, Digest of Tec. Papers, Symposium on VLSI Circuit, pp.104– 105, 2008.

[31] 榎本忠儀，“動画像処理プロセッサ ULSI の高性能化技 術，”信学技報，ICD94-117, Oct. 1994.

[32] T. Enomoto, “Arithmetic circuits for calculating ab-solute value of the difference between a pair of input signals,”米国特許，登録番号 5,394,189, 1986.

[33] 榎本忠儀，CMOS 集積回路—入門から実用まで，培風館， 初版第 9 刷，2007.

[34] I. Tamitani, H. Harasaki, T. Nishitani, Y. Endo, M. Yamashina, and T. Enomoto, “A real time video sig-nal processor suitable for motion picture coding ap-plications,” IEEE Trans. Circuits Syst., vol.36, no.10, pp.1259–1266, Oct. 1989.

[35] T. Enomoto, Y. Oka, and H. Shikano, “A self-controllable voltage level (SVL) circuit and its low-power, high-speed CMOS circuit applications,” IEEE J. Solid-State Circuits, vol.38, no.7, pp.1220–1226, July 2003. [36] 榎本忠儀（編著），画像 LSI システム設計技術，コロナ社 （映像情報メディア学会編），初版第 2 刷，pp.119–139, 2005. [37] 山影明夫，上谷義治，児玉知也，村岡寛昭，河原暢彦， 武捨敏彦，稲垣雄史，“1 チップ MPEG-2 MP@ML ビデ オエンコーダ LSI の開発，”信学技報，ICD98-51, June 1998.

[38] 水野正之，柴山充文，林 直哉，仙田祐三，大井 康， 民谷一郎，山品正勝，“MPEG-2 符号化 LSI における履 歴適応型動きベクトル探索とそのハードウエア実現，”信 学技報，ICD97-163, Oct. 1997. [39] 大塚竜志，酒井 潔，浜野 宗，渡辺英明，北浦智靖， 西沢美次，江口勝博，佐別富祥和，山下公彰，“1 チップ MPEG2ビデオエンコーダ LSI の開発とシステム展開，” 信学技報，ICD98-50, June 1998. [40] 田中正晴，坂本真一，加藤雅浩，“MPEG2 符号化 LSI が 家庭を変える，”日経エレクトロニクス，no.711, pp.133– 154, March 1998. [41] 宮越英司，荒木敏之，佐山卓也，大谷昭彦，峯丸貴行， 岡本 潔，児玉 久，森繁孝行，渡部彰啓，三森敏正， 今西 浩，神保卓哉，田中泰資，谷山昌之，新郷孝行， 福本 義，森本広頼，青野邦年，青木勝司，“128 GOPS の 動きベクトル検出器とマルチタスク RISC コントローラを 内蔵した 100 mm2，0.95 W，1 チップ MPEG2 MP@ML ビデオエンコーダ，”信学技報，ICD98-5, April 1998. [42] 小倉栄史，高島昌利，平中大介，石川敏郎，柳田幸雄， 鈴木秀二，福田智也，石居俊之，“広いサーチ範囲の動き検 出回路および 81 MOPS コントローラを内蔵した 1.2 W シ ングルチップ MPEG2 MP@ML ビデオエンコーダ LSI，” 信学技報，ICD98-8, April 1998. [43] 近藤利夫，南 俊宏，新田高康，村主一仁，池田充郎， 岩崎裕江，落合克幸，渡辺 裕，“HDTV への拡張が可 能な MPEG2 映像符号化 LSI，”信学技報，ICD98-117, Aug. 1998. [44] 小原英司，島田敏明，小谷 亮，松浦慶典，加瀬沢正， 浅野研一，吉本雅彦，“高画質制御を考慮した MPED-2 4MPED-2MPED-2@MLエンコーダチップセットの開発，”信学技報， ICD99-196, Oct. 1999. [45] 山本英明，西川剛志，高橋真史，浜田基嗣，高柳俊成，荒 木英穂，町田憲明，藤吉敏英，大橋洋子，山岸 修，佐間 田達雄，浅野 篤，南 重信，黒田忠広，古山 透，寺沢 敏弘，大森賢二，白倉順也，渡辺吉規，“16 Mbit-DRAM 混載 MPEG-4 テレビ電話 LSI，” 信学技報，ICD2000-121, Aug. 2000. [46] 九郎丸俊，道山淳二，“MPEG4 対応 LSI の特徴とそれを 実現するコア技術，”信学技報，ICD2001-36, Aug. 2001. [47] 大平英雄，亀丸敏久，鈴木弘一，浅野研一，吉本雅彦，他， “MPEG4/H26x 30 fr/sビデオ処理可能な低消費電力化メ ディアプロセッサ，”信学技報，ICD2000-56, Aug. 2000. [48] BCM2727 High-Definition 720p Mobile Multime-dia Processor. http://ja.broadcom.com/products/ Cellular/Mobile-Multimedia-Processors/BCM2727 [49] 日 本 テ キ サ ス・イ ン ス ツ ル メ ン ツ，携 帯 電 話 用 ア プ リ ケ ー ション プ ロ セッサ ー の 新 製 品『OMAPV2230』 と『OMAP2430』を発表．http://ascii24.com/news/i/ tech/article/2005/11/29/659290-000.html [50] 小林信彰，石川雄悟，榎本忠儀，“DVFS 制御向け動きベ クトル検出アルゴリズムとこれを適用した動きベクトル検 出プロセッサの開発，”信学技報，IE2008-79, Oct. 2008. [51] SC 29/WG 11におけるビデオ圧縮符号化最前線 http://www.itscj.ipsj.or.jp/topics/nl79 2911.html （平成 20 年 12 月 22 日受付） 榎本 忠儀 （正員：フェロー） 1975オハイオ州立大学大学院博士課程 了（Ph. D）．1975 より日本電気（株）マイ クロエレクトロニクス研究所に勤務，1986 より同研究所システム ULSI 研究部部長， 1992年 7 月より中央大学教授，現在に至 る．マイクロプロセッサ，LSI メモリ，LSI の基本技術（低消費電力化，高性能化），動画像符号化アルゴ リズムとその LSI 化，等を研究している．主な学会活動とし て本会集積回路研究専門委員会委員長，同電子デバイス研究 専門委員会委員長，同英文論文誌編集委員，IEEE Journal of Solid State Circuits編集委員，等がある．所属学会は IEEE （Fellow），映像情報メディア学会である．主な受賞として 1992 IEEE Journal of Solid State Circuit最優秀論文賞，1996 本 会業績賞，2006 IEEE ASP-DAC’06 University LSI Design Contest Best Design Award，2006 電気通信普及財団賞（テ レコムシステム技術賞）がある．研究活動として，論文約 100 編，口頭発表約 260 編，国内・海外の取得特許 50 件等である． 主な著書は「ULSI 設計技術」（電子情報通信学会編，1993）， 「CMOS 集積回路—入門から実用まで—」（培風館，1996），「画 像 LSI システム設計技術」（映像情報メディア学会編，2003）， 「ナノ CMOS 集積回路」（培風館，2009）である．