こ こ で はISO(International Or gan ization for Standardization)/ IEC(International Electrotechnical Com mission)における画像 ・ 映像 圧縮符号化関連技術の国際標準化動 向として,メディア信号符号化に関 する国際標準化の意義を振り返り, 特に画像 ・ 映像に関する標準化作 業,代表的な規格とその波及効果を 紹介します.また,次世代の符号化 規格へ向け,近年活発に議論されて いる技術領域,および近い将来の標 準化動向を紹介します. デジタルメディア 信号の符号化技術 アナログ時代の音声メディアはカ セットテープ,画像(静止画)メディ アは銀塩フィルムの写真,映像(動画) メディアは同じく銀塩フィルムのテー プに蓄積保存されており,ラジオ ・ TV放送や電話も古くはアナログ変調 技術によりなされていました.デジタ ルメディアがアナログメディアに取っ て代わって以来,信号の高忠実性 ・ 高 画角 ・ 高解像度が進むのに歩を合わ せ,その圧縮符号化技術が大きく発展 を遂げ重要性を高めています. SC 29の活動内容 画像 ・ 映像圧縮に基づく製品および サービスにおいて,相互運用を実現 し,安全性を強化し,共通の理解を促 進するには,国際的に統一された規格 の制定,すなわち標準化が重要です. 国 際 標 準 化 組 織ISO(International Or gan ization for Standardization)/ IEC JTC(International Electro t e c h n i c a l C o m m i s s i o n J a p a n Technical Committee)1 傘下のSC (Sub Committee)* 1の 1 つ で あ る, SC 29(音声,画像,マルチメディア, ハイパーメディア情報符号化)はマル チメディア符号化規格の標準化を行っ ています(1).規格が市場で実際に受け 入れられ使われるよう,SC 29は音 声 ・ 画像 ・ 映像の圧縮符号化に加え, そのストリーミング,画像検索,映像 検索,システム技術(映像や音声,複 数チャネルの多重化),ファイル形式, インタフェース仕様なども併せて幅広 く標準化しています. その結果,SC 29規格はデジタルカ メラやハンディカム,ハードディスク レコーダなどのデジタル家電,高品質 オーディオ機器やTV,PCなどのAV 機器,携帯音楽プレーヤやスマート フォン,タブレットなどのモバイル機 器など日常生活のいたるところで活用 され,ビデオ ・ オーディオ ・ マルチメ ディア ・ ITサービスの根幹を支え, その普及に貢献しています.SC 29が 現代人の生活や日本産業にとって欠く ことのできない,非常に重要な団体で あることはいうまでもないでしょう. SC 29の 国際 ・ 国内組織 1986年 に,SC 29の 前 身 で あ る ISO/IEC JTC 1/SC 2/WG(Working Group)* 2 8,そのサブグループとし て J P E G(J o i n t P h o t o g r a p h ic Experts Group:自然画像符号化方式) が設立されました(2).以後1987年に
MPEG(Moving Pictures Ex perts Group:動画像符号化方式)(3),1988
年 に JBIG(Joint Bilevel Image Experts Group: 2 値画像符号化方 式 ),1990年 にMHEG(Multimedia and Hypermedia Experts Group: ハ イパーメディア符号化方式)が設立さ れ,1991年にマルチメディア,ハイ パーメディアのユーザ端末での提示や 操作を標準化する組織としてISO/ IEC JTC 1 /SC 29が誕生しました. その設立にはNTT(当時)の安田浩 氏が尽力され,初代議長に就任しま した.以来,日本が議長ならびに事務 局担当国を務めています.安田氏に 続き1998年よりNTT(当時)の渡辺 裕氏が,2006年から現在まで三菱電 機の浅井光太郎氏が議長を務めていま す.事務局は情報処理学会情報規格調 査会です. SC 29は年間 1 回の総会(Plenary) を行っており,2014年 7 月には初回 会合以来23年ぶりに日本(札幌)での 開催となり,WG 1議長(コンビーナ) の18年ぶりの交代や標準化項目の見 直し ・ 変更,エディタの任免,ビジネ スプラン,リエゾンなどが承認されま した. *1 SC:ここではJTC 1が扱う専門分野におけ る,特定分野に関する国際規格等を開発し ます.JTC 1にはSC 29以外にも多数のSC が存在しています. *2 WG:特定の範囲内の標準化作業を行う専 門家の集まり.SCにより管理されます.
高
村 誠
之
NTTメディアインテリジェンス研究所グローバルスタンダード最前線
SC 29傘 下 に は, 現 在WGが 2 つ (WG 1およびWG 11)存在します. WG 1は静止画像の符号化技術,画像 検索,高ダイナミックレンジ拡張など の技術の標準化を進めています.WG 11は音声 ・ 動画像 ・ システムの符号 化伝送技術,高圧縮符号化,多重化, 三次元映像符号化,動画像検索,伝送 などの技術の標準化を進めています. WG 1,WG 11それぞれ年間 3 〜 4 回 のWG会合を開催し,国際標準化作業 を進めています.SC 29により定めら れた主な規格を表に示します. 日本では,SC 29に対応する国内専 門委員会(SC 29専門委員会,委員長 NTT高村誠之)が前述の情報規格調 査会傘下に存在しており,上層組織対 応や規格投票などを行っています.ま た専門活動内容を一般に解説する技術 セミナーも開催しています.さらに SC 29専門委員会傘下には, 5 つの小 委員会〔WG 1(静止画像符号化), WG 11/AUDIO(動画像符号化 ・ 音 声),WG 11/VIDEO(動画像符号化 ・ 動画),WG 11/SYSTEMS(動画像 符 号 化 ・ シ ス テ ム ),WG 11/ SYSTEMS/MPEG 7 SG〕が附置さ れ,所掌する標準化作業実務への参加 や国内意見のとりまとめ,技術提案な どを行っています. SC 29/WG 1が 標準化した規格群 ■JPEG(1992年) 初の画像符号化国際規格で,発行以 後爆発的に普及しました.四半世紀近 表 主なSC 29規格の規格番号と通称,規格名称 規格番号,通称 規格名称 WG 1 関連ISO/IEC 10918 JPEG Digital compression and coding of continuous-tone still images ISO/IEC 11544 JBIG Progressive bi-level image compression
ISO/IEC 14492 JBIG- 2 Lossy/lossless coding of bi-level images
ISO/IEC 14495 JPEG-LS Lossless and near-lossless compression of continuous-tone still images ISO/IEC 15444 JPEG2000 JPEG 2000 image coding system
ISO/IEC 18477 JPEG XT Scalable Compression and Coding of Continuous-Tone Still Images ISO/IEC 19270 AIC Advanced Image Coding and Evaluation Methodologies
ISO/IEC 19566 JPEG Systems JPEG Systems ISO/IEC NP※19710 JPEG AR JPEG AR
ISO/IEC 24800 JPSearch JPSearch
ISO/IEC 29199 JPEG XR JPEG XR image coding system
WG
11関連
ISO/IEC 11172 MPEG- 1 Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s ISO/IEC 13818 MPEG- 2 Generic coding of moving pictures and associated audio information
ISO/IEC 14496 MPEG- 4 Coding of audio-visual objects
ISO/IEC 15938 MPEG- 7 Multimedia content description interface ISO/IEC 21000 MPEG-21 Multimedia framework
ISO/IEC 23000 MPEG-A Multimedia application format ISO/IEC 23001 MPEG-B MPEG systems technologies ISO/IEC 23002 MPEG-C MPEG video technologies ISO/IEC 23003 MPEG-D MPEG audio technologies ISO/IEC 23004 MPEG-E Multi-Media MiddleWare (M3W) ISO/IEC 23005 MPEG-V Media context and control
ISO/IEC 23006 MPEG-M Multimedia service platform technologies ISO/IEC 23007 MPEG-U Rich Media User Interfaces
ISO/IEC 23008 MPEG-H High efficiency coding and media delivery in heterogeneous environments ISO/IEC 23009 MPEG-DASH Dynamic Adaptive Streaming over HTTP (DASH)
2150万台に上りました.現在世界中 のSNS(Social Networking Service) では毎日少なくとも18億枚の画像が 共有されています.そこで使われてい るJPEG方式は,画像の基本保存形式 として揺るぎない地位を保ち続けてお り,変化の激しい情報技術において稀 有な存在といえます. ■JBIG(1993年) 2 値画像(白黒画像)の可逆符号化 方式であり,FAXで用いられている 方式よりも20〜80%高い圧縮効率(約 20分の 1 に圧縮)を誇ります.この後 継規格JBIG 2 は,JBIGよりも圧縮 率を 2 〜 4 倍高め,準可逆符号化にも 対応しています. ■JPEGLS(1998年) 入力画像と復号画像が一致する「可 逆符号化」および最大復号誤差絶対値 を指定内に収める「準可逆符号化」を 規定している規格です.JPEGにおい ても「lossless mode」による可逆符 号化が可能でしたが,それよりも高い 圧縮性能があります.演算量も高くな いためハードウェア実装に向いた方式 です. ■JPEG 2000(2000年) 低ビットレートでJPEGを大きく超 える品質を与え,非可逆から可逆まで の広い範囲での高画質プログレッシブ 再生,任意領域の優先的伝送,伝送路 誤り対策,動画像対応などの豊富な機 能を有する符号化規格です.デジタル シネマ,デジタルアーカイブ,運転免 許証,パスポート,医用画像,衛星画 像などで活用されています. ROMなどの蓄積メディア(ビデオ CD)やPC,Webアプリケーションを 対 象 と し た 映 像 符 号 化 方 式 で す. 「MP3」の名で知られる音声符号化方
式MPEG 1 Layer3 Audioもこの規 格の一部で,オーディオプレーヤーや Web上でのストリーミングオーディ オに広く使われています. ■MPEG 2 (1995年) 4 〜10 Mbit/sの伝送速度で標準TV (SDTV)品質,15〜30 Mbit/sでHDTV 品質を実現し,飛び越し走査映像(イ ンタレース映像)や素材映像伝送にも 高効率で利用ができたため,DVDな どの蓄積メディアや地上波 ・ デジタル 衛星放送,HDDレコーダ,デジタル 編集システムなどにおいて幅広く利用 され,映像サービスが広まる契機とな りました. ■MPEG 4 (1998年) 10 k〜40 Mbit/sと極めて低い伝送 速度から高い伝送速度までを志向し, 符号化効率を従来より高めるととも に動く人物や物体などの「オブジェク ト」単位での符号化を初めて可能とし た規格です.TV電話などで用いられ ました. ■ M P E G 4 A d v a n c e d V i d e o Coding (AVC)(2003年) 10 k〜240 Mbit/sと幅広い伝送速度 を志向し,符号化効率をMPEG 2 の さ ら に 約 2 倍 に 向 上 し,BluRay Disk,ワンセグ放送や一部HDTV放 送,iPodなど種々のAV民生 ・ 産業機 器での採用など,通信 ・ 放送 ・ 蓄積な どで広く受け入れられる国際規格とな
(Joint Collaborative Team on Video Coding)において標準化作業が行わ れました.ITUTでの呼称はH.265で す.128 kbit/s〜800 Mbit/sと極めて 幅広い伝送速度を志向し,演算量と符 号化効率のバランスにも細心の注意を 払いながら標準化が進められ,結果的 に符号化効率をMPEG 4 AVCのさ らに約 2 倍に向上しました.4K以上 のUHDTVに お い て は,AVCの 3 倍 に迫る64%の符号量削減が報告され ています(4).2013年の標準化完了後, 2014年 6 月に開始されたCS 4K TV試 験放送(Channel 4K)やNTTぷらら の国内初4K商用VODサービス(ひか りTV 4K),NTTドコモのdアニメス トアなどですでに用いられています. 2016年に控えたBS 8K試験放送での 使用など,放送 ・ 家電 ・ 通信の分野で 今後の普及と市場の拡大が強く期待さ れています. ■HEVC2015年版 2013年に初版HEVCが標準化さ れた後も,その拡張が活発に継続され ま し た.RExt〔Range Extensions, 4 : 2 : 2 / 4 : 4 : 4 色差フォーマット, 高ビット深度(12ビットまで)対応な ど 〕, M V H E V C ( M u l t i v i e w HEVC:3D多視点映像対応),SHVC (Scalable HEVC:スケーラブル拡張) の拡張規格群の標準化が進められまし た.3D関 連 の 拡 張 は,WG 11と ITUT SG16 WP3との間で設立した JCT3V(Joint Collaborative Team on 3D Video Coding Extension)にて 進められています.これらの拡張は初
グローバルスタンダード最前線
版HEVCへ 統 合 さ れ,HEVC2015年 版〔ITUTで の 呼 称 はH.265(V2)〕 として発行されました. SC 29の外部評価 SC 29およびその貢献者 ・ 貢献団体 は,SC 29規格にまつわる一連の著し い産業的成果により,これまでに第 1 回 ISO Eicher Award,ISO150 Award,Emmy Award( 6 回),内閣 総理大臣表彰,郵政大臣表彰,経済産 業大臣表彰( 6 回),産業技術環境局 長表彰(11回)を受賞するなど,国内 外で高い評価を受けています. SC 29/WG 1の動向 現在完了直後または完了目前のもの としてJPEG XT,JPSearch,JPEG XRがあります.また,今後作業が始 まると予想されるものとして,AIC, JPEG AR,JPEG Systems,JPEG P r i v a c y & S e c u r i t y , J P E G PLENO,および(ここでは説明しま せんが)JPEG XSがあります. ■JPEG XT 昨今の画像機器は, 8 ビットを超え るビット深度を持つ画像信号を扱える ものが増えてきています.現在標準 的 ・ 独 占 的 に 使 わ れ て い るJPEG フォーマットは「JPEG Baseline」と 呼ばれるもので,ビット深度が 8 ビッ トまでしか対応していません.この JPEG Baselineと互換性を保ちつつ HDR(High Dynamic Range:高ダイ ナミックレンジ)画像に対応する規格 が望まれ標準化されました.HDR画 像を,通常のJPEG互換画像とその差 分情報から表現するものであり,従来 のJPEG対応ソフト ・ 装置でも表示で き,同じビットストリームをJPEG XT対応ソフト ・ 装置ではHDR表示が 可能です.初版は2012年に発行され, 現在その 9 つのパートの標準化の完了 を控えています.日本の貢献度の高い 規格の 1 つです. ■JPSearch メタデータに基づく高機能画像検索 システムを想定アプリケーションと し,データフォーマットやクエリ フォーマット,API,画像記述の用法 などを規定しています. ■JPEG XR JPEGがサポートできない高いビッ ト 深 度 を サ ポ ー ト し, か つJPEG 2000よりも低負荷な処理での符号化 を志向した規格です.Microsoftなど が推進する「HD Photo」と呼ばれる 静止画符号化方式に基づいています. ■AIC JPEG,JPEG2000の符号化効率を 超える次世代画像符号化および評価 手順を規定することを目指していま す.技術の具体的策定の前に,画質を 含む評価基準のガイドラインを策定中 です. ■JPEG AR拡張現実感(AR: Augmented Re al i ty)を実現するためのフレームワー クやAPIを定め,さまざまなAR提供 アプリケーションの相互運用を実現す ることを志向した規格です.2012年 10月にアジアフォーラムが設立され, WG 11とも共同作業しつつ標準化を 進めています.ARの市場は新たなデ バイスの登場やモバイルデバイスのア プリケーション開発を通して今後も拡 大すると予想されるため,特に産業界 からの積極的な参加が望まれます. ■JPEG Systems JPEGファミリー規格群を機能レベ ルで分解 ・ 統合 ・ 整理する大規模規格 で2014年に審議が開始されました. 既存のJPEG規格のファイルフォー マットやコードストリームシンタック スなどの共通仕様を定める一方,今後 制定される規格もこの枠組みで扱える ようにするガイドラインも規定すべく 作業を進めています.
■JPEG Privacy & Security
画像には意図せず保護情報(個人情 報,人物情報,車番,電話番号,GPS情 報などメタデータ)が含まれている場合 があり,SNSなどで共有される場合 には問題が起こり得ます.本規格は, 汎用的なデータ保護をシステムレベル で既存 JPEG 規格(JPEG, JPEG 2000)に提供することを目的として います.日本提案のワークアイテム(作 業項目)であり,仕様検討の具体化が 進んでいます. ■JPEG PLENO デジタルカメラ市場ではもっぱら JPEGが使われ続けてきましたが,昨 今光線空間(light field)撮影カメラ や360度全景撮影カメラなどが新しく 登場し,これまでにない市場が生まれ つつあります.光線空間,点群(point cloud),ホログラフィデータなどの新 しいデータに対応し得る,次世代の画 像符号化規格が求められており,その 符号化技術を探るための活動が開始 し,今後の動向が注目されています. 画像操作,メタデータ,セキュリティ などへの対応や,JPEGフォーマット との整合性も検討予定です.2015年 6 月にポーランド ・ ワルシャワで開催 されるWG 1会合中にワークショップ が行われました.
以下の項目の標準化が進められてい ます. ■3DHEVC HEVC2015年版に含まれている多 視点映像符号化拡張MVHEVCと異 なり,奥行情報(デプスマップ)の符 号化も伴う3D多視点映像を符号化す る拡張として,3DHEVCの標準化が JCT3Vにより進められています.本 技術とDepthImage Based Rendering 技術により中間視点映像を生成するこ とで裸眼3D映像を実現することが期 待されています. ■SCC 従来の符号化規格は自然画像を対象 としたものでしたが,CGやゲーム, コンピュータ画面を圧縮する「Screen Content Coding(SCC)」の提案募集 が2013年 1 月に発行され,JCTVCに て標準化が進められています.ワイヤ レスディスプレイや画像共有,遠隔教 育,電子書籍などへの応用が考えられ ます. ■HDR/WCG 近年カメラやディスプレイのダイナ ミックレンジが向上しています.また 人間の目が同一シーン内で識別できる コントラストは,順応なしで10万対 1 程度,意識しない程度のわずかな順応 のある場合100万対 1 といわれていま す(5).そこで,画素値が16ビット整数 や浮動小数点数で表されるHDR映像 や高色域(WCG: Wide Color Gamut) 映像への符号化技術の対応の検討が進
■Future Video Coding
HEVCをさらに上回る符号化効率達 成を目指して,次世代の映像符号化の 検討がFuture Video Codingとして開 始 さ れ て い ま す.HEVCと 同 様, ITUT SG16 WP3 Q.6と共同で要求 仕様の検討を進めることとなりまし た.2014年10月にフランス ・ ストラ スブールで開催されたWG 11会合中 に,Brainstorming on future video codingが行われ,目標やアプリケー ション,タイムラインなどが話し合わ れました.2015年10月にはスイス ・ ジュネーブで開催されるWG 11会合 中に,ワークショップが行われる予定 です.符号化効率のさらなる改善は, UHDTV以外にも,モバイル環境での ストリーミングやダウンロードにおい て必要とされています.市場拡大が期 待される分野でもあり,今後の動向が 注目されます. ■FTV 現在のステレオ3D TVを超える, 超 多 視 点 の 任 意 視 点 映 像(FTV: Freeviewpoint Television)の符号化 標準化の検討も進められています. 2014年 7 月のWG 11札幌会合におい てセミナーおよびデモが開催されまし た.日本および欧州の企業が活発に議 論を進めています.HEVCを上回る技 術があるかどうか技術情報を募集する CfEを2015年 6 月に発行し,10月に提 案技術の評価がなされる予定です. 今後の展開 ここでは,世の中に浸透しているマ HEVC拡張規格標準化は2015年度で 収束する予定で,今後は将来を見据え た探索検討が標準化フェーズに移行し 活動が活発化すると思われます. ここで述べた以外にも,例えば MMT(MPEG Media Transport)に よる放送と通信をまたいだハイブリッ ドコンテンツサービス,DASH(Dy nam ic Adaptive Streaming over HTTP)による帯域状態や端末に適応 しながらのビデオストリーミング,次 世代3D音声符号化技術,現在急成長 を見せている3Dプリンタ市場を志向 したメディアフォーマット標準化作業 の提案など,多様で多数の規格が市場 で使われており,また審議 ・ 標準化さ れ市場に出ていくと予想されます.通 信 ・ 放送 ・ 家電の高度化と歩を合わ せ,SC 29の重要性は今後ますます高 まっていくことでしょう. ■参考文献 (1) https://www.itscj.ipsj.or.jp/sc29/ (2) http://www.jpeg.org (3) http://mpeg.chiariglione.org
(4) T. K. Tan, M. Mrak, V. Baroncini, and N. Ramzan:“HEVC verification test results,” JCTVC Q0204, Valencia, Spain, March April 2014.
(5) A. Luthra, E. Francois, and W. Husak:“Draft Requirements and Explorations for HDR/ WCG Content Distribution and Storage,” SC 29/WG 11 N14510, Valencia, Spain, March April 2014.
*3 CfE:標準化予備調査の段階で,標準技術 よりも優れた技術の存在情報を募集する こと.