ディジタルシネマ劇場へのライブ配信(ODS)
技術
ODS Live Streaming Technology to Digital Cinema Theaters
藤井竜也
Tatsuya FUJII藤井哲郎
Tetsuro FUJII小野定康
Sadayasu ONO白川千洋
Kazuhiro SHIRAKAWA白井大介
Daisuke SHIRAI アブストラクト 筆者らは,高品質な画質を要求される分野での映像コンテンツの流通を目的として超高精細画像システムの研 究開発と,その動画像アプリケーションとして 4K ディジタルシネマの開発を進めてきた.本稿では, その 4K ディジタル シネマのれい明期から検討を行ってきた劇場向けライブストリーミングの実現技術と, そのディジタルシネマ用プロジェク タとシネマ配信用の高速光ファイバネットワークによってコスト的にもそのビジネス性可能性を高めた新たな映像配信アプ リケーションである劇場向けライブ配信(ODS サービス)について説明する. キーワード ディジタルシネマ, ODS, 超高精細映像通信, 4 K 映像, LDGM1.
は じ め に
筆者らは,水平走査線数 2,000 本以上の極めて高解像で大容 量である超高精細映像の超高速符号化処理システムと 1Gbit/s 超級のネットワークを用いた映像通信システムの研究を進めてき た(1),(2).これは超高品質のディジタル映像メディアによって従来 のフィルムをベースとしたアプリケーションを完全ディジタル化 することで,コンテンツ流通と利活用をネットワーク上で進展さ せるのが目的であった.静止画像アプリケーションについては医 療,博物美術アーカイブについてその有効性を示してきたが,動 画像についてはその代表的なアプリケーションとしてディジタル シネマへの適用を進めた.NTT 研究所が横 3,840 画素,水平走 査線数 2,160 本の動画像配信システムを試作開発した 2001 年当 時,シネマ業界では映画制作のディジタル化は既に進行しており, 配給上映のフィルムからディジタルへの移行をいかに進めるかが 課題となっていた.つまり映画フィルムで得られてきた映像品質 をディジタルで実現する必要があり,特に HDTV 以上の解像度 藤井竜也 正員 日本電信電話株式会社 NTT 未来ねっと研究所 E-mail [email protected] 藤井哲郎 正員:フェロー 東京都市大学環境情報学部 E-mail [email protected] 小野定康 正員:フェロー 慶應義塾大学大学院 政策・メディア研究科 E-mail [email protected] 白川千洋 正員:シニア会員 日本電信電話株式会社 NTT 未来ねっと研究所 E-mail [email protected] 白井大介 正員 日本電信電話株式会社 NTT 未来ねっと研究所 E-mail [email protected]Tatsuya FUJII, Member (NTT Network Innovation Laboratories, Yokosuka-shi, 239-0847 Japan), Tetsuro FUJII, Fellow, Member (De-partment of Environmental and Information Studies,Tokyo City Uni-versity, Yokohama-shi, 224-8551 Japan), Sadayasu ONO, Fellow, Member (Graduate School of Media and Governance, Keio Univer-sity, Fujisawa-shi, 252-0882 Japan), Kazuhiro SHIRAKAWA, Senior Member (NTT Network Innovation Laboratories, Yokosuka-shi, 239-0847 Japan), Daisuke SHIRAI, Member (NTT Network Innovation Laboratories, Yokosuka-shi, 239-0847 Japan).
電子情報通信学会 基礎・境界ソサイエティ
Fundamentals Review Vol.5 No.1 pp.80–89 2011年 7 月 c
⃝電子情報通信学会 2011
が必要であるか否かという論点が焦点になっていた.それを実際 に検証する手段として筆者らがかねてから開発してきた超高精細 映像通信システム(3)∼(5)によって ETC(Entertainment
Tech-nology Center)/USC(University of Southern California)で の比較上映実験が行われた.この実験システムは圧縮符号化し た超高精細動画像データをビデオサーバから IP 伝送して,こ れを受信したデコーダで JPEG2000(6)符号化によるリアルタ イム伸張処理を行い,水平走査線数 2,160 本のディジタルプロ ジェクタで表示する.この際,ビデオインタフェースで画質の 劣化を生じさせないように,デコーダとプロジェクタ間もフル ディジタル RGB4:4:4 のビデオ IF を設計して接続した.超高 精細映像の長時間再生を可能にすることで,フィルムに対する ディジタルの優位性を可視化した最初のシステムである.その 実験の結果,走査線数 2,000 本クラスの超高精細映像がフィル ムの置換えを可能にすることが広く認知され,配給上映のディ ジタル化の機運が高まる結果となり,ハリウッドを中心とした ディジタルシネマを推進する NPO 団体 DCI(Digital Cinema Initiatives), LLC(7)による標準化(8)につながった.DCI 規格 での映像フォーマットは,横方向を映画に合わせて若干延長し て 4,096 × 2,160 画素とし,解像度を横方向に数える映画業界 の流儀にならい,単に“ 4K ”と呼ばれるようになった.図1の ように,4K 映像は HDTV の4倍の画素数を有しているが,フ レームレートはフィルムと同じ 24f/s を踏襲している.映像シ ステムと評価実験の詳細については,文献(9)を参照されたい. 一方,ディジタルシネマシステムの研究開発,映画館での商用 実証実験と並行して検討してきたのが,劇場に向けた高精細映 像によるライブストリーミングアプリケーションである.従来 からパブリックビューイングと称して仮設のスクリーンや上映 設備を用いたスポーツ中継等が公民館・集会場でイベントとして 行われてきたが,臨時設備の設置費用やネットワークの仮設費 用の多さから収支を合わせることが難しく一過性のイベントに
図 1 4 K超高精細映像
ならざるを得なかった.しかし,映画館にディジタルシネマシス テムが導入され,劇場に映画配信用のネットワークが引き込ま れれば,あとはライブストリーミング用のコーデックがあれば, 非常に低い追加コストでパブリックビューイングが可能になる. これは映画関係者からは ODS(Other Digital Stuff)と呼ばれ てきた.これは映画の“ 本編 ”に対応する表現で,いささか排他 的な意味を含むことから日本でディジタルシネマの研究を推進 してきた DCCJ(10)では Online Digital Source と読み替えた
りもしてきたが,最近は映画館でのライブ上映が特別なもので はなくなった結果,単に“ ライブビューイング ”と映画との差 別化を特段に意識させない言い方が使われている.ディジタル シネマが 4K ないし 2K(2,048 × 1,080pixel) で共に 24f/s の 2 種類のフォーマットに限定されるのに対して,ODS は撮影機材 とネットワーク伝送のための映像コーデックの都合で様々なバリ エーションが存在する(図1).本稿では,ディジタルシネマの れい明期から技術面・ビジネス面から検討を行ってきた,劇場向 けライブストリーミングの実現,これは技術的には映画館クラ スの大スクリーン上映に適用可能な高精細ライブストリーミン グの研究と実証実験,サービス化への取組みについて概説する.
2.
ディジタルシネマ配信による
劇場間ネットワークの拡大
2005年にディジタルシネマの技術的仕様 DCI が決まったこ とで,それに基づくディジタルシネマ配信上映の実現に向けた トライアル実施の気運が高まった.NTT 研究所では 4K 上映シ ステムによる映画上映だけでなく,ディジタルシネマのコンテ ンツを光ファイバによる高速ネットワークで配信することを目 的として,商業映画館での配信上映実験を 2005 年 10 月から2 年間をかけて実施した(11).2. 1
ディジタルシネマのネットワーク配信トライ
アル
DCI仕様では,海賊版対策のための暗号化セキュリティとデー タフォーマットの上映装置の定義と装置間の互換性の確保に特 に重点が置かれている. 映像では 4K 解像度のほかにサブセッ トである 2,048 × 1,080 画素からなる 2K といった映像フォー マットのほかに,7.1ch(最大 16ch)PCM 音響フォーマット, JPEG2000圧縮での符号化パラメータを規定し,データはマル 図 2 DCI 仕様準拠の4 K ディジタルシネマ上映シス テム チメディアデータの受け渡しフォーマットの規格である MXF (Material Exchange Format)によりラッピングされた後,米 国標準暗号規格である AES(128bit,CBC モード)により暗号 化される. このデータは DCP (Digital Cinema Package)と 呼ばれ,2時間の映画で約 300GByte の容量になる一つのデー タファイルとして扱われる. この DCP を復号するための暗号鍵 は,映画業界に登録された各上映装置の持つ秘密鍵とペアとな る公開鍵により RSA を用いて暗号化され,上映許諾ライセン ス期間の情報とともに KDM(Key Delivery Message)と呼ば れるメッセージフォーマットにより劇場まで配布される. 特定の 上映装置でしかデータ暗号鍵を取り出せず,図2のように暗号 と JPEG2000 の復号を上映の都度行うことで,保護されていな い原画像データの露出と蓄積をなくすことで高いセキュリティ を実現できるが,秘密鍵を保管しデータの復号を行う上映装置 には高い対タンパ性が要求される. このように厳重なコンテンツ鍵管理に対応した 4K 上映サーバ を配信上映実験に向けて開発したことで,映画コンテンツのディ ジタル移行を最後まで阻害していた映画制作側の最後の懸念要 因が解消し,ハリウッド各社による数十億円以上の極めて制作コ ストのかかった各作品がディジタル流通するようになった. この 際,米国ハリウッドの制作各社から NTT のデータセンタ,更に そこから各映画館へ 200Mbit/s∼1Gbit/s の高速光ファイバ回 線を敷設して全ての DCP と KDM の配信をネットワークで実 現した. この配信上映実験“ 4K pure cinema trial ”の参加企業 として,NTT グループのほかに,Buena Vista International, Warner Bros. Entertainment,ワーナーエンターテイメント ジャパン,Sony Pictures Entertainment,ソニー・ピクチャー ズ エンターテイメント ジャパン,Paramount,ユナイテッド インターナショナル・ピクチャーズ・ファー・イースト,ワー ナー・マイカル,東宝の多数の映画関係者の協力を得て実験を 完遂した. ネットワークコストの高い米国ではディジタルシネマ 配信の手段として,フィルムと同様なハードディスクの宅配が 考えられてきたが,これを完全にネットワーク化して,HDD の ような物理媒体を用いないという意図が,実験名の中に込めら れていた. 関東 4 館,関西 2 館の映画館の協力によってハリウッ ド系 15 作品を上映し,DCI 仕様のディジタルシネマの配給・興 行プロセスについて,映像品質,運用耐性,セキュリティ,デー タ (DCP)・鍵 (KDM) 配信の管理フロー・コスト等幅広く実用図 3 4K Pure Cinema Trial:シネマコンテンツ配信 実験 性の検証を行った(図 3). 米国の各映画制作会社で準備され た DCP はまず日本側の拠点(データセンタ)にバルク転送さ れ,そこで QC と呼んでいる事前上映で DCP のデータとして の完全性をチェックする. 要するに上映内容を目視で全編検査し て,画像の乱れや,字幕・ルビ等の日本向けの特別な付加デー タの良否をチェックする. これにパスした DCP を各映画館に設 置した上映装置にダウンロードして商業上映を行う準備を完了 する. これらを繰り返して合計で 3,000 時間以上の上映が安定的 に実施され,その結果,1⃝ データに対する直接の人の介在がな く,金融機関並のセキュリティを保持したままハリウッドから 劇場まで配信,2⃝ 字幕や作品データの不具合の修正データを緊 急にハリウッドから再送可能,といったネットワーク配信の有 効性が検証された. また異なる配給会社(トライアル参加企業) のデータが再生可能,といった互換性が検証された. 品質に関し ては,映画業界及び一般鑑賞者の声として,1⃝ 画質・音質共に 想像以上に品質が高い,2⃝ 字幕がきれいで見やすい,といった 高い評価を受けた.
2. 2
劇場へのネットワークライブ配信
現在では 2009 年から 3D 映画ブームに加速されて商用のディ ジタル上映システムの導入が進み,ディジタル上映設備は国内 で 400 スクリーンを超えた. 当初 3D 上映機能が優先されて 2K 解像度のディジタルシネマシステム導入が主であったが,昨年 からは SONY 社製の 2K-3D と 4K-2D 兼用の上映システム の劇場導入が加速し,4K 解像度での映画上映が可能な劇場が 増えつつある.DCI 仕様は,全米映画テレビジョン技術者協会 (SMPTE)(12)でのディジタルシネマ部会 DC28 において追加の 標準化が進められ,2007 年の SMPTE 組織改正後は 21DC と して今なお活発に拡張仕様の議論が続けられている. このディジタルシネマ配信上映実験の遂行と並行して,筆者ら は映画館の大スクリーン上映を前提として種々のライブ配信シス テムの研究開発とそれらを用いた実証実験を行ってきた. 映画館 へのディジタル上映装置の導入が既定の路線とみなされた 2005 年以来,ネットワークによるシネマコンテンツ配信が HDD を 用いたのに対するアドバンテージとなるようにライブストリー ミング・ODS の具体化を目指してきた(図4). 映画館の興行 側事業者にもディジタル上映装置の導入に際して,映画以外の コンテンツも映画館で上映したいというニーズが顕在化しつつ 図 4 ネットワーク接続された映画館へのライブ映像 配信 図 5 DCI 仕様準拠の4 K ディジタルシネマ上映シス テム あった. 映画館の興行側としては,大作映画の上映の端境期に別 のコンテンツを利用して集客をアップさせたい,あるいは,深 夜や平日の日中に集客が見込めるような趣向の違うコンテンツ を上映したいという希望があり,海外からのライブ中継や舞踊 演劇といった分野に関心が持たれている. このライブ配信につい ては,現状のビジネスベースでは HD 映像品質のものがもっぱ ら活発に行われているが,筆者らはその先を見込んだ,映画の 最高品質と同じ 4K 映像を用いたライブ映像の伝送技術を中心 に研究と実証実験を中心に進めてきた. 次章では,この 4K 映像 と国際実験ネットワークを用いたライブ配信実験について説明 する.3.
超高精細
4K
ライブストリーミング技術と
その実証実験
4K映像通信のライブストリーミングの実現に向けて映画上 映システムとは全く別個のリアルタイム映像通信システムの開 発を進めてきた(13),(14).ディジタルシネマでは,あらかじめ圧 縮した映像データをあらかじめバルク転送してローカルのスト レージにファイルとして蓄積し,このファイルデータに対してデ コード処理をリアルタイム処理で実現してきたのに対して,ライ ブストリーミングでは,カメラからのビデオ信号のエンコード 処理と IP パケットによる送信処理を行うリアルタイムエンコー ダと,これに対応するリアルタイムデコーダが必要となる(図 5).その際,大劇場での投影に耐え得る高画質性と,双方向通 信における映像符号化と IP 伝送のトータルでの低遅延性,ライ ブ中継伝送におけるIPパケット損に対するロバスト性が重要 となる.このようなリアルタイム映像ストリーミングを実現す るために,JPEG2000 アルゴリズムによる 4K 映像の圧縮伸張 のリアルタイム処理と,疎グラフ符号により IP パケットの消失 訂正を高速低負荷で行うために考案した LDGM(Low-Density Generator matrix Code)-FECを実装した JPEG2000 リアル タイム 4K 通信システムの開発過程と,これを利用した各種の 応用実験について述べる.表 1 4K ストリーミングシステム仕様
3. 1 JPEG2000
リアルタイム
4K
通信システム
本装置は,4K × 2K 画素 60f/s,4:2:2 フォーマットの超高 精細画像(4K60P)の実時間符号化と IP 伝送処理実現する ために開発した装置であり,12Gbit/s のビデオ信号と最大で 1.2Gbit/sで符号化した IP ストリーム間でのエンコードとデ コードを行うことができる.そのブロック図と外観を図6,7に 示す.本装置は,Linux/IA サーバ PC と PCI-Express ボード 4枚で構成される.この4枚の JPEG2000 処理ボードは,4K 画像を 4 分割された各画面について JPEG2000 アルゴリズムに 基づく圧縮伸張処理を並列処理し,各分割画面のディジタルビデ オ信号を並列に入出力する.圧縮された符号化データに対する LDGM-FEC,IP パケット送受信等の通信処理はこの圧縮伸張 ボードを格納している Linux/IA サーバ上で実行しており,後 述するレイヤード処理のような,符号化後のコードストリームに 対するポスト処理は全てソフトウェアで処理している.4K 映像 の入出力は 8 本の HD-SDI を用いて行う.各ボードは SMPTE 292(Single Link)準拠のディジタル映像信号入力及び出力各 2系統,外部同期入力端子 1 系統を備える.入出力 2 系統ずつをまとめて用いることで,SMPTE 372M(Dual Link)1 系統 の入出力が可能である.入出力可能な映像フォーマットは,ボー ド当たり SMPTE 274M,372M 及び DCDM-SDI 準拠の 2K 映像であり,その一覧を表1に示す.全ボードが同期して動作 することによりシステム全体で 4K 映像の入出力が可能となっ ている. 本システムでは,UDP を用いたマルチキャスト配信をサポー トしており,ストリーミングにおけるロバスト性を確保するた めに UDP データを冗長化して送信し,経路上でデータ誤りが あった場合は受信側で誤り訂正を行う FEC 機能を実装してい る. この FEC 実装においては,高速な処理が可能で,かつ高い 誤り訂正能力を持つ LDPC(Low Density Parity Check)符 号に注目した.LDPC 符号のうち,IP パケットのように伝送誤 りがパケットの損失として伝搬する場合に特定して簡略化した 疎グラフ符号(LDGM: Low Density Generator Matrix)(図
図 6 4K ストリーミングシステムの内部構成
図 7 JPEG2000 を用いた 4K ストリーミングシステム
図 8 LDGM による FEC 処理
8)を用いた FEC を実装した.LDPC ないし LDGM は MDS (Maximum Distance Separable)符号ではないため,同じブ ロック長の Reed-Solomon(RS) 符号などと比較した場合には効 率が劣るが,LDGM-FEC では大きな符号ブロック長を設定し ても計算量の増加が緩やかで,そのときに高い誤り訂正能力を 示す.これによりパケット損失率 8 %ほどのネットワークにお いても,10 %の冗長度のパリティパケットを付加することで訂 正できない確率が 10−6オーダのほぼ損失のない映像伝送が可 能となる.例えば,符号長を 3,000 パケットとすると最大で 240 パケット程度の消失パケットの訂正が可能であり,このような 大きな符号長の場合でも高速化処理により,800Mbit/s 程度の ビットレートでも問題なく処理が可能である.表2は冗長度を ほぼ同一の8%に設定した FEC 3方式の比較である.LDGM 表 2 高速誤り訂正符号の比較
図 9 iGRID2005 での太平洋間4 K ストリーミング 実験 図 10 オンラインゲームの劇場向け4 K 配信実験 については許容遅延量を 100ms(4K30P 映像 3 フレーム)と してブロック長を設定し,ランダム損失率 4%のネットワークで 実測した結果である.符号長の短い水平パリティはもちろんの こと,計算量負荷で符号長を余り大きくできない RS 符号に対 して,よりロバストなパケットエラー耐性を示している(14). LDGM-FECに関しては,後述するレイヤード処理での高能率 化,低レート時での性能劣化の緩和法などのアルゴリズム提案 をしているがその詳細は文献(15),(16)を参照されたい.
3. 2
国際学術ネットワークを用いた
4K
映像のライ
ブストリーミング実験
超高精細映像ストリーミング配信技術の有効性を検証する ために,画質評価/伝送実験を進めてきた.2005 年 9 月には, iGRID 2005シンポジウム(17)にて,世界初の 4K 超高精細映像 の太平洋横断IP配信実験に成功した(図9)(18).これは NTT と慶應義塾大学,イリノイ大学シカゴ校,カリフォルニア大学 サンディエゴ校による共同実験で,慶應義塾大学とサンディエ ゴ校が 4K ライブ映像によってつながるなど,総計 6 時間の 4K 超高精細映像コンテンツを上映した.日米間の総延長 15,000 k mの光回線をイーサネットレベルで接続し,ギガビット IP ネッ トワークが一つの映像アプリケーションで占有される時代の始 まりを示した. 2006年 10 月には,遠隔 4 拠点でレーシングゲームをオンラ イン対戦して作られた4K映像を,映画館を含む多地点に配信 する実験を東京国際映画祭において行った(19)(図10).NICT (京都),慶大(三田),NICT(秋葉原),NTT(横須賀)の 4拠点に設置した HD 品質のゲーム機と対戦型ゲームソフト 図 11 スケーラブルマルチキャスト (プレイステーション3,リッジレーサー7,実験時未発売)を (株)バンダイナムコゲームズの協力を得て実演し,そのゲーム 画面をネットワーク伝送して 1 拠点に集約し,4画面分の映像 を4K映像としてリアルタイム合成圧縮する.その圧縮データ を 300∼500Mbit/s の IP ストリームとして,5 拠点 10 端末に 多地点配信を行った.この実験は商用映画館の設備を用いた 4K 映像での ODS コンテンツの最初の上映実験であり,全国規模 でのオンラインゲームの実施によってコラボレーションによる 4Kコンテンツのリアルタイム制作を行うという面でも新しい 試みであった.3. 3
4K/2Kスケーラブル配信
4K映像は次世代の映像規格として期待が高まっているが,市 販されている表示可能なディスプレイ・プロジェクタ機器は現 時点ではまだ限られており(20),(21),HD 機器に比べてコスト が高い. またアーカイブの観点からは,可能な限り高解像度・高 品質で映像の符号化を行い,視聴時には視聴環境やネットワー クの伝送帯域に応じた映像品質で復号ができることが望ましい. このような要求に対応するために,4K 映像通信システムでは JPEG2000の特徴であるスケーラブル性を利用した 4K/2K ス ケーラブル再生機能を備えている.JPEG 2000 符号化方式は, 画像の周波数成分及びビットプレーンごとに符号化を行う階層 符号化が用いられており,全符号化データの一部分を取り出す ことで復号が可能である.そこで図11のようにエンコーダ側 では周波数成分ごとに別の IP ストリームとしてデータを送出 し,ネットワークの帯域や送り先の映像機器が 4K 対応である 図 12 スケーラブルマルチキャストによる3地点 TV 会議図 13 マルチコーデック映像同期システム か HD 対応であるかによって,ネットワーク内での IP マルチ キャストの制御を行う.マルチキャスト配信によって低域周波 数成分と高域周波数成分の両方が伝送されれば,4K 映像のデ コードが可能となり,低域周波数成分だけが配信されれば HD 解像度でのデコードが行われる.このようにエンコーダは一定 の動作を継続させたままで,受信側の映像品質をネットワーク 内で制御することが可能となる.ODS の範ちゅうではないが, この機能を利用して 2008 年 12 月に行った実証実験の構成を図 12に示す.これは上述の iGRID 2005 実験を行ったのと同じ 日米の3拠点(慶大,UIC,USCD)で行った実験で,イリノ イ大学を HD 品質の送受信点,他 2 拠点では 4K 映像を撮影表 示で来る拠点と定めて 4K/HD 混在型テレビ会議の実演を行っ た(22).JPEG2000 のスケーラブル機能を活用して,所要帯域 を増やすことなく実験ネットワーク上に設置した IP パケットの デュプリケータ(FlexCast プロトコルによる IP パケットスプ リッタ(23))によって視聴環境や伝送経路の帯域に応じて自由に 4K/HDの映像品質を変えられることを実証した.この実験は 米国のネットワークとコンテンツ制作の研究者の集まりである CineGrid(24)Workshopにおいて行われた. ODSの一分野として,教育用のコンテンツを 4K 映像で広く 伝送する検討も進めてきた.解像度に加えて 30f/s と 60f/s のフ レームレートの違いが臨場性の効果をもたらす分野として,手 話を用いた TV 電話会議の実験を行った(25).超臨場感コミュニ ケーション産学官フォーラム (URCF)(26)と共同で行ったこの 実験は,劇場の利用では無かったものの,大学のホールに 220 インチの大スクリーンを設営して双方向の手話による会話をネッ トワークで隔てて行い,手話の了解性や,手を動かす速度の上 限について評価した.手先の微妙な動きに対して 4K 解像度と 60f/sのフレームレートによって HD に比べて大幅に了解度が 明確に向上したものの,対面の手話会話に比べて特にフレーム レートの面でまだ不足がある点などの評価結果が得られている. 図 15 4K 3面テレプレゼンス実験環境
3. 4
マルチコーデック同期伝送
4K映像よりも大きな画像を伝送しようとする場合,特にス ポーツ中継の ODS のように競技グラウンドの全景を映すため に 16:9 よりもかなり横長な映像を伝送して表示したいという 要求を満たすには,複数のカメラとディスプレイを用いて横に 並べて設置した上で,それぞれの映像を伝送するコーデック間 で同期をとる必要がある.そのためにビデオ信号を同期させる GenLock信号が用いられるが,仮にコーデック間でちょうど1 フレーム分の伝送遅延の偏差が生まれると映像信号としては同 期しているものの,各表示装置に映し出される映像は1フレー ム前後にずれてしまう.そこでフレームの時間関係がそろうよ うに同期化させる機能を JPEG2000 による 4K 映像通信シス テムに追加した(27).図13のようにエンコーダ間をローカルに イーサネットで相互接続してそのうちの1台をマスターとして タイミング信号を発生させ,残りがスレーブとしてこのタイミ ング信号を共有する,デコーダ側でも各デコーダが復号したタ イミング信号を同時にビデオ出力端に出しているか監視して制 御を行う.この仕組みによって無制限の個数のエンコーダ・デ コーダ対を並列動作させることが可能になる.図14のように 1方向としてライブビューイングに利用するか,双方向にして 大会議室での TV 会議を行うシステムにも利用できる,図15 は,NTT 内に構築した 4K カメラ3台とリアプロジェクタ3面 からなる3並列同期伝送表の実験室の外観で,テレプレゼンス 環境としての高臨場化の検討や,映像制作システムや PC/CAD ツール等と組み合わせた高臨場感コラボレーションの研究を行 うために構築した.この内容については次の機会で詳説したい. 図 14 マルチ4 K 映像同期伝送の応用例図 16 超高精細画像の伝送の所要帯域
3. 5
4K非圧縮映像伝送システムとその伝送実験
劇場向けのコンテンツ配信では単に上映してコンテンツを消 費するだけであれば,4K映像についても H.264/AVC に代表 される高能率符号化を用いる方がネットワーク帯域の利用効率 という観点で効率的である.図16は,HD や 4K 映像を映画 館のスクリーンサイズで投影した際に劣化を知覚しない程度に 圧縮した場合の各映像ソースに対する所要伝送レートを主観評 価で求めた結果を示しているが,4K30P であれば H.264/AVC の4並列を用いることで何とか 100Mbit/s の帯域で伝送でき る.一方,筆者らの 4K 映像通信システムは,伝送後の映像を編 集のための素材として用いたり,双方向通信で重要となる低遅 延性を実現するために JPEG2000 を採用している.その上で, 大スクリーンを使った上映環境により伝送レートなどのネット ワークに対する要求条件を評価してきた側面がある.逆に,建 物内での素材伝送ネットワークのように,10GbE をベースとし た潤沢な帯域を想定することができれば,4 K 映像を非圧縮の まま伝送する方が無劣化と,圧縮伸張を行わない低遅延性とい う2点で非常に有益である.HD-SDIのビデオ信号を直接 IP パケット化する i-Visto Gate-wayと呼ぶ非圧縮ストリーミングシステム(28)を並列動作させ て 4K 映像の伝送を可能にしたのが図17のシステムである. 1台の装置で二つの HD(30P) 信号を IP 化できるので2台で 4K30P映像の伝送が可能となる.2台の間のフレーム同期をと るために,JPEG2000 ストリーミングシステムと同様に送信側 では1台がマスターとなり独自のタイムコードを生成し,スレー ブであるもう 1 台に IP 接続を通じて供給し,二つの装置が同 じ同期信号を入れ込んだ IP パケットを送出するように機能を追 加している.受信側の2台も同じように相互に IP 接続されてお り,お互いが受信したパケット中の同期信号中のカウンタを比 較して,同時にビデオ信号を出力するように同期制御がかけら れている. この非圧縮 4K 映像ストリームの伝送では,低フレームレー ト(30f/s)であっても 6Gbit/s を超える帯域が必要となる.し たがって非圧縮 4K 映像ストリームが二つだけでも同じネット ワーク上に重畳するだけで,10Gbit/s 帯域では足りなくなり, 合流点で IP パケットあふれが生じる.例えば,複数地点から映 像ストリームを受信して,映像を切り換えて出したいときに,圧 縮映像であれば単に複数のストリームを受けて選択してデコー 図 17 HD4面同期による非圧縮4K映像伝送 図 18 非圧縮4 K のクロスフェード切換 ドすれば十分だが,非圧縮4 K 映像の伝送では,送信側のスト リーム送出のオン/オフを制御する必要がある.この IP パケッ トあふれを防止しつつ,ストリームの切り換えを瞬断なく行う ための機能を実現するために,送受信装置の協調制御によるク ロスフェードと呼ぶ手法を実装した(29).図18のように2地点 の送信側のストリーム送出速度を2∼3フレーム時間の間で段 階的に増減することで,切り換え用バッファの容量とそれに伴 う伝送遅延を抑えている. 2007年 11 月には,京都賞式典の4 K 映像をストックホルム 市まで非圧縮で映像伝送する実験を行った.2台の4 K ライブ カメラを京都賞会場に設置し,各々のカメラの非圧縮ストリー ムを 10GbE-ネットワーク上で切り換え編集して合成,JGNII の 10GbE 帯域の回線を利用して送出した.そして米国内の学 術網を経由して CESNET,NORDUnet 等を継いでストックホ ルムまでの 21,000Km の距離の間で 6Gbit/s 非圧縮4 K 映像 ストリームの伝送を行った(図19).圧縮を行わない最高画質 の映像によるライブ中継は,10Gbit/s 帯域の超高速ネットワー クの新しい利用シーンを示し,映像アプリケーションの要求帯 域が 10GbE よりも更に高速なネットワークを必要としている ことを示した.このあふれ防止機能の開発とそれを用いた京都 賞の伝送実験は平成 17∼19 年度の総務省受託研究「次世代型映 像コンテンツ制作流通技術の研究開発」の中で遂行した開発成 果を用いて行われた.
4.
映画館を用いた商用ライブ配信実験
3.で述べてきた4K映像伝送システムおよびそれを利用した 実証実験群は,劇場の大スクリーンに見合う解像度である 4K 映像をいかに高画質かつ正確に伝送するかに注力してきた.一図 19 非圧縮4 K 映像ライブの伝送経路 方,ディジタルシネマ上映館での実ビジネス領域では,導入コ ストの低い 2K(2,048 × 1,080 画素) 規格のディジタルシネマの 導入が先行した.この傾向は 2010 年をピークとした 2K 解像度 48f/s駆動のプロジェクタで可能になるステレオ立体視 (3D) 映 画のブームで更にこの傾向が加速された.この状況に合わせて, 映画上映用に実稼働しているディジタルシネマ上映設備を利用 した ODS の劇場への配信トライアルを実施した.これらの実験 は 4K pure cinema トライアルと同様に,来場頂いた一般のお 客様から料金を頂いた上で鑑賞・評価して頂いた点が,学術網を 用いた実証実験とは大きく異なるビジネストライアルであった.
4. 1 HD
映像による劇場ライブ配信実験
(宝塚歌劇
ライブ配信)
劇場に有料配信して集客が見込めるコンテンツとして,宝塚 歌劇のライブ配信を実施した(30).それまでは,衛星を使って SD映像を多地点配信していたが,これに代わって光ファイバ網 により HDTV 品質の映像を宝塚の舞台から各劇場へ多地点配 信した.宝塚クリエイティブアーツ (TCA),TOHO シネマズ, NTT西日本,NTT コミュニケーションズと共同で,9 月に第 一次実験として TCA スペシャル 2007「アロー!レビュー! 」を 六本木となんばの映画館に配信,第二次実験として,図 20 のよ うに 12 月 24 日の花組公演東京宝塚劇場千秋楽を,東京・名古 屋・大阪の 7 映画館へ配信,観客からは“ 今までとは別次元の映 像品質 ”という好評を得た.これらの実験は商用の劇場を用い た HDTV クラス映像配信としては国内で最初の試みであった. 本実験に先立って,劇場の大スクリーンと大光量シネマプロ ジェクタの組合せでどれだけの伝送レートが必要かの予備実験を 行った.歌劇団関係者と劇場関係者の主観評価の結果,MPEG-2 で約 45Mbit/s が必要と判定された.これは直視型ディスプレ イでは過分と考えられる伝送レートであるが,300 インチを超 える大スクリーンを 1H∼2H の至近距離で見る条件ではこの符 号化レートが必要になる.現在では H.264/AVC コーデックを 用いるため,MPEG-2 ベースの約半分の伝送レートで同程度の 品質を実現している. 図 20 東京宝塚千秋楽の高品質ライブ配信4. 2 ODS
ライブ配信の高臨場化の試み
上述の宝塚配信実験を行った 2007 年以降,映画館への光ファ イバネットワークを用いた HD 品質のライブ配信・ODS は急速 に一般化して商業的に繰り返し行われるようになった.更に 3D 映画のブームに併せて,2台の HD カメラを用いた 3D ライブ ストリーミングもイベント的に行われ,特に封切り映画の舞台 挨拶中継のように,ライブ中継をすることで全国的な集客の増 加を狙えるイベント分野の探求が続いている. 一方で音響系に関しては単純な 2ch ステレオ音響が用いられ てきた.これは,映画館の 7.1ch 再生システム環境と,コンサー ト・演劇舞踊の劇場の音場再生系に大きな相違があるため,2ch を超える音源があったとしてもその調整に費用がかかることが 要因と考えられる.NTT 西日本と九州大学,宝塚クリエイティ ブアーツ,角川シネプレックスらは,マルチチャネル音響の再 現性と設置調整の自動化に向けた検討を始め,その第一弾とし て日比谷の宝塚劇場から千葉県幕張市の映画館への 5.1ch 音響 と HD 映像を用いたネットワーク配信実験を行った(31).演技者 と楽団の音響を多チャネル化した上で,舞台・観客のアンビエ ント音響を映画館側で再生することで,臨場感に対する観客の 感想が大きく向上したとの結果を得ている.本実験では,5.1ch 音響の伝送に MPEG/ALS に準拠した音響ロスレス技術を用い ており,音響の多チャネル化で必要となるネットワーク帯域の 増加分を緩和している.5.
ま と め
本稿では,ディジタルシネマ上映と映画館へのコンテンツ配 信を,光回線ネットワークを用いて行う 4K pure cinema トラ イアルから,そのネットワークを用いて劇場にライブ配信する ODSに関する研究開発動向,ビジネストライアルについて概観 した.高精細画像通信システムの開発により,有力な産業分野 で最後までフィルムが使われ続けていた映画がディジタルに置 き換わった.これは単にメディアとその流通方法が変わるだけ でなく,オンデマンド上映が可能となるビジネス的なインパク トを内在している.フィルムの転写コピーといった準備期間と 追加コストを必要としないダウンロード上映により,今までコ スト的に成り立ち難かったロングテール作品や旧作の再上映が 容易になる.そしてネットワークによるコンテンツ流通が注目 され,ライブ配信というネットワークを必須とするアプリケーションが立ち上がりつつある.ODS では,既存のネットワーク と上映機器,スクリーンをシネマ上映と供用するので,従来の 特設会場でのイベント的なパブリックビューイングとは大きく 損益分岐点が異なり,いろいろなコンテンツ上映がビジネスと して成り立つ可能性が高い. 一方で,商用レベルでは 4K 映像による ODS は行われていな い.ODS はもっぱら HD ないし 3D-HD に限られているのが現 状である.技術的には,映画用のプロジェクタが 4K では 24f/s 専用で,30∼60f/s のフレーム周波数の映像に対しては HD ま でしかサポートしていないこと,HD-SDI 接続の同軸ケーブル を 4∼8 本必要とする上に暗号化で保護できるビデオ規格が存在 しないことが,4K-ODS への障壁となっている.またビジネス 的にも,今のエンタメコンテンツでは,上映機器とネットワー ク帯域確保の 4K-HD 間のコスト差を正当化するだけの理由と なっていない. しかし,これまで絶対と考えられていたフィルム由来の 24f/s を脱する動きが最近顕在化してきた.48f/s や 60f/s を採用する 映画も近年出てくる予定で,4K 上映機器(特にプロジェクタ) に対する要求はシネマも ODS もさして変わらない状況になる であろう.4K-ODS は大スクリーンでの高画質上映という家庭 内 TV 視聴との差別化要素としても有望である.更に映画館を エンタメ用途に限定せず,ネットワークと上映装置が常備された 駅近のスペースと考えた場合に,研修会,商品説明会,会議と いったビジネス分野の利用が盛んになり,そうしたマルチユー スへのニーズが 4K 導入を加速すると考えている. 文 献
(1) S. Ono, N. Ohta, and T. Aoyama, “ All-digital super high definition images,” Signal Process., Image Com-mun., vol.4, pp. 429-444, 1992.
(2) S. Ono and J. Suzuki, “ Perspective for super-high-definition image systems,” IEEE Commun., Mag., pp. 114-118, June 1996.
(3) T. Fujii, M. Nomura, J. Suzuki, I. Furukawa, and S. Ono,“ Super high definition digital movie system,” SPIE VCIP’99 vol. 3653, pp. 1412-1419, Jan. 1999. (4) T. Fujii, M. Nomura, D. Shirai, T. Yamaguchi, T.
Fu-jii, K. Hagimoto, and S. Ono,“ IP transmission system for digital cinema using 2048 scanning line resolution,” IEEE GLOBECOM2002, pp.1643-1647, Nov. 2002. (5) 山口高弘, 藤井竜也, 野村 充, 白井大介, 白川千洋, 藤井哲郎,
“ 800 万画素超高精細ディジタルシネマ配信・上映システム, ” 信学論(D), vol.J88-D-I, no.2, pp.361-370, Feb., 2005. (6) ISO/IEC 15444-1,“Information technology - JPEG2000
image coding system - Part 1: Core coding system,” 2002.
(7) Digital Cinema Initiatives, http://www.dcimovies.com/ (8) DCI, LLC Technology Committee,“ Digital cinema
sys-tems specification, 2005.”http://www.dcimovies.com/DCI Digital Cinema System Spec v1.pdf
(9) 小野定康, 藤井哲郎, 藤井竜也,“超高精細ディジタルシネマ,” IE-ICE, Fundamentals Review, vol.3 no.2, pp.10-33, Oct. 2009. (10) ディジタルシネマ・コンソーシアム, http://www12.ocn.ne.jp/ d-cinema (11) 阪本秀樹, 南 憲一, 白川千洋, 藤井哲郎, 斉藤幸久, 山根啓史, “ デジタルシネマ共同トライアル「4K Pure Cinema」, ”NTT 技術ジャーナル,vol.18,no.4,pp.47-50, 2006. (12) SMPTE, http://www.smpte.org/
(13) M. Kitamura et al., “ A study on the correlation be-tween QoE of 4K super high definition video streaming and QoS of network,” in: Proceedings of 18th Interna-tional Conference on Computer Communications and Networks, 2009.
(14) 白井大介, 北村匡彦, 藤井竜也,“ JPEG 2000 を用いた 4K 超 高精細映像ストリーミングシステム, ”信学技報 CS2007-29, pp.43-48, Oct. 2007.
(15) Y. Tonomura, D. Shirai, T. Nakachi, T. Fujii, and H. Kiya,“ Layered low-density generator matrix codes for super high definition scalable video coding system,”IE-ICE Trans. Fundamentals, vol.E92-A, no.3, pp.798- 807, March 2003.
(16) 外村喜秀, 白井大介, 北村匡彦, 仲地孝之, 藤井竜也, 貴家仁 志,“ 動画像配信のための下位互換性を考慮したパケットレベ ル LDGM 符号の構成と理論解析,” 信学論(A), vol.J93-A, no.3, pp.212-215, March 2010.
(17) iGrid2005(International Grid 2005), http://www.igrid 2005.org.
(18) D. Shirai, T. Yamaguchi, T. Shimizu, T. Murooka, and T. Fujii,“ 4K SHD real-time video streaming system with JPEG 2000 parallel codec,”Proc. IEEE APCCAS 2006, pp. 1855-1858, Dec. 2006. (19) 高橋宏和, 白井大介, 室岡孝宏, 藤井竜也,“ 4K 超高精細映像の 高域多地点配信技術, ”NTT 技術ジャーナル, Nov. 2007. (20) SONY SXRD, http://www.sony.jp/products/Professional/ SXRD/ (21) JVC D-ILA, http://www.jvc-victor.co.jp/press/2007/dla-sh4k.html
(22) D. Shirai, M. Kitamura, T. Fujii, A. Takahara, K. Kaneko, and N. Ohta,“ Multi-point 4K/2K layered video streaming for remote collaboration,”Elsevier, Fu-ture Generation Computer Systems(to be published). (23) T. Murooka, A. Nagoya, T. Miyazaki, H. Ochi, and Y. Nakamura,“ Network processor for high-speed network and quick programming,” World Scientific Publishing, J. of Circuits, Syst., Comput., vol.16, no.1, Feb. 2007. (24) CineGrid, http://www.cinegrid.org/ (25) 北村匡彦, 室岡孝宏, 澤邉知子, 高原 厚, 藤井哲郎, 坊農真弓, 黒田知宏,“ 手話映像伝送のための高精細・高フレームレート映 像の品質評価, ”2010 信学総大, no.A-15-31, p.213, March 2010. (26) URCF, http://www.scat.or.jp/urcf/
(27) M. Kitamura, D. Shirai, K. Kaneko, T. Murooka, T. Sawabe, T. Fujii, and A. Takahara,“Beyond 4K: 8K 60p live video streaming to multiple sites,”Elsevier, Future Generation Computer Systems(to be published). (28) 君 山 博 之, 川 野 哲 生, 財 満 和 孝, 原 田 啓 司,“ イ ン タ ー ネット
HDTVビデオスタジオシステム i-Visto, ”NTT 技術ジャーナ ル, pp.70-73, 2003.
(29) D. Shirai, T. Kawano, and T. Fujii,“ 6 Gbit/s uncom-pressed 4K video stream switching on a 10 GBit/s net-work”IEEE ISPACS 2007, 2007.
(30) NTT 報道発表,“ 高速広帯域光ネットワークにより複数拠点へ のコンテンツライブ配信を実現するODS(オンライン・デジ タル・ソース)に関する共同トライアルの実施について, ”2007 年 11 月 7 日, 2007. (31) NTT 西日本報道発表,“ 通信ネットワークを活用したライブ配 信の高臨場感化に向けた共同研究開発の実施について, ”2009 年 9月 3 日, 2009. (SIP 研究会提案,平成 23 年 5 月 10 日受付 5 月 25 日最終受付)
藤井竜也(正員) 1986東大・工・電子卒,1991 同大学院博士課程 了(工博). 同年日本電信電話公社(現 NTT)入 社. 現在,NTT 未来ねっと研究所メディア処理シス テム研究グループリーダ. 主にディジタル信号処理 の研究に従事. IEEE 会員. 藤井哲郎(正員:フェロー) 1979東大・工・電子卒,1984 同大学院博士課程 了(工博). 同年日本電信電話公社(現 NTT)入社. 現在,東京都市大・環境情報・教授. 主にディジタ ル信号処理,ディジタルシネマの研究に従事. IEEE 会員. 小野定康(正員:フェロー) 1976慶大大学院電気工学専攻博士課程了(工博). 1976日本電信電話公社(現 NTT)横須賀電気通信 研究所入所. 1997NTT 研究所小野特別研究室長. 2003慶大デジタルメディア・コンテンツ統合研究機 構教授. 現在,慶大 SFC 特別研究教授. ディジタル 信号処理,ディジタル画像処理, ディジタルシネマの 研究に従事. 電気通信普及財団賞,高柳記念奨励賞, 前島賞, 電子情報通信学会業績賞等を各受賞. 白川千洋(正員:シニア会員) 1987-03阪大大学院工学研究科電気工学専攻修士 課程了. 1987-04 日本電信電話株式会社入社. 1994-02日本電信電話株式会社伝送システム研究所伝送処 理研究部. 2008-07NTT スマートコネクト社デジ タルシネマ事業部長. 現在,未来ねっと研究所 来一 Pプロジェクトリーダ. 白井大介(正員) 1999慶大・理工・電気卒,2001 同大学院計算機 科学専攻修士課程了.同年日本電信電話株式会社入 社.以来,超高精細映像伝送システム及び映像伝送 技術の研究に従事.