全方位ビデオ映像を用いたネットワークテレプレゼンス

全文

(1)全方位ビデオ映像を用いたネットワークテレプレゼンス横矢直和奈良先端科学技術大学院大学情報科学研究科時間と空間を超えて遠隔地に実際にいるかのような没入感覚を提示するバーチャルリアリティ技術にテレプレゼンスがある。特に、ネットワークを介した実時間テレプレゼンスはロボットの遠隔操作、遠隔監視、仮想観光等への応用が期待されている。本稿では、全方位ビデオ映像からの任意視線画像生成に基づくテレプレゼンス方式の概要と具体的なシステムを紹介する。. １．はじめにテレプレゼンスにおいて遠隔地の現実世界に実際にいるかのような没入感覚を提示するためには、ユーザの自由な視点移動や視線変更に追従してリアルタイムに映像を提示する必要がある。近年、全方位画像を用いたアプローチが注目されているが、そのきっかけとなったのは、カメラを回転して撮影した複数の画像のワーピングとスティッチングによって作成したパノラマ画像をインタラクティブに表示する QuickTimeVR [1]の成功である。その後、全方位ビデオカメラの開発とともに、テレプレゼンスへの応用が本格的に始まった[2]。テレプレゼンスには、1 点への中心投影像を撮影できる、すなわち、単一視点制約を満たす全方位カメラが利用される[3]。単一視点制約を満たす全方位画像は幾何学的変換によって任意形状の投影面への透視投影画像を生成できるという特徴を持っており、この特徴を利用して、ユーザの視線に応じた画像を生成・提示することによって全方位ビデオ映像のインタラクティブ観察が可能になる。以下では、全方位カメラを用いたテレプレゼンス方式とネットワーク環境での具体的なシステム構築事例を紹介する。. ２．全方位画像からの任意視線画像生成全方位カメラ HyperOmni Vision [4]で取得した全方位画像の例を図 1 左に示す。このカメラは単一視点制約を満たすため、全方位画像から計算によって、図 1 右のような通常の平面透視投影画像をはじめとして、任意の形状をした画像面への投影像を生成することができる。この特徴を利用して、以下の処理によってユーザの視線に追従した画像提示を行う。 1. 全方位カメラで現実世界を撮影し、全方位ビデオ映像を遠隔地に伝送する。 2. ユーザの観察視線方向を計測（決定）する。. 図 1 全方位画像から平面透視投影画像への幾何学的変換 3.. 全方位画像からユーザの視線に対応した平面透視投影画像を生成し、ユーザに提示する。この方式は、遠隔地に設置した可動カメラをユーザの指示に基づいて機械的に制御する通常の方式と比べて、・見回しにおける時間遅れが少なく見回し遅延は原理的に通信時間に依存しない、・全方位画像に対する仮想的なカメラ操作により複数のユーザが同時に異なる方向を見ることができる、という優れた特長を持っている。初期のスタンドアロン型システム[2]では、グラフィックスワークステーションを用いて、全方位ビデオ入力・画像変換・画像変換の各プロセスをビデオレート（約 30 フレーム/秒）で実行可能であり、ユーザの視線変化から画像提示までの時間遅延は、違和感が生じないとされる 100 ミリ秒以下であった。以下では、ネットワーク対応型システムへの拡張について述べる。. ３．ネットワークを介した全方位遠隔監視全方位ビデオ映像からの実時間画像生成によるテレプレゼンスシステムのネットワーク化と遠隔監視への応用を目的に図 2 のようなシステム構成の遠隔監視システムを開発した[5]。本システムでは、・全方位動画像の適応的背景差分による移動物体抽出.

(2) 図 2 ネットワーク対応の全方位遠隔監視システム・移動物体を注視した平面透視投影画像生成により、ネットワークを介して監視者に移動物体追跡映像を提示することができる。有線 LAN 環境(100Mbps)において送信側、受信側とも１サイトでの実装では、全方位ビデオ映像の送信に DVTS(Digital Video Transport System)を利用し、約 33Mbps の帯域幅を使っている。ビデオレート (30 フレーム/秒)での配信が可能であり、監視者に対する提示画像のフレームレートは約 20 フレーム/秒である。実験時の監視環境の様子と監視者への提示画面の例を図 3 に示す。本システムにおいて、ユーザ（監視者）は移動物体抽出に基づいてシステムが提示する映像を受動的に観察する。. ４．全方位ビデオのマルチキャスト配信による実時間ネットワークテレプレゼンス前述のシステムでは、観察視線方向はシステム側が移動物体検出に基づいて自動的に決定していたが、ユーザが自由に視線変更を行いながらインターネット上の全方位ビデオ映像を視聴可能なシステムの開発も行っている[6]。本システムは、インターネット上でWebブラウザにより起動される全方位動画像ビューアによって、・サーバ上に蓄積された全方位ビデオあるいは全方位ライブビデオのマルチキャスト配信・ Webブラウザ上でのマウス・キーボード操作または姿勢計測装置付きHMDによる全方位コンテンツのインタラクティブ鑑賞が可能である（図4参照）。本システムの具体的な実装例として、全方位カメラHyperOmni Vision及び全方位ビデオ映像の取得・符号化・マルチキャスト配信用PCを搭載した車両、全方位映像視聴用 PC 、有線ネットワーク (100Mbps)、無線ネットワーク(IEEE802.11g)からなる. 図 3 遠隔監視システムの監視環境（上）と監視者への提示画像（下）. 図 4 Web ブラウザを用いたネットワークテレプレゼンスシステムの構成プロトタイプシステムを紹介する(表1及び図5参照)。本システムでは、屋外を走行しながら車載全方位カメラで撮影した全方位ビデオ映像(640×480画素)を WindowsMediaEncoderでWindowsMedia形式(ビットレート：832Kbps)に符号化した後、マルチキャストプロトコルによって無線ネットワークに配信する。ネットワーク配信された全方位映像は、視聴用PC上で動作するwebブラウザを用いた全方位動画像ビューアあるいは姿勢計測装置つきHMDにより視聴することができる。表 1 全方位カメラ搭載車両のシステム構成全方位カメラ SONY DCR-TRV900 ＋ HyperOmni アコウル双曲面ミラー Vision （視野：水平より上 30 度）画像取得圧縮符 Pentium4 2.53GHz 号化用 PC Memory 1GB Windows XP 無線ネットワーク IEEE 802.11b/g 車両日産 ELGRAND.

(3) 図 6 ネットワークテレプレゼンスシステムを利用している様子（左上：走行中の全方位カメラ搭載車両、左下：HMD を装着したユーザ、右：ユーザ提示画像）番組制作を目指したインタラクティブテレビの実証実験も行われた(NHK エンタープライズ 21 による東京パイロット実験)。次世代インターネットアプリケーションとしては、イベント中継等のインタラクティブ・インターネットカメラとしての利用が考えられる。現状ではネットワークの帯域に問題があるが、ブロードバンド化の進展に伴って、この問題は解消されよう。参考文献図 5 移動体からの全方位ビデオのマルチキャストによるネットワークテレプレゼンス実験では、視聴用PCの計算能力の関係で、全方位映像のフレームレートを24フレーム/秒に設定したが、5台のPCで独立に違和感のない視聴が可能であることが確認された。視線変化からその方向の画像提示までの時間遅延は約55ミリ秒であった。なお、全方位カメラによる撮影からユーザの視線に追従した画像提示までの時間遅延は約10秒であった。この時間遅延の原因には、全方位映像の符号化におけるバッファリングと全方位画像ビューアが符号化された全方位映像を復号化するためのバッファリングによるものがある。実験室内にいるHMDを装着したユーザが遠隔地の屋外環境をインタラクティブに見回している様子を図6に示す。. ５．むすび本稿では、最近、研究室で進めている全方位カメラを用いたネットワークテレプレゼンスに関する研究事例を簡単に紹介した。開発したシステムは、現状でも機能的には実用レベルに近く、デジタル放送での利用が期待され、地上波デジタル放送用の教育. [1] S.E. Chen: Quick Time VR - An image-based approach to virtual environment navigation, Proc. SIGGRAPH'95, pp.29-38, Aug. 1995. [2] Y. Onoe, K. Yamazawa, H. Takemura, and N. Yokoya: Telepresence by real-time view-dependent image generation from omnidirectional video streams, Computer Vision and Image Understanding, Vol.71, No.2, pp.154-165, Aug. 1998. [3] 八木康史，横矢直和: 全方位ビジョン: センサ開発と応用の最新動向, 情報処理学会論文誌：コンピュータビジョンとイメージメディア , Vol.42, No.SIG13 (CVIM3), pp.1-18, Dec. 2001. [4] 山澤一誠, 八木康史, 谷内田正彦: 移動ロボットのナビゲーションのための全方位視覚系 HyperOmni Vision の提案 , 電子情報通信学会論文誌 (D-II), Vol.J79-D-II, No.5, pp.698-707, May 1996. [5] 森田真司, 山澤一誠, 寺沢征彦, 横矢直和: 全方位画像センサを用いたネットワーク対応型遠隔監視システム, 電子情報通信学会論文誌（D-II), Vol.J88-D-II, No.5, pp. 864-875, May 2005. [6] 山澤一誠, 石川智也, 中村豊, 藤川和利, 横矢直和, 砂原秀樹: Web ブラウザと全方位動画像を用いたテレプレゼンスシステム, 電子情報通信学会論文誌（D-II), Vol.J88-D-II, No.8, pp.1750-1753, Aug. 2005..

(4)