Interactive Video Conferencing and Its Application to Broadband
あ ら ま し
Abstract
New business chances are emerging in the multimedia communication market due to the
maturity of Internet technology, the diversification of mobile & wireless technology, and the
expansion of broadband networks. TV conferencing is a typical application for the
broadband multimedia market. There are already many bidirectional, multi-point TV
conferencing systems that use ISDN as a network infrastructure. Although TV
conferencing systems for communication systems such as the Internet and mobile & wireless
are currently not in wide use, they are now in an advantageous market position. This
paper introduces a bidirectional multi-point conferencing system that is oriented for Internet
and mobile & wireless communication. The system improves data error tolerances by
adopting MPEG-4 technology and reduces transmission delay by reducing the number of
end-to-end compression encoding operations.
インターネット技術の成熟，モバイル＆ワイヤレスによるアクセスの多様化，およびブ
ロードバンドネットワークの伸展により，マルチメディア通信市場は新たなビジネスチャン
スの創生期と言える。こうしたブロードバンドマルチメディア市場における代表的なアプリ
ケーションサービスがTV会議である。TV会議システムの基盤である双方向多地点接続シス
テムはISDNを通信インフラとしたものが多く存在するが，インターネットやモバイル＆ワ
イヤレスを指向したものはまだ数少なく，先進的な位置付けにある。
本稿では，インターネットやモバイル＆ワイヤレスを指向した双方向多地点接続システム
を紹介する。本システムは，MPEG-4を採用することで誤り耐性を高め，さらにエンド-エン
ド間における圧縮符号化回数を削減することで伝送遅延を抑止することをねらいとしている。
高橋英一郎（たかはし えいいちろう) サ ービス ソ リュー シ ョン 事業 部 サービスアプリケーション部 所属 現在，TV会議サービス，映像配信 アプリケーションの企画・開発・ 商談業務に従事。 大津和之（おおつ かずゆき） 富士通アイ・ネットワークシステム ズ（株）ITシステム事業部第一開発 部 所属 現在，TV会議サービス・多地点接続シス テムのアプリケーション開発に従事。 小松 悟（こまつ さとる） 富士通東日本コミュニケーション・シ ステムズ（株）ソリューション統括部 サービスアプリケーション部 所属 現在，TV会議サービス・映像配信ア プリケーションの開発に従事。ま え が き
固定網，移動網を問わず，ネットワークプロバイダが 提供する通信インフラのブロードバンド化は目覚しいも のがある。ADSLやFTTHに代表される加入者収容回線， および第3世代移動網や無線LANによるワイヤレスアク セス環境は広帯域化が進み，ネットワークコアの幹線も それらを収容するに相応しい帯域が用意されている。 映像コンテンツを使ったサービスアプリケーションは， こういったブロードバンド環境においてビジネスチャン スの拡大を促進するために不可欠なアプリケーションで あり，その代表的なサービスとして，双方向多地点接続 システムを基盤としたTV会議サービスが挙げられる。 TV会議サービスは，旧来よりISDNを通信インフラ としたシステムで構成されるものが多く存在する。これ らのISDNをベースとしたシステムは，狭帯域ではある が 安 定 的 な 通 信 品 質 が 保 証 さ れ る CMBS （ Circuit Mode Bearer Service）をベースとしており，ITU-T勧 告に準拠したものが多い。ビデオ信号を単純にディジタ ル化しただけでは100 Mbps超の帯域が必要であり，音 声信号を合わせた必要帯域は膨大となることから圧縮符 号化技術が適用される。ISDNベースの双方向多地点接 続システムにおける圧縮符号化技術の代表的なアルゴリ ズムとしてITU-T勧告H.261/H.263が挙げられる。一方， さらなる符号化効率の向上，およびインターネットやモ バイル環境のような不安定要素の多いネットワークイン フラに対し誤り耐性技術を志向した圧縮符号化アルゴリ ズムとしてMPEG-4が普及しており，リッチコンテン ツのストリーミング配信サービスにおいて多く採用され ている。 本稿では，IPネットワークをベースとし，無線LAN などのモバイルアクセスをターゲットに含めたブロード バンド向け双方向多地点接続システムを紹介する。本シ ステムは圧縮符号化アルゴリズムとしてMPEG-4を採 用したことを特徴としている。また，TV会議サービス のような双方向型サービスでは伝送遅延を抑止すること が必要不可欠である。ここで紹介する双方向多地点接続 システムは，エンド-エンド間における圧縮符号化回数 を削減することで伝送遅延を抑止する方式を採用してい る。本方式は，伝送遅延抑止に加え，クライアントソフ トによる画面デザインの自由性，および表示映像サイズ の拡大化などの柔軟性を兼ね備えていることを特徴とし ている。システムの特徴
● 双方向多地点接続方式と課題MCU（Multipoint Control Unit）サーバは多地点間 のクライアント端末を接続し，各端末の映像・音声信号 を制御する装置である。本装置の実現方式には二つの方 式がある。一つ目の方式はMCUサーバで音声のみミキ シングし，画像は合成せず，各端末に配信する方式であ る（スプリッタ制御方式）。会議参加ユーザの画像を1 画面内に並べて表示するため，クライアント端末側で各 ユーザの画像を画面内の所定の位置に個々に表示する処 理を行う。もう一つの方式は，MCUサーバで音声のミ キシングと画像合成を行い，各端末に配信する方式であ る。本方式では既にマージされた画像が各端末に配信さ れるため，クライアント端末側で画面を個々に分割し て表示するなどの権限はない。 後者のようにMCUサーバにおいて画像合成を行う場 合，複数クライアント端末から送られてきた画像データ を圧縮符号化してから一つの画面に合成し，各クライア ント端末に配信する。クライアント端末ではこの画像を 複号化し，画面に表示する。つまり符号化と複合化およ び画像合成の処理によりエンド-エンド間では数百msの 遅延時間が発生することになる。TV会議サービス，と くにeラーニングにおいては講師の映像と音声の一致 （リップシンク）が保証できなくなり，サービス性に大 きく影響する。 ● スプリッタ制御方式 ここで報告する双方向多地点接続システムは，サービ スにおける実用性を主たる考慮点におき，スプリッタ制 御方式を採用した。この方式では，各クライアント端末 から送られてきた画像パケットをMCUサーバで複製し て各クライアント端末に多重配信し，クライアント端末 側でユーザごとに画面を分割して表示する。これにより 画像合成方式と比べ，遅延時間を1/10程度に抑えること ができる。また，クライアント端末側で画像を所定の位 置に個々に表示する方式であるため，各分割画面ごとに 表示サイズの変更が可能となった。スプリッタ制御方式 を使った画像配信パケットの流れを図-1に示す。 まず画像パケットの流れを説明する。会議に参加する と参加者の画像と音声はクライアント端末からMCU サーバに送信される。MCUサーバでは自分以外の参加 者の音声をミキシングし，各参加者に配信する。また， 参加者の画像パケットを受信すると，送信してきた参加
者以外の参加者へ多重配信する。例えば図-1において参 加者がユーザAからユーザDまで自分を含めて4名で あった場合，ユーザAからの画像パケットをMCUサー バが受け取るとユーザAからの画像パケットをユーザB， ユーザC，ユーザDに配信する。ユーザB，ユーザC， ユーザDのパケットも同様，自分以外の参加者に複製配 信される。クライアント端末ユーザDを例に取った場合， ユーザA，ユーザB，ユーザCの画像パケットを受信し て，クライアント端末の画面上に各参加者の画像を並べ て表示させる。ただし，自画像はクライアント端末内で 折り返して表示させているため，端末画面上には自画像 1枚と参加者の画像3枚が表示されることになる。 現在のRTP（Real-time Transport Protocol）(1)の仕 様ではパケット送信元のアドレス（Origin Terminal IP address）が含まれておらず，受信端末側で送信元端末 の識別ができない。このため画像をサーバ側で合成し， 各端末に送信する方式となる。しかし，この方式では画 像合成処理時間が加算されるためエンド-エンドでの遅 延 が 増 加 す る 。 そ こ で 今 回 ， 新 し く RTP ヘ ッ ダ と Payload MPEG-4（MPEG-4画像情報）の間にタグ情 報のフィールドを設け，送信元端末のアドレスを持たせ る仕組みを採用している。この仕組みを採用するとサー バ側で画像合成を行う必要がなくなり，エンド-エンド 間における圧縮符号化回数を削減することが可能となる。 またサーバ側で画像合成を行わないため，画像を限定し た2人のみに配信することができる。つまり動的に2人 を組替えて表示する，ツーショット機能も提供可能 となる。
システム構成
TV会議システム全体の構成を図-2に示す。 基本構成は，MCUサーバ，H.323ゲートキーパー， TV会議制御サーバの3種類のサーバ，および専用のTV 会議クライアント用アプリケーションをインストールし たクライアントPCで実現する。 実運用に際しては，認証サーバや課金サーバなどの既 存インフラ設備との連携を考慮することが必要である。 以下にサーバの各機能について説明する。 ● MCUサーバ TV会議制御サーバとの通信・連携機能を有し，ツー ショット要求などのサービス要求を受け付け，音声合成 や映像の分配を制御する。クライアントとサーバ間の呼 制御についてはソフトウェアで行い，音声ミキシング， および音声・画像ストリームの配信については専用のビ デオ会議ボードで行っている。いったん会議が始まると， ビ デ オ 会 議 ボ ー ド 上 の DSP （ Digital Signal MCUサーバ Tag ユーザA Payload MPEG-4 （ﾕｰｻﾞA：画像） RTP ヘッダ Tag ユーザBPayload MPEG-4（ﾕｰｻﾞB：画像） RTP ヘッダ Tag ユーザCPayload MPEG-4（ﾕｰｻﾞC：画像） RTP ヘッダ Tag ユーザDPayload MPEG-4（ﾕｰｻﾞD：画像） RTP ヘッダ ユーザA → ← Tag ユーザB Payload MPEG-4 （ﾕｰｻﾞB：画像） RTP ヘッダ Tag ユーザA Payload MPEG-4 （ﾕｰｻﾞA：画像） RTP ヘッダ Tag ユーザC Payload MPEG-4 （ﾕｰｻﾞC：画像） RTP ヘッダ Tag ユーザD Payload MPEG-4 （ﾕｰｻﾞD：画像） RTP ヘッダ → ← Tag ユーザCPayload MPEG-4（ﾕｰｻﾞC：画像） RTP ヘッダ Tag ユーザA Payload MPEG-4 （ﾕｰｻﾞA：画像） RTP ヘッダ Tag ユーザB Payload MPEG-4 （ﾕｰｻﾞB：画像） RTP ヘッダ Tag ユーザD Payload MPEG-4 （ﾕｰｻﾞD：画像） RTP ヘッダ → ← Tag ユーザD Payload MPEG-4 （ﾕｰｻﾞD：画像） RTP ヘッダ TagユーザAPayload MPEG-4（ﾕｰｻﾞA：画像） RTP ヘッダ Tag ユーザBPayload MPEG-4（ﾕｰｻﾞB：画像） RTP ヘッダ Tag ユーザCPayload MPEG-4（ﾕｰｻﾞC：画像） RTP ヘッダ → ← ユーザB ユーザC Win32 H.323 CallCore TV会議プラグイン 自画像 A画像 B画像 C画像 Header Version Header Length dummy IP Version
MPEG-4 Payload Body Length Original Sequence Number Origin Terminal IP address
7 0 1 2 15 31 RTP Payload RTP Header 1パケット 1パケット 1パケット A B C 【クライアント画面】 ユーザD 図-1 スプリッタ制御方式を使った画像配信パケットの流れ Fig.1-Flow of picture distribution packet using splitter control method.
Processor）が，音声/画像ストリーム処理を行い，アプ リケーションおよびホストマシン側のソフトウェアは CPUを使わないようになっており，高速で安定したス トリーム処理を実現している（図-3）。 なお，H.323(2)ゲートキーパーから特別な装置として 管理されず，単なるエンドポイント（GW）として管 理・制御される。 ● H.323ゲートキーパー 会議端末の会議参加状況の管理，各種サービスのアド ミッション，会議室に応じた多地点会議装置への接続制 御を行う。とくに本システムにおいては会議サーバと連 携し，会議時間超過時にサーバ側から呼を切断するなど， 多地点TV会議サービスに特化した呼制御も行っている。 ● TV会議制御サーバ TV会議制御サーバはTV会議サービスのポータルサイ トとしてのユーザの認証，会議室の予約・管理，および 課金用の呼情報の収集と会議付加情報連携制御を行う。 ソフトウェアの構成概要を図-4に示す。フロントエンド としてWebサーバ機能を有するとともに，バックエンド として各サーバとの連携機能を有している。アプリケー ションソフトとしては，会議予約管理に関する機能を主 体としているが，以下に示すサーバ連携機能により， お客様仕様に応じたサービスを統括的に制御・実現 している。 （1） MCUサーバ連携 ツーショット要求などのサービス制御情報を授受する。 （2） H.323ゲートキーパー連携 会議端末の状態を管理するため，呼制御情報を授 受する。 （3） VoD配信サーバ連携
RTSP（Real-Time Streaming Protocol）実行に必要 なビデオ配信制御情報を授受する。 MC VoD配信サーバ TV会議制御 サーバ H.323 ゲートキーパー MCUサーバ 認証サーバ/ 課金サーバ HGW STB TV MC HGW クライアントPC ADSL ルータ クライアントPC ADSL ルータ クライアントPC ブロードバンド バックボーン ネットワーク レイヤ3 FTTH クライアントPC クライアントPC ADSL 無線LAN IEEE 802.1b AP 【基本構成】 認証情報・ 通話ログ転送 ビデオ制御情報転送 会議制御情報転送 サービス制御 情報転送 HTTP H.323 呼制御 RTP メディアストリーム スイッチ
HGW（Home GateWay） MC（Media Converter）
図-2 TV会議システム構成
Fig.2-Configuration of TV conferencing system.
ドライバ ビデオ会議制御アプリケーション TCP/UDP/IP ドライバ 会議ボードAPI H.323スタック LANボート （呼処理） RTP/RTCP IP Ethernet (ハードウェア) ビデオ会議ボード （ストリーム処理）
MCU（Multipoint Control Unit） ソフトウェア
ハードウェア
音声/画像ストリーム H.323通信制御データ Ethernet (ハードウェア)
RTP（Real-time Transport Protocol） RTCP（Real-time Transport Control Protocol） UDP（User Datagram Protocol)
図-3 MCUサーバのアーキテクチャ Fig.3-Architecture of MCU server.
（4） 認証サーバ/課金サーバ連携 ユーザID・パスワードなどの認証情報や，会議時間 などの通話ログ情報を授受する。 なお，TV会議制御サーバは一般的なWebアプリケー ションと同じ構造となっており，機能ごとのコンポーネ ントを着脱することや，JavaBeansを改造することに より，柔軟な対応が可能となっている。 ● TV会議クライアント 多地点会議クライアントアプリケーションを汎用PC にインストールし，Webブラウザをユーザインタフェー スとして，会議サービスポータルへのアクセスを行って いる。該当する会議へ参加し，双方向の多地点間通信を 行う機能，および会議室から退室する機能を提供してい る。端末アプリケーションはH.323呼制御とTV会議映 像制御の二つのコア機能を提供している。また画面のア レンジやボタン配置などサービスをお客様仕様に合わせ るためのActiveXモジュールも開発・提供されている。
サービス
TV会議サービスは，基本機能として5者参加による会 議室運用を実現している（図-5）。本機能は最大16者参 加までの拡張を予定している。また，eラーニングに代 表されるB2Cサービスへの適用を念頭に，会議予約機 能や会議終了時間の通知機能，および延長機能や会議時 間超過時の強制退出機能を有している。とくに，eラー 〔会議参加機能〕 ■参加可能会議閲覧 ■強制退室制御 ■会議参加受付 〔会議参加機能〕 ■参加可能会議閲覧 ■強制退室制御 ■会議参加受付 〔会議作成機能〕 ■即時開催会議 ■終了予告通知設定 ■予約会議 ■ツーショット設定 ■会議種別管理 ■同時予約制御 ■会議時間設定 ■予約内容変更権限制御 ■参加者設定 ■予約内容閲覧権限制御 ■会議詳細情報閲覧 ■リソース制御 〔会議作成機能〕 ■即時開催会議 ■終了予告通知設定 ■予約会議 ■ツーショット設定 ■会議種別管理 ■同時予約制御 ■会議時間設定 ■予約内容変更権限制御 ■参加者設定 ■予約内容閲覧権限制御 ■会議詳細情報閲覧 ■リソース制御 〔運用者機能〕 ■利用者管理 ■CSVアップロード ■個別登録/変更/削除 ■サービス利用状態制御 ■一括登録/変更/削除 ■パスワード制御 〔運用者機能〕 ■利用者管理 ■CSVアップロード ■個別登録/変更/削除 ■サービス利用状態制御 ■一括登録/変更/削除 ■パスワード制御 〔サーバ連携機能〕 ■ネットワーク制御 ■GK通信制御（呼制御情報取得） ■MCU通信制御（サービス制御情報送信） 〔サーバ連携機能〕 ■ネットワーク制御 ■GK通信制御（呼制御情報取得） ■MCU通信制御（サービス制御情報送信） 〔タイマ制御機能〕 ■開始時間監視 ■終了予告通知 ■終了時間監視 ■入室タイマ監視 〔タイマ制御機能〕 ■開始時間監視 ■終了予告通知 ■終了時間監視 ■入室タイマ監視 〔DB制御機能〕 ■DBアクセス ■接続セッション管理 〔DB制御機能〕 ■DBアクセス ■接続セッション管理 We bサーバ We bサー バ 〔アクセスログ管理機能〕 ■ログ条件検索 ■CSVダウンロード 〔アクセスログ管理機能〕 ■ログ条件検索 ■CSVダウンロード 〔機能コンポーネント〕 TV TV TV TV会会会会議議議議制制制御制御サ御御ササーサーーーババババ DB （Oracle or PostgreSQL） 入室 退室 ツーショット要求 予約 図-4 TV会議制御サーバのソフトウェア構成概要Fig.4-Outline of TV conferencing control server software composition.
図-5 TV会議クライアント画面イメージ Fig.5-Image of TV conferencing client.
A A A A BBBB CCCC D D D D EEEE A A A A BBBB CCCC D DD D EEEE B B B B CCCC DDDD EEEE 〔講師Aと生徒B～Eの画面〕 《個別レッスン》 《個別レッスン》 〔講師Aの画面〕 〔生徒B・Cの画面〕 〔生徒D・Eの画面〕 個別レッスンのモニタ ツーショットの実行 図-6 ツーショット機能画面イメージ Fig.6-Image of two-shot function.
ニングサービス向けには受講生同士の個別レッスンを模 したツーショット機能を付加機能として実現している （図-6）。さらに，別アプリケーションとして，IPマルチ キャストとVoD配信サーバのスケジュール配信機能を利 用し，TV会議中に参加者が同じビデオを視聴するとい うVoD連携機能も提供予定である。
今後の展開
双方向多地点接続システムは，ブロードバンド映像ソ リューションの拡充を行うことで更に適用市場を拡大し ていく予定である。 （1） VoDコンテンツ共有 ストリーミング配信システムと連携し，TV会議サー ビスにおいてVoDコンテンツを共有して視聴する機能。 本機能はeラーニングなどでVoD教材を同時視聴するよ うなシーンへの適用が考えられる。 （2） 映像蓄積機能 映像蓄積システムと連携し，TV会議サービスの動画 像を記録する機能。本機能は，会議の議事録，開講講座 を録画し2次利用・配布といったシーンへの適用が考え られる。 （3） 第3世代携帯端末（IMT-2000端末）接続機能 IMT-2000端末接続ゲートウェイシステムと連携し， 第3世代携帯端末を含めたTV会議サービスを実施する機 能。本機能は，TV会議サービスの利用シーン拡大に寄 与すると考える。 （4） FireWall/NAT/NAPT対応機能RVPP（RendezVous Point Protocol）を実装したシ ステムと連携し，閉ネットワーク環境での利用に加え， セキュリティを確保した上で，インターネットユーザを 含めたTV会議サービスを実施する機能。本機能により エンドユーザ側には特別な装置がなくとも，ネットワー クにおけるアドレス変換を意識することなくTV会議 サービスを実現できる。本機能により近頃急激な伸びを 見せているADSLユーザを巻き込んだサービス展開が可 能となる。 （5） 次期プロトコル対応 キャリアでの採用が見込まれるSIP，次世代インター ネットプロトコルであるIPv6への対応も実施する。こ れにより，次期IPネットワークでのTV会議サービスの 提供が実現できる。
む す び
本稿では，双方向映像配信システムの実現技術および ブロードバンドサービスへの適用について述べた。 現在提供しているサービス，および提供を予定してい るサービスはeラーニングなどの企業利用者におおむね 好評を得ている。ただし，現状のサービスモデルはネッ トワークプロバイダと連携した企業向けサービスであり， コンシューマをターゲットとした一般家庭向けサービス の提供に対しては帯域の保証やクライアントソフトの維 持管理手法などについて多くの検討課題がある。 今後のビジネス展開において更なるサービスの裾野拡 大を実現するために，多種多様なアプリケーションとの 連携やコンシューマのニーズをタイムリにシステムに反 映させ，提供していく所存である。 参 考 文 献（1） RTP：Real-time Transport Protocol，RFC1889，1996． （2） H.323 ， Packet Based Multimedia Communications
