Webプ ラウザを用いたネッ トワーク型映像編集 システムの提案 と実装
早稲 田大学大学院国際情報通信研究科 高 木 真
早稲田大学国際情報通信研究センター 正会員 イヽ 舘 亮
早稲 田大学大学院理工学研究科 池 上 大
〃 浜 崇 早稲田大学大学院国際情報通信研究科 石 i ′￨1 孝
〃 石 り ￨ 1 裕
NTTコ ミュニ ケー シ ョンズ株 式会社 逝 [ 調 : 雅 早稲 田大学大 学 院国際情報通信研究科 松 岡 正 早稲 田大学 国際情髄 信研究 セ ンター 正 会員 富 永 英
くあ らま し〉 本稿 で は,い つで もどこで もプロー ドバ ン ドイ ンターネ ッ トアクセスカ新U用 で きる環境 下 を想定 し映像編集 サーバ を設置 し,ク ライア ン トPCか ら一般 Webプ ラウザの み を利用 していつ で もどこで も映像編集 が行 えるネ ッ トワー ク型映像編集 システムの提案 を行 う。 プロー ドバ ン ドネ ッ トワー クの普及 に よって映像流通構造 が大 き く変化 した ことによる,映 像 コンテンツ制作 (編集)に対 す る要求 を整理 し,実 際 にネ ッ トワー ク型映像編 集 システムの実装 を行 った。作業時間 を計測する評 価 実験 に よって,従 来 の労働集約的作業 であ った vTRに よる素材映像 の内容把握 に要す る作業時間 を,本 提案 システム を利 用す ることで大 き く削減 で きる こ とが確認で き,本 システムの有効性 を示す こ とが で きた。
キ ー ワー ド :映 像編集 支援,カ メ ラ ワー ク情報,手 ぶれ検 出,MPEG‑7,プ ロー ドバ ン ドネ ッ トワ ー ク
くSummary〉 In this paper,we propose video editing system which is based On Server‐ Client system over broadband netwOrk。 「rhis syStem is composed of video editing server and client PC.
One Of the most important things is that the client PC needs only general Web brOwser. Tllis system can reduce the cost fOr generation and editing the video cOntents. Aftcr wc discuss the change Of circulation of宙 deo cOntents over the telecOminunicatiOn ne● 町ork,we design and irnplement our proposed system. ThrOugh the experiinent On editing tiine,the efFectiveness of proposed system can be cOttedt
Key words:Video editing support,Camera mOtiOn infomatiOn,Detect shake scene,MPEC‑7, Broadband netwOrk
￨ & I 織 ∫1調 殿 棚 講 i t t l i ∬ 鶴 1 1 臨 漱 粗 ぶ へ 、祖 蠍 高 1 堤 懲 背 11週 盟 燎 ぼ 胤 懸 織 糧 InfOmation and Telecomm面 catiOn lnstitute WASEDA Udve● ity),Daisuke IKECAMI,Takayutt HAMA(Graduate Schoo1 0f Sciencc alld Ettnee五ng2 WASEDA University),TakaakilsHIKAWA,Yuuya ISHIKAWA(Graduate SchOO1 0f Global lnforIInation and TelecOnlmunication Studies,W‐ASEDA University)Masae KONDOU(NTT CommunicatiO、 ),ShOugo MATSUOKA(Graduate School of Global lnformation and Tel∝6nIInurucation Studies,WASEDA University)and Hidcyoshi TOMINACA(Member)(Grobal lnfOrllla‐
tion and Td∝ Omm面 catiOn lnstitu嶋WASEDA Univesit,.
一 之 介 之 明 也 恵 悟 義
645
1. は じ 凛):こ
テ レビ電話 ・会議,カ メラ付携帯電話,IPカ メラな どの普及 とともに,場 所や時間に拘束 されることな く映 像 を利用 して誰 とで も 。何 とで もコ ミコ.ニケー シ ョンを 行 う要求 は増大 す る傾 向 にあ り,無 線 LANや 第 3・4 世代携帯電話 な どの無線通信網 の広帯域 化 や IPv 6・
Mobile IPに 関す る研究開発が盛 んに行われてお り,そ れ らを実装 した装置の普及 も一部 開始 されてい る。 ま た,デ ィジタルビデオカメラによって一般個人で も比較 的高品質な映像の撮影 を簡単に行 うことが可能 とな り, プロー ドバ ン ドイ ンターネ ッ トアクセス料金 の低価格化 による普及 と高能率動画像圧縮技術や映像配信技術の進 展等により,イ ンターネ ッ ト上で映像配信することが比 較的簡単 に行 える環境が整 いつつある。
しか し,撮 影 した素材映像 を編集 して映像 コンテンツ を制作 し,配 信す ることまでを実行 している一般個人は ほ とん ど存在 しない とい え,そ の数は民生用ディジタル ビデオカメラやプロー ドパ ン ドインターネッ トアクセス 回線の普及数 と比較 して著 しく少 ない。 これ には様々な 要因が複合的に絡 んでいるといえるが,映 像編集作業が 労力 と時間 と技量 を必要 とする作業であることがその原 因の一つ と考 え られ る。 そのため,一 般個人で も場所 を 選 ばずに簡易な方法で映像編集することので きるツール が望 まれている。 また,プ ロー ドバ ン ドインターネ ッ ト による映像流通構造 の大 きな変化 によって既存テレビ放 送局や番組制作会社 において も,イ ンターネ ッ ト配信用 映像 コンテンツ制作の作業需要が高 まっているが,そ の 制作 (編集)コス トが大 きな負担 となってい る。
この ように通信網や端末装置などのインフラ整備が進 行 しているが,そ のインフラで扱 うコンテンツの生成 ・ 利用技術 に関 しては,映 像編集支援 システムな ど数多 く の研究がなされているものの,ネ ッ トワーク環境の変化 を考慮 に入れ,制 作 コス トの削減に主眼 をおき,成 果を 実装 し普及 してい る例 は少 ない とい える。例 えば長井 氏 "ら は,編 集作業中 は EDLフ ァイルの転送 を主体 と し,高 速ネッ トワークを利用 し遠隔地間でコラボレーシ ョンするシステムの提案 を行 っているが,事 前 にすべて のサーバに素材映像 を入力する必要がある。 また コラボ レー ションで きるものの編集作業自体の作業 フローは既 存 システムの ままであ り,制 作 (編集)作業 コス トの削減
とい う観点に関 しては議論 されていない。
そ こで本稿では,映 像編集サーバ を用 いて,端 末側に は一般的な PCに イ ンス トールされ てい るWebプ ラウ ザのみを利用す る,ネ ッ トワーク型映像編集 システムを 提案 する。本提案 システムでは,ダ イジェス ト映像制作
画像電子学会議 第 32巻 第 5号 (2003) のための編集 を念頭 におき,カ メラ操作情報 を利用 した 素材映像 の解析 とその内容情報 の提示 を行 うことで編集 者が素材映像 の内容把握 を容易 に行 えるようにし,編 集 者はマ ウスによるク リック操作のみでダイジェス ト映像 を作成で きることが特徴である。本 システムを利用する ことで,映 像 コンテンツ編集のための作業時間を削減 さ せることが可能 となると同時に,特 別な知識 を必要 とし ない人 で も作業 を行 うことができる。 また,ネ ッ トワー ク型で あるため,プ ロー ドバ ン ドインターネッ トアクセ ス環境 とWebプ ラウザがあれば,場 所や端末 に拘束 さ れ る こ とな くどこで も映像編集作業 を行 うことがで き る。本稿 では,映 像の流通構造の変化 によって低 コス ト で効率的な映像 コンテンツ制作 ツールの必要性 を論 じ, ユ ビキタス環境 における映像 コンテンツ制作 ツールの基 本要求仕様 を提案 するとともに,シ ステム実装 を行 い基 本性能 の確認実験 を実施 し,そ の有効性 を確認す る。
以下 2.章 では,映 像 コンテンツの流通構造 の変化 に よる映像 コンテンツ制作への影響 を示 し,3.章 では本提 案 システムの基本設計方針 を述べ る。4.章では,本 提案 システムの概要 を解説 し,5.章 で は本 システムに実装 し たカメラワーク情報による映像内容解析手法について, 6.章で は Webプ ラウザのみを用 いた編集操作画面 につ いて述べ る。フ.章では,本 システムの有効性 を検証する ための評価実験 を実施 した。8.章 で まとめと今後の課題
を述べ る。
2.映 像 コ ンテ ンツの流 通 構 造 の変 化 プロー ドバ ン ドインターネッ トの普及以前は,ネ ット ワーク上 を流通する映像 コンテンツは,テ ンピ放送 によ るものがその多 くを占めていた。 テ レビ放送用の映像 コ ンテ ンツ(番組)は,テ レビ放送局 自身や番組制作会社 な どで制作 され,放 送電波網 によって配信されるのが基本 的な流通構造で ある。映像 コンテ ンツの制作 は,一 般的 に高度規格の専用機材 を利用 し,そ の内容クオ リティを 高 く保 つた め多 くの労力 と時間 をか けて制作 され てい る。そのため制作 コス トが平均的 に非常に高い構造 とな っている。 また電波資源 を利用 していることか ら配信網 が限定 され るので,必 然的に制作 ・配信する映像 コンテ ンツの数や種類 も限定 され,視 聴ユーザ数の多 く見込め る内容であることが多い。全国規模 の放送である場合, 実際 にその視聴 ユーザ数が数十万か ら数百万 に も達する 場合 もある。 このように配信網が限定 された状態で配信 されることにより,制 作すべき映像 コンテンツの数や種 類 もあ る程度限定され,ま た一つの映像コンテンツヘの アクセス数が非常に多い ことが前提であることか ら,そ の制作 コス トが高 くて も大 きな問題 とはならなかった。
しか し,誰 で も自由に情報発信 をすることので きるイ ンターネ ッ トが映像配信網 として利用で きるほ どプロー ドバ ン ド化することによって,映 像コンテンツのユーザ ヘの配信網が放送電波に限定 されな くなった。つまり, ユーザヘの配信網が大幅 に増カロし,周 波数などの資源に よる物理的制限がな くなることで,制 作 ・配信する映像 コンテンツの数や種類 も大幅に増加 し,ユ ーザの細かい 要求 に応 えるため,内 容 もより専門的で個別化 した映像 コンテンツが増加 することになる。 また,民 生用ディジ タル ビデオカメラや汎用 PC上 で動作するノンリニア編 集 ソフ ト,プ ロー ドバ ン ドインターネッ ト回線が容易 に 利用可能 となることによって,こ れまで関与することの なかった一般個人で も映像 コンテンツの制作 ・配信に参 カロ可能な環境が整 いつつある。.こ れ らの映像 コ ンテ ン
ツは,専 門的 または個人的な内容 などであると予想 され ることか ら,既 存テレビ放送 による映像 コンテンツに対 し,比 較的限定されたユーザにしかアクセスされること はないと考 えられる。
このように,テ レビ放送用映像 コンテンツのように, 一部の専門知識や技量 を持った者が高いコス トや時間を か けて制作 した ものに対 して,限 られた配信網 によって 配信 されブト常に多数のユーザによって視聴 (アクセス)さ れ る従来の流通構造か ら,一 般個人 を含めた誰 もが映像 コンテンツ制作 ・配信 をで きるようになることで,そ の 映像 コンテンツの内容が専門化 ・個別化 し,ま た比較的 限定 されたユーザによって しかアクセスされない構造ヘ
と大 きく変化 しつつあるといえる。
しか し,先 に述べた ようにプロー ドバ ン ドネ ッ トワー クで流通す る映像コンテンツの制作 に,従 来の制作作業 フローを適用 していたのでは,時 間や労力を多 くかけて もアクセスす るユーザ数 もそれほ ど多 く見込めないこと か ら,コ ス トを考慮す ると制作 を実行することが困難 と な る。 また,一 般個人がその制作作業 フローを実行する
ことも困難である。実際 に BS放 送や CS放 送,CATV な どによって,映 像配信網の増加が図 られたが,基 本的 に従来の映像制作作業 フローを適用 しているため,そ の コス トが大 きな負担 となってい る。一般個人 に関 して も,デ ィジタルビデオカメラの普及 によって手軽 に映像 を撮影で きるようになったが,映 像編集作業 には時間 と 労力 と知識が必要であるため,そ の映像を編集 して映像 コンテンツ として完成 させ る作業 を実行 している人はデ ィジタルカメラの普及台数 と比較すると少ない。
このような ことか らプロー ドバ ン ドネッ トワーク環境 下 において は低 コス トで作業労力の少な くて済む効率的 な映像 コンテンツ制作のためのツールの重要性が高まっ てい るといえる。そのようなツールによって特 に一般個
人 も映像 コンテンツの制作を簡易操作で行 えるようにな れば,一 般個人間で も映像 を利用 したコミュニケーショ ンが容易 に実現で きる と考えられる。
3.映 像 編 集 ツー ル の基 本設 計 方針 上記の背景 よ り,本 稿では映像編集 システムの基本設 計方針を次の ように設定 した。
① 映 像制作 (編集)における人間の労働集約的作業をで きるだけシステムによって支援すること【編集支援 機能】
② 時 間や場所に拘束されることなく映像編集(制作)作 業が実施できること【ユビキタス環境下の編集機能】
③ 遠 隔に存在する複数人が協調的に映像編集(制作)作 業に参加 ・実施できること【協調的作業可能機能】
④ 編集情報等のメタデータが MPEG‑7形 式で出力で きること【メタデータ出力機能】
以下それぞれの上記項 目に関して解説する。
① 編集支援機能
従来の主にテレビ放送向け映像コンテンツ制作の作業 フローでは,そ の内容の充実を図るための創造性を発揮 する作業以外 に,そ れ とは直接関係のない労働集約的な 作業が存在 してお り,コ ス トの高い要因の一つと考えら れる。その労働集約的作業の一つの例 として,編 集を開 始する前に行 う内容把握作業が存在する。撮影映像素材 は基本的にテープ媒体に記録されてお り,撮 影者 と編集 者が異なる場合など編集者がテープの内容の知識がない 場合 は,編 集 を行 う前 にVTRを 利用 して再生,早 送 り,巻 戻 しなどの操作を繰 り返 しながら内容把握のため の作業を行 う必要があるが,テ ープ素材であるため各シ ーンヘのランダムアクセスが非効率でありその作業に多 くの時間を要する。特にこの作業を一般個人の映像編集 作業に適用すると,一 般個人が撮影した映像は,撮 影技 量が低 く不安定なカメラ操作である映像を多 く含むこと から,内 容を把握するための作業は更に負担が大きい。
このような労働集約的な作業 をシステムによって支援 することで,制 作者が創造性を発揮する作業に集中でき るようになる。あるいはできるだけ自動的に短時間で映 像コンテンツが制作できるようになるなどのメリットが ある。
② ユビキタス環境下の編集機能
あらゆる処理能力を持った端末がネットワークで互い に接続されるようになってきてお り,有 線方式 と無線方 式を問わず どこでもいつでもインターネットアクセスで きる環境が普及 している。そこで,撮 影 した素材映像を 事業所や自宅などに設置する映像編集サーバに入れてお き,イ ンターネットを利用してサーバに一般的なWeb
647
プラウザによってアクセスし,遠 隔か ら編集操作 を実行 で きるようにす る方式 を提案する。 こ の ようにネ ッ トワ ーク型 とすることで,端 末側に特別なソフ トウェアを実 装す る必要がな くな り,汎 用 PCに は Webプ ラ ウザが 実装 されていることか らインターネッ トアクセス環境の ある PCさ えあれば,端 末 を限定することな くいつで も どこで も編集作業 が行 えることか らその有用性 は大 き い。その作業 を時間や場所 に拘束 され ることな くで きる ことによって,従 来の映像制作 ワークフローの改善が図 ることが可能 となる。
映像の撮影は野外で行われることも多 く,場 所 に拘束 されずに動 きなが ら撮影する要求 は今後 も変わ らない。
また,ビ デオカメラ機能にネッ トワークインタフェース を備 えた端末 (IP Cameraな ど)も普及 し始 めてい る。
現在は,テ ープ媒体 を用いて一度撮影 した映像 を記録す ることがほ とん どであるが,無 線方式 によるインターネ ッ トアクセス速度が向上するとともに撮影 した映像 をそ の ままネ ッ トワークを経由して遠隔の映像サーバに転送 すれば,手 元のテープ残量やメモ リ容量 な どによって制 限を受 けることな く撮影が可能 とな り,ま た素材映像 を サーバヘ入力す る手間 と時間が不要になるなど,発 展性 の高いシステム といえる。
③ 協調的作業可能機能
② と同様 に映像蓄積兼編集サーバ を利用 したネ ッ トワ ーク型 とすることで,遠 隔地に存在する複数人による協 調的編集作業 も実現することがで きる。従来の映像 コン テンツ制作 は,映 像制作側のネ ッ トワーク(人的な ネ ッ トワー ク を含む)と完成映像 コンテ ンツの配信側 ネ ッ ト ワークが完全に別々 に存在 していたが,ユ ビキタス環境 下 においてはあ らゆる端末が一つのインターネッ トに接 続 され ることか ら,映 像制作 も完成映像 コンテンツの配 信 も同一 のネッ トワーク上で行 うことがで きるこ とを意 味する。遠隔地 にい る人間がネ ッ トワークを利用 して協 調的 に編集作業で きることで,既 存の映像制作作業 フロ ーが大 きく変化すると予想される。
④ メタデータ出力機能
ディジタル形式で記録 された コンテンツは,再 利用が 容易であるため,編 集後のコンテンツを再編集すること が少な くない。素材映像や編集後のコンテンツの各種情 報 (コンテ ンツ ID,タ イム コー ド情報 編集履歴 等)を メタデータとして記録 してお くことにより,再 編集 ・再 利用す る際のコンテンツ間のモ ジュレー タ として機會:す ることがで きる。 ここでは,マ ルチメデ ィアコンテ ンツ の特徴記述 に適 したメタデータ記述方式の国際標準 であ る MPEG‑7(ISO/1EC 15938)形 式 で,時 間情報,カ メ ラワー ク情報な どのメタデータを出力する機能 を実現す
画像電子学会誌 第 32巻 第 5号 (2003) る。記述 したメタデータを解析 することでその映像の新 た な別の特徴量 を抽出 ・利用す ることも将来的に可能 に なると考 えられる。例 えば,記 述 したカメラワークを時 系列 に変化 す る連続情報 と捉 えることで,文 字列で統一 的に表現で きない ような,映 像全体 としての特徴 を定義 し,ア ーカイプ内の映像を分類 ・アクセスするといった ことが挙 げ られ る。。そのため,コ ンテンツ制作時 にメ タデータを記録 ・出力 してお く有効性は高い。
4.シ ステ ム概要 4.1 シ ステムの提供する機能
本 システムで は,映 像編集 に関する機能 として次の機 能 を提供 す ることがで きる。
1.映 像 の内容情報 (セグメン ト単位 の時間情報,カ メラフーク,カ メラワーク安定性ち セグメン ト単位 の ノンピュー な ど。詳細 は後述。)が容易 に把握 可 能。 これに よ り,VTRに おける再生 。早送 り。巻 き戻 し操作 による映像の内容把握作業労力の負担 を 大幅 に軽減 で きる。
2.セ グメ ン トのフレーム精度のつぎ合わせによる時 間長短縮映像 (ダイジェス ト映像)の生成。現時点で は,エ フェク トを挿入す ることなどはで きない。
3.編 集作業 に よって生成 された映像 のダ ウンロー ド.
4.す べての機能が Webプ ラウザ(MicrOsOft inter‐
net Explorer 6.0)上に表示 され,マ ウスのク リッ ク操作のみでその作業 を完了可能.
5.世 界中のイ ンターネッ ト上から本 システムを利用 可能。
6.編 集情報 等 のメタデー タ(MPEG‑7イ ンス タ ン ス)の出力.
4.2 シ ステム構成
本 システムのネ ッ トワー クシステム構成概要図を図 1 に示す。本 システムは大 きく映像編集サーバ システム と クライア ン トPQイ ンターネ ットの三つか ら構成 され る。映像編集サーバ システムは,提 供す る機能 ごとにサ
Wめ サーバ 映像解析サーバ データベースサーバ メールサーバ コンテンツサーバ
図 1 シ ステム構成概要図 (ネットワーク構成) Fig.l System's overview(network systeln)
論文 :Webプ ラウザ を用いたネッ トワーク型映像編集システムの提案 と実装
□ 量
図 2 各 サーバ間連携概要図 Fig.2 Scrvcr cooperation■ow
―バが分かれてお り,Webサ ーバ,映 像解析サーバ, データベースサーバ,メ ールサーバ,コ ンテンツサーバ か ら構成 されている。図 2に 各サーバ間の連携概要図 を 示す。各サーバ は表 1に 示す とお り汎用 PCを 利用 して いる。各 サーバの提供する機能 を以下 に示す。
・Webサ ーバ
本 システムは,映 像編集者が実行 す るすべての操作 は Webプ ラウザ を利用 して行 う。本 サーバ は,本 システ ムの中核 となる機能であるため,他 のすべてのサーバ と 関連がある。図 2に 示す ように,映 像解析 サーバ に対 し て映像解析指示 を出し,コ ‐―ザ登録時などにユーザにメ ール送信する指示 を出す。ユーザの新規登録やシステム ヘログイン時の認証 を行 うためにデータベースサーノ｀と 情報の送受信 を行 う。 またユーザ に対 して表示する画像 や入カデータ(映像等)の保存や読み出 しに関 してコンテ ンツサーバ と連携 している。本サーバで は,映 像 内容情 報な どか らの HTML情 報作成 ・配信な どの機能 を提供 す る。ダイナ ミックに編集操作画面 を生成 するた め に JSP(Java server Pages)を示U用 している。
・映像解析サーバ
本 サ ーバ は,シ ス テ ム に入 力 された 映 像 (MPECl Systems Stream)を 解析 す る。 カ ッ ト点検 出機能 は, (株)KDDI研 究所製の MPEG SDK(MP Factory)を 使 用 しているが,そ の他の機能 (カメラワー ク検出な ど)は すべて独 自に開発 し実装 した。詳細 は後述する。
・データベースサーバ
映像解析 サーバ によって解析 された映像 ファイルの メ タデータ(各ショッ トやセグメン トの情報等)を格納す る D B サ ー バ で あ る。R D B M S ( R e l a t i o n a l D a t a b a s e Management Systcm)と して PoまgreSQLを 利用 して 実装 している。
* t & t - ^ A A < v ? Table I Server specification
サーバ名 ― ドウェア ソフ トウ ェア
Webサ ーバ
CPU:Intel Pentium Π I l.13 GHz Memory:1.5GB
OS:RedHat 7.3J Apache,JSP
臨 師
サーバ
CPU:Intel Pentium Xeon 2.2GHz
Dual
Memory:1.5GB
OS:RedHat 7 3J 独 自開発
データベース サーパ
C P U : I n t e l P e n d u m m l.13 GIIz Memory:512 NIB
O S : R e d H a t 7 . 3 J PostgreSQL
メール サーバ
C P U : I n t e l P e n t i u m l n l.13 GHz
Memory:512 MB
OS: RedHat 7.3 J qmail
コンテ ンツ サ ーバ
CPU:Intel Penttum 4 2.26 GHz Memory:512 MB
OS:RedHat 7.3J
・メールサーバ
本 システムか ら映像編集者 に対 して情報 を通知 する補 助手段 として機能 し,映 像解析サーバか らの指示 によ り 電子 メールの送信 を提供する。ユーザ登録時な どの際の メール送信 も本 メールサーバで担 う。
・コンテ ンツサーバ
本 システム に入力 された映像 ファイル及 び編集 して完 成 された映像 ファイルなどを格納 す る。
クライアン トPCは ,映 像編集者の操作端末 として利 用 し,汎 用 PCに 一般的なWebプ ラウザ(現時点では, Microsoft lntemet Explorer 6.0)の み を必要 とし,本 システムを動作 させ るために特別に必要 な設定事項,追 加 の ソフ トウェアやハー ドウェアは全 く必要 としない。
インターネ ッ ト回線 は,編 集中の映像のプレビューなど の た め に ク ラ イ ア ン トPC側 で は ADSL以 上 の 数 Mbpsの スループ ッ トがでるア クセス回線 を要求す る。
映像編集サーバ システム側では,現 在ベ ス トエ フォー ト 型 の最大 100 Mbpsの 回線 (アクセス回線 にお ける回線 分岐 なし)を利用 している。
また,利 用者 は本 システムに対 してユーザ登録 を行 い,登 録情 報 はデー タベ ー ス を用 い て管理 を行 い, XSS(ク ロス ・サイ ト・スク リプ テ ィング)を起 こさな い ようにしてい る。パ スワー ドを発行す ることで,映 像 コンテンツはユーザ単位でのア クセス管理 を行 ってい る。そのため,各 ユーザは自分の登録アカウン ト以外の 映像 コンテ ンツにはアクセスで きないようにな って い る。 また, ユ ー ザ が ロ グイ ン して い な い と き は, H T T P L か らアクセス不可能 にしている。
4.3 シ ステム動作 シーケンス
以下 に本 システム を利用する際の映像編集者か らみた 動作 シーケンスを示す。 またその概要図を図 3に 示す.
手順 1.
映像編集者 は,ク ライア ン トPCの Webプ ラウザ を 利用 して本 システム にアクセスする。 まず,ク ライア ン トPC側 に所持 している未編集 の映像 ファイル をア ップ ロー ドす る。た だ し,本 シス テ ム で は,現 時 点 で は MPEG l Systems Streamに 対応 していることか ら,事 前 に映像編集者が素材映像 を MPEC lに エ ンコー ドし てお く必要がある。
手順 2.
映像 ファイルのア ップロー ド完了 とともに,サ ーバ シ ステム側では,映 像解析サーバ において編集に必要な情 報 を抽出す るため映像の内容解析 を実行 し,解 析 された 内容情報 をデータベースサーバ に格納す る。 (内容解析 については後述す る)映像 フアイルのアップロー ドと映 像の内容解析 には時間 を要す るため,映 像編集者 には内 容解析完 rを 電子メールで通知する。
手順 3.
映像編集者 は,電 子 メールにて映像内容解析処理の通 知 を受 けた後,再 び本 システムに Webプ ラウザ を利用 してアクセスす る。Webサ ーバ は,デ ー タベースサー バ に格納 された内容情報 と映像編集者の入力す るパ ラメ ータを利用 して,編 集操作画面の HTML情 報 をダイナ ミックに生成 し,ク ライア ン トPC上 の Webプ ラウザ に送信 。表示する。 (編集操作画面の表示情報 は後述 す る)映像編集者 は,表 示 された情報 を参考 にしなが ら, ダイジェス ト映像 に必要なセグメン トをマウス操作 によ って選択す る。選択 したセグメン トをつぎ合せてプレビ ューすることも可能である。 また選択 をや り直す ことも 可能である.
手順 4.
ダイ ジェス ト映像が完成 した ら,そ の映像 を保 存 す る。 クライアン トPCに 映像 をダウンロー ドす ることも 可能であ り,ダ イジェス ト映像 の保存 とともに出力 され る MPEC‑7イ ンスタンスをダウンロー ドすることも可 能 である。以下 に,出 力 され るMPEG‑7イ ンス タ ンス
画像電子学会誌 第 32巻 第 5号 (2003) の例 を 1シ ョ ッ ト中 の 1カ メ ラ フー ク セ グ メ ン ト (CameraworkSegll.ent)部分 を中心 に示 す。 この例 で は,ID shot‑2"のシ ョットに関する記述部分 を中心 に 抜粋 してい る。 カメラ ワー ク は,手 ぶれ な どの記述 は M P E G ‑ 7 に 規 定 さ れ て い な い の で, 独 自 の N a m e ・ S p a c e 「t o m i n a g a l a b 」を定義 し, 記 述 してい る。カメ ラワー ク安定度評価値についても同様である。
〈Mpeg 7 xmlns:Inpeg 7= urn:……,・"
xmins:tominagalab= http://― w.………"
xmins:xd= httpノ /wwwow3c.org/……P'
xsi:schemaLocation= urn¨・''〉
〈Description xsi:type
= ContentEntityType"〉
〈MultiMediaContext xsi:type
= AudioVisualType''〉
〈AudioVisual id= mk0306240''〉
〈Medialnfomation〉
中略
(TemporalDecomposition criteria = "shot") (AudioVisualSegment id = "strot-2")
(MediaTime)
(MediaRellncrTimePoint) 565
(/MediaRellncrTimePoint) (MedialncrDuration)
t227
(/MedialncrDuration>
(/MediaTime)
(MediaSourceDecomposition criteria :"audioVisual")
(VideoSegment)
(TemporalDecomposition criteria
="spatialKey" ) (StillRegion id="sr 2")
( MediaRellncrTimePoint) 2
(/MediaRellncrTimePoint) VStillRegion)
(/TemporalDecomposition) (/VideoSeement)
(/MediaSourceDecomposition) ( TemporalDecomposition
criteria : " cameraWorkSegment" ) (AudioVisualSegment
id : "cameraWorkSegment-0") (MediaTime)
くMediaRellncrTilnePoint〉
565
く/MediaRellncrTimePoint〉
くMedialncrDuration〉
1227
〈/MedialncrDuration〉
く/MediaTime〉
くNIediaSOurceDecomposition criteda==̀̀audioVisual''〉
くVideoSegment〉
〈TemporalDecomposition criteria
= spatialKey''〉
くStinRegion id= srO''〉
〈lⅥediaRellncrTimePoint〉
0
く/MediaRellncrTimePoint〉
く/StinRegion〉
く/TemporalDecomposition〉
〈/VideOsegment〉
く/MediasOurceDecomposition〉
〈tominagalab:CameraWork〉
SHAKE
く/tonlinagalab:CameraWork〉
くtominagalab:CameraWorkStability〉
NORMAL
く/ t o m i n a g a l a b : C a m e r a W o r k S t a b i l i t y 〉 く/AudioVisualSegment〉
〈/TemporalDecomposition〉
く/AudioVisualSegment〉
くAudioVisualSegment id=̀̀shot‑5''〉
中略
く/TcmporalDecomposition〉
く/AudioVisualSeg.1.ent〉
く/TemporalDecomposition〉
く/AudioVisual〉
く/MultiMediaContext〉
く/Description〉
〈/Mpeg 7)
5.映 像解析サーバ における映像 内容解析手法 5.1 映 像中のカメラワーク情報
一般個人が映像を撮影した場合,撮 影方法に対する知 識 ・経験がないため,カ メラ操作が安定 しないことが多 く,激 しい手ぶれを含むショッ トが一般的 に多い。ま た,ビ デオカメラの電源の切 り忘れによって地面ばか り 映っている場合など,明 らかに意味のなさないショット
な ども存在す る。 また,旅 行時の映像や子供を撮影する ことが多いが,そ のような場合は映画や ドラマなど撮影 の ように脚本がある場合 と異な り,あ らかじめ撮影手順 や対象が事前 に決定 されているわけではな く,カ メラの 前での出来事 を,興 味の向 くままに次々 と撮影 してい く
ことが多いため,一 つのショッ トの中に複数のカメラフ ー クが混在することが多 く,ま た同一 ショット内で特 に 関連性 のない映像が複数含 まれている ことがある。 その ため映像中のカメラワークには,ダ イジェス ト映像制作 のた めの編集 に有意 となる情報が含 まれていると考 え, 本 システムでは,映 像 中のカメラワー ク情報 を映像解析 することによつて抽 出 し,そ の情報 を主なパ ラメータ と して映像のセグメン ト化 とカメラワークの安定性評価 を 行 っている。 その基本的な処理の流れ は,以 下 の とお り で ある。
まず,映 像 シー ケンスをシ ョッ ト単位 に分割 をす る ((株)KDDI研 究 所 製 MP Factoゥ を使 用)。次 に,シ ョッ ト内の映像か らカメラツーク情報 を抽出 し,そ のカ メラフーク情報 をもとに,一 つのシ ョッ トをカメラワー クごとのセグメ ン トに分割 し,セ グメン トごとにカメラ ワークの安定性評価値 を算出する。
5.2 カ メラワーク抽出手法 5.2.1 抽 出するカメラワーク
カ メ ラ ワ ー ク に は 主 に FIX,PAN,TILT,
Z00M,DOLLY, TRACK, B00M,ROLL力 '存 在 す る。 し か し, PANと TRACK, TILTと B00M, Z00Mと DOLLYは それぞれ似た ような映像 にな るこ
とか ら,シ ステムの簡略化 を図るため本 システムにおい ては区別 しない もの とした。但 し,PANと TILTに 関 しては,用 語 としては PANに 統一 した。 また,曖 昧 な カ メラワーク として MOT10Nを 定義 しまた,上 記 以 外 に一般個人の映像 おいて多発す る手 ぶれ (SHAKE)を 抽出す る。従 つて,本 システムで抽出す るカメラワー タ は, FIX, PAN, Z00M,MOTION,SHAKEと し た。 こ れ らの うち,MOT10Nと SHAKEに ついては,
シ ョッ ト内のセグメン トを決定する際 に抽出 され るもの である帽導皿は後述す る).
5.2.2 カ メラワー ク抽出手法
本 システムでは,MPEG l Systems Streamを 対象映 像 フォーマ ッ トとしてい るこ とか ら,MPEGス トリー ム中の動 きベク トル情報 を利用つす ることも考 えられ る が,今 後の MPEG以 外の フォーマ ッ トヘの対応 を考慮 し,符 号化パ ラメータを利用せず,フ レーム間のオプテ ィ カ ル フ ロ ー の計 算 をベ ー ス と し て い る。但 し, MPEGフ ォーマ ッ トに特化 し,高 速化 を重点的 に図 る ので あれば,文 献 3)で我々が実装 した ように MPEGの
Ｅυ
′０
動 きベ ク トル情報 を利用す ることは有用である: 本 シス テムにおけるカメラバ ラメ■夕抽出手法 は, 主 にアンー
ム問処理と対象フレームにおけるカメ7アーク判定の二
つの処理により構成 される。 ￨ フ レ‐ム間処理 ‐
本 システムではテ ンプレー トマ ッチングによるオプテ ィヵルフ 百二算出計算 を行 っているが,一 般的に処理 コ ス トが大 きい。。 そのため処理 コス ト増大 を防 ぐためオ プテ ィカルシ営‐算出対象フレームを絞 る処理 を以下の
―fl順で行 つている。 ￨ 手順 1.
蟻 の N番 目のフレームに対 して Ⅳ ■NT̲1番 目の フレ‐ムを参照 し,動 きベク トル発生率 を算出す る。発 生率 が しきい値 7W aぉ 以下 で あれ ば,そ の間 の アン ーム のヵメラワー クはFIXと 判定 し,Ntt A7̲1■ 1 番 目の ソンームに対 して手1擬■.を実施 す る●‐
手順 2. 1 ‐ ■ 悧り 丘ご以下であれ ば Ⅳ 番 目のフレニムに対 して, N+NT 2番 目の フレームを参照 し,手 順 11と同様 に 動 きベ ク ト′レ発生率 を算出す る。発生率が闘値 T/7轟∬
以下 で あればカメラフー クを FIXと 判 定 し処理 を終 了 し,Ⅳ ■ハぼ 2+1番 澤のアL/‐ムに対 して手1猥1か ら 行 う。 しきい値以上であれば,Z00M」 で,あるかを判 定する。Z00M lで あれば,処 理 を終了し,FIXの 場 合 と同様に N■ NT 2■ 1番 目のフレームに対 して手 1腱1か ら行 う.FIX,Z00M̲1の いすれ にも判定 されな かった場合は,手 順 3へ 進む。なお NT̲1>脚 Tメ で ある。
手順 3:
Ⅳ 番 目の フレーム に対 して:隣 接 す るフレニ ム ごと に動 きベ ク トル を算 出 し,PAN̲1,PAN 2,Z00M
li Z00M 2,otherの 各カメラパ ラメータを判定 す る￨
対象 フレームにおける動 きベ ク トル発生率算 出 1‐
■,y方 向 とも16画 素お きの:画素 の格子点 を1‐ベ ク トル算出格子点 と定義 し,ベ ク トル算出格子点 を申心 と した大 きさ 8X8画 素のテンプ ンー ト領域 を,参 照 ンン ームの探索領域において,そ の画素値の差分の絶対値を 言￨・算 し,そ の領域 内で最 も差分値 のだ｀さ くな る ときのテ ンプレー トの中心座標位置 に対する:ベク トル算出格子点 の座標位置からのベク トルをその格子点の動 きベ ク トル とする。探索領域 は,ベ ク トル算計1格子点 を申心 とした
86X36の領域とした.次に上記で求めた各ベク1ド ″算
出格子点の動きベク トルの大 きさにより,発 生率の計算 を行 う。まず,各 ベ ク トル算出格子点 を中心 として,￨
lXl画 素の領域をベク トル発生判定領域 と定義する￨そ のフレ■ムにおける動 きベク トル発生率 ′.υισわ′は,
dllrn
1図 4 方 向領域 Fig.4 Direction area
ベ ク トル発生判 定領域 の外側 を指 してい るベ ク トルII̲出 格子 点 の総数 を 工 よ̲ο″ιと し,全 ベ ク トル算 出格 子 点 数 を い a Fθ″ノとす る と次 の式 (1)で 表 す こ とが で き
る。
亀′ ご めγ =惑 野毬場ヽ X100
(1) カメラワー ク判定手法ここでは,算 出された動 きヽク トノン情報 を用いてカメ ラワー クを判定す る手法について述べ る。大 まかな手順
は次のとおりである。まずアンームを9個 に領域分割 し,図 4の各灰色領域のようにな側領域(left),=側領 域(up),右側領域(right),下 側領域(doWn)の各方向領 域に含まれるベクトル算出構‐ NI点の動きベクトルを解析 し,各 領域を代表するfJ 向 パクトィ ンを決定する。決定さ れた4領域の方向ヽクトルの組み合わせでPANJ,
PハNノ ,Z00M… 1,Z00MP,9therを 沐定 す る。以 下にその詳細 を示す. ￨ ‐ ‐・方向ベク トルの誅定 :.
まず,各 動 きベク トルを二下左右の 4J」‐
向の最 も違い 方向に変換する.そ して:図 4に おける.left,up,riglt,
downの各方向領域に含まれる4方向に変換された.各 々 の動きベクトルQ最 も多く含まれる方向の動き、クト
発 島 彙 ,T締 泉 裏 最 1孟 鼻 基 i:島 tF基 孟 島 3動 薔 彙
クトル大きさの総和を計算し,総 和の最も大きv)ベクト ノ ンを方申べ′トル￨す o. ■ ‐
■方向ベクトルからのカメラフー′判定‐ . : 方向ベクトルの組み合わt■ は,各 方向領域で上下左右 の4方向存在し,上 下な右の方向領域があるので,256
とおりの組み合わせが存在する。ここでは.‐ 四つの方向
第 3 2 巻 第 5 号 ( 2 0 0 3 )
.up
誌
一
一
論文 t Wobプ ラウザ を用いたネッ トワ‐ク型映像編集システムの提案 と実装 表 2 方 向ベ ク トルか らのカメラフ̲ク 判定
Table 2 cant∝ aw,rk lugchn■ent from vcctOr inforlllation
カメラフー ク
PAN l
(a)のように,鑽 つの方向ベクトルの方向が 揃っているもの(1方向で1とおり)。 ￨￨
(b),(d)の よう走ある芳高蕪 1方高 ‐ トルに対して両隣のベタトルが奥碁biをあ べ'
うち一方のベクトルが共通で,もう一方のベ ク トルが 9o・F・I転しているもあC8とおり)。
(c),(e)のょうにある方向領域め方奇ベクト ャに対 して向かぃ側の方向ベクトルがllll…
で,両 隣の方向ベクトルが9oo E・l転してお り,同 ・―であるもの(Sとおり).
PAN.2
( 1 ) のよ う, こ( a ) と比 較 し四 つ￠) 方向ベ タ ト ル の うち一 つ が 9 o °回転 して い る もの ( 3 2
とお り) .
図 5 方 向ベ ク Fig.5 伍 撃erawork
information
トルによるカメラフTク判定
Judgnlent by diret・ tioll vector
Z00卜 12
( ■) , ( 0 ) のように( g ) と比較 して下つの方向 ベ ク トルが 1 8 0 ' 回転 している もの(8とお
り) .
上記以外 すべて
ベ ク トルの組合せか らカメラワークを判定する。基本的 に,方 向ベ ク トルか ら推測 して比較的はっきりしたカメ
ラフークを堆重類 ごとにPAN…1,z00M lと する。
PAN」 ,Z∞ Milに 類似しているが,は っきりしてい ないカメラワークをそれぞれPAN 2,Z00M2と す
る￨ I P A N と Z 0 0 M 力 ∫混在 して い る よ うな もの を,ZP
とし=そⅢ以外のはっきりしないものをotherと する。
詳細は表 2の とおりである.表 2に おける(a)〜 (0)は 図 5中 の表記に対応 している。この分類によってPAN
」:PAN」 ,Z00Mll,Z00M2と して判定 された も のは■方向ベ ク トルの組 合せか ら判 断 して PANに 関 し て は上下左 右 の方 向が,200Mに 関 して は Inか out の方向が決定 され る。
5.3 セ グメン ト決定 およびカ メラワーク安定性評価 手法 ‐
ここでは,上 記によって決定されたカメラフ‐ク情報
を利用して, 各 ショットをさらにセグメントに分割する
手法 お よびそ の セグメ ン トにおけるカメラフーク安定性
評価値 の決定アルゴ リズムについて述べ る。本アルゴリ ズムの概要は,各 シ ョッ トにおいて先 にはっきりしてい るカメラフー ク部分 をfll用して仮セグメン トを決定 し, 仮 セグメン トに当ては まらない曖昧なカメラフーク部分
の処理 を行い,最 終的なセグメン トの構成 を決定する。
カメラワー ク安定性評価値 は,各 カメ ラフ‐ クに対 し て,000D,NORMAL,BADの 3種 類 のいずれか に 決定 される。以下 にその手順の詳細 を示す.
手1質11
フ レームFHl処理 にお いて決定 され た 熟Tlま た は ハ″12フ レーム分の RXと Z00平 11に 関 してデ同∵
ショッ ト内で同 じカメラフークが隣接 していれば結合し て い き,HX(000D)ま た は ZOoM(GЮ OD)の 仮 セ グ メン トを構成 し,仮 評価値 を決定する.表 記の括弧内は 評価値 を示す。手1擬1が 終了した段階では:仮 セグ タン トを構成 していないのは隣接するフレ■ムごとヵメラノヾ ラメータを判定 したフL/―ムであ り,‐非セグメン トフレ ームは仮セグメン トに挟 まれた状態になっているI
手順 2̀ ￨ ・
非 セグメン トフレーム に注 目し,ダ フレ■ム単位 でユ ニ ッ トを構成 し,ユ ニ ッ トごとのカメラフニ クと仮評価 値 を決定する.具 体的には,5フ レニ^―の うち PAN l:
Z00M lの いずれかが三つ以上‐占めれ 磁 ￨そ めュニ ッ トは PANま た lF■Z∞ Mと '判定 され る。 またI PAN3‐
PANメ :ZPの みから構成されてい￨ればPANと 判定 し,Z00Mll:Z00M2,ZPの みから構成されていれ ばZ00Mと 判定する.それ以外は,cther‐ と判定する。
また,評価値に関しては,5ブ レ■ムのカメラフニクめ
方向がすべて同二 であれ ば:G00Dと 仮評価 し,そ れ以 外は NORMALと 仮評価する。 ￨ ‐ ‐ (g)のような￨まっさりとした zoOM(2と お
り).偽 )のように,あ る方向領域の方向ベク トルが片隣 と同一で,残 りの二つが 180・図 tFiした もの(8とお り).(1)と全体 を90°回転 させた もの(2とお り).(j)と(k)をそれぞれ 全体 を90°ずつ回転 させた もの(8とお り).
(D,(m)の ように,(g)と比較 して一つの方 向ベ ク トルが 90・鐵転 してい る もの(16と お り)̲
653
手l晨3. :
手順 2に おいて,G000と 仮評価 されたユ■ シ ■が 同ニカメラフ‐クで rね″υご個以上連続する場 合は, 仮 セ グ メ ン トを 構 成 し, P A N ( G 0 0 D ) , Z 0 0 M
(G00D)と 領繭 値を決定する。
手順 4.
各■エ ットを手順 1で仮決定されているセグメン トに 統合するか:摯 率 したセグイントとすoか を決定する:
手順 3が 完了した段階で,仮 セグメ ント:間のセダメント イヒされて、ゝなぃユニ ットが 2ンニ1/7黎 饉以上連続 する 場合に￨ま,統 合処理は行わずに独立 した仮ャグメントを 構成する。独立 した仮セダメン ト内において,7ル 陸″
以上連続 して さtherが存在する場合iま,そ のf■‐ セグメン トは SIIAKE(BAD)と 決定 し,そ れ以外 をMOT10N (NORMAL)と 決定す る.仮 セグメ ン ト間 に 御電鷲′/.・● 以下 しかユニ ッ トが存在 しない場合は,‐手順 5へ 進 み前 後のいずれかのセダメン トヘの統合処理が行われ る。
手Л醸5̲
対象ユニ ッ トの前後の仮 セグメン トを比較し,前 後 と も同一 カメラワ■クであれば,前 後仮セグメン トと対象 ユニ ッ トを統合 して新 しい仮セグメン トを構成する:前 後が異 なる場合 は,Z00M,PAN,FIXの 順 の優 先順 位 でユニ ットを統合する.統 合対象 となつた仮セダメン トの 仮 評 価 値 が G00Dの 場 合 は,新 しい評 価 値 を NORMALと す る。l■‐
評 価 値 が 600D以 外 の場 合 に は,統 合処理をして も評価値 は変化 しない。 また,統 合 処理 をして もセグメン トのカーメラワークは変化 しない.
剰 順 6.‐ ￨ ‐ ￨
セ グメン トfヒされていないユニ ッ トがな くなるまで, 統合処理 を行 う。 すべてセグメ ン トイヒされた ら,仮 カメ
ラワー クと仮評価値 を最終的なカメラフークとカメラフ ーク安定度評価値 とする: ‐
このようにして,映 像編集者が見 る映像編集操作画面 には,カ メラワー ク としては,FIX,PAN,Z00M,
MOT10N,SHAKEの 5種 類力ゞ, カ メラワー ク安定性 評価 値 は,IG00D,NORMAL,BADIの 3種 類 が表示 されることになる。 ￨ ‐ ■■￨ : また上 記 の アル ゴ リズムか らわ か る よ うに,,TFt
´ οこ 疇 ■2 降 a電 ″″の値 を変化 させ ることでJ.各 セグメン トの分割点やカメラフーク安定度評価値が変化 す るよ うになつている。概 して各数値 を大 き くす る ほ ど,大 まかな判定 とな り各セグメン トの時間長 も長 い傾 向 とな り,数 値 を小 さくす るIまど細かな判定 とな り各 セ ダメ ン トの時間長 も短 くなる傾向にある￨シ ステムによ る映像解析 は;必 ず しも 100%の 精度で正確なカメラフ ーク抽出が行えるわけではな く,カ メラワーク安定度評
画像電子学会誌 .第32巻 第 5号 (2003) 価健が人間の認識 と完全に―致するわけではないことか
ら,解 析のパラメータを映像覇業者恭ケキチミックに切 り替え拳ことで,t‐r‐みの解緩結果を編集作業中に選択で きるようにした。従つて,本 5.3節 におl・Jる処理 は,実 際キこは映像編集作業時の編集操作画面め IITML情 報生
成時年,や■,.摯 俸蓼拳操作歯面の内碁表示情報ヘダイ
ナミック■薫攣され0 ,
6 W:bブ ラら ,による 轟集藻作画面構成
卜蓬ζ鑑 轟 驚 」:::lill::::l:ξ重漂曇意曇募 できることが特徴である。図 6に 映rst編集操作画面の例 を示す.図 6に 示すように画面最 上部には,入 カ ヒ′た映 像をショッ ト分割 した結果を表示 している。シヨットご とに粋を設け,時 系列に左から41‐にliarけて枠を表示 して いる。枠の続 は,シ ヨツトの時間長に比例して横長に 表示される.粋 内にはそのショットのキーフL/―ムを表 示 している。従 って,時 間長の長いショットは横幅の長 い枠で表示され,時 間長の短いショットは横幅の短い枠 で表示さtLているので,映 像編集者は直感的に時間長を 把握することができる。入力する映像の時間長が長いと シヨッ ト情報 もツト常に横長 となってしまうことから̀時 間あた りの枠の横幅を変更 することもできる。
ショットのキーフレームにマウスを戦すとショットの 下部に,そ のショットのカメラワーク情報によって分熱
された各セグメントの情報が表琴書■ろ.図 6の例で は,先頭から3番日のショットのセグタント情報を表示
してお り,各 セグメン トのキーフレーム,カ メラフーク 情報,カ メラフーク安定度評価値,セ グメン トの時間長 (Duration Time)が 表示 されている.こ れ らの情報によ り,手 ぶれが激 しいセグメン トを容易に把握す ることが で きる1将 来的 には,カ メラフ■クや安定度評価値‐ごと、
に色 を区別 して表現 し:直 感的に識別 で きるようにす る。 また各セグメン トーの キ‐ フレームをクリラクするこ とで,そ のセグメン トの映像のプレビューを行 うことが できる. : ￨ :‐ : 前章でも述べたが,カ メラワーク抽出やカメラフニク 安定度評価fl̲‐は,必 ずしも正確な情報が抽出できるとは 限ら:ない:従 うて,1映像解析のパラメニタを映像編集作 業中にある程度 自由に設定できるような解析手法 となっ ている。そのため,映 像解析結果情報を利用 して生成 さ れる編集画面情報は,映 像編集者が映像編集中に入力す る(切り替える)パラメータを反映させる必要がある。 し かし,す べてのパターンに対応 した映像編集操作画面の IITML情 報を事前に用意 してお くのは非効率である。
そこで本システムでは,編 集作業中でも解析パラメこタ
ラウザ を用いたネ ッ トワーク型映像編集システムの提案 と実装
図 6 Webプ ラウザ:こよる映像編集操作ini画 Fig.6 Editing view using Web brOwser が変更で きるように, JSP(Java server Paぎs)を不1用
してダイナ ミックに映像編集操作lti画を生成 し,ク ライ アン トに表/11している。 そうすることで,映 像編集作業 中にもカメラフ ヽヽ夕によるセグメン ト分割の織かさが変 更することがで きるようになっている。パ ラメータを変 更 させると画面 を再描写することになるが,そ の待ち時 間は数秒 (1か ら3秒 )程度であ り,負 担 にな らない レベ ル となっていることを確認 している。
実際にダイジェス ト映像制作を行 うときは,表 示され ている映像の内容情報 を参考にしなが ら,ダ イジェス ト 映像に必要 なセグメン トをクリック操作で選択する。選 択 されたセグメン トのキー フレームは,図 6の ように画 面最下部 に表示 され´る。選択が完了 した ら画面最下部の
「編集Jボ タンをク リックす ることで,選 択 されたセグ メン トを結合 した映像 をブレピューすることができる。
プンドユ■ した映像で内A●ほ
問題がなければ,保 存およ び′ライアン トPcへ のダウンロー ドが可能である。ま た響等作業が途中の段階で も,画 面最下部の 「編集」ボ
̀ン をク リックす ることで,現 在選択 されているセグメ ン トを結合 した映像 をプンピューすることがで き,セ グ メン トの選択 し薗 しな ども随時行 うことができる. また 制作途中でプレビュー した映像 も保存することがで きる ことか ら,複 数人が同 じアヵウン トで同時に本システム にァクセスし,制 作途中の映像 を共有 じグループウェァ の ように利用することも可能である。但 し,本 システム では,ユ ーザが ログィンす る際にセ ッションIDを 含ん
だ URLを 生成 しアクセスすることで各映像 とその編集 情報等の管理を行 い,複 数人が同一アカウン トで同時に ログインしてもそれぞれの情報の一貫性 は保持されるよ うになっている。
ア. 評 価 実 験
本提案 システムによる映像編集作業に必要な時間を計 測 し,ま た市 販 の ノ ン リニ ア編 集 シス テ ム(Avid Xpres DV Ver.3.5)を 使った場合の必要時間を計測
し,両 者 を比較することで本提案システムの有効性の検
証するため,評価実験を行った。本実験では,映像編集
作業 自体の時間を計測 することは,本 提案 システム と市 販 の システムで編集機能 に大 きな差があるため,ま た編 集作業自体は極めて主観的な内容であるので,編 集作業 自体の時甲を測定するのでⅢなt,き 材映像の1担轟 とジ ステムヘの映像ファイルの入力時間を測定し,‐映像編集 者の創造性を発揮する作業 と直接関係のない部分の作業 時間を測定 ・比較を行った。
まず,本 ンステムにおける映像入力 (アップロ‐ ド)と 映像内容解析 に必要な時間:を計測 した。本 システムにお ける映像 内容解析 は,映 像のi内容 によリオプティカルフ ロー算出対象 フレーム数が変動するため,カ メラフ‐ク の最 も少ない監視 カメラのような画面内オブジェク トの 移動や光条件に変化の全 くない映像,テ レビ放送の ドラ マ映像,そ して最 もカメラツークの変化の数 しく,ま た 手ぶれカメ ラフークを多 く含んだ守般個人映像の合計 3
655
映像の種類 データサイズ (MB)
アップロード (分)
映像解析時間 (分)
舒 ０
監視カメラ映像 テ レ ビ ドラマ映像 一般個人撮影映像
表 3 本 提案 システムの処理時間
Table 3 Process tilne for video content analysis
表 4 映 像内容解析パ ラメータ Table 4 Parameters for video content
analysis
種類 の映像 を用 いた。各映像 の時間長 は 10分 で あ る。
各映像 に対す るア ップロー ドと映像解析時間を表 3に 示 す。本実験で使用 した映像内容解析手法のパ ラメータを 表 4に 示 す。映像符号 化 ンー トは 1.5 Mbps(MPEC l) である。 またクライアン トPC側 インターネッ トアクセ ス回線速度 は,ベ ス トエフォー ト型最大 100 Mbpsで あ る。表 3よ り,映 像 の種類 により映像内容解析 に要する 時間 に大 き く差が生 じてい ることがわかる。監視 カメラ 映像で は,全 フレームにおいて動 きベ ク トルが発生 しな いので,オ プティカルフロー算出対象 フレーム数が最 も 少な くな り処理時間が短 く,一 般個人撮影映像 で は,カ
メラ操作が安定 しない場合が多 く,ま た FIXと 判定 さ れ る部分が少ないため,オ プテイカル フロー算出対象 フ
レーム数が多 く,処 理時間が多 くかかつている。
一方,市 販 システムを利用 した映像編集の実験 とし て,2002年 10月 〜12月 までに開催 された演劇 の フェス テ ィパ ルである東京 国際芸術 祭 (主催 :NPOア ー トネ ッ トワー クジャバ ン)つを活用 した。東京 国際芸 術 祭 は 20作 品の演劇 を期間中に順次公演 す るもので あ る。本 実験 では,被 験者 として映像編集 を特 に行 った ことのな い人 を選択 し,各 演劇作品 (公演時 間 は各 2〜3時 間程 度)を約 1時 間ずつ市販 デ ィジタル ビデオ カ メ ラ(mini DVフ ォーマ ッ ト)で撮影 し,2〜 3分 のダイ ジエス ト映 像 を市販 システムによつて制作 して頂 いた。本実験 にお
画像電子学会誌 第 32巻 第 5号 (2003) 表 5 市 販システムによる作業時間
Table 5 Time for working using eXisting
ける編集作業ワークフローは次の手順である。
① テ ープをVTRで 再生 。早送 り・巻き戻 ししなが ら,録 画 された映像の内容 を把握(何が どこの時 間位置に記録されているか).
② ダ イジェス トに必要な部分をノンリニア編集装置 へ入力.
③ 編 集作業 を実施.
また,20作 品の うち,ノ ン リニア編集装置 の操作 に慣 れている状態で ある最後 の 5作 品 を利用 して,5作 品の 平均作業時間 を計測 した。結果を表 5に 示す。
この二つの実験の結果 を比較する際 に,素 材映像が表 3で は 10分 で あ り,表 5で は 1時 間で あ るの で,表 3 の合計時間 を 6倍 して比較する。 また表 5に おける実験 が撮影に関す る知識のない人であることか ら,表 3の一 般個人撮影映像 による比較 を行 う。す ると,本 提案 シス テムによる映像解析時間 は 87.6分 であ り,市 販 システ ムによる内容把握 とシステムヘの映像入力作業時間の合 計 は 186分 とな り9本 提案 システムによる作業時間が大 幅 に短縮 されてい ることが確認 で きる。 また,同 一の時 間 をかけて も,よ り編集 自体の作業へ利 用で きる時間が 増加 させ ることも可能 となる。
また本提案 システムでは,解 析処理速度 は CPU速 度 に比例 していることか ら,コ ンピュータ性能の向上 によ り今後の高速化が期待できる。本提案 システムでは,映 像内容解析 に MPEG符 号化パ ラメー タを利 用 していな いが,文 献 3)において実装 しているように,MPEGス
トリームの動 きベ ク トル情報 を利用す ることでさらに高 速化 も可能で あ る。 また,Webプ ラウザ を利 用 してい ることか ら,イ ンターネッ トアクセスできる場所か らな らいつで もどこで も簡単に編集作業 を実行可能である利 点 も大 きい。
本 システムで は,制 作 されたダイジェス ト映像に関す る編集情報 (オリジナル映像上の時間情報,カ メラワー ク情報 など)の MPEG 7イ ンスタンスの出力 も可能であ る。MPEG 7イ ンスタンスの代わ りにEDLフ ァイル を 出力 し,既 存 の編集システム と連携 させ ることによ り, 業務用映像編集作業 フロー における粗編集用のシステム
system
VTRに よる内容把握 およびシステムヘの映像入力作業
I(lNT l使 用時) I(INT 2使 用時) Th̲good(デ フォル ト値 :可変)
¶Lmerge(デ フォル ト値 :可変) Th bad(デ フォル ト値 :可変)
として も応用が可能である。 高 真 一
舘 亮 之 (正 会員) 8.ま と め
本稿では,い つで もどこで もプロー ドバ ンドインター ネ ッ トアクセスが利用できる環境下を想定 し,映 像編集 サーバ を設置 し,ク ライアン トPCよ リー般 的 Webプ ラウザのみを不り用 していつで もどこで も映像編集が行 え るネットワーク型映像編集 システムの提案 を行 った。ブ ロー ドバ ンドネ ットワークの普及によって映像流通構造 が大 きく変化 した ことによる映像 コンテンツ制作 (編集) に対する要求仕様 を整理 し,実 際にネ ッ トワーク型映像 編集 システムの実装 を行 った。作業時間 を計測する評価 実験 によって,従 来の労働集約的作業で あった VTRに
よる素材映像の内容把握 に要す る作業時間 を本提案 シス テムを利用す ることで大 き く削減 で きることが確 認 さ れ,本 システムの有効性 を示 した.今 後 は,今 回十分 に 実装 していない複数人 による協調的編集作業への対応や 編集機能 の充実,カ メラワーク以外の情報 による編集支 援機能 な どを検討 してい く予定である。
謝 辞 本 研究 は,経 済産業省平成 13年 度 (補正予 算)地域新生 コンソーシアム研究開発事業 「プロー ドバ ン ドネ ッ トワー クの為のオーサ リングツールの研究開 発」における委託研究 (平成 14年 度)と,平 成 14年 度放 送文化基金 による助成 (平成 15年 度)に よ り実施 された。
関係者の皆様に感謝致 します。
参 考 文 献
1 ) 長 井真太郎,宮 域隼夫 : 高速 ネ ットワー クを用いた速隔地間 コラボレーション編集" , 情
報処理学会論文誌 V o l . 4 4 , N o . 3 , pp.692‑699 (Mar.,2003).
2)安 田 浩 : コンテンツ流通に向けた取 り組 み と課題",2001年 映像情報メディア学会年次大会,S2‑1,pp.405‑410(2001).
3)金 田瑞規,土橋健太郎,高木真―,小舘亮之,富永英義 :歓 像編 集支援 システムのためのインデキシングパ ラメータ抽出手法の 検討",情処学研報 AVM,2001‑AVM 35,pp 13‑18(Dec., 2001).
4)Chanttng Sun: Fast Optical F10w Using Cross COrrela‐
tion and Shortest‐Path Techniques'',Dlgltal lmage Comput‐
ing: Techniques and Applications,pp.143‑148(2001).
5)http://ww.a● .Orip
6)高 木真―,服部 しのぶ,横山和正,小舘亮之,富永英義 : カメラ ワーク情報を用いた映像メタデータの解析手法 に関する検ず , 情報処理学会 シンポジウムシリーズ,デ ー タベース とWeb情 報 ンステムに関す るシンポジウム論文集 (DBWeb 2002),pp.
359‑366(D遣 2002).
(2003年 5月 1日 受付)
Jヽ
平 9,早 大 ・理工 。通信卒。平 11, 同修士課程了。現在,早 大大学院国 際情報通信研究科博士後期課程在籍 中.主 に画像処理 に関する研究に従 事。電子情報通信学会学生会員.
平 4,早 大 。理工 。通 信 卒。平 6, 同修士課程了.平 6,日 本学術振興 会特別研究員.同 年, ドイツ ・ハ ノ ーパー大学客員研究員.通 信 ・放送 機構早稲 田 リサーチセ ンター研究 員,早 大国際情報通信研究 センター 助手 ・客員講師を経て現在,同 客員 助教授 (専任)。工博。主に画像処理 の研究 に従事。電子情報通信学会, 情報処理学会各会 員.
平 14,早 大 。理工 ・通信卒。現在, 同修士課程在学中。主にネッ トワー クの レー ト制御 に関 す る研 究 に従 事。電子情報通信学会学生会員.
平 14,早 大 。理工 ・通信卒。現在, 同修士課程在学中。主 にコンテンツ 配層ネッ トワークに関する研究 に従 事。電子情報通信学会学生会員.
平 15,早 大 。理工 ・通信卒。現在.
同大大学院国際情報通信研究科修士 課程在学中。主に画像符号化に関す る研究に従事。電子情報通信学会学 生会員.
孝 明 石
657
岡 松 也
裕 石
平 15,早 大 ・理工 。通信 卒。現在, 同大大学院国際情報通信研究科修士 課程在学中。主にモバイルネットワ ークに関する研究に従事。電子情報 通信学会学生会員。
平 15,早 大 。理工 。通信卒。現在, NTTコ ミュニ ケー ションズ株式会 社 ・ソリューション事業部所属。在 学中,主 に画像処理に関する研究に 従事。
画像電子学会誌 第 32巻 第 5号 (2003) 正 悟
平 15,早 大 。理工 ・通信卒。現在, 同大大学院国際情報通信研究科修士 課程在学中.主 に声音処理 に関する 研究に従事。電子情報通信学会,日 本音響学会各学生会員.
雅 恵 藤
近 宙 永 英 義 (正会員)
昭 37,早 大 。理工 ・通信卒.昭 39, 同修士課程了。同年,日 本電信電話 公 社 入 社.昭 46,早 大 。理 工 ・通 信助教 授.昭 51,同 教授.平 10, 同大国際情 報通信研究 セ ンター所 長.平 14,同 大大学院国際情報 通 信研究科委員長.工 博。主に通信方 式,画 像符号化,画 像処理等の研究 に従事。電子情報通信学会,映 像情 報 メデ ィア学会,情 報処 理学 会, IEEE各 会員。本学会会長.
