被写体追跡可能なスポーツグラフィックスシステムの試作一複数の可動カメラを利用したボールの三次元リアルタイム追跡一
4
0
0
全文
(2) 情報処理学会研究報告 IPSJ SIG Technical Report. な限り利用しないこと ．. Vol.2017-AVM-97 No.3 2017/8/3. は要件として不足する部分がある ．３つ目は，三次元. これら５つの要求を満たすシステムを実現するた. 位置算出である．複数の撮影カメラのカメラパラメー. め，ボールを対象とした被写体追跡，パン・チルトお. タが算出され，それらのカメラの映像ごとに画像座標. よびズームレンズデータ取得可能な複数の雲台マウン. としてボールの位置が得られれば ，いわゆる三角測量. トカメラ用のカメラキャリブレーション，ボールの三. の要領により，２つのカメラからボールの三次元位置. 次 元 位 置 算 出 と CG 描 画 を 中 心 的 な 要 素 技 術 に ， す べ. 算 出 が 可 能 と な る ． こ の 条 件 下 で あ れ ば ， OpenCV を. てリアルタイム処理可能とすべく研究開発を進め，そ. はじめとするツールキットを利用することで，オンラ. れ ら を 統 合 し た シ ス テ ム を 構 築 し て き た ．本 報 告 で は ，. イン処理での三次元位置算出を行うことができる．し. オ ー プ ン な デ モ 環 境 （ 9m×6m の 模 擬 バ レ ー ボ ー ル コ. かし，バレーボール競技においては，ボールがネット. ート）に４台のカメラを設置した実験で，ズームを含. を挟んで行き来し ，選手によるオクルージョンも頻繁. めた現実的な演出に即したカメラワークと競技中のさ. に生じる上 ，プレイによって求められるカメラワーク. まざまなプレイに対して，提案システムがボールを頑. が変化していくため，三次元位置算出のためにあらか. 健 に 追 跡 し ， か つ 実 写 の ボ ー ル に 正 確 に CG を リ ア ル. じめ２つのカメラを指定しておく運用は現実的ではな. タイム合成可能であることを確認した ．以下，その概. い．また精度面を考慮すると，３つ以上のカメラによ. 要を報告する．. るボール位置算出を行うことが求められてくる ．すな. 2. オ ン エ ア グラ フ ィ ック ス の背 景 技 術と 課 題. わち，競技状況で時々刻々ボールをとらえるカメラが. 放送番組で利用されるオンエアグラフィックスの. 変 わ っ て い く こ と へ の 対 応 が 必 要 に な る ．こ の よ う に ，. 中 で ， 実 写 映 像 に 対 し て 三 次 元 幾 何 的 に 整 合 し た CG. 変則的なデータ対応を行いながら ，高精度な三次元位. の合成を行うバーチャルセットと 呼ばれる 映像表現は，. 置算出を実現することが課題となってくる ．. 本 物 の 被 写 体 と ， 自 由 に 制 御 で き る CG オ ブ ジ ェ ク ト. 3. 提 案 シ ス テム の 構 成. を融合することで ，高い演出効果を生み出す．提案す. 提案システムは，前章で述べた各課題に対処した要. るグラフィックスシステムでは，さらにその“本物の. 素技術を統合したものになっている．それに加え，後. 被写体”を追跡することで ，被写体の動き に関連付け. 述するデモンストレーション環境や放送利 用に適合す. た CG オ ブ ジ ェ ク ト の 演 出 を 可 能 と す る ． こ れ ら を 実. るための要素技術も盛り込んだ構成をとっている ．以. 現するために必要な技術は ，まず１つ目が被写体追跡. 下に各要素の概要を述べる ．. 技術である ．被写体追跡は 追跡対象や用途によってさ. 3.1. カメラシステム. まざまな手法が提案されている．その中でも特にバレ. ロータリーエンコーダ搭載の遠隔操作可能なズー. ー ボ ー ル を 複 雑 な 背 景 下 で 追 跡 す る も の と し て は ，[2]. ム レ ン ズ 搭 載 雲 台 マ ウ ン ト カ メ ラ （ PTZ カ メ ラ ） と し. や [3]な ど が 提 案 さ れ て い る が ，処 理 速 度 の 問 題 や 追 跡. て ，多 視 点 映 像 制 作 用 の ロ ボ ッ ト カ メ ラ [6]を 利 用 し た ．. 用カメラの 配置条件などから，中継放送での利用には. 本来このカメラシステムは ，取り囲むように設置した. なじまない ．次に必要な技術はカメラキャリブレーシ. ２ ０ 台 程 度 の PTZ カ メ ラ に 対 し て ，一 人 の カ メ ラ マ ン. ョンである ．これは実際の撮影カメラが，実世界にお. の操作により，指定した被写体をフレーミングするこ. いて，どこからどういった姿勢で ，またどのような画. とを集中制御で行えるように開発されたものである ．. 角で撮影をしているのか，という情報（カメラパラメ. 今 回 は 放 送 本 線 用 演 出 カ メ ラ（ 兼 ボ ー ル 追 跡 用 カ メ ラ ）. ー タ ） を 取 得 す る 技 術 で ， こ れ は そ の ま ま CG 描 画 の. として４台を使用するコンパクトな構成をとった ．. 際の仮想カメラに適用させるパラメータとして利用さ. 3.2. 被 写 体 （バレーボール）追跡. れる．特に放送では，安定したカメラワークとダイナ. 追跡処理では，パン・チルト・ズーム操作を自由に. ミックな演出を両立させるために ，雲台にマウントさ. 行う４台のカメラそれぞれにおいてボールの二次元画. れたズームレンズ搭載カメラを利用するのが一般的で. 像座標値を算出する．後述する三次元位置算出のプロ. ある．さらに，雲台やレンズにロータリーエンコーダ. セスにおいてカメラパラメータが常に利用 できるため ，. を搭載することで ，パン・チルト・ズームの情報を取. 動くボールを動くカメラで 捉えながら ，その画像座標. 得可能な仕組みも広く利用されている ．その場合，ロ. 値を取得することになる．ボールは図 1 に示す青と黄. ータリーエンコーダを利用することで ，リアルタイム. 色 で 構 成 さ れ る バ レ ー ボ ー ル の FIVB 公 式 試 合 球. に間接的なデータ取得は可能になるが ，そのデータと. （ Mikasa MVA200） を 対 象 と す る ． そ の ボ ー ル 追 跡 に. 実際のカメラパラメータを正確に関連付ける必要があ. は，複雑な背景下における頑健な追跡を可能にするた. る．それを 目的としたカメラキャリブレーション手法. め，機械学習を利用する．まず学習フェーズにおいて. に つ い て は ，[4]や [5]な ど が あ る が ，現 場 で の 実 地 運 用. は ， 事 前 に ボ ー ル ・ 非 ボ ー ル の RGB 画 像 を 収 集 し ，. が 可 能 な PTZ カ メ ラ の キ ャ リ ブ レ ー シ ョ ン 手 法 と し て. RGB, HSV 色 空 間 ヒ ス ト グ ラ ム ， お よ び LBP（ ロ ー カ. ⓒ 2017 Information Processing Society of Japan. 2.
(3) 情報処理学会研究報告 IPSJ SIG Technical Report. 図 1. バ レ ー ボ ー ル 追 跡 処 理 の 概 要. Vol.2017-AVM-97 No.3 2017/8/3. 図 2. ボ ー ル 追 跡 処 理 モ ニ タ 画 面（ ４ 台 分 ）. ルバイナリーパターン）からなる特徴量を構成して. のソルバを利用してボールの三次元位置を算出する ．. SVM（ サ ポ ー ト ベ ク タ ー マ シ ン ） に よ る 学 習 を 行 う ．. 本 処 理 で は ソ ル バ と し て ，“ 最 適 補 正 に よ る 測 量 ” [8]. 特に特徴量は，バレーボールの持つ２色の情報を有効. に基づいたボールの三次元位置算出処理をオンライン. に利用するよう構成する．実際に追跡を行うフェーズ. 処理向けに実装した．これにより ，ボール捕捉カメラ. では，入力される各映像フレームから色情報をベース. の変化に対応した 高精度な三次元位置 のリアルタイム. にボール候補となるオブジェクト領域を抽出し ，それ. 算出を可能とした ．なお，ボールは三次元位置で算出. を識別器にかけることでボールを決定 ，得られた領域. されるので ，ボールがオクルージョンなどでとらえら. から尤もボールの中心と思われる位置を算出して画像. れ て い な い カ メ ラ に も CG 合 成 す る こ と が 可 能 に な る ．. 座 標 と す る ．そ の 上 で ボ ー ル の 探 索 ウ ィ ン ド ウ を 導 入 ，. 3.5. システムの時 間 的同 期 処 理. 前時刻フレームでのボール位置をベースに ，画面上に. 正 確 な 三 次 元 位 置 算 出 と CG 合 成 の た め に は ， 処 理. 占めるボールの大きさや時系列位置変化に合わせてウ. する映像の時刻に対して，適用するデータが同時刻で. ィンドウ位置とサイズを自動調整する機構を加えるこ. あることが保証されなければならない ．マルチカメラ. と で ， 処 理 の 高 速 化 や 外 乱 抑 止 効 果 を 図 っ た ．（ 図 2）. を利用する中継放送の場合 ，必ずすべてのカメラは元. 3.3. カメラキャリブレーション. となる映像同期信号でロックされるため，パン・チル. 本システムで利用しているキャリブレーション 手. ト・ズームの値取得も同じ映像同期をトリガに取得す. 法 は ， PTZ カ メ ラ を 数 値 モ デ ル 化 し ， 市 松 模 様 な ど の. る よ う に 設 計 を 行 っ た ．ま た ，映 像・デ ー タ に SMPTE. キャリブレーションパターンを撮影した画像と，パ. タイムコードを付与させることによりコンピュータ上. ン・チ ル ト・ズ ー ム の 各 エ ン コ ー ダ デ ー タ を 総 合 し て ，. の処理では ，これをガイドにバッファリングをコント. 非線形最適化処理によりモデル化したパラメータを算. ロ ー ル し ，絶 対 的 な 時 間 の 整 合 を と る よ う に し て い る ．. 出 す る 手 法 [7]と な っ て い る ．ま ず 事 前 に ズ ー ム に よ る. 3.6. ＣＧ描 画と実 写映 像への合 成. 焦点距離変化を含めたカメラモデルの各パラメータの. 実 写 映 像 へ の CG 合 成 は ，HD-SDI 映 像 信 号 の 入 出 力. データベース作成を行う。 撮影現場にカメラシステム. 機 能 を 備 え た グ ラ フ ィ ッ ク ス カ ー ド を 搭 載 し た PC 上. を持ち込んだ際には，それぞれの位置決めを行った後. で 開 発 し た OpenGL ア プ リ ケ ー シ ョ ン で 行 っ た ． ま ず. に，キャリブレーションパターンを利用した“設置校. 実写映像をライブテクスチャとして背景描画し，前景. 正“ 処 理 [5]を す べ て の カ メ ラ に 対 し て 同 時 に 行 う こ と. と し て 被 写 体 と な る CG ボ ー ル を 算 出 し た 三 次 元 位 置. で，現場設置したカメラの位置・姿勢に関するパラメ. に配置，実写映像を撮影しているカメラのカメラパラ. ータのみをアップデートする．オンエア時は，カメラ. メータを利用して描画を行うことで実写合成を完結さ. に映っている映像内容に依存することなく ，パン・チ. せ た ． な お 前 景 CG シ ー ン 描 画 の 際 に は ， キ ャ リ ブ レ. ルト・ズームのエンコーダデータから ，常に高精度な. ーションで得られたレンズ歪パラメータに基づいた光. カメラパラメータをリアルタイムに算出可能となる．. 学歪をオフスクリーンレンダリング経由で加えること. 3.4. ボールの三 次 元位 置 算 出. で ，全 画 面 領 域 に お け る 実 写 と の 幾 何 的 整 合 を と っ た ．. 前 記 3.2，3.3 の 処 理 か ら ， ４ 台 す べ て の カ メ ラ に 関. 合 成 映 像 は HD-SDI で 出 力 可 能 で あ り ， そ の ま ま オ ン. する高精度なカメラパラメータと，被写体であるバレ. エアグラフィックス用映像システムとして利用できる ．. ーボール位置の画像座標が，全カメラ分，かつ毎フレ. 4. 実 験 と 考 察. ーム取得できることになる．ここでの処理としては，. 提 案 シ ス テ ム を NHK 技 研 公 開 2017 に て 実 機 の デ モ. まずキャリブレーションによって得たレンズ歪パラメ. 展 示 を 行 っ た ．バ レ ー ボ ー ル の 実 演 エ リ ア と し て ，9m. ー タ か ら ，歪 の な い 場 合 の ボ ー ル 位 置 座 標 算 出 を 行 う ．. ×6m の エ リ ア に 小 さ な バ レ ー コ ー ト を 展 開 し ，実 際 に. そして，ボールを映像フレーム内にとらえている２～. 選 手 た ち が 試 技 を 行 う 中 ，４ 台 の PTZ カ メ ラ を 操 作 し. ４台（可変）のカメラパラメータとカメラに対応する. て 撮 影（ 図 3），ボ ー ル の 追 跡 か ら 映 像 合 成 ま で を リ ア. ボールの無歪二次元画像座標値から，多焦点テンソル. ルタイムで行った．. ⓒ 2017 Information Processing Society of Japan. 3.
(4) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2017-AVM-97 No.3 2017/8/3. 図 4. 映 像 合 成 結 果 出 力 例 ． 実 ボ ー ル 位 置 に は NHK ロ ゴ CG を 重 畳 ， 軌 跡 は ３ 図 3. デ モ 環 境 お よ び シ ス テ ム 外 観. フレーム間隔でワイヤーフレーム描画した．右下に計測スピードを表示した．. なお，実験で使用した主な機材スペックや実験 パラメ. 要 に な る と 考 え ら れ る ． な お ， CG 合 成 出 力 は ， 入 力. ータを表 1 に示す． 映像 1920x1080 59.94i （ シ ャ ッ タ ー 1/250） ズームレンズ 4.7mm - 94mm （ 20 倍 ） エンコーダ パ ン・チ ル ト : 800,000 パ ル ス / 360° パルス ズーム: 1,025 パ ル ス (0-1024). 映 像 に 対 し て 10 フ レ ー ム（ 約 0.3 秒 ）程 度 の デ ィ レ イ. ボール 学習データ. 正 例 ： 400 枚 ， 負 例 ： 400 枚. 表 1. 実 験 時 の 主 な 機 材 ス ペ ッ ク や パ ラ メ ー タ. で出力され ，約５日間のデモを通して，描画について フ ル フ レ ー ム （ 59.94fps） で コ マ 落 ち も 観 測 さ れ ず ， 安定に映像出力ができた．. 5. ま と め 実験結果から，バレーボールを対象とした三次元追 跡・合成システムとして見た場合，精度やシステムの 信頼性を含め，スポーツのオンエアグラフィックスと. デモにおける合成結果例を図 4 に示す ．本システム. しての利用においては，十分適用可能なシステムが構. は ，複 雑 な 背 景 の 下 ，映 像 本 線 制 作 用 の PTZ カ メ ラ の. 築できたと思われる．今後は実際の試合会場などでの. みでボールを追跡し，合成までをおこなうことができ. 適用実験を通して ，さらなる被写体追跡の頑健化と精. た ．す な わ ち ，要 求 条 件 ２ と ５ は 満 た す こ と が で き た ．. 度向上などを進め，高い実用性をもったシステムとし. システムとしても映像システムとして動作し，要求条. て発展させていきたいと考えている．. 件１にも適合している ．精度面では，事前のカメラキ ャリブレーションにおいて，全４カメラでサンプルし たキャリブレーションパターンの再投影誤差は ，平均 で 1.2 ピ ク セ ル 以 下 と い う 高 い 精 度 結 果 で あ っ た ． 一 方 ，ボ ー ル の 合 成 に 関 し て は ，カ メ ラ の 操 作 に よ っ て ， ２台以上のカメラでバレーボールをとらえられていれ ば ， 被 写 体 の ボ ー ル と CG が ， 画 面 位 置 上 そ し て 時 間 方向にもずれることなく視覚的にはぴったりと合った 合成映像として出力できた．このことから ，要求条件 として挙げた違和感のない 合成は達成できていると考 える．数値的には ，収録した映像から ，合成対象カメ ラやズームの画角 ，ボール位置がさまざまになるよう に映像フレームを適当にサンプルし，実写ボール位置 と CG ボ ー ル 位 置 を ピ ク セ ル 座 標 で 比 較 す る と ，30 サ ン プ ル 平 均 で 約 4.3 ピ ク セ ル の 誤 差 で あ っ た ．こ れ は ， ボールの一部が映っていないフレーム があったり，ま たズームレンジがテレ（望遠）側でキャリブレーショ ン精度が落ちる傾向があること，さらにボールをとら えるカメラの数が４台の時に比べ ，２台の場合には特 にベースラインに直行する奥行方向の精度低下が生じ るため，ピックアップする画像サンプルによって数値 上では比較的大きな誤差として観測されたためと考え られる．映像システムとしては，画像座標での評価が 重要になるが，用途によっては厳密に要求条件 ３を評. 文. 献. [1] Hybridcast : http://www.iptvforum.jp/hybridcast/ [2] M. Takahashi, K. Ike ya, M. Kano, H. Okubo, and T. Mishina, "A Robust Volleyball Tracking System using Multi-View Cameras," In Proceedings of International Conference on Pattern Recognition (ICPR), pp.2741-2746 (2016). [3] X. Cheng, N. Ikoma, M. Honda, T. Ikenaga , “ Multi-View 3D Ball Tracking with Abrupt Motion Adaptive System Model, Anti -Occlusion Observation and Spatial Density Based Recovery in Sports Analysis ” , IEICE TRANSACTIONS on Fundamentals of Electronics, Communications and Computer Sciences Vol.E100-A No.5 pp.1215-1225 (2017). [4] Willson R. G., “Modeling and Calibration of Automated Zoom Lenses”, PhD thesis, Carnegie Mellon University, Pittsburgh, Pennsylvania, (1994). [5] 加 納 正 規 他 ,「 現 場 設 置 を 考 慮 し た 可 動 式 多 視 点 カ メ ラ の 校 正 手 法 」 , 映 情 学 年 次 , Vol.24A, No.2, (2015). [6] K. Ike ya, Y. Iwadate, "Multi-Viewpoint Robotic Cameras and their Applications", ITE Transactions on Media Technology and Applications Vol. 4, p. 349-362,(2016). [7] 加 納 正 規 他 , 「 セ ン サ を 用 い た 複 数 の パ ン・チ ル ト ・ ズ ー ム カ メ ラ の 校 正 手 法 」 , 第 20 回 画 像 の 認 識 ・ 理 解 シ ン ポ ジ ウ ム (MIRU2017), PS3-03, (2017) (to be published). [8] 矢 野 直 樹 他 ,「 直 交 射 影 に よ る 複 数 画 像 か ら の 最 適な三角測量」, 情報処理学会研究報告, 2008-CVIM-165-6, 2008.11.27-28, 35-42 (2008).. 価するために，三次元的な位置での誤差評価が 今後必. ⓒ 2017 Information Processing Society of Japan. 4.
(5)
関連したドキュメント
* Department of Mathematical Science, School of Fundamental Science and Engineering, Waseda University, 3‐4‐1 Okubo, Shinjuku, Tokyo 169‐8555, Japan... \mathrm{e}
ー コネクテッド・ドライブ・サービス ー Apple CarPlay プレパレーション ＊ 2 BMW サービス・インクルーシブ・プラス（
1200V 第三世代 SiC MOSFET と一般的な IGBT に対し、印可する V DS を変えながら大気中を模したスペクトルの中性子を照射 した試験の結果を Figure
シーリング材の 部分消滅 内壁に漏水跡なし 内壁に漏水跡あり 内壁に漏水跡なし 内壁に漏水跡あり 内壁の漏水跡が多い.
環境への影響を最小にし、持続可能な発展に貢
Abstract: Conventional practice in recording information on archaeological remains is to take
一部エリアで目安値を 超えるが、仮設の遮へ い体を適宜移動して使 用するなどで、燃料取 り出しに向けた作業は
縄 文時 代の 遺跡と して 真脇 遺跡 や御 経塚遺 跡、 弥生 時代 の遺 跡とし て加 茂遺
