カメラワーク認識

ブロックマッチング法と全探索法の具体的な処理方法について説明する。²フ レームからなる連続した画像があり、²フレーム目をブロックの大きさを^8x8と してブロックに分割した結果を図³⁰に示す。¹フレームの検索範囲を^32x32とし 、

注目したブロックの探索範囲を図³¹に示す。探索範囲内をブロック画素の差分の 絶対値和を用いて比較し 、最も小さいブロックを探し出す。同様に全てのブロッ クにおいて繰り返す。

図 ³⁰ ブロック 図 ³¹ 検索範囲 図 ³² オプティカルフローの結果 実際のサッカー画像⁽図¹⁵⁾に対して、ブロックマッチング法と全探索法を用 いたオプティカルフローの結果を図³²に示す。

八木^[34]によるとブロックの大きさは ^8x8から^32x32画素で選ぶことが多い と述べられているので 、表⁸に示すブロックの大きさと検索範囲の組み合わせ で、実際にテストを行った。最も安定した結果が得られたので、ブロックの大き

さ^32x32、検索範囲^64x64を採用した。左から右へ向かう矢印で表しているのは

見かけのグランド の移動であり、実際にはカメラが右から左へ動いている。

表 ⁸ ブロックと検索範囲の組み合わせ ブロック 検索範囲

8x8 32x32

8x8 64x64

16x16 64x64

32x32 64x64

6.5.2 オプティカルフローの中央値

多くの動きベクトルはカメラの移動に対応しているが、図³²の中央の選手は左 から右へ走っているため、その付近の動きベクトルは選手の移動を表している。そ こで、カメラワーク認識の動きベクトルは、全画素に対するオプティカルフロー の中央値⁽メディアン⁾を用いる。これは選手の動きベクトルはカメラの動きベク トルに比べ最大値か最小値にかたよる傾向があるため、平均値を採用するよりも

精度が高くなる。

このオプティカルフローの中央値を使ってアフィン変換の基準点⁴点を決定で きないカメラアングルに対応可能か検証する。¹⁰フレーム用意し 、¹フレーム目 の基準点⁴つをセンターラインとタッチラインの交点²つとセンターサークルの 頂点²つとして、画面上の位置を測定する。¹⁰フレーム目も同じ基準点⁴つの位 置を測定する。¹フレーム目の基準点に対してオプティカルフローの中央値を加 算して¹⁰フレーム分移動させ、補完によって算出した位置と本来の¹⁰フレーム の基準点の位置の比較した。その結果を図³³に示す。

図 ³³ オプティカルフローで補完 図 ³⁴ 基準点の拡大

画面手前の部分でラインの交点上にある円が本来の¹⁰フレームの基準点の位 置であり、その右横にある円がオプティカルフローの中央値を使って補完した基 準点の位置である。その拡大図を図³⁴に示す。その位置の誤差はおおよそボー ル¹個分であり、その他の基準点においては²つの円が重なっている。この誤差 は^1m以内であるので許容範囲内である。

この結果より、アフィン変換の基準点⁴点を決定できないカメラアングルにオ プティカルフローを使って補完することが可能となることが判った。また、アフィ ン変換の基準点⁴点の決定を¹フレーム目だけ手作業で行えば 、²フレーム目以降 は自動的に算出することで処理の高速化も図れる。よって、オプティカルフロー の中央値を用いた方法でカメラワーク認識を行えば視点移動の問題点を補完する ことができる。

6.5.3 カメラアングル

サッカー中継映像の中には複数のカメラアングルが存在する。このカメラアン グルの種類とサッカーのプレーの関係について調べる。

サッカーはボールがフィールド 外に出た場合やファールが行われた場合にゲー ムが中断しプレーが止まる。この時間をアウトオブプレーと呼ぶ。その逆でボー ルがフィールド 内にありプレーが継続している時間をインプレーと呼ぶ。

実際のサッカー映像がどのカメラアングルから撮影されたかを調べた。注目点 はインプレー、アウトオブプレーを区別し 、インプレーの場合はセンターライン 延長線上にあるカメラ⁽センターカメラ⁾とそれ以外に分けて集計した。使用した 映像は^FIFAコンフェデレーションズカップ²⁰⁰¹フランス^vs韓国、日本^vsオー ストラリア、カメルーン^vs日本の試合³試合⁴シーンを⁵分間ずつ測定した結果 を表⁹に示す。また、その値をグラフ化したものを図³⁵に示す。点線がセンター カメラの割合を表す。

表 ⁹ カメラアングルの割合

インプレー インプレー アウト オブプレー センターカメラ その他 その他

フランス^vs韓国 ¹⁷²秒^{(57%) 7}秒^{(2%) 121}秒^(40%)

日本^vsオーストラリア ¹³¹秒^{(44%) 12}秒^{(4%) 157}秒^(52%) カメルーン^vs日本^{(1) 197}秒^{(66%) 15}秒^{(5%) 88}秒^(29%) カメルーン^vs日本^{(2) 191}秒^{(64%) 15}秒^{(5%) 94}秒^(31%)

平均 ¹⁷³秒^{(58%) 12}秒^{(4%) 115}秒^(38%)

図 ³⁵ カメラアングルの割合

この結果から、インプレーが^62%でアウトオブプレーが^38%である。これは、

掛水ら^[46]の研究結果と合致している。さらに、インプレーのうちでセンターカ メラが映す映像の割合は^94%になる。このことから、ゲーム分析するにあたって 充分な情報が得られると判断し 、本研究における実装では、画像解析対象をセン ターカメラに限定する。

そこで、センターカメラ以外のカメラアングルの種類について調べる。次のカ メラアングルが存在した。

スタンド 上のコーナーキック用カメラ

スタンドから選手の全身をズームで映すカメラ

フィールドから選手の表情を映すカメラ

ゴ ール裏から縦方向を映すカメラ

ゴ ール内からキーパーとボールを映すカメラ

ベンチ内や交代選手の映すハンディカメラ

観客席などを映すその他のカメラ

この内、スタンドから選手の全身をズームで映すカメラとベンチ内や交代選手 の映すハンディカメラで撮影した映像からヒストグラムのピークを除いた結果を 図³⁶と図³⁷に示す。

図 ³⁶ ズームカメラの映像 図 ³⁷ ハンディカメラの映像 この映像からセンターカメラ以外のカメラアングルを特定する方法を考える。

スタンドから選手の全身をズームで映すカメラの場合は、映像の中心に選手認識 で用いたテンプレートよりも大きな画素が存在する。ベンチ内や交代選手の映す ハンディカメラの場合は、グランドを示す緑色の画素が少ないことが挙げられる。

他のカメラアングルにおいても同様の特徴をもつことが判った。

そこで、センターカメラの映像のみを画像解析対象とするため、画面中央^(x方 向、^y方向とも^1/3〜^2/3の範囲⁾に選手のテンプレートより大きな画素があった 場合とグランド を示す緑色が映像の半分以下だった場合は除外することにした。

この方法により選手や監督の表情を捕らえたカメラアングルを省くことができる。

6.5.4 カメラワーク認識の問題点

カメラワーク認識の問題点は³つあることが判った。

オプティカルフローのブロックマッチング法と全探索法の組み合わせは検 索精度が高い代わりに検索速度が遅い

パーンやチルトは対応可能であるがオプティカルフローの中央値を用いる

ゴ ール裏から縦方向を映すカメラはセンターカメラと同じ性質を持つ映像 を提供するのでカメラアングルの特定が難しい

2つ目と³つ目の問題に関しては、センターカメラがズームする割合はパーン する割合に比べて少ないことや、ゴール裏から縦方向を映すカメラの映像の割合 がセンターカメラの割合に比べて少ないことから、認識率に影響が少ないと考え ている。