シャッターチャンス抽出と

(1)

野球映像からの

シャッターチャンス抽出と

重要シーンの抽出、スコア情報の付加

提出日： 2005 年 2 月 2 日

指導：筧捷彦教授

早稲田大学理工学部情報学科学籍番号： 1g01p0024

阿部洋介

(2)

第 1 _{章はじめに}

1.1 背景

デジタル画像・映像の一般家庭への普及は目覚しいものがある。例えば、カメラといえば数年前までは銀塩カメラを指すものであった。だがいまや、デジタルカメラの普及台数は銀塩カメラを追い抜いている。また、ビデオカメラは数年前までは8mmテープを用いたアナログ記憶方式の物が主流であった。だが最近のカメラは、大半がデジタルビデオカメラに置き換わってしまっている。デジタルカメラで写真を撮る、あるいはデジタルビデオカメラで映像を撮る。そして撮ったデータをPCに取り込んで管理する。このようなデジタル画像・映像の楽しみ方は一般家庭に定着しているといえるだろう。さらに、新しく発売されるPCの大半はTVチューナーやDVDドライブが付属しているようになった。

ユーザはこれらを用いてDVDにデジタルで記憶された映像を観たり、TV放送をデジタル録画して楽しんでいる。

今現在、一般家庭の居間の中心に置かれている電化製品はTVであることが非常に多い。

だが近い将来、居間の中心にPCが置かれ、撮影あるいは録画したデジタルデータを一家全員で楽しむ日が来るだろう。

デジタルデータが重宝されるようになった理由は、デジタルデータにはアナログにはない二つの利点があるからだ。一つは処理・加工が容易であること。もう一つは保存がしやすいということである。だが、今のユーザがこの利点を十分に生かしているとは言えないだろう。撮った画像や映像はそのままハードディスク内に保存するだけで、処理・加工をしているユーザは少ない。また、ハードディスク内に大容量のデータが保存できるため、

どのフォルダににどんな内容の映像を保存しているかわからなくなっているユーザも多いだろう。

特に、スポーツという題材は撮影するのも保存するのも厄介である。デジタルカメラでの撮影を考えたとき、被写体が激しく動くスポーツでいい写真を撮ることは非常に難しい。

また、試合の映像を保存することを考えたとき、同じような映像を大量に保存することになり、どんな試合の映像を保存しているかわからなくなってしまいやすい。

そこで、デジタルデータの処理・加工が容易であるという特性を生かし、このような問題を解決するべく本研究を行った。

(6)

1.2 研究概要

1.2.1

全体の概要

野球を題材に、次の三つを満たすことを研究の目標とした。

• シャッターチャンスの抽出

• 保存した映像からの重要シーンの抽出

• 抽出した重要シーンへの、整理に有用な情報の付加

1.2.2

題材としての野球

ひとくちにスポーツを題材とするといっても、すべてのスポーツを包括的に処理するということは非常に難しい。そこで、本研究ではスポーツの中から題材を一つに絞り、野球のみとした。数あるスポーツの中から野球に絞った理由を次に示す。

• プロ野球の歴史は今年で70年になり[12]、人気球団の試合は毎日ＴＶのゴールデンタイムに中継されるなど、広く国民に受け入れられているスポーツだから。

• 1999年の10歳以上の野球人口は12255000人とされる[13]。ここからも解るように、

非常に多くの人達が野球を楽しんでいる。ということは、野球をしているところを写真に収めようとする人も少なくないだろう。ゆえに、野球というスポーツはデジタルカメラでの撮影補助の需要が大きいと予想されるから。

• シーズン中は地上波でも毎日野球中継が放送され、CS放送や高校野球を含めると年間1000試合以上がTVで放送されている。このため、映像の中からの重要なシーンの抽出や、抽出したシーンへの整理に有用な情報の付加についての需要が大きいことが予想されるから。

1.2.3

シャッターチャンスの抽出について

ファインダの中に映像を捉えておくと、カメラが自動的にシャッターチャンスで画像を保存する。そんなシステムがあれば写真撮影が非常に簡単になる。なぜならスポーツの写真を撮影するときに一番難しいのは、狙ったタイミングでシャッターを切ることだからだ。

例えばバッターのバットがボールを捉えた瞬間を撮影しようとしたとする。このときカメラマンはバッターと同じ集中力でボールを追い、ボールがバットに触れているコンマ何秒かの間にシャッターを押さなくてはならない。プロのカメラマンならいざ知らず、普通に写真を楽しんでいるユーザには至難の業である。

このような問題点を解決し、デジタルカメラでの写真撮影をより簡単にするためにシャッターチャンスの自動抽出を目標とした。

(7)

1.2.4

録画映像からの重要シーンの抽出について

プロ野球のシーズン中は1日最大6試合がTVで放映される。すべての映像を録画したとすると、1試合の長さを3時間としても18時間となる。これだけの長さの録画映像を毎日すべて見ることは、現実的に考えて不可能だ。だが、野球というスポーツはプレイとプレイの間が非常に長く、実際にプレイが行われている時間は試合時間よりもかなり短い。

その中から試合に影響を及ぼすような重要なシーンだけに絞ると、なおさら短くなる。

つまり録画映像の重要シーンだけを抽出しておくことができれば、録画映像を見る際に非常に便利になるだろう。そう考えて、録画映像からの重要シーンの抽出を目標とした。

1.2.5

抽出した重要シーンへの、整理に有用な情報の付加

野球というスポーツの大きな特徴の一つに、状況をスコアで詳細に表せるということがある。例えば、9回裏・8対5・2アウト・満塁というスコアが与えられれば試合において非常に重要なシーンであることがわかる。また、6回表・10対0・1アウト・ランナーなしというスコアが与えられれば試合においてあまり重要でないシーンであることがわかる。

試合から抽出した重要シーンにも、スコアが付加されていれば重要シーンを見る際にさらに便利になるだろう。そう考えて、抽出した重要シーンへの、スコアの付加を目標とした。

1.3 本研究の目標達成のシナリオ

本研究の目標が達成された際に、どのように便利になるかを具体的なシナリオで示す。

1.3.1

シャッターチャンスの抽出

あなたの息子は少年野球チームで4番を打っているとする。今日は大事な試合の日。あなたは最新式のデジタルカメラを携えて、息子の雄姿を写真に収めようと球場へ向かった。

試合は白熱し、チャンスで息子に打席が回ってきた。ファインダを覗くあなたにも緊張が走る。ピッチャーがボールを投げる。息子がバットを振り、あなたはシャッターを押した。

打球は快音を残し、試合を決定付けるホームランとしてスタンドに消えた。息子の決定的瞬間を捉えたはずのあなただったが、デジタルカメラの画面を見てみてがっかり。そこにはバットがボールを捉えた瞬間の息子の姿はなく、中途半端にスイングを終えかかっている息子が写っていた。

このときもし本研究が達成されていたとする。息子が打席に入ったとき、あなたはカメラのファインダに息子が入っているのを確認したら、シャッターに手をかける必要はない。

思う存分息子を応援した後にカメラを確認すると、ホームランの瞬間にバットでボールを捉えている息子の雄姿が自動的に撮影されている。

(8)

このように、シャッターチャンスの自動抽出はデジタルカメラでの写真撮影を簡単かつ便利なものにする。

1.3.2

録画映像からの重要シーンの抽出と、整理に有用な情報の付加

あなたは上司から残業を言い渡され、大好きな野球中継を生で見ることができなくなってしまった。仕方がなく家のパソコンで野球中継を録画しておくことにした。残業が長引き、家に帰ると夜の10時。録画した中継は3時間半もあり、今すぐ見始めても見終わると深夜になってしまう。これでは明日の仕事に支障が出てしまうので、泣く泣く今日は試合を見るのをあきらめた。

このときもし本研究が達成されていたとする。家に帰ると、録画した映像の中から投球画面だけが抜き出されているので、試合が動かないシーンを飛ばしてみることができる。

また、シーンごとに投球内容や結果が付加されているので、投球画面の中からさらに得点に関係あるシーンだけを見ることができる。なので、あなたは録画した映像から面白いシーンだけを楽しむことができ、さらに時間を浪費することもなく早めに寝ることができた。

このように、録画映像からの重要シーンの抽出と、スコアの付加は録画映像をさらに楽しみやすいものにする。

1.4 共同開発者と分担

本研究におけるシステムの開発は、早稲田大学理工学部情報学科4年の岩崎遼、山下毅と共同で行った。そのうち私が主に担当した箇所を次に示しておく。

• 全般的なBMPファイルの処理システムの開発

• ボールの有無を判定する際の動き差分画像の抽出

• 円形度によるボールの有無の判定の調整

• ボール追跡におけるブロックマッチング

• スイング判定に利用する画像の輪郭化

• ボール追跡で得られた座標からの球速と球種の判定

(9)

第 2 章野球の映像解析における関連研究

2.1 投球画面の抽出

野球映像における重要シーンを抽出に関しては、さまざまな手法が提案されている。その大半は、野球における重要シーンを図2.1のような投球画面として抽出を行っている [1][2][3]。

図2.1: 投球画面

投球画面の抽出においては、音声・言語・画像などのマルチモーダル情報ストリームの協調的処理が有効である[1]。しかしこの方法では計算量が大きくなり、いくつかのPCで処理を分担しなければならない。一般家庭での利用を考えた上では大きな弱点である。

中継画像に挿入されているテロップを特徴として検出する手法も考案されている[2]。しかし、一般ユーザがデジタルカメラやビデオで撮影した画像や映像にはテロップが付加されていない。ゆえにテロップを用いる手法は使うことができない。また[2]ではテンプレートマッチングを用いた手法も提案している。だが、本研究では投球画面を検出した後に処理を施し、情報を付加することを目的としている。投球画面検出後にさらに処理を施

(10)

すことを考えると、投球画面の検出だけに長い処理時間を割くことは避けたい。ゆえに、

テンプレートの作成や更新に計算時間を要するテンプレートマッチングはなるべく使いたくない。

サッカーにおいても特定のシーンを抽出する研究が進んでいる[3]。この研究では、ある領域に限定された範囲内の色相を持ったピクセルがどのくらい存在するかを主な手がかりにシーンの抽出を行っている。精度と速度は高い水準にある。

2.2 映像中のボール抽出・追跡

野球のボールを抽出・追跡する手法では、実際にNHKの野球中継で実用化されているものがある[4]。しかしこの方法ではボール探索の領域を限定するために人間の手が必要であると予測される。また、処理も複雑であり、一般家庭での処理のためには専用のコンピュータの必要があると思われる。

アメリカのQuestec社[14]ではPitchTraxというシステムが製品化されている。Pitch- Traxは投球を複数の専用カメラで捉え、投球軌跡を三次元座標で表すことができる。また、同社のUISというシステムは投球がストライクかボールかを自動判定することができる。だがこの両システムを利用するためには決まった位置に決まった台数のカメラを設置しなければならない。また処理にも専用のワークステーションが必須である。なので一般ユーザが利用するのは極めて難しい。

2.3 打球の方向判定

打球の方向については、ファールボールの自動判定装置の研究がある[5]。高速かつ高精度に打球がファールグラウンドに飛ぶかを判定している。

(11)

第 3 _{章提案手法}

3.1 関連研究の難点

第2章で挙げた関連研究の難点についてまとめると次のようになる。

• 音声・言語・画像を並行処理するため、一般家庭のPC一台では処理できない

• 中継映像中のテロップを利用している

• 精度は高いが、計算時間のかかる手法を用いている

• 複数台のカメラによる撮影が必要

• 人間の手による調整が必要

3.2 解決手法の提案

本研究では3.1で挙げた課題点を踏まえ、次のような条件を満たすための手法を提案する。

• 単一のカメラで撮影された映像だけで処理できる

• 一般的な家庭にあるPC上で快適に動く

• 人間の手による調整に頼らず、すべての野球中継映像に対応できる

• 映像中からシャッターチャンスを抽出する

• 映像中から重要シーンを抽出し、整理に有用な情報を付加する

なお、本研究では処理の簡略化のため、処理するデータは映像のみとする。またデジタルビデオで撮影された映像に対応するため、テロップなどの野球中継特有の情報には頼らない。

ここでシャッターチャンスについて言及しておく。野球というスポーツには無数のシャッターチャンスが存在する。例えばホームランを打った際の選手の表情や、守備でのナイスキャッチの瞬間などだ。無数に存在するシャッターチャンスを包括的に抽出するのは非常に困難である。なので、本研究ではシャッターチャンスの中でも人間による撮影が困難な、

次の二点についての抽出を行う。

(12)

• ピッチャーのリリースの瞬間

• バッターの打撃の瞬間

さらにスコアについて言及しておく。録画映像を整理する際には、ワンプレイごと、つまり投手が投球をしてからの一連のプレイごとに整理する方法が望ましい。この方法で映像を整理する際に有用と思われるスコアには次のものがある。

• 回

• 得点

• アウトカウント

• ランナー

• 球速

• 球種

• プレイの結果

• シーンの状況を表す画像

プレイの結果とは投球のストライク・ボール、打者のスイングの有無、打者の生死などを指す。このうち回・得点・アウトカウント・ランナーについては重要シーンである投球画面から判定することは難しい。なので本研究では投球画面から判定できる範囲で次のスコアを付加することを目標とした。

• 球速

• 球種

• 打球の方向

• シーンの状況を表す画像

(13)

第 4 _{章設計}

4.1 全体の流れ

処理の全体の流れを次に示す。

1. TV中継映像の用意

2. フレームをBMP画像に変換 3. 投球画面を抽出

4. ボールの認識

（ボールを発見したらシャッターチャンスとして抽出）

5. ボールの追跡

（追跡終了したらボールの座標を取得）

6. バットスイングの判定

（スイングしていたらシャッターチャンスとして抽出）

7. 打球方向の判定

8. 重要シーンの抽出とスコア情報の付加

（打撃の有無を考慮して重要シーンを抽出）

（ボールの座標から球速や球種を判定）

（シーンの状況を表す画像を作成）

4.2 TV 中継映像の用意

本研究で解析に用いる映像は、野球のTV中継をMPEG圧縮して録画したものとする。

本研究の目的の一つにシャッターチャンスの抽出がある。よって扱う映像ははデジタルビデオで撮影した野球映像が望ましい。だがTVの野球中継映像は理想的な視点から撮影され、かつ十分な量を容易に確保できる。また、一般ユーザが録画して楽しむのは主にTV 中継映像であると考えられる。ゆえに本研究ではTV中継映像を用いることにした。だが本研究をデジタルビデオで撮影した映像にも適用することを考慮し、テロップなどのTV 中継映像特有の情報は利用していない。また、情報の劣化を防ぐために無圧縮のAVIファ

(14)

イルを用いる方法も考えられる。だが一般ユーザが映像を録画する際には圧縮して録画するのが一般的である。ゆえに最も普及している方式であるMPEGで圧縮された映像を解析に用いた。

4.3 フレームを BMP 画像に変換

MPEG画像は圧縮法に動き補償フレーム間予測という方式が使わている[10]。この方式では画像フレームをIピクチャ、Pピクチャ、Bピクチャの三つに分けている。このうちP ピクチャとBピクチャは動きの差分データを利用しており、情報が間引かれている。なのでそのままではフレームごとに処理することはできない。そこで本研究では各フレームを一度BMPファイルに変換してから処理している。変換にはフリーウェアのTMPGEnc[11]

を利用した。

BMP画像に変換した理由はBMPが無圧縮だからである。BMPファイルの内容は、まず最初にヘッダ部分があり、その後からはピクセルのRGB値がそのままの形で入っている[8]。なので予め圧縮してあるJPEG画像やGIF画像に比べて、処理が容易だ。ゆえに、

MPEG映像をBMP形式に変換して処理を行った。

4.4 投球画面の抽出

野球の中で重要なシーンとは、試合が動いているシーンである。試合が動いているとは、スコアが変化する状況のことだ。具体的には、ピッチャーがボールを投げてからキャッチャーが捕るまでの間、あるいは打者が投球を打ち返して野手がそのボールを捕球するまでの間のような状況である。これに対し、プレイの合間に内野手の間でボールを回す間や、

攻守交替の間はスコアが変化する状況ではない。このような試合が動く状況において、ほぼすべてに共通して言えることがある。試合の動きはピッチャーの投球から始まるということだ。野球映像において投手が投球を行うシーンというのは非常に重要なのである。

野球中継においてピッチャーが投球を行う際の映像は、必ず同じアングルから撮影される。次の画像のような、バックスクリーン側からピッチャー,バッター,キャッチャーを一画面に納めるものだ。

図4.1: 投球画面1 図 4.2: 投球画面2 図4.3: 投球画面3

(15)

このような画像を「投球画面」とし、ここでは投球画面を抽出する手法を述べる。投球画面の抽出のために、次の処理を行う。

• シーン切り替わり検出

• 二値化膨張画像による判定

• 色による判定

• シーンの長さによる判定

4.4.1

シーン切り替わり検出

投球画面を抽出するために、映像中のシーンの切り替わりを検出する。シーン切り替わりの検出法は、山下[6]の手法を用いた。まず画像を次の図4.4のように100の小領域に分割する。

図4.4: 小領域への分割

そして各領域内のピクセル毎の輝度の和を求める。領域の輝度の和が前フレームと比べて5％以上の変化をしていれば、そのエリアは画面が切り替わったと判定する。この比較を0〜99の100個のエリアで行い、過半数が切り替わったと判定したらシーンの切り替わりを検出したとした。

4.4.2

二値化膨張画像による判定

シーンの切り替わりを検出したならば、切り替わったシーンが投球画面であるかどうかを判定する。まず、図4.5の投球画面を二値画像化し、白い部分を横方向に膨張させる。

これが図4.6の二値化膨張画像である。

この二値化膨張画像について、ピッチャーとバッターのいるべき領域が白くなっているかどうかを調べた。そして、それにより投球画面かどうかの判定を行った。

(16)

図4.5: 投球画面図 4.6: 二値化膨張画像

4.4.3

色による判定

二値化膨張画像による条件を満たした画像について、画像の左下の領域の色が緑もしくは茶色であれば投球画面と認識する。そして他の色なら誤認識とする。これにより、画面に人工芝もしくは土が映っていないにもかかわらず投球画面と認識するケースを防ぐ。

4.4.4

シーンの長さによる判定

ここまでの条件を満たしているシーンが、150フレーム以上連続しているかどうかによって投球画面かどうかを判定する。投球画面ではほぼ必ず投球が行われるので、必ず一定以上の長さになることを利用している。

4.5 ボールの認識

投球画面で試合が動くときは、ピッチャーがボールを投げたときである。そして、そのときは必ず画面上にボールが存在する。また、抽出した重要シーンに球種や球速などの情報を付加するためには、認識したボールの動きを追跡する必要がある。そのため、ここではまず画像中のボールを認識し、その座標を求める手法を述べる。ボールを認識することができたら、そのフレームの画像をシャッターチャンスとして抽出する。

ボールを認識し、その座標を求めるために、次の処理を行う。

• 領域の限定

• 動物体の抽出

• 面積条件による判定

• 円形度条件による判定

(17)

• ボールの中心座標の計算

4.5.1

領域の限定

ピッチャーが投げたボールが投球画面に出現する際、ボールは必ず投球画面の左下の一定の領域から出現する。なので、ボールの認識処理は40 < x <165、95< y <195を満たす領域でのみ行う。処理領域をやや広めに取ってあるのは、右投手、左投手それぞれのオーバースロー、サイドスロー、アンダースローすべてに対応できるようにするためである。この処理領域を投球画面中に赤枠で示したのが次の図4.7である。

図4.7: 処理領域

4.5.2

動物体の抽出

中継映像中のボールには大きな特徴がある。ピッチャーが投げたボールもバッターが打ち返したボールも、必ず動いているということだ。よってまずは画像中から動物体を抽出することを考える。

連続フレームからの差分抽出

連続したフレームの画像から動物体を抽出するために、フレーム間差分法を用いる。フレーム間差分法とは、連続したフレームの画像の対応する各ピクセルについて、画素値の差分を求める手法である。もし物体が移動しているのなら画素値の差分は大きくなり、移動していないなら画素値の差分は小さくなる。

時刻tにおける注目ピクセルIの画素値をI(t)、1フレーム前の同じ位置のピクセルの画素値をI(t−1)とすると、画素値の差分Ie(t)は次式で表せる。

Ie(t) =|I(t)−I(t−1)| (4.1)

(18)

ここで閾値をth(t)とすると、Ie > th(t)ならば注目ピクセルの物体は移動したということになり、Ie≤th(t)ならば注目ピクセルの物体は移動していないということになる。

なお、本研究では差分抽出の画素値としてRGB値を用いる。注目ピクセルIのR値を I_R、G値をI_G、B値をI_B、と表すとIe_R(t)、Ie_G(t)、Ie_B(t)は次の式で表せる。

図4.8: frame1.eps 図4.9: frame2

そして、画像中のすべてのピクセルについてIe_R(t)、Ie_G(t)、Ie_B(t)を求めた。注目ピクセルIにおいて、

Ie_R(t)> th(t) (4.5)

Ie_G(t)> th(t) (4.6)

Ie_B(t)> th(t) (4.7)

の条件のうちのいずれか一つ以上を満たしているならば、ピクセルI の示す物体は移動したと判定した。どの条件も満たしていないならば、Iの物体は移動していないと判定した。移動したと判定した場合、作成する差分画像の注目ピクセルSIについて、SI_R= 255、

SI_G= 255、SI_B = 255とし、移動していないと判定した場合、作成する差分画像の注目

ピクセルSIについて、SI_R= 0、SI_G= 0、SI_B= 0とした。作成した差分画像と代表的なピクセルのRGB値を次に示す。

(19)

図4.10: 差分画像

表4.1: 連続2フレームでのRGB値の比較

xy座標場所 frame1(R,G,B) frame2(R,G,B) RGB値の差動き差分画像(R,G,B)

(150,100) フェンス (35,60,90) (38,60,92) (3,0,2) × (0,0,0)

(110,118) ボール (169,202,183) (83,128,102) (86,74,81) ◦ (255,255,255)

マスク処理

作成した差分画像からボールを検出するためには、まだ大きな問題がある。連続する2 フレームにまたがって動物体を検出しているため、一枚の画像に動物体が二つ同時に映りこんでしまっている。例えば図4.10においてはボールが二つ存在している。この問題を解決するためにマスク処理を行う。マスク処理とはある画像にマスク画像を重ね合わせ、マスク画像の領域の画素値だけを残して後は消去するという処理である。

まず連続する3フレームの画像を用意し、時刻tの画像をframe1、時刻t+ 1の画像をframe2、時刻t+ 2の画像をframe3とする。frame1とframe2から時刻sの差分画像 sabun1、frame2とframe3から時刻s+ 1の差分画像sabun2を作成する。そして、sabun1

をsabun2のマスクに利用する。

sabun1にはframe1とframe2の動物体が、sabun2にはframe2とframe3の動物体が写りこんでいる。よってsabun1とsabun2の両方で動物体と認識されている領域が、frame2 における動物体であるといえる。ゆえにsabun1でsabun2をマスクし、マスク差分画像を作成した。数式で表すと、注目ピクセルIにおいて、

I_R(s) = 255 (4.8)

I_G(s) = 255 (4.9)

I_B(s) = 255 (4.10)

(20)

図4.11: frame1 図 4.12: frame2 図4.13: frame3

図 4.14: sabun1 図 4.15: sabun2

(21)

I_R(s+ 1) = 255 (4.11)

I_G(s+ 1) = 255 (4.12)

I_B(s+ 1) = 255 (4.13)

をすべて満たしていたとき、作成するマスク差分画像の注目ピクセルM Iを、

M I_R(s) = 255 (4.14)

M I_G(s) = 255 (4.15)

M I_B(s) = 255 (4.16)

とし、それ以外の場合はM Iを

M I_R(s) = 0 (4.17)

M I_G(s) = 0 (4.18)

M I_B(s) = 0 (4.19)

とした。作成されたのが図4.16である。

図4.16: マスク差分画像

補足として、このマスク処理で扱った6枚の画像についてボール付近、(100,110)〜(140,130) を拡大した画像を比較する。

左からframe1、frame2、frame3、sabun1、sabun2、マスク画像のボール周辺画像である。このことから、マスク処理によってframe2の動物体を抜き出すことに成功したことがわかる。

(22)

4.5.3

面積条件による判定

図4.16を見ればわかるように、画像から動物体を抜き出しても、まだボール以外の物体が含まれている。選手の体やバットなどだ。これらの中からボールだけを認識したい。その際、手がかりとなるのが面積である。なぜならば、固定された視点で撮影された投球画面では、ボールは常にほぼ同じ大きさになるからだ。そこで、面積を利用してマスク画像中の物体からボールを探す。なお、ここでは山下??の手法を用いている。

ラベリング

面積を求めるためには、どこまでが連続した領域なのかを知る必要がある。よってまず、

二値画像中の隣接する白いピクセルに同じラベルをつけた。

面積条件

同じラベルをつけられているピクセルがいくつあるかを数えて、領域の面積とした。そしてその面積が一定の範囲のうちにあるものをボールの候補とした。

4.5.4

円形度条件による判定

面積条件だけでは正確にボールを抽出することはできない。面積条件を満たしていても、

その領域がボールのように丸くなく、一本の線のようであることも十分に考えられるからだ。ゆえに、注目している領域についての面積と周囲長の関係である「円形度」を定義し、

円形度によってさらに絞り込んだ。なお、ここでは山下??の手法を用いている。

周囲長

同じラベルの領域に対して、2×2の小領域を探索し、図4.17にしたがって部分部分の長さを求めた。そしてその部分部分の長さを合計して周囲長を求めた。

円形度の定義

注目領域の周囲長をl、面積をsとすると、円形度eは次式で求められる。

e= 4Πs

l² (4.20)

円形度条件

面積条件を満たした領域の中から、最も円形度が1に近い領域をボールとして認識した。

(23)

図 4.17: 周囲長計算

4.5.5

ボールの中心座標の計算

円形度が最も１に近い領域について、全ピクセルの座標の平均をとることでボールの中心の座標とした。注目領域内のn個のピクセルを

³

I₁, I_[2],· · ·, I_[n]^´とすると、中心座標 I_c(x), I_c(y)は次の式で表せる。

I_c(x) = Xn k=1

I_k(x)·1

n (4.21)

I_c(y) = Xn k=1

I_k(y)·1

n (4.22)

4.6 ボールの追跡

重要シーンにスコア情報を付加するために、ボールの動きを追跡したい。ボールが投手の手を離れてからどのように動いたかを知ることができれば、球速・球種・打球方向などを知るための大きな手がかりになる。また、シャッターチャンス抽出のためのバットとボールが当たったかどうかの判定にも有効利用できる。よってここではボールを追跡し、その座標を求める手法を述べる。

ボールを追跡し、座標を求めるために、ブロックマッチングを行う。

4.6.1

ブロックマッチング

基本的な手法

ブロックマッチング法とは、追跡対象のフレームのある矩形領域（テンプレートという）

に対して、探索先の同じサイズの対応するテンプレートを検出し、参照領域とする手法である。探索先の領域が追跡対象のフレームからどれだけ動いたかを調べることにより、移

(24)

動ベクトルが検出できる。

図 4.18: ブロックマッチングによる移動ベクトルの検出

図4.18に示すように、追跡対象のフレームを第kフレームとして、第kフレーム中の M ×N ピクセルからなるテンプレートAについて、対応するテンプレートを第k+ 1フレームから求めることを考える。まずテンプレートAの左上の画素値をI_k(i₀, j₀)とする。

同様に、テンプレートAと同じ位置にある第k+ 1フレーム中のテンプレートA’の、左上の画素値をI_k+1(i₀, j₀)とする。ここでこの二つの画素値の差の絶対値e(0,0)を求める。

そしてテンプレートA内のM×N 画素すべてについて対応する画素値の差の絶対値を求め、その和E(0,0)を計算する。数式で表すと、

e(p, q) =|I_k(i₀+p, j₀+q)−I_k+1(i₀+p, j₀+q)| (4.23) としてe(p, q)を求め、

E(0,0) =

MX−1 p=0

N−1X

q=0

e(p, q) (4.24)

を求める。続いて探索先の画像内でテンプレートA’をx方向にmピクセル、y方向にn ピクセル移動させる。そして再び第kフレームと第k+ 1フレームについて対応するピクセル間で画素値の差の絶対値を求める。数式で表すと、

e(p, q) =|I_k(i₀+p, j₀+q)−I_k+1(i₀+p+m, j₀+q+n)| (4.25)

(25)

としてe(p, q)を求め、

E(m, n) =

M−1X

p=0 NX−1

q=0

e(p, q) (4.26)

を求める。このときにmおよびnを−(M −1)≤m≤(M−1)および−(N−1)≤n≤ (N−1)の範囲で変化させ、E(m, n)が最小となるm、nを求める。このm、nが追跡対象のテンプレートから最も誤差の少ないテンプレートを表す相対座標となるので、動物体の移動ベクトルは(m, n)であるといえる。

画素値

ブロックマッチングにおいて、画素値の候補としては次のようなものが考えられる。

• 輝度Y

• RGBの値

• 色相(H)・彩度(S)・明度(I)の値

本研究ではこの中からRGB値を画素値とした。その理由を説明する。

注目ピクセルIについて、IのR値をI_R、G値をI_G、B値をI_Bとすると、輝度Yは次式で求められる??。

Y = 0.299×R+ 0.587×G+ 0.114×B (4.27) しかし、輝度を画素値とすると色情報を扱えなくなるため、本研究では画素値に輝度は採用しなかった。

RGBの値はBMP画像にそのまま入っているため、余計な処理をする必要がない。だが、人間の目で見ると色がかなり異なるのにRGB値はそんなに変わらなかったり、その逆になったりすることがある。この問題点を解決するのがHSI値だ。HSI値はRGB値から次の変換式で算出することができる??。

I =max{R < G < B} (4.28) (1)I = 0のとき

SとHは次のように定める。

S = 0 (4.29)

H = 不定 (4.30)

(2)I 6= 0のとき

まず、Sを次式で定義する。

i = min{R < G < B} (4.31) S = (I−i)

I (4.32)

(26)

続いて、r、g、bを次式で定める。

r= (I−R)

(I−i) (4.33)

g= (I−G)

(I−i) (4.34)

b= (I−B)

(I−i) (4.35)

最後に、Hを次式で求める。

R=IのときH = π

3(b−g) (4.36)

G=IのときH = π

3(2 +r−b) (4.37)

B=IのときH = π

3(4 +g−r) (4.38)

色情報も含めてボールを追跡することを考えると、HSI値が輝度値に適しているといえる。しかし、RGB値からHSI値への変換にはやや面倒な計算が必要だ。もともとブロックマッチングという手法自体計算量が多くなるものである。そのうえ輝度値を求めるために面倒な計算をしていては、処理時間が膨大なものになってしまう。これは一般家庭のPC で動かすことを考えると問題だ。なので、本研究では処理速度を重視し、画素値にRGB 値を採用した。

打ち切りによる処理の高速化

計算量の大きいブロックマッチングを高速化するため、打ち切り処理を行った。画素値の差の和は式(4.21)で求めている。このとき、E(m, n)は逐次増えていくことになる。

E(m, n)が明らかに大きな値になっているならば、それ以上計算する必要はない。なので、

打ち切りの閾値をCthとして、

E(m, n)> Cth (4.39)

となったらその時点で計算を打ち切る。また、E(i, j)の計算が終了した時点で

E(i, j)< Cth (4.40)

であれば、

Cth=E(i, j) (4.41)

として閾値を更新する。また、すべてのm, nについて

E(m, n)> Cth (4.42)

となった場合は、ブロックマッチングの処理自体に失敗したとして移動ベクトルが求まらなかったことにした。この追跡失敗という判定を加えたことで、ボールを見失った瞬間の

(27)

抽出が可能になった。ボールを見失った瞬間は、二つの状況が考えられる。一つは図4.19 のように、キャッチャーが投球を捕球した瞬間という状況。もう一つは図4.20のように、

打者が投球を打撃した瞬間という状況である。

図4.19: キャッチャーによる捕球図4.20: バッターによる打撃

4.6.2

ブロックマッチングのボール追跡への適用

本研究ではブロックマッチングを、動画像中のボールの追跡のために使う。追跡するのは投球画面中のボールのみである。ゆえに、画素値の差の計算法をボール追跡の精度向上をのために変更した。また投球画面中のボールはある程度決まった動きしかしないので、

そこを利用して高速化と精度向上をした。

画素値の差の計算法

ブロックマッチングの画素値の求め方は、図4.18においては次のようであった。

e(p, q) =|I_k(i₀+p, j₀+q)−I_k+1(i₀+p, j₀+q)| (4.43) としてe(p, q)を求め、

E(0,0) =

MX−1 p=0

N−1X

q=0

e(p, q) (4.44)

を求めた。しかし、この方法を用いた場合は背景の変化に弱いという特徴がある。次の連続する2フレームのボール周辺の画像を見て欲しい。

図4.21ではボールの周りの背景は人工芝の緑が大半を占めているが、図4.22ではキャッチャーのユニフォームの青とプロテクターの白が入っている。ここで背景ピクセルについ

てe(p, q)を求めると、かなり大きな値になってしまう。例えば、図4.23で赤色で示した

注目ピクセルI(6,12)についてe(6,12)を求めることを考える。e(p, q)を求める際のR値

(28)

図4.21: ball1 図 4.22: ball2 図4.23: 注目ピクセルの差の絶対値をe(p, q)_R、G値の差の絶対値をe(p, q)_G、B値の差の絶対値をe(p, q)_Bとすると、

e(6,12) = e(6,12)_R+e(6,12)_G+e(6,12)_B (4.45)

= |110−79|+|159−93|+|109−70| (4.46)

= 136 (4.47)

となりe(p, q)が大きくなってしまう。ボールの追跡を考える際には、どちらも背景を表

すピクセルなので、e(p, q)は小さいことが望ましい。また注目ピクセルがボールを表していたときも不都合が生じる。ボールから人工芝へとピクセルが変わった場合と、ボールからプロテクターへとピクセルが変わった場合では、e(p, q)の値が異なってしまう。このことが原因で誤差が生じてしまったり、不適当な打ち切り処理がなされる可能性がある。この問題を解決するために、e(p, q)の計算方法を変更した。

ブロックマッチングで画素値の差を計算する目的は、注目ピクセルが表す物体が変化したかどうかを判断することだ。なので、画素値の差をe2 (p, q)とすると、注目ピクセルが表すものが変化していればe2 (p, q) = 1、変化していなければe2 (p, q) = 0とすればよい。

つまり、変化しているかどうかの閾値をe2_thとすると、

e2 (p, q)_R> e2_th (4.48)

e2 (p, q)_G> e2_th (4.49)

e2 (p, q)_B> e2_th (4.50)

の三つを満たすなら

e2 (p, q) = 1 (4.51)

とし、それ以外ならば

e2 (p, q) = 0 (4.52)

とればよい。ここで今までと同様に、

E2 (0,0) =

MX−1 p=0

N−1X

q=0

e(p, q) (4.53)

を求める。このときにm,nを−(M−1)≤m≤(M−1)および−(N −1)≤n≤(N−1) の範囲で変化させ、E2 (m, n)が最小となるm,nを求める。このm,nが追跡対象のテンプ

(29)

レートから最も誤差の少ないテンプレートを表す相対座標となる。よって動物体の移動ベ

クトルは(m, n)であるといえる。

ここで述べた計算法を用いることにより、ブロックマッチングでより正確にボールを追跡することが可能となる。

先読み

ブロックマッチングでのボールの追跡は、ボールの軌道を先読みすることによって高速化できる。通常ブロックマッチングにおけるテンプレートの探索は、もとのテンプレートの位置の上下左右に対して行わなければならない。だがボールの軌道の特徴を利用すれば、

次にボールが出現する大体の位置を先読みすることができる。よって、探索範囲を限定することができる。次の図4.24は画像中のボールを検出してから、その後のフレームでのボールを表したものである。緑の数字がボールを発見してからのフレーム数であり、赤い点がそのときのボールの位置である。

図4.24: 投球画面

このように、投球画面中のボールは必ずx軸に対して正の方向に動き、上に凸な二次曲線に近い軌道を描く。ここで、フレームkにおけるボールの座標を(x_k, y_k)とし、フレームkでのボールの移動ベクトルを(vx_k, vy_k)とすると、(vx_k, vy_k)は次式で求められる。

vx_k = x_k−x_k−1 (4.54)

vx_k = y_k−y_k−1 (4.55)

(30)

また、ボールの描く軌道の傾きを表す二次微分の値^¡v²x_k, v²y_k^¢も次式で求められる。

v²x_k = vx_k−vx_k−1 (4.56)

v²x_k = vy_k−vy_k−1 (4.57)

これらを用いれば、フレームk、k−1、k−2の座標からフレームk+1の座標(x_k+1, y_k+1) が予測できる。すなわち、

x_k+1 = x_k+vx_k+v²x_k (4.58)

= x_k+ (x_k−x_k−1) + (vx_k−vx_k−1) (4.59)

= x_k+ (x_k−x_k−1) +{(x_k−x_k−1)−(x_k−1−x_k−2)} (4.60) y_k+1についても同様である。k+ 1フレームの画像では求めた(x_k+1, y_k+1)の周辺にボールがあると予測できるので、(x_k+1, y_k+1)の周辺の小さな領域でのみテンプレートの探索を行えばよいので、処理を高速化できる。

この先読み処理を図4.25に表した。三つの連続するフレームから検出したボールの位置を灰色で表し、先読みでボールの位置を予測した。先読みをしないときのブロックマッチングのテンプレート探索範囲が緑色の領域で、先読みで限定した探索範囲が黄色である。

図4.25からも探索の効率化がなされていることがわかる。

図4.25: 先読みによる効率化

(31)

誤認識対策

ボールの認識において、ときどきボールではないものをボールとして誤認識してしまうことがある。しかし、認識の段階で誤ったとしても、追跡の段階でボールとしての特徴を満たしているかを調べることで誤認識であると判断できる。ボールの軌道の特徴については図4.24からも見て取れるように、次のようなことが言える。

• 必ずx軸に対して正の方向に進む

• 上に凸の放物線に近似できる軌道を描く

• ある程度の時間は放物線を描き続ける

この条件を数式で表す。連続で追跡に成功したフレーム数をnとすると、次のようになる。

vx_k≥0 (4.61)

v²y_k≤0 (4.62)

n≥10 (4.63)

追跡した動物体が上の条件を満たしていればボールだと判断し、座標等のデータを保存する。条件を満たしていなければボールではないものを追跡したとして、座標等のデータを破棄する。

4.7 バットスイングの認識

バッターの打撃の瞬間を抽出するために、バットスイングを認識する手法を述べる。またこれによりバッターの打撃の瞬間が認識できたなら、シャッターチャンスとして抽出する。

バットスイングの認識のために、次の処理を行う。なお、この処理はボールの追跡と並行して行う。

• 輪郭化

• 細線化

• Hough変換によるバットスイングの抽出

4.7.1

輪郭化

画像中からバットを検出するために、まずは画像の輪郭を強調する。輪郭は画素値が急速に変化するところなので、近似的な微分演算で輪郭を抽出する。

(32)

座標(x, y)における画素値の勾配を表す近似的な一次微分の値（グラディエント）は、

大きさと方向を持つベクトル量G(x, y) = (f x, f y)として表せる。このf xはx方向の微分であり、f yはy方向の微分である。f x、f yは次式で近似的に求められる。

f x=f(x+ 1, y)−f(x, y) (4.64) f x=f(x, y+ 1)−f(x, y) (4.65) この計算は通常の微分オペレータを用いたものである。他にf x、f yを求める代表的な微分オペレータを、次の表に示す。

表 4.2: グラディエントの計算に用いる微分オペレータオペレータ名通常の差分 Roberts Sobel

0 0 0 0 0 0 -1 0 1

fxを求めるオペレータ 0 1 -1 0 1 0 -2 0 2

0 0 0 0 0 -1 -1 0 1

0 0 0 0 0 0 -1 -2 -1

fxを求めるオペレータ 0 1 0 0 0 1 0 0 0

0 -1 0 0 -1 0 1 2 1

このうち、本研究で用いたのはRobertsのオペレータである。ここで求めたf x、f yを利用して、輪郭の方向と強さを求めることができる。方向はベクトル(f x, f y)の向きであり、強さP は次式で求められる。

P = q

f x²+f y² (4.66)

この方法で求めた輪郭化画像を元画像とともに示す。

図4.26: 元画像図4.27: 輪郭化画像

(33)

4.7.2

細線化

作成した輪郭化画像からはまだバットが発見しづらい。そこでバットの線を発見しやすいように細線化処理をした。細線化のアルゴリズムにはヒルディッチの逐次方を用いた。

次に輪郭化画像とそれを細線化した画像を示す。

図4.28: 輪郭化画像図4.29: 細線化画像

4.7.3 Hough

変換によるバットスイングの検出

山下??の手法を用い、輪郭化と細線化をした画像中の規定領域に関してHough変換を行うことで直線を強調した。そして、バットが振られると規定領域の直線の本数が変化することを利用して、バットスイングを検出した。

図4.30: 規定領域図4.31: 細線化画像図4.32: Hough変換による直線

4.8 打球方向の判定

バットがボールに当たったことを判定したら、打球方向を判定する処理を行う。この打球方向の判定には岩崎??の手法を用いた。

(34)

打球方向の判定のために、次の処理を行った。

• 輝度差分画像の作成

• ボールの追跡

4.8.1

輝度差分画像の作成

打球を発見し追跡するため、バットを振ったと判定したフレームから18フレーム分の、

輝度を画素値とした差分画像を作る。輝度の差分画像は図4.33のようになる。

図 4.33: 輝度差分画像

4.8.2

ボールの追跡

輝度差分画像からボールを検出する。打球の強さによって輝度差分画像中のボールの大きさが変わるので、大きさに合わせて処理方法を変える。発見されたボールが小さいときにはボールを追跡し、最後に発見した場所をボールの終着点としする。発見されたボールが大きいときは、ボールが伸びているため勢いがあるということなので、そのまま真っ直ぐ飛んでいっていると判定する。ボールの伸びている方向を真っ直ぐ伸ばし、延長線が画面端に到達した点を終着点とする。ボールが小さいときと大きいとき、それぞれの追跡の様子を表す画像を次に示す。

ボールがバットに当たった点と、この処理で得た終着点から、打球の方向を判定する。

横方向はレフト,センター,ライトの3方向、高さはゴロ,ライナー,フライの3方向、そして打球が強いか弱いかを判定できる。

(35)

図4.34: 小さいボールの追跡図4.35: 大きいボールの追跡

4.9 重要シーンの抽出とスコア情報の付加

4.9.1

重要シーンの抽出

ここまででボールの認識、追跡、バットスイングの認識という一連の作業を行った。その作業を通じて、ピッチャーの投球の瞬間のフレームと、バッターの打撃の瞬間のフレーム、もしくはキャッチャーが投球を捕球したフレームを抽出することができた。これらを利用して重要シーンの抽出を行う手法を述べる。

重要シーンの開始フレーム

ピッチャーの投球の瞬間のフレームを利用して、重要シーンの開始フレームを決定する。

重要シーンにはピッチャーの投球モーションを含めたいが、投球の瞬間のフレームを開始フレームとしてしまうと投球モーションを含むことができない。なので、投球モーションの分だけ時間をさかのぼって重要シーンの開始フレームとする。ほとんどのピッチャーの投球モーションの時間は、構えに入ってから足を上げるまでが2秒から3秒、足を上げてからリリースまでが1秒から2秒の間に収まっている[16]。なので、リリースの瞬間から3 秒から5秒前のフレームを開始フレームとすればよい。本研究では5秒前のフレームを開始フレームとした。つまり、リリースの瞬間のフレームをフレームrとすると、重要シーンの開始フレームsは次の式で求められる。

s[f rame] =r[f rame]−5[sec]×30[f rame/sec] (4.67) しかし、この方法では一つ問題が生じる。中継映像ではカットの切り替わりが投球の直前になることがあり、フレームsがまだ投球画面ではないことがある。このため、カットが切り替わったフレームをフレームcとして保持しておき、c < sならばcをsとする。

次にピッチャーの投球の瞬間のフレームと、この方法で求めた重要シーンの開始フレー

(36)

ムを示す。図4.36,4.37がカットが切り替わっていないときである。そして図4.38,4.39,4.40 がカットが切り替わってしまっているときである。

図4.36: リリースの瞬間1 図 4.37: 開始フレーム1

図 4.38: リリースの瞬間2 図4.39: カット切り替わり図4.40: 開始フレーム2

重要シーンの終了フレーム

バッターがボールを打ったかどうかによって、終了フレームの決定方法を変える必要がある。ボールを打っていない場合は、キャッチャーが投球を捕球した瞬間のフレームが検出される。よって少し余裕を持たせて、検出したフレームの1秒後のフレームを終了フレームとする。図4.41,4.42に終了フレームの抽出の様子を示す。

ボールを打った場合はしばらく試合が動くシーンが続くので、次の投球画面を検出した瞬間の1フレーム前を終了フレームとする。ショートフライのシーンで抽出したシーンの画像を図4.43〜図4.48に示す。

(37)

図4.41: キャッチャーの捕球の瞬間図 4.42: 終了フレーム1

図4.43: 打撃の瞬間図4.44: 試合の動き1 図4.45: 試合の動き2

図4.46: 試合の動き3 図4.47: 終了フレーム図4.48: 次の投球画面

(38)

4.9.2

球速の算出

ここではブロックマッチングで検出した投球の座標データを用いて、投球の球速を算出する手法を述べる。

ピッチャーズマウンドからホームプレートまでの距離は18.44mに定められている。よって、ボールがピッチャーの手を離れてからキャッチャーが捕るまでの時間がわかればおおよその球速を算出することができる。時間を求めるためには、ピッチャーの投球の瞬間のフレームからキャッチャーの捕球の瞬間のフレーム、あるいはバッターの打撃のフレームまでの経過フレーム数がわかればよい。ただし、リリース直後のフレームには注意が必要である。図4.49にリリース直後のフレームを、図4.50にその直前のフレームを示す。

図 4.49: リリースの瞬間図 4.50: リリースの直前

本研究の手法によるボールの抽出は、ピッチャーの手から完全にボールが離れた瞬間を投球の瞬間と判定する。このとき、厳密にはボールはピッチャーの手を離れてからすでに 1フレーム経過している。ゆえに経過フレーム数をfとすると、時間を求める際はf+ 1 フレームで計算する必要がある。この点に注意して球速を算出する。

球速をV[km/h]とすると、1フレームは₃₀¹ 秒なので、

V[km/h] = 18.44[m]× 1[km]

1000[m]× 1

1

30[sec]×(f+ 1)×_3600[sec]^1[h] (4.68)

= 1991.52

(f+ 1)[km/h] (4.69)

で求めることができる。

4.9.3

球種の判定

ここではブロックマッチングで検出した投球の座標データを用いて、投球が直球か変化球かを判定する手法を述べる。

(39)

次に直球と変化球のそれぞれについて抽出したフレームごとの座標と、x, y方向への変化量vx、vyを示す。一番上の行がボールを認識したフレームのデータであり、そこから 1フレーム毎にボールの追跡に失敗するフレームまでのデータを書き出した。

図4.51: 直球の軌跡

X: 132 Y: 106 vx: 4 vy: -1 X: 136 Y: 107 vx: 3 vy: -1 X: 139 Y: 108 vx: 4 vy: -1 X: 143 Y: 109 vx: 4 vy: -1 X: 147 Y: 110 vx: 4 vy: -2 X: 151 Y: 112 vx: 4 vy: -2 X: 155 Y: 114 vx: 5 vy: -2 X: 160 Y: 116 vx: 4 vy: -2 X: 164 Y: 118 vx: 5 vy: -3 X: 169 Y: 121 vx: 4 vy: -2 X: 173 Y: 123 vx: 4 vy: -3 X: 177 Y: 126 vx: 4 vy: -2

直球の座標と変化量

図4.52: 変化球の軌跡

X: 127 Y: 104 vx: 6 vy: 3 X: 133 Y: 101 vx: 6 vy: 2 X: 139 Y: 99 vx: 5 vy: 1 X: 144 Y: 98 vx: 5 vy: 0 X: 149 Y: 98 vx: 4 vy: 0 X: 153 Y: 98 vx: 5 vy: -1 X: 158 Y: 99 vx: 3 vy: -1 X: 161 Y: 100 vx: 3 vy: -2 X: 164 Y: 102 vx: 3 vy: -3 X: 167 Y: 105 vx: 3 vy: -3 X: 170 Y: 108 vx: 2 vy: -4 X: 172 Y: 112 vx: 2 vy: -4 X: 174 Y: 116 vx: 1 vy: -4

変化球の座標と変化量

このデータの変化量、vxとvyに着目することによって球種を判定する。まずはvxについて比較すると、直球のvxはほとんど変化がない。だが、変化球のvxは減少している。この原因は、変化球は途中で軌道を変えるので、キャッチャーミットまでまっすぐに進まないことによるものである。そしてvyについてだが、直球はフレームが進むにつれて少ししか減少しないのに対し、変化球は大きく減少している。これは、変化球は速度が

(40)

直球より遅いので、直球に比べて山なりの軌道を描くからである。

この二つの点に着目して条件を数式化する。あるフレームfのvxの値をvx(f)、vyの値をvy(f)、と表し、ボールを発見したフレームをs、最後に追跡に成功したフレームを eとすると、条件は次のように表せる。

s < t <(e−1)⇒vy(t)<−3 (4.70) vx(s)−vx(e−1)<3 (4.71) この二つの条件のうち、どちらか一つを満たしていればそのボールは直球、どちらも満たしていなければ変化球と判断する。なお、フレームeを判定に用いなかった理由は、最後のフレームはボールがバットに当たった際などに理想的でないデータになるからである。

4.9.4

シーンの状況を表す画像

投手がボールをリリースした瞬間のフレームの画像に、その後ボールが描いた軌跡を重ねた。それが図4.53である。軌跡を描く際には、ブロックマッチングで検出した投球の座標データを用いた。

図4.53: シーンの状況を表す画像

シャッターチャンス抽出と

野球映像からの