学位論文内容の要旨

博 士 （ 情 報 科学 ）    高 橋    翔

学 位 論 文 題 名

サッ カー 映像 の意 味理解 を実 現す るた めの 画像 解析 に

関す る研 究

（A Study on Image Analysis for Semantic Understanding of Soccer Videos)

学位論文内容の要旨

  本論文は ，サッカー映像の 意味理解を実現す るための画像解析に 関する基礎的を研 究の成果をま とめたもの である．

  テレピ放 送の多チャンネル 化やインターネッ トによる映像配信の 普及により，多く の人が映像を 視聴する機 会が増加している ．また，サッカー 映像や野球映像顔どのスポーツ映像は，世界中で関心 が高く，非 常に多くの視聴者 が存在する．しか しをがら，視聴者がスポーツ映像を十分に理解するた めには，選 手や戦術をどに関 する知識や経験が 要求される．加えて，視聴者が映像を視聴可能顔時間 は限られて いる．このため， 視聴者が試合内容 を容易に理解するためのデータの提示や映像の効率的 を視聴を可 能とする技術が必 要とされており， 様々赤研究が国内外 で活発に行われて いる．具体的 に，スポー ツ映像に対するメ タデータの付与や ，注目する場面を集めて試合を要約したハイライト映 像の自動生 成が挙げられる．

  このよう を背景から，これ までスポーツ映像 を解析し，試合内容に関するデータを取得する手法が 種々提案さ れている．従来手 法では，画像処理 や音響信号処理の技 術を用いて映像を 解析すること で，試合内 容に関するデータ の取得を試みてい る．具体的に，映像から特定の構図とをる画像を検知 することで ，試合開始や得点 ，反則をどのイベ ントのタグをメタデータとして付与する手法が提案さ れている． しかし誼がら，画 像全体の構図でを く，選手の動きやフオーメーションが特徴的称場合に メタデータ を付与することが 困難とをる．また ，スポーツのハイライト映像を生成する手法では．画 像の構図や 歓声の大きさに基 づぃて注目すべき 場面を検出し，試合を要約している．しかしをがら，

画像の構図 や歓声の大きさに よって注目すべき 場面を検出するため ，この手法におい ても選手の動 き やフ オー メ ーシ ョン が 特徴 的を 戦 術やイベント の場面を含むハイ ライト映像の生成は 困難であ る．以上の ように従来手法は ，画像の構図や歓 声の大きさに関する特徴量の解析によって実現される ため，選手 のスキルや戦術を どの解析までには 至っておらず，視聴者が試合内容を容易に理解するた めのデータ を取得することが 困難である．

  サッカー の試合内容を理解 するためには，多 くの戦術の基本的款 要素であるパスに ついての解析 が有効であ る．さらに，多く の戦術は選手の配 置とその移動によっ て決まるため，よ り適切をサッ カー映像の 意味理解を実現す るためには，選手 の追跡を精度良く行うことが重要である．そこで，本 論文では， サッカーの試合内 容が選手配置に関 連することに注目し ，画像解析によっ てサッカー映 像から選手 配置を取得する手 法，および選手配 置に基づぃた戦術の モデル化によって 戦術に関する データを可 視化する手法を提 案している．本論 文ではまず，サッカ ―映像における意 味理解を実現 するため． サッカー映像の特 性に注目した画像 解析により選手を追跡する．具体的には，選手のユ二

一647―

フオー ム色 が明ら かであ ること ，お よびフ レーム 間で選 手位置が大きく変化しをいというサッカー 映像の 特徴 に注目 し，選 手ユニ フオ ームの 色成分 推定と 複数フレームを同時に処理可能を手法を導 入する こと で高精 度教選手追跡を可能とする．さらに，本論文では，得られた選手追跡結果に基づぃ てサッ カー 映像に おいてパスが可能を領域を推定し，その結果を可視化する．具体的には，パスコー スが選 手の 配置に よって 決定さ れる ことに 注目し ，選手 の配置に基づぃてパスに関するモデルを構 築する こと で，画 像中の特徴的を領域を抽出可能を手法を用いてパスが可能隷領域の推定，およびそ の可視 化を 可能と する．以上のように，本論文では，サッカー映像からの選手配置の取得，および戦 術に関 する データ の選手 配置に 基づ ぃた可 視化に よって 視聴者が試合内容を容易に理解するための データ の提 示を実 現する ．

  本論 文では ，まず 第2章で関 連研究 とし てスポ ーツ映 像を解 析す る研究 を紹介 し，その問題点に ついて 示す ．さら に，本 論文で 解決 すぺき課題について明確にする，第3章では，動的輪郭モデルで あるレ ベル セット 法を紹 介する 共に ，サッ カー映 像の特 性に注目した画像解析による選手追跡を提 案し， 選手 の配置 やその移動に関する解析を可能とする．提案手法ではまず，対戦するチーム間で選 手のユ ニフ オーム 色が異 をり， 同一 のユニ フオー ムを構 成する色は画像中で互いに近傍に存在する ことに 注目 し，色 の共起頻度である色コリログラムを導入することで，サッカ―映像から追跡する色 成分を 自動 で推定 可能とする．次に，提案手法では，サッカー映像のフレーム間で選手の位置が大き く 変化 し をいと いう特 徴に 注目し ，映像 の時間 軸を第3軸 とする3次 元のデ ータ として 扱い． 領域 抽出手 法で あるレ ベルセ ット法 を適 用する ことで ，サッ カ一映像中の選手位置を精度良く追跡する ことを 可能 とする ．第3章に よって ，選手 の配置とその移動に関するデータが取得されるため．サッ カー映 像の 内容を 解析す ること が可 能とを る．次 に第4章で は，画 像中の 特徴 的を領域を抽出する 手法で ある アクテ ィプネ ットを 紹介 すると 共に． それを 用いてパスが可能を領域の推定および可視 化を行 う手 法を提 案し，多くの戦術の基本的を要素であるパスについての解析を実現する．サッカー では， パス コース は不可視である．そこで，提案手法では，パスは選手の配置が重要であることに注 目し， 選手 の配置 に基づぃてパスに関するモデルを構築することで，サッカー映像にアクティブネッ トを適 用可 能とし ，不可視をパス可能領域を可視化する．さらに，第5章では，3次元データ中の特徴 的を領 域を 抽出す る手法 である アク ティプ グリッ ドを紹 介すると共に，選手の追跡結果を用いて複 数フレ ーム からパ ス可能領域を高精度に推定する手法を提案する．提案手法では，パスに関して映像 の時間 軸を 第3軸 とす るモデ ルを構 築し， 選手 の追跡 結果に 対して アクテ ィプ グリッドを適用可能 とする こと でより 高精度 にパス 可能 領域を推定可能とする．最後に，第6章において，本研究の成果 につい て要 約し， 論文全 体のま とめ とする ．

  以 上 を要 約する と， 本論文 は，画 像の構 図や 歓声の 大きさ に関す る特徴 量の 解析で なく， ユニ フオー ムの 色や選 手配置に基づく画像解析によって，選手の追跡やパスコースの可視化を行い．視聴 者が試 合内 容を容 易に理 解する ため のデー タの提 示を実 現した．また，本論文では本手法を実際の サッカ ー映 像に適 用した 実験に より ，その 有効性 を示し ている ．

―648―

学位論文審査の要旨 主査   教授   長谷山美紀 副 査    教授    山 本    強 副 査    教授    荒 木健 治

学 位 論 文 題 名

サ ッカー映 像の意味 理解を実現 するため の画像解 析に

関 する研究

（

  本論 文は， サッカ ー映像 の意 味理解 を実現 するた めの画像解析に関する基礎的を研究の成果をま とめた もの である ．

  テレ ピ放送 の多チ ャンネ ル化 やイン ターネ ットに よる映像配信の普及により，多くの人が映像を 視聴す る機 会が増加している．また，サッカー映像や野球映像をどのスポーツ映像は，世界中で関心 が高く ，非 常に多くの視聴者が存在する，しかしをがら，視聴者がスポーツ映像を十分に理解するた めには ，選 手や戦術をどに関する知識や経験が要求される．加えて，視聴者が映像を視聴可能を時間 は限ら れて いる． このた め，視 聴者 が試合 内容を 容易に理解するためのデータの提示や映像の効率 的を視 聴を 可能と する技 術が必 要と されて おり， 様々を研究が国内外で活発に行われている．具体 的に， スポ ーツ映像に対するメタデータの付与や，注目する場面を集めて試合を要約したハイライト 映像の 自動 生成が 挙げら れる．

  この ようを背景から，これまでスポーツ映像を解析し，試合内容に関するデータを取得する手法が 種々提 案さ れてい る．従 来手法 では ，画像 処理や 音響信号処理の技術を用いて映像を解析すること で，試 合内 容に関するデータの取得を試みている．具体的に，映像から特定の構図とをる画像を検知 するこ とで ，試合開始や得点，反則橡どのイベントのタグをメタデータとして付与する手法が提案さ れてい る， しかしをがら，画像全体の構図でをく，選手の動きやフオーメーションが特徴的を場合に メタデ ータ を付与することが困難とをる，また，スポーツのハイライト映像を生成する手法では，画 像の構 図や 歓声の大きさに基づぃて注目すべき場面を検出し，試合を要約している．しかしをがら，

画像の 構図 や歓声 の大き さによ って 注目す べき場 面を検出するため，この手法においても選手の動 きやフ オー メーシ ョンが 特徴的 を戦 術やイ ベント の場面 を含む ハイ ライト 映像の 生成は 困難 であ る．以 上の ように 従来手 法は， 画像 の構図 や歓声 の大きさに関する特徴量の解析によって実現され るため ，選 手のスキルや戦術をどの解析までには至っておらず，視聴者が試合内容を容易に理解する ための デー タを取 得する ことが 困難 である ．

  サッ カーの 試合内 容を理 解す るため には， 多くの 戦術の基本的を要素であるパスについての解析 が有効 であ る．さ らに， 多くの 戦術 は選手 の配置 とその移動によって決まるため，より適切をサッ カー映 像の 意味理解を実現するためには，選手の追跡を精度良く行うことが重要である．そこで，本 論文で は， サッカ ーの試 合内容 が選 手配置 に関連 することに注目し，画像解析によってサッカー映 像から 選手 配置を 取得す る手法 ，お よび選 手配置 に基づぃた戦術のモデル化によって戦術に関する データ を可 視化す る手法 を提案 して いる． 本論文 ではまず，サッカー映像における意味理解を実現

‑ 649―

す るため，サッカー 映像の特性に注目 した画像解析により 選手を追跡する． 具体的には，選手のユニ フ オ ーム 色が 明 らか であ ること， およびフレーム間 で選手位置が大きく 変化しをいという サッカー 映 像 の特 徴に 注 目し 。選 手ユニフ オームの色成分推 定と複数フレームを 同時に処理可能を 手法を導 入 することで高精度 を選手追跡を可能 とする．さらに，本 論文では，得られ た選手追跡結果に基づぃ て サッカー映像にお いてパスが可能顔 領域を推定し，その 結果を可視化する ．具体的には，パスコー ス が 選手 の配 置 によ って 決定され ることに注目し． 選手の配置に基づぃ てパスに関するモ デルを構 築 することで，画像 中の特徴的を領域 を抽出可能を手法を 用いてパスが可能 を領域の推定，およびそ の 可視化を可能とす る．以上のように ，本論文では，サッ カー映像からの選 手配置の取得，および戦 術 に 関す るデ ー タの 選手 配置に基 づぃた可視化によ って視聴者が試合内 容を容易に理解す るための デ ータの提示を実現 する．

  本 論文 では ， まず 第2章 で関 連 研究 とし て スポー ツ映像を解析する研 究を紹介し，その 問題点に つ いて 示す．さらに，本 論文で解決すべき課 題について明確に する．第3章では，動的輪郭 モデルで あ る レベ ルセ ッ ト法 を紹 介する共 に．サッカ一映像 の特性に注目した画 像解析による選手 追跡を提 案 し，選手の配置や その移動に関する 解析を可能とする． 提案手法ではまず ，対戦するチ―ム間で選 手 の ユニ フオ ー ム色 が異 をり，同 一のユニフオーム を構成する色は画像 中で互いに近傍に 存在する こ とに注目し，色の 共起頻度である色 コリログラムを導入 することで，サッ カー映像から追跡する色 成 分を自動で推定可 能とする．次に， 提案手法では，サッ カー映像のフレー ム間で選手の位置が大き く 変 化し をい と いう 特徴 に 注目 し， 映 像の 時間 軸 を第3軸と する3次元 のデータとして扱 い，領域 抽 出 手法 であ る レベ ルセ ット法を 適用することで， サッカー映像中の選 手位置を精度良く 追跡する こ とを 可能とする．第3章によって ，選手の配置とそ の移動に関するデー タが取得されるた め，サッ カ ー 映像 の内 容 を解 析す る こと が可 能 とを る． 次に第4章では，画像中 の特徴的を領域を 抽出する 手 法 であ るア ク ティ プネ ットを紹 介すると共に，そ れを用いてパスが可 能を領域の推定お よび可視 化 を行う手法を提案 し；多くの戦術の 基本的を要素である パスについての解 析を実現する．サッカー で は，パスコースは 不可視である．そ こでっ提案手法では ，パス獄選手の配 置が重要であることに注 目 し，選手の配置に 基づぃてパスに関 するモデルを構築す ることで，サッカ ー映像にアクティブネッ ト を適用可能とし， 不可視をパス可能 領域を可視化する． さらに，第5章では，3次元データ中の特徴 的 を 領域 を抽 出 する 手法 であるア クティプグリッド を紹介すると共に， 選手の追跡結果を 用いて複 数 フ レー ムか ら パス 可能 領域を高 精度に推定する手 法を提案する．提案 手法では，パスに 関して映 像 の 時間 軸を 第3軸 と する モデ ル を構 築し ， 選手の 追跡結果に対してア クティブグリッド を適用可 能 とす ることでより高精 度にパス可能領域を 推定可能とする． 最後に，第6章において，本 研究の成 果 について要約し， 論文全体のまとめ とする．

  これを要するに， 著者は，画像の構 図や歓声の大きさに 関する特徴量の解 析でをく，ユニフオーム の 色や選手配置に基 づく画像解析によ って，選手の追跡や パスコースの可視 化を行い，視聴者が試合 内 容を容易に理解す るためのデータの 提示を実現している ．また，本手法を 実際のサッカー映像に適 用 した実験により， その有効性を示し ており，本研究を通 じて，情報科学の 分野に貢献するところ大 を るものがある．

  よ っ て 著 者 は 。 北海 道 大学 博士 （ 情報 科学 ） の学 位を 授 与さ れる 資 格が ある も のと 認め る ．

‑ 650−