28 TCG SURF Card recognition using SURF in TCG play video

平成

28

年度

学士学位論文

TCG

プレイ動画における

カード特定のための

_SURF

特徴量を用いた

カード認識に関する研究

Card recognition using SURF in TCG play video

1170374

本園 遥

指導教員

栗原 徹

要 旨

TCG

プレイ動画における

カード特定のための

SURF

特徴量を用いた

カード認識に関する研究

本園 遥

今日，インターネットや動画配信サービスの普及に伴いTCGの対戦動画を配信するよう になり，多くの人が対戦の様子を楽しむようになった．しかし，TCGのカードは種類が多 いうえにカードの名前や効果が書かれた文章が小さくどのカードを利用しているのかわかり にくい状態が多々ある． そこで，本研究では遊戯王OCGを対象とし，カードを提示した動画に対して SURF特 徴量を用いたカード認識を提案する．動画の各フレームから輪郭抽出を用いてカードだけを 抽出し，カードタイプの特定とBofによるヒストグラムを作成する．特定したカードタイプ と同じテンプレート画像のヒストグラムを比較し類似度の高い上位20のテンプレート画像 を候補とする．抽出カードの特徴点と 20の候補との特徴点を類似度に基づき対応付けを行 い，抽出カードとテンプレート画像を重ねあわせ，対応した特徴点同士の距離を求め，小さ いモノから30個の総和を相違度とし値が小さいものを認識結果とする． 最後に，各カードのタイプをランダムに10枚選び，本提案手法を用いて正しく認識され るのかの検討と，本提案手法のカードが動画から抽出された時の1フレーム当たりの平均処 理時間の検討を行った．

Abstract

Card recognition using SURF in TCG play video

Haruka MOTOZONO

Today, TCG ’s play video has been distributed with the spread of the Internet and video distribution services, and many people have enjoyed the game situation. However, there are a lot of kinds of TCG cards. In addition, texts on tha cad for card names and explanation are small. Therefore it is difficult to understand which cards are used in TCG play video.

In this research, we propose card recognition using SURF in video presenting cards for Yu-Gi-Oh! OCG．The processing is as follows,

1)extract the card from each frame of the video using contour extraction, 2)identify the card type,

3)create a histogram by Bof,

4)compare the histogram of the registered templates for the specfied card type, 5)use the top 20 template images with high similarity as candidates,

6)compare the distance between the corresponding feature points, 7)choose smallest distance one as a result of card recognition.

In the experiments, we selected 10 cards from each card types randomly, and ex-amined whether it is recognized correctly by using this proposed method. In addtion, we evaluated average processing time per frame.

目次

第1章 はじめに 1 1.1 研究背景 . . . 1 1.2 本論文の構成 . . . 2 第2章 関連知識 3 2.1 トレーディングカードゲーム(TCG) . . . 3 2.2 SURF特徴量. . . 4 2.3 Bag-of-features . . . 5 第3章 提案手法 7 3.1 前提条件 . . . 7 3.2 提案手法の流れ . . . 9 3.3 カードのタイプ特定 . . . 10 3.4 ヒストグラムの作成 . . . 12 3.5 各テンプレート画像のSURFの特徴点と特徴量の保存 . . . 13 3.6 カードの抽出 . . . 14 3.7 ヒストグラムの比較 . . . 15 3.8 特徴点の比較 . . . 15 第4章 評価実験 16 4.1 実装・実装環境 . . . 16 4.2 実験内容 . . . 16

目次

4.4 考察. . . 22

第5章 まとめ 24

謝辞 25

図目次

2.1 Bag-of-featuresの流れ . . . 5 2.2 visualwordsの作成例 . . . 6 2.3 ヒストグラムの作成例 . . . 6 3.1 カードのタイプ例 . . . 8 3.2 提案手法の簡単な流れ . . . 9 3.3 裏(左)，表の一例(中央)，カードのタイプ特定に利用する画素(右) . . . 10 3.4 テンプレート画像の上部カードタイプ特定領域内の色相の平均値 . . . 11 3.5 テンプレート画像の上部カードタイプ特定領域内の明度と彩度の平均値 . . . 11 3.6 テンプレート画像例(左)，文字部分を省いた画像(中央)，180度回転させた 画像(右) . . . 13 3.7 カード抽出の工程 . . . 14 3.8 テンプレート画像と抽出カードの特徴点対応(左)と距離(右) . . . 15 4.1 1フレーム当たりの平均処理時間の比較用動画に用いるカード. . . 17 4.2 カードが抽出ができない場合 . . . 17 4.3 誤検出された場所 . . . 18 4.4 1フレーム当たりの平均処理時間予想 . . . 23

表目次

3.1 表カードのタイプ名称とテンプレート内における枚数 . . . 8 3.2 表カードのタイプと色 . . . 12 4.1 カードの抽出結果 . . . 18 4.2 本提案システムのカードの認識結果 . . . 19 4.3 本提案システムのカードの誤認識箇所 . . . 20 4.4 比較手法のカードの認識結果 . . . 20 4.5 比較手法のカードの誤認識箇所 . . . 21 4.6 通常と効果のタイプを統合した時の認識結果 . . . 21 4.7 カードが抽出された１フレーム当たりの平均処理時間[sec] . . . 21

第

₁

章

はじめに

1.1

研究背景

トレーディングカードゲームは各プレイヤーがルールに則して組み合わせたカードの束 であるデッキを持ち寄り，2人以上で対戦を行うカードゲームであり，実際に対戦すること と観戦することで楽しむ人が多い．今日では，インターネットや動画配信サービスの普及に よりその規模は拡大しており，公式大会の対戦動画の配信も行われている．しかし，トレー ディングカードゲームのカードの種類は豊富であり，カードの名前や効果が書かれた文字が 小さく，対戦中や動画内においてどのカードを利用しているのかわからない状態が多々あ る．そのため，対戦のがどのように進んでいるのかわからない状況が出てくる． 先行研究[1]として，岸 健太郎，服部 峻らがTCGのうち，WIXOSS(ウィクロス)を対 象としたテンプレートマッチングを用いたTCGのカード認識を行っている．しかし，先ほ ども述べたとおり，TCGのカードは種類が多くテンプレートマッチングを用いたカード認 識は処理時間が長くなる問題が発生する． 本研究では，トレーディングカードゲームのうち，遊☆戯☆王オフィシャルカードゲーム (以下遊戯王OCG)[2]を対象とし，そのカードを提示された動画に対してSURF特徴量[3] を用いたカード認識を行うことで，対戦中にどのカードが利用されたのか判別することがで きるシステムを提案する．

1.2 本論文の構成

1.2

本論文の構成

本論文の構成は以下の通りとする．

第二章では，関連知識としてトレーディングカードゲームに関しての説明，そして今回の 提案手法で利用しているSURF特徴量，Bag of featuresについて説明を行う．

第三章では提案手法であるTCGプレイ動画におけるSURF 特徴量を用いたカード認識 システムについて順に構成を述べる．

第四章では，提案システムの評価実験を行い，実験結果から提案システムの評価と考察を 述べる．

第

₂

章

関連知識

本章では関連知識としてトレーディングカードゲーム，SURF，Bag of featuresについて 説明を行う．

2.1

トレーディングカードゲーム

(TCG)

トレーディングカードゲーム(以下TCG)はコレクタブルカードゲーム(CCG)，カスタ マイズカードゲーム(CCG)とも言われ，カードを各プレイヤーが集め，それらをルールに 則して組み合わせたカードの束であるデッキを作成する．それらを持ち寄り，2人以上で対 戦を行い勝敗を決めるゲームのことである． TCGの対戦形式としてフィールドの上にカードを出して対戦する．そのため，フィール ドに存在するカードが何であるか知る必要がある．さらに，インターネットや動画配信サー ビスの普及により，多くの人が対戦の様子を楽しむことができるようになった．TCG の カードの種類は豊富であり，同じカードであってもイラストの違いにより，さらに多くの種 類が存在する．TCGのカードはカードの特性ごとに分類がされており，カードの枠の色や マーク，文字表記等によってそれを表している．

2.2 SURF特徴量

2.2

SURF

特徴量

SURF(Speeded Up Robust features) はSIFT の特徴点(キーポイント) 検出，特徴量 記述の処理を近似により簡略化することで高速化したものである．まず，キーポイント とスケールの検出のために，Hessian-Laplace 検出器を近似した Boxフィルタを用いる． Hessian-Laplace検出器は式(2.1)のヘッセ行列を用いる． H(x, σ) = [ Lxx(x, σ) Lxy(x, σ) Lxy(x, σ) Lyy(x, σ) ] (2.1) このヘッセ行列の行列式(2.1)を用いて各スケール画像に対して求め，x, y, σの3次元空間 における極大値を検出し，検出された点を特徴点とする．SURFでは式(2.2)をBoxフィル タを用いた近似式(2.3)を利用し，求めている． det(H) = Lxx(X, σ)・Lyy(x, σ)− (Lxy(x, σ))2 (2.2) det(H) = Dxx・Dyy− (Dxy・0.9)2 (2.3) 次に，検出した特徴点から特徴量の記述を行う．特徴点付近の領域からHaar-like特徴量を 用いて勾配方向と強度を求め，勾配強度が最も大きい角度を特徴点の方向となるオリエン テーションとする．求めたオリエンテーションをもとに，特徴点を中心とした 20× 20 の 正方形の領域を 4× 4のグリッド領域に分割し，分割した領域についてHaar-like(サイズ 2× 2)を計算し，輝度勾配を求める．この輝度勾配のx, y方向の値をそれぞれdx, dy とす るとき，4次元のベクトルv = (∑dx, ∑ dy, ∑ |dx|, ∑ |dy|)を求めるため，16領域×4次 元の64次元の特徴ベクトルを得られ，これが特徴量となる．[3][4]

2.3 Bag-of-features

2.3

Bag-of-features

Bag-of-features(以下Bof)は1枚の画像から得られた局所特徴量の集合を単一のヒスト グラムにする手法である．これを用いてヒストグラムの比較を行うことで画像の類似度を 算出し，物体の特定を行うことができる．Bof の流れを図2.1に示す．最初に全 DB 画像 から特徴量を抽出しそれを用いて visual wordsの作成を行う．そして各DB 画像に対して visual wordsをもとにヒストグラムを作成する．物体の特定はこの作成したDB画像のヒ ストグラムと同様の手法で作成した入力画像のヒストグラムを比較し，類似度が一番高いも のが認識結果となる．[5] 図2.1 Bag-of-featuresの流れ visual wordsの作成は図2.2左のようにDB画像のすべての特徴量を抽出し，図2.2右の ようにkmeans法を用いてクラスタリングを行う．ヒストグラムの作成は図2.3のように各 DB画像の各特徴量がvisual wordsのどこに当てはまるのか調べ投票を行い作成する．

2.3 Bag-of-features

図2.2 visualwordsの作成例

第

₃

章

提案手法

本章では, 提案手法であるTCGプレイ動画におけるSURF特徴量を用いたカード認識シ ステムについて, 処理の流れに沿って順に述べていく.

3.1

前提条件

今回の提案システムの前提条件とし，白いテーブルの上で対戦を行う．テンプレート画像 として 370枚(708×1038pixel)のスキャンした遊戯王OCGカードを用意し，処理時には 1/4にリサイズしたものを利用する．動画は1920×1080pixel，30fpsとする．遊戯王OCG は対戦中，最大横に7枚，縦に6枚カードが並ぶ．しかし，デッキを置く場所はプレイ上常 に裏であるためカードを認識する必要がない．そのため，その他の部分が撮影できるよう、 横約600mm，縦510mmがすべて収まるように撮影するため，机上から82cmの位置から 撮影する．撮影時は露出を固定し，提示したカードは電灯の光が反射していないもののみを 対象とする．また，遊戯王OCGカードは図3.1のように表面の9種類の枠の色と裏面を合 わせた計10種類に分類でき，これを以降はカードのタイプと呼ぶ．カードのタイプの名称 は図3.1のように呼び，テンプレート画像内にあるそれぞれの枚数は，表3.1に示す．

3.1 前提条件 図3.1 カードのタイプ例 表3.1 表カードのタイプ名称とテンプレート内における枚数 タイプ 枚数 裏 1枚 シンクロ 14枚 エクシーズ 17枚 通常 10枚 効果 134枚 儀式 2枚 融合 29枚 ペンデュラム 19枚

3.2 提案手法の流れ

3.2

提案手法の流れ

本提案手法の簡単な流れを図3.2に示す．この図3.2における特徴点と特徴量はSURFの 特徴点と特徴量のことである． まず，前処理としてあらかじめ用意したテンプレート画像のカードのタイプ特定，SURF 特徴量・特徴点の抽出と保存を行う．全てのテンプレート画像の特徴量からvisual wordsを 作成し，Bofによるヒストグラムの作成を行い，特定したタイプ別に分類する．また，各テ ンプレート画像の特徴点と特徴量を抽出し，保存する．その後，動画の各フレームからカー ドの部分だけを抽出し，そのカードのタイプ特定とBofを用いたヒストグラムを作成する． 抽出したカードのタイプと同じテンプレート画像とのヒストグラムを比較し，その類似度が 高い上位20個のテンプレート画像と抽出したカードとの特徴点の位置を比較する．一番類 似度が高いものをテンプレート画像を認識結果とする．

3.3 カードのタイプ特定

3.3

カードのタイプ特定

カードのタイプを特定することで，比較する数を少なくする．図 3.3(左)は裏のカード， 図3.3(中央)は表のカードの一例である．カードの特定には図3.3(右)の黒い比較部分三か 所における画素のHSV値を利用する．中央のカードのタイプ特定領域はカードの横幅 1/6 の正方形領域，左側上下のタイプ領域はカードの縦幅 1/25，横幅 1/3または2/3 部分の 3× 3pixelである． まず，裏表の判別を行う．中央のカードのタイプ特定領域内におけるHSVの各分散値を 計算し，明度の分散値が 20以下の場合を裏のカード，それ以外を表のカードとする．次に 表のカードと判別されたものに対して上下のカードのタイプ特定領域内におけるHSVの各 平均値を求め，表3.2の値より，シンクロまたはエクシーズに当てはまるか調べる．これに 当てはまらない場合は他の7種類のどれに当てはまるのか表3.2より調べ，タイプを特定す る．この時，上下の画素を利用するのは上下の枠の色が違うタイプがあるためである． 表3.2の各値はテンプレート画像のタイプ特定領域内のHSVの値を調べた結果から作成 している．調べた結果，図3.4，図3.5であり，シンクロは彩度に，エクシーズは明度に，そ のほかのタイプは色相に変化が表れている． 図3.3 裏(左)，表の一例(中央)，カードのタイプ特定に利用する画素(右)

3.3 カードのタイプ特定

3.4 ヒストグラムの作成 表3.2 表カードのタイプと色 タイプ 枠の色 シンクロ 彩度40以下 エクシーズ 明度65以下 通常 色相16以下 効果 色相16以上25以下 儀式 色相105以上120以下 融合 色相120以上145以下 色相25以下 ペンデュラム 色相80以上100以下 (上下で色が違うため) 魔法 色相80以上105以下 罠 色相145以上170以下

3.4

ヒストグラムの作成

各テンプレート画像からSURF特徴量を抽出する．抽出した特徴量に対し，kmeans法を 用いてクラスタリングを行い，visual wordsを作成する．この時のクラスタ数は256とし た．作成したvisual wordsをもとに各テンプレート画像の各特徴量からヒストグラムを作 成する．また，動画から抽出したカード画像のヒストグラムも同様にvisual wordsをもと に作成する．

3.5 各テンプレート画像のSURFの特徴点と特徴量の保存

3.5

各テンプレート画像の

SURF

の特徴点と特徴量の保存

3.8節で利用するテンプレート画像のSURF特徴点と特徴量を抽出し，保存しておく．こ の時，テンプレート画像において，カードの上下部にある文字部分は似た特徴量を持つため 除外する．図 3.6(左)のようなテンプレート画像を図3.6(中央)のように上部はカードの縦 幅1/7部分を，下部はカードの縦幅2/7部分を白に塗りつぶし，特徴点が出ないようにし， 特徴点と特徴量を抽出し，保存する．また，動画内では対戦が対面して行われるため，カー ドがテンプレート画像に対して180度回転したカードが提示される場合がある．そのため， 図3.6左のようにテンプレート画像を180度回転したものに対しても同様に特徴点と特徴量 を抽出し，保存しておく． 図3.6 テンプレート画像例(左)，文字部分を省いた画像(中央)，180度回転させた画像(右)

3.6 カードの抽出

3.6

カードの抽出

動画の各フレームを取り出し，グレースケール画像にし，大津の二値化を用いて図3.7(上 部左)のように二値画像にする．その後、輪郭検出を行い，検出した輪郭を図3.7(上部右) のように直線に近似し，図3.7(下部左)のように一定面積以下かつ，頂点が4つのときに図 3.7(下部中央)のようにその領域を抽出する．このとき，グレースケールする前のフレーム 画像から図3.7(下部右)のように先ほど求めた領域を射影変換を行いテンプレート画像と同 じサイズにリサイズし，抽出する．その後，抽出したカードのSURF特徴量と特徴点を抽 出し，特徴量がない場合は除外する．以下これを抽出カードとする． 図3.7 カード抽出の工程

3.7 ヒストグラムの比較

3.7

ヒストグラムの比較

抽出カードからカードのタイプ特定とヒストグラムの作成を行い，同じタイプであるテン プレート画像のヒストグラムと交差法を用いて比較する．抽出カードのヒストグラムをHa， テンプレート画像のヒストグラムをHbとすると類似度X を式3.1で求める．求めた類似 度の高い上位20個のテンプレート画像をカードの候補とする． X = ∑ iM in(Ha[i], Hb[i])∑ iHa[i] (3.1)

3.8

特徴点の比較

抽出カードの特徴点と20の候補とのSURF特徴点をSURF特徴量の類似度に基づき対 応付けを行う．20の候補の特徴点と特徴量は3.5節で保存しておいたものを利用する．抽出 カードは提示された時に180度回転しているかしていないか判別を行っていないため，3.5 節で行った文字部分を省きは行わず，特徴点と特徴量を抽出する．図3.8のように特徴量も 元に特徴点の対応付けを行い，図3.8(右)のように抽出カードとテンプレート画像を重ねあ わせ，対応付けされた特徴点同士の距離を求める．各テンプレート画像を180度回転させた ものと抽出カードも同様に行う．この距離が小さいものから30個の総和を相違度とし，こ れが一番小さいテンプレート画像を認識結果とする．

第

₄

章

評価実験

本章では, 提案手法の実装・実行環境を述べ, 提案システムの評価実験を行う. 評価実験か ら得られた結果から考察を述べる.

4.1

実装・実装環境

提案手法をpython言語を用いて実装した.また，画像処理を行うためにOpenCVを，機 械学習を行うためにscikit-learnを，数値計算を行うためにnumpyを用いた．

4.2

実験内容

実験内容として，テンプレート画像として用意した370枚からある同じカードのタイプ からランダムに10枚選ぶ．それを机上に一枚提示し，数秒後に戻すを10回繰り返し．選ん だカードすべてを提示した動画を10個タイプ別に撮影する．この時，裏のカードは1種類， 儀式のカードは2種類しかテンプレートにないため，この二つはそれぞれ1枚と2枚提示し た動画とする．各動画に対して本提案システムの認識結果とカードの抽出が正確に行えてい るか評価を行う．さらに，カードのタイプ特定とテンプレートマッチングを用いた比較手法 との認識率の結果を比較する．また，図4.1のカードを提示した動画を撮影し，本提案シス テムである本手法，カードのタイプ特定と特徴点の比較を用いた手法A，カードのタイプ特

4.3 実験結果 時間も含まれる． 図4.1 1フレーム当たりの平均処理時間の比較用動画に用いるカード

4.3

実験結果

4.3.1

カードの抽出結果と認識結果

10個のタイプ別動画でのカードの抽出結果を表4.1に示す．抽出カード数は動画内で抽 出カードとして認識された数を，正抽出数は抽出カード数内で正しくカードが抽出された数 を，誤抽出数は誤って抽出された数を，カード提示フレーム数はカードが手から離れた総フ レーム数を表している．カードが手から離れたフレームほとんどで抽出を行えているが，図 4.2のようにカードに手の影がかかっている場合は抽出を行うことができなかった．誤抽出 は例として図4.3の赤線で囲まれた場所であり，カードを提示する際にできた影と腕の間を 抽出してしまっていた．

4.3 実験結果 表4.1 カードの抽出結果 タイプ 抽出カード数 正抽出数 誤抽出数 カード提示フレーム数 裏 32 32 0 33 シンクロ 278 253 25 254 エクシーズ 279 279 0 288 通常 320 309 11 319 効果 290 278 12 284 儀式 51 51 0 56 融合 298 273 25 287 ペンデュラム 298 273 25 284 魔法 284 267 17 273 罠 277 260 17 266

4.3 実験結果 10個のタイプ動画において正しく抽出されたカードでの認識結果を表4.2に示す．正認 識数は正しいテンプレート画像が認識された数を，誤認識数は正しいテンプレート画像でな いものが認識された数を，認識率は各タイプ動画における認識率を表す．誤認識があった6 個のタイプ動画ののうち，本提案システムのどこで間違いが起こったのかを表 4.7に示す． ヒストグラム比較と特徴点比較での誤認識が起こったカードはすべてホイル加工されている ものであった． 比較手法の認識率の結果と誤認識箇所の結果を表4.4，表 4.5に示す．各動画において， 同じ認識率のものもあるが，エクシーズ，効果，魔法のタイプにおいては本提案システムの ほうが認識率が上であった． 表4.2 本提案システムのカードの認識結果 タイプ 正抽出数 正認識数 誤認識数 認識率(%) 裏 32 32 0 100 シンクロ 253 253 0 100 エクシーズ 279 270 9 96.8 通常 309 242 67 79.3 効果 278 265 43 87.8 儀式 51 51 0 100 融合 280 279 1 99.6 ペンデュラム 306 102 204 43.5 魔法 267 220 47 100 罠 260 260 0 96.1

4.3 実験結果 表4.3 本提案システムのカードの誤認識箇所 タイプ カードのタイプ特定 ヒストグラム比較 特徴点比較 エクシーズ 3 0 6 通常 64 0 0 効果 31 3 0 融合 1 0 0 ペンデュラム 173 0 0 魔法 22 25 0 表4.4 比較手法のカードの認識結果 タイプ 正抽出数 正認識数 誤認識数 認識率(%) 裏 32 32 0 100 シンクロ 253 253 0 100 エクシーズ 279 270 9 96.8 通常 309 242 67 79.3 効果 278 265 43 87.8 儀式 51 51 0 100 融合 280 279 1 99.6 ペンデュラム 306 102 204 43.5 魔法 267 220 47 100

4.3 実験結果 表4.5 比較手法のカードの誤認識箇所 タイプ カードのタイプ特定 テンプレートマッチング エクシーズ 3 26 通常 64 0 効果 31 18 融合 1 0 ペンデュラム 173 0 魔法 22 28 表4.7の結果から，通常と効果のタイプは枠の色が似ているため誤認識していた．このこ とから，二つのタイプを統合することで，認識率の向上が図れるのではないかと考えた．二 つのタイプを統合して本手法を用いた結果が表4.6である． 表4.6 通常と効果のタイプを統合した時の認識結果 手法 正抽出数 正認識数 誤認識数 認識率(%) 本提案システム 587 564 23 96.1 比較手法 587 550 37 98.7

4.3.2

平均処理時間

図4.1のカードを提示した動画での本提案システムと手法A，手法 B，手法 C，手法D でのカードが抽出された1フレーム当たりの平均処理時間を表に示す．この動画においては カードの抽出結果と認識結果に誤りはなかった． 表4.7 カードが抽出された１フレーム当たりの平均処理時間[sec]

4.4 考察

4.4

考察

評価実験の結果，カード抽出の際にカードの提示フレーム数と正抽出数が一致しなかっ た．これは，カードを提示する際に手から離れたとしても手の陰によりうまく輪郭検出を行 うことができなかったと考える．認識結果では，裏，シンクロ，儀式，罠のタイプは誤認識 なく正しいテンプレート画像を認識することができた．しかし，そのほかのタイプでは誤認 識が出てしまい，そのほとんどがカードのタイプ特定を正しく行えていないためであると考 えられる．カードのタイプ特定のHSVの値を再検討する必要がある．また，ペンデュラム タイプは他のタイプに比べ，左右の枠の幅が狭いため，枠の色ではない絵の部分や外枠の黒 い部分がタイプ特定領域に含まれてしまったということも考えられる．タイプ特定領域の再 検討も行う必要がある．ヒストグラムと特徴点の比較時に誤認識してしまう場合はホイル 加工されている光るカードであった．ホイル加工が施されたカードは光の当たり方によって カードの絵が多少が異なってしまう場合がある．これにより，SURFの特徴量と特徴点に変 化が生じてしまったのではないかと考える． カードの平均処理時間は本提案システムが一番平均処理時間が早い．これはカードのタイ プとBofの利用により，処理時間が短縮されたためであると考えられる．今回はテンプレー ト画像数370枚で行った平均処理時間での比較であるが，今後，テンプレート画像が増えた 場合，テンプレート画像の枚数分カードの比較時間が増える．そのため，平均処理時間は図 4.4のようにテンプレート画像枚数に比例して増加していき，式(4.1)から式(4.5)で時間を 表すことができると考え，本手法は式(4.1)，手法Aは式(4.2)，手法Bは式(4.3)，手法C は式(4.4)，手法Dは式(4.5)で表される． X(t) + nH(t) + 20K(t) (4.1) X(t) + nK(t) (4.2)

4.4 考察 各式において X(t)はフレームからカードの抽出とカードのタイプを行う時間，Y (t)はフ レームからのカード抽出時間，H(t)は1枚のヒストグラムと抽出カードのヒストグラム比 較時間，K(t)は1枚のテンプレート画像と抽出カードの特徴点比較時間，T (t)は1枚のテ ンプレート画像と抽出カードのテンプレートマッチング時間であり，nはカードタイプの数， mはテンプレート画像の数を示している．このとき，ヒストグラムの探索時間よりも特徴点 のマッチング時間，テンプレートのマッチング時間が長いため，テンプレート画像が増加す るごとに処理時間の差が生じることが予測される．この点においても本提案システムが優れ ていると考えられる． 図4.4 1フレーム当たりの平均処理時間予想

第

₅

章

まとめ

本論文ではTCG プレイ動画におけるSURF 特徴量を用いたカード認識を行うことで， 対戦中にどのカードが利用されたのか判別するシステムの提案を行った．結果として，カー ドの抽出ではカードの領域を抽出することはできたが，誤抽出として腕とその陰の間の領域 を抽出してしまった．認識結果は裏，シンクロ，儀式，罠のタイプは正確に認識できたが， その他のタイプでは誤認識が起きてしまった．しかし，カードの抽出が行われた1フレーム での平均処理時間は比較した他の手法よりも早い結果となった． 今後の課題としては，動画内のカード抽出の際にカード領域ではない領域である腕と影の 間の領域を抽出しないようにするようカードの抽出のさらなる精度向上を行う必要がある． また，テンプレート画像でのカードのタイプ特定は正しく行われていたが，動画内から抽出 されたカード画像に対しては正しく行われない場合があったため，動画内におけるカードの 抽出とカードのタイプ特定を再度検討する必要がある．さらに，対戦中はカードに手が置か れている場合やカードが重なっている場合があり，そのときにおけるカードの抽出方法の検 討とテンプレート画像をさらに増やした場合の検討を行う必要がある．

謝辞

本研究を行うに当たって，日頃より親切丁寧にご指導，ご助言をいただいた高知工科大学 情報学群 栗原 徹准教授には心より感謝致します．自分が研究で躓いた際には一緒に考え てくださり，的確なアドバイスをいただけ，たくさん助けていただきました．発表練習にお いても休日であるにも関わらず，快く引き受けてくださいました．本当にありがとうござい ました． また，副査としてご指導いただいた同学群 妻鳥 貴彦准教授ならびに吉田 真一准教授に 感謝申し上げます．お忙しい中，快く副査を引き受けていただき，適切かつ鋭いご指導をい ただき，大変勉強になりました． 本研究において，遊戯王OCGのカードを提供していただいた高知工科大学情報学群 コ ンピュータ構成学研究室 斉藤あかねさんに感謝申し上げます．ご協力いただきありがとう ございました． さらに，高知工科大学情報学群 画像情報工学研究室の学部4年生の6名にも大変お世話 になりました．日頃からいくつもの的確なアドバイスや行き詰った時の息抜きなどがあった からこそここまで本研究を行ってくることができました．学部3年生の皆様も助けられまし た．ありがとうございました． 最後に，支えてくれた家族，友人たちにも心から感謝いたします．本当にありがとうござ いました．

参考文献

[1] 岸 健太郎 服部 峻，“TCGプレイ機械可読化のためのテンプレートマッチングに基づ いたカード認識，”信学技報，vol. 115，no. 405，pp. 13-18，2016．

[2] 高橋和希 スタジオ・ダイス/集英社 企画・制作/KONAMI，遊戯王オフィシャルカー

ドゲーム，http://www.yugioh-card.com/japan/．

[3] H.Bay A.Ess T.Tuytelaars and L.Gool，”Supeededup robust features(SURF)”，

Computer Vision and Image Understanding，110，pp. 346-359，2008．

[4] 岡田貴之ら，”コンピュータビジョン最先端ガイド2” ，アドコム・メディア株式会

社，pp. 26-28，2010．

[5] 岡田貴之ら，”コンピュータビジョン最先端ガイド3” ，アドコム・メディア株式会 社，pp. 63-95，2010．