時系列画像集合の類似度に基づいた外観変化の検知手法の検討

(1)

時系列画像集合の類似度に基づいた

外観変化の検知手法の検討

A Method for Detecting Appearance Changes

based on Similarities between Time-Series Image Datasets

松岡未紗

鷹野孝典

Misa Matsuoka

Kosuke Takano

神奈川工科大学情報学部情報工学科

Department of Information and Computer Sciences, Faculty of Information Technology

Kanagawa Institute of Technology

Abstract: This paper presents about a method for detecting appearance changes based on similarities

between time-series image datasets. The feature of the proposed method is to calculate similarities between image datasets that consist of images taken in different time period, respectively, where whole similarity values between images included in one image dataset and images in other image dataset are summarized. This feature of our method reduces the effect from differences of direction, angle, and lighting of objects in each image taken in a different photographing situation, so that our method can detect changes of the appearance more accurately than a conventional method, where a single image is input for the similarity calculation. Experimental results using Japanese papers with colored figures show the feasibility of our proposed method in detecting small changes of appearance of target objects.

1 はじめに

飼育経験のない人にとって観賞魚の病気の早期発見は困難である．その理由としては，観賞魚が小さいために，病気の時に現れる外観や動きの変化に気づきにくい，犬や猫と異なり鳴かないため気づきにくいことなどが挙げられる．観賞魚の外観の変化に着目して病気判定する場合，画像認識技術を適用することが可能である．しかし，数十匹単位で飼育している観賞魚の中から，各々の魚の外観の変化を見るためには，まず同一の魚を特定する必要がある．また，固定カメラで撮影した場合，必ずしも観賞魚の特徴点や変化点が鮮明に映る理想的なデータが取れるとは限らないため，単体の撮影画像を入力しただけでは，判定材料が少ないため正確な外観変化の検出が困難である．さらに，観賞魚の外観変化から病気判定する場合は，植物の病気判定[1][2]と違い，個体別の模様を考慮する必要がある．しかし，観賞魚の模様は色彩に富んでいるため，病気の兆候である模様と観賞魚自身の模様を区別して判別することが困難である．本研究では，観賞魚の個体画像集合を時系列で分類し，画像集合間類似度の差分を変化値として捉えることにより，外観変化を検知する方式を提案する．提案手法の特徴は，ある時間区間において撮影された画像集合に含まれる各画像について，異なる時間区間に撮影された画像集合に含まれる全画像との類似度を算出・集計することにより，異なる時間区間に撮影された画像集合間の類似度を算出する点にある．これにより提案方式では，異なる時間区間において撮影された単体画像を対象とした場合よりも，画像撮影時の対象物の向き，角度，光の加減等の影響を軽減して，対象とする観賞魚の外観変化の検知が可能となる．本研究では，模様の豊富な千代紙を熱帯魚の外観と捉えて利用した実験により，提案手法の実現可能性を検証する．

2 研究動機

観賞魚は養殖技術の発展により環境適応能力が強まり，飼育経験が豊富でない人でもペットとして飼育が可能となっている．しかし，水温や水質の変化によるストレスに弱いため，日々面倒を見ないと病気になりやすい．また観賞魚の病気は感染性が強いため，健康な観賞魚と発病している観賞魚の水槽を別にするといった対策が必要となる場合も多い．人工知能学会研究会資料 SIG-KBS-B508-06

(2)

観賞魚の病気の症状の例としては，体に寄生虫や白いカビが付着する白点病（図 1 B）や，尾ひれや背びれが溶けたりボロボロに破れたりする尾腐れ病（図 1 C）など様々あるが，このような病気の症状は，熱帯魚の外観の変化として現れやすい．また，カメラの小型・高性能化に伴い，カメラ画像を用いた監視システムの構築が容易になっている．このため，固定カメラで撮影した熱帯魚画像を対象とした，画像認識技術の適用による外観変化の検知手法が観賞魚の病気の早期発見に有用であると考えた． A. 健康 B. 白点病 C. 尾腐れ病 図 1 観賞魚の病気の症状例

3 関連研究

画像認識分野において，植物の病気判定[1][2]や特徴点[4]に関する研究が行われている．文献[1]では，形状・色が似ている 3 つのイネ病気に対して，色及び形状の特徴変数と 6 種類の判別分析法の性能との関係について検討し，SVM の判別精度が有効であることを示した．また，文献[2]では，葉に黄色の斑点がモザイク状に生じることや緑色で濃淡のあるモザイク模様を作って葉が変形する症状は，葉領域における画像濃度面の起伏の複雑さという特徴を抽出することができ，このような特徴に対してはフラクタル次元が有効な特徴量であることを示した．病気判定以外を対象とした画像認識に関する研究も数多く行われている．文献[4]では， 97 種類あるベルマークのラベルを番号と点数の 2 つにすることにより番号ラベルを 29 種類，点数ラベルを 6 種類にまで減らすことができ，ベルマーク識別の正答率の向上が可能であることを示した．さらに，回転・スケールの変化・欠損に対して SURF 特徴が有効であることを示した．

4 提案方式

提案手法は，画像認識技術を用いた個体の識別機能と，画像集合の類似度スコアに基づいた個体の外観変化の検知機能の 2 つの機能より構成される． 3.1 個体の識別機能 個体数が n である生き物の個体 Ox (1≦x≦n)の識 別は，以下の手順で行う（図 2）．ここで，各個体 Ox を対象として，ある一定期間 d 毎に任意の枚数の写 真を撮影するものとし，各期間を時系列に沿って並 べたとき，時間の古いものから順に d0, d1, d3, …, dtと する．また，期間 dtにおける個体 Oxについての画像 集合を Ix(t)のように表記する． 図 2 個体の識別機能 Step-1: 各個体 Oxについて N0x枚の画像からなる初 期画像集合 Ix(0)を用意する． Step-2: 期間 d1においてある個体 q を撮影した画像 Iqに対して，初期画像集合 Ix(0)に対する類似度スコ ア Sxを算出する． Step-3: 画像 Iqに対して最も類似度スコア Sxが高く，かつしきい値θ1を超えた画像集合 Ix(0)が存在した 場合，画像 Iqに写っている個体 q を個体 Oxと判定し，画像 Iqを Ix(0)に加える．存在しなかった場合は， 画像 Iqは削除される． Step-4: 同様に，期間 dtにおいてある個体 q を撮影し た画像 Iqに対して，最も類似度スコアが高く，かつしきい値θ1を超えた画像集合 Ix(t-1)*が存在した場 合，画像 Iqに写っている個体 q を個体 Oxと判定し， 画像 Iqを Ix(t)に加える． ここで，画像集合 Ix(t-1)*は，期間 dt-1までに抽出 された画像集合 Ixの和集合である．画像の和集合を用いるのは，分類された個体の画像を学習データとして追加していくことで，個体の概観変化により識別の精度が低下する可能性を最小限にすることが目的である． 個体q画像Iq 類似度スコアSxを算出 画像集合Ix(t-1) 初期画像集合Ix(0) 画像Iqを画像集合Ix(t)に追加 差分δx(tp, tq) > しきい値θ2 False 画像Iqを削除 True 以降，これを繰り返し， Ix(0)～Ix(t-1)の画像集合を 学習データとして，個体q を識別する学習データセット

+

(3)

𝐼𝑥(𝑡 − 1)∗= ∑ 𝐼𝑥 𝑡−1 𝑙=1 (𝑙) 以降，これを繰り返し，Ix(0)～Ix(t-1)の画像集合を 学習データとして，画像 Iqに写っている個体 q を識 別する． 3.2 外観変化の検知機能次に，画像集合の類似度スコアに基づいた個体の外観変化の検知には，下記の手順で行う（図 3）．初 期画像集合 Ix(0)と識別する画像集合 Ix(t)について， Ix(0)は N0x枚の画像を含み，Ix(t)は Ntx枚の画像を含 むものとする．また，Ix(0)の k 番目の画像を ix(0, k)， Ix(t)の l 番目の画像を ix(t, l)とする (1≦k≦N0x, 1≦l ≦Ntx)． Step-1: 初期画像集合 Ix(0)と識別する画像集合 Ix(t)の 類似度スコア Ux(0, t)を算出する． 𝑈𝑥(0, 𝑡) = ∑ ∑ 𝑠𝑖𝑚(𝑖𝑥(0, 𝑘), 𝑖𝑥(𝑡, 𝑙)) 𝑁𝑡_𝑥 𝑙 𝑁0_𝑥 𝑘=1 ここで，従来の手法では，多数の画像から学習した正解データと，類似度を算出したい画像 1 枚を比較していたのに対して，提案手法では類似度を算出したい画像を複数枚用意し，画像集合間の類似度を比較することにより（図 4），対象物の向き，角度，撮影時の光の加減等の影響を減らすことが目的である． Step-2: 画像集合 Ix(tp)と画像集合 Ix(tq)の変化を検出するために，初期画像集合との類似度スコアの差分 δx (tp, tq)を算出する． δx (tp, tq) = Ux(0, tp) - Ux(0, tq) 例えば，時系列的に隣り合った画像集合 Ix(t-1)と 画像集合 Ix(t)の変化を検出するためには， δx (t-1, t) = Ux(0, t-1) - Ux(0, t) を計算する． Step-3: 時系列的に一つ前の画像集合からの変化δx (t-1, t) がしきい値θ2を超えた場合，または初期画像集合からの変化δx (0, t)がしきい値θ3を超えた場合に，個体の外観に大きな変化があったとして検出する． 図 3 外観変化の検知機能 図 4 画像集合間の類似度算出

5 実験

千代紙の柄を観賞魚の模様に見立て，加工を何も施さなかったものを健康，一部を切り取ったものを尾腐れ病，表面の一部に白点を加えたものを白点病とした画像認識実験により提案方式の実現可能性を検証する．

5.1 実験 1

5.1.1 実験目的観賞魚の画像を用いて病気判定をする場合，症状を発生している観賞魚の画像データを学習データとして用意する必要がある．この場合，症状の発生していない観賞魚に対しては，外観の模様が似ている 初期画像集合Ix(0) 識別する画像集合Ix(t) 類似度スコアUx(0, t)を算出 外観変化検出類似度スコアの差分δx(tp, tq)を算出 δx(t-1, t) > しきい値θ2 True False 外観変化なし差分δx(0, t) > しきい値θ3 False True ix(0, 1) ・・・・・・ i_x(0, 2) ix(0, 3) i_x(0, N0_x) ix(t, 1) i_x(t, 2) ix(t, 3) i_x(t, Nt_x) + + ・・・ + + =

(4)

観賞魚から，症状が発生しているものの画像を学習データとして適用することが考えられる．しかし，観賞魚の模様は多様であるため，例えば，白点病など模様と区別のつかない外観変化に対して，異なる模様の外観である観賞魚の白点病画像から，着目している観賞魚の白点病の検知が可能であるかは明らかではない．本実験では，異なる模様の画像データを病気を表す学習データとして代用した場合，着目している画像データの外観変化の検知が可能であるか検証する． 5.1.2 実験方法似た柄の千代紙 2 種類を 1 組として，4 組を用意した（図 5）．各組について，2 種類の千代紙を角度や向きを変えて 20 枚ずつ撮影することにより画像データを作成した．また，千代紙の組において，それぞれの柄を柄 1，柄 2 とし，各柄において，何も加工を施さない場合を「健康」，小さい白点を付与したものを「白点病」と定義した．本実験では，まず，柄 1（健康）の画像データと柄 2（白点病）の画像データを学習データとしたときに，柄 1（白点）と柄 2（健康）の画像データが，「健康」と「白点病」のどちらに分類されるかの確認を行う．これを 4 組全てに行うことにより，似ているが異なる模様のデータ画像を病気を表す学習データとして代用した場合に，着目している画像データの外観変化の検知が可能であるかを検証する．柄 1 柄 2 柄 3 柄 4 組み合わせ 1 組み合わせ 2 柄 5 柄 6 柄 7 柄 8 組み合わせ 3 組み合わせ 4 図 5 実験 1 画像データ例 5.1.3 実験結果実験結果において，4 組の千代紙の組み合わせについて，全ての入力画像データが，白点病の模様があるなしにかかわらず，観賞魚自体の模様をもつ画像データに分類される結果となった．この結果は，異なる模様の画像データを病気を表す学習データとして代用した場合，着目しているデータ画像の外観変化の検知が困難であることを示している．

5.2 実験 2

5.2.1 実験目的本実験では，提案方式を適用することにより，時系列画像集合間の類似度の差分から，着目している画像データの外観変化の検知が可能であるか検証する． 5.2.2 実験方法柄の異なる 4 種類の千代紙を観賞魚の個体 A, B, C, D と見立てて用意した（図 6）．また，各個体について，何も加工を施さない場合を「健康」，小さい白点を付与したものを「白点病」，一部切り取ったものを「尾腐れ病」と定義した．尾腐れ病・白点病の画像データは，時系列が進むごとに病気が進行していくことを想定し，健康な状態を表す 0 日目(Day0)に加えて，1 日目(Day1)，2 日目(Day2)，3 日目(Day3)，4 日目(Day4)，5 日目(Day5) の 6 種類の画像データ集合を用意した（表 1）． Day1 ～Day3 の時間区間において，個体 A の白点病が進行したことを想定した画像データの例を図 7 に示す．

個体 A 個体 B 個体 C 個体 D 図 6 個体 A，B，C，D の画像データ例

Day1 Day2 Day3 図 7 個体 A における画像の変化（白点病） 本実験では，個体 A～個体 D の画像データを対象として，次の 3 つの場合において，画像データあるいは画像データ集合間の類似度の差分により外観変化の検知が可能であるかを比較・考察する．なお，画像データからの特徴抽出のために，色の空間配置に基づく単純なイメージを特徴のタイプとして bag of features を作成した．  提案方式: 4 章で示した提案方式に従って画像データ集合間の類似度スコアを算出する．

(5)

 比較方式: 画像データ単体間の類似度スコアを算出する．ただし，入力画像データに対して，比較対象となる画像データをランダムで 3 回選ぶものとする． 表 1 個体 A，B，C，D の画像データ概要 症状時間区間画像上の状態画像枚数健康 Day0 加工なし 50 枚尾腐れ病 Day1 一部切り取り（1mm） 50 枚 Day2 一部切り取り（2mm） 50 枚 Day3 一部切り取り（3mm） 50 枚 Day4 一部切り取り（4mm） 50 枚 Day5 一部切り取り（5mm） 50 枚白点病 Day1 小さい白点（1mmφ） 50 枚 Day2 小さい白点（3mmφ） 50 枚 Day3 小さい白点（5mmφ） 50 枚 Day4 小さい白点（7mmφ） 50 枚 Day5 小さい白点（9mmφ） 50 枚 5.2.3 実験結果と考察個体 A と個体 D について，提案方式の実験結果を図 8～11 に示す．同様に個体 A と個体 D について，比較方式の実験結果を図 12～15 に示す．図中の各グラフにおいて，横軸は Day0～Day5 のまでの時間区間，縦軸は健康状態のデータ画像集合（または単体）と病気症状のある状態のデータ画像集合（または単体）の類似度スコアを表している．まず，提案方式の結果について，個体 A では，尾腐れ病，白点病の結果ともに，Day0，Day1，Day2， …，Day5 と時間区間が変化するにつれて，画像集合類似スコアが小さくなっている．これは，病気の症状を表す画像加工の度合が増すにつれ，「健康」状態の画像データとの類似度が小さくなっていることを意味しており，時間の経過につれ病気が進行している様子を捉えた結果であると解釈することができる．特に，Day0 と Day1 間の画像集合類似スコアが大きく減少しているため，Day1 での病気症状の発見が可能であると考えられる．個体 D の結果については，尾腐れ病の Day3，および白点病の Day1 について，「健康」状態の画像データとの類似度の差が極端に大きくなる結果となっているが，概ね病気の進行具合に応じて「健康」の画像データとの類似度が小さくなっていると捉えることができる．また，個体 D の結果からも，Day0 と Day1 間の画像集合類似スコアが大きく減少しているため，Day1 での病気症状の発見が可能であると考えられる．一方，比較方式の結果については，「健康」状態の画像データとの類似度スコアが振動しており，必ずしも時間の経過につれ病気が進行している様子を捉えた結果とはなっていないことがわかる．また，Day0 と Day1，Day2 間の画像集合類似スコアも必ずしも減少しているとは限らないため，Day1 や Day2 での病気症状の発見は困難な場合があると考えられる．以上の結果より，単体の画像データ間の類似度を算出する場合よりも，提案方式を適用することにより，時系列画像集合間の類似度の差分から，着目している画像データの外観変化の検知が可能であることが確認できた． 図 8 提案方式の結果（個体 A，尾腐れ病） 図 9 提案方式の結果（個体 A，白点病） 図 10 提案方式の結果（個体 D，尾腐れ病） 40 50 60 70 80

Day0 Day1 Day2 Day3 Day4 Day5

画像集合類似スコア時間区間 40 50 60 70 80

画像集合類似スコア時間区間 40 45 50 55 60 65 70

画像集合類似スコア

(6)

図 11 提案方式の結果（個体 D，白点病） 図 12 比較方式の結果（個体 A，尾腐れ病） 図 13 比較方式の結果（個体 A，白点病） 図 14 比較方式の結果（個体 D，尾腐れ病） 図 15 比較方式の結果（個体 D，白点病）

6 まとめ

本研究では，観賞魚の個体画像を時系列で分類し，画像類似度の差分を変化値として捉え，外観変化を検知する方式を提案した．実験により，単体の画像データ間の類似度を算出する場合よりも，提案方式の適用により系列画像集合間の類似度の差分から，着目している画像データの外観変化の検知が可能であることが確認できた．今後の課題として，提案手法が外観の模様の種類に依存せずに，病気の症状を検知可能であることを確認するために，より多くの種類の模様の画像データを用いた実験を行っていく予定である．また，今回の実験では観賞魚の画像データの収集が困難であったため，模様の豊富な千代紙を熱帯魚の外観と捉えて画像データを作成した．今後は，水中の観賞魚を固定カメラで監視する装置を構築するとともに，実際の観賞魚の画像データを用いた実験により，提案手法の有用性を検証していきたい．

参考文献

[１] マハルジャンガウリ，高橋照夫，張樹槐: 画像特徴を利用したイネ病気の判別・分類, 農業機械学会誌, Vol. 72, No. 4, pp. 339-348, (2010) [２] 小川秀夫，石黒葵: 画像処理によるキュウリの葉の病気診断, 愛知教育大学研究報告. 自然科学編, Vol. 60, pp. 29-33, (2011) [３] 大島凌，森重功一: 画像処理を用いた写像性に基づいた研磨面の評価, 精密工学会学術講演会講演論文集, pp. 165-166, (2016) [４] 吉永大輝，小早川倫広: ベルマークの識別手法の提案, 全国大会講演論文集, Vol. 76, No. 1, pp. 207-208, (2014) 40 45 50 55 60 65 70

画像集合類似スコア時間区間 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35

1回目 2回目 3回目 0 0.05 0.1 0.15 0.2

1回目 2回目 3回目 0 0.02 0.04 0.06 0.08

1回目 2回目 3回目 0 0.02 0.04 0.06 0.08 0.1

時系列画像集合の類似度に基づいた外観変化の検知手法の検討