提案方法

3.2.1 設備保全作業教育支援システムの概要

本方法は，作業者が多様な機械設備，特殊工具の使用方法，および保守点検作業内容 に関する知識を実際の作業を行いながら修得することができることを目的としている．

これまでに画像処理技術を用いて工具などの対象物をテンプレートマッチングにより 自動認識し，工具の使用方法を説明するための作業手順書がタブレットPC^の画面上 に表示されるシステムを開発している[77]^．図3.1に該当システムが使用されている 様子を示す．また，図3.2^にPCの画面に表示される作業手順書を例示している．タ ブレットPCを用いて工具，撮影される，得られた画像に対し，テンプレートマッチ ングを用いて工具を識別し，工具の使用方法が文章，図および動画により説明される．

従来方法ではテンプレートマッチング処理がSSD(Sum of Squared Difference)^法に より行われている．SSD 法は計算アルゴリズムが単純であるため，ソフトウェア開発 および実装が容易である．しかし，SSD法は計算量が多く処理時間が長いという実用 上の問題がある．そこで，提案方法では処理時間を短縮するためにSURF(Speed Up

Robust Feature)^法 [78]を用いる．作業の進捗状況を判別する機能を以下の方法によ

図3.1 教育支援システムの起動画面

図3.2 作業手順書例

り実現する．

3.2.2 作業進捗状況の判定

設備保全作業手順を複数の工程に分ける．また，工程毎に予めテンプレート画像を 用意する．そして，作業の進捗に応じて撮影される画像とテンプレート画像のキーポ イントの検出および照合をSURF^{法により行う．}SURF法によりキーポイントが検出

図3.3 検出キーポイント例

される．キーポイントの特徴量がテンプレート画像と入力画像とで類似している点が 一致キーポイントとして選出される．設備(^対象)^の領域外(背景に写った人や工具な ど)で検出された一致キーポイントを外れ値として除外することで作業の進捗判定制度 を高める．図3.3^にSURF法により検出キーポイントの例を示している．各キーポイ ントは64次元ベクトルの特徴量により表される．これらの特徴量は，画像のスケール や外部環境の影響を受けないことが知られている．入力画像とテンプレート画像の両 方のキーポイントは，64次元ベクトルの特徴量に基づいて比較される．両方の画像に おける同じ特徴量のキーポイントが対応付けられ，一致するキーポイントが求められ る．一致するキーポイントの数が最大となるテンプレートが選ばれ，選ばれたテンプ レートの番号から作業の進捗(^工程番号)^{が判定される．}

 SURF^法はSSD 法に比べて，入力画像中とテンプレート画像中の対象物のサイズ のズレおよびカメラ光軸回りの回転の角度のズレに対してより頑健であることが知ら れている．しかし，設備保全作業現場には，テンプレートマッチングの認識精度に影 響を及ぼす他の要因がある．具体的には機械設備の保全作業は複数の作業員により行 われる．そのため，機械設備を撮影する際に背景に工具や人影などテンプレート画像 撮影時には映っていない物体が入ることがある．従来のSURF^{法では撮影された画像} 内のキーポイントの全てを用いてテンプレートマッチングが行われる．工具や人影な どの対象物以外の領域にあるキーポイントがテンプレートマッチングに用いられるこ とで，対象物(^作業進捗)の判定精度が低下する．そこで，対象物以外の領域で検出さ れるキーポイントを外れ値とし，テンプレートマッチングの候補点から除外する方法 を提案する．また，テンプレートマッチング後に作業ミスを作業者に提示する方法も 提案する．はじめに一致キーポイントの外れ値を除外する方法を述べる．

(1)^{外れ値の除外方法}

SURF によリ入力画像とテンプレート画像の両方において類似した特徴量を持つ キーポイントを検出する．入力画像およびテンプレート画像において検出された一致 キーポイントの座標を次のように表す．

入力画像のキーポイント： p¹_k = (ik, jk),(k = 1,2,^…, n) テンプレート画像のキーポイント： p²_k = (uk, vk)

入力画像とテンプレート画像とで一致したキーポイントの座標間距離L_k^{を求める．}

Lk =

√

（ik−uk)²+ (jk−vk)² (3.1)  全ての座標間距離Lkに対して平均値Laveを求める．

L_ave = Σⁿ_k=1L_k

n (3.2)

 さらに，L_k^{の標準偏差}σ ^{を求める．}

σ = vu ut1

n

∑n k=1

(Lk−Lave)² (3.3)

 次に，工程管理の考え方法を参考にして一致キーポイントの外れ値を除外する基準 を次式により設定する．

R=α·σ (3.4)

 座標間距離(L_k−L_ave)^が閾値R以上となるキーポイントを除去する．係数α^の値 が１より大きいほど除外されるべきキーポイントがテンプレートマッチングに用いら れる危険性が増加する．係数αが１より小さいほど本来はテンプレートマッチングに 使用されるべきキーポイントが誤って除外される危険性が高まる．そのため，係数α は実際に装置を作業現場で使用し，実状に合わせて調整されるものとする．これによ り，座標間距離の離れた一致キーポイントをテンプレートマッチングの対象から除外 する．