第 4 章 設備メンテナンス作業教育支援装置の開発手法
4.2 作業教育支援装置の構成および開発手法
本装置の外観を図4-1に示す．実習場で使用することを想定してタブレットPCを用 いている．タブレットPCの背面に組込まれているカメラで設備および機材を撮影する．
図4-1 装置の外観
4.2.1 画像認識
入力画像を画像処理することにより，写真に写っている設備および機材を判別する．
画像処理には，テンプレートマッチング[57]を用いる．本装置は照明条件が比較的安定 している実習場において使用することを仮定している．また，設備および機材の自動認 識技術よりも，本装置に表示される設備メンテナンス作業の内容および操作性能を重視 している．そのため，画像認識に関しては計算手順が単純なテンプレートマッチングを 用いる．ただし，カメラで設備および機材を撮影する際には，カメラから被写体までの 距離および方角が撮影の度に変わることが想定される．そのため，テンプレート画像に 対して回転と拡大縮小処理（アフィン変換）を行う．画像認識手順を図4-2に示す．テ ンプレート画像の拡大率をα，回転角度をθ，平行移動量を(u,v)とすれば，アフィン変 換は式(4-1)により表わされる．テンプレート画像内の任意の座標(x,y)は式 (4-1) によ り座標 (x',y') に移る．
) 1 -4 cos (
sin
sin cos
0 0 '
'
v u y
x y
x
51
そして，入力画像に対してテンプレートマッチングを行う．テンプレートマッチング では，式 (4-2) により与えられる輝度値差二乗和を用いる．
) 2 -4 ( ))
' , ' ( ) , ( 1 (
) , (
2
T y x
y v x u f y x n t
R
ただし，記号
T
はテンプレート画像を囲む四角形内の画素の集合，記号nはテンプレー ト画像の画素数，記号 t(x,y) はテンプレート画像の座標 (x,y) の輝度値，f(ux',vy') は入力画像の座標 (ux',vy') の輝度値を表わす．入力画像を走査し，輝度値差二乗 和が最小となる探索位置 (u,v) を求める．この探索をテンプレート画像の回転角度 θ が (0<θ<2π) の範囲，拡大率 α が (0.51.5) の範囲で行う．そして，全てのテン プレート画像の中から入力画像との輝度値差二乗和が最小となるテンプレート画像を 求めることで，入力画像に映っている工具の種類を特定する．図 4-2 画像認識手順
4.2.2 テンプレート画像の分類
テンプレートマッチングに要する処理時間はテンプレート画像の数に比例する．そこ で，設備および機材の判別に要する時間を削減するために，設備メンテナンス作業名毎 にテンプレート画像を予め分類する．本装置により実習場の機材を自動判別する際には，
設備メンテナンス作業名を先に選択することで画像認識に用いるテンプレート画像フ ォルダーを選択できるようにしている．
52
4.2.3 操作性能向上方法
本装置の開発では設備メンテナンス作業の内容を学習するための操作性能を重視し た．そのため，操作性能の評価方法を設定した．設備メンテナンス作業の研修では作業 内容，機材の特性，安全および品質に係わる注意点などを学習する．そして，設備メン テナンス作業には作業手順がある．さらに，作業手順毎に作業能率を高めるための様々 な機材が使われる．従って，本装置の操作画面は，作業手順に従い，文章，写真および 動画により作業内容を表示することを基本とした．また，機材に関しては説明を受ける まで名称および使い方が分からない特殊な機材が多い．そのため，画像認識により工具 名を自動判別できる機能を設けている．機材の使い方が説明されている作業手順のペー ジにリンクを張り，当該機材が判別された後に呼び出せるようにしている．
上記の画面構成は，一般的な Web による各種の申請手続きを行う際にも見られる．
Web画面の操作性能を測定するために，生田目ら[58]および志村ら[59]は視線計測を用 いる方法を提案している．他方，前掲の伊藤ら[56]は Web 画面の操作性能を測定する ためにNE比を用いている．NE比とは初心者（ビギナー）の操作時間を製作者（エキ スパート）の操作時間で除した値で表される．NE比による測定法は視線計測よりも簡 便に画面の操作性能を測定できる．そのため，本論文では，画面の操作性能の測定にNE 比を用いた．Web画面の設計では，NE比を2.0以下に抑えることが推奨される．また，
NE比が4.5以上になる場合には，重大な問題が潜んでいると判定される．
53