群馬大学大学院理工学府 理工学専攻 電子情報・数理教育プログラム 修士論文梗概集 平成 30 年度
主査 弓仲康史 教授 副査 三輪空司 教授 伊藤直史 准教授
フラットベッドスキャン画像を用いた配線パターン不良判別自動化の試み
An attempt to automatize failure detection in wiring pattern using flatbed scanner image
伊藤直史研究室 内田隆太（Ryuta Uchida）
Process of product inspection which distinguishes between good and no-good is indispensable for certification of product quality. In industry, automatized visual inspection using CCD camera images is widely utilized, however, manual inspection is still also used to deal with the rapid growing of product diversity and inspection complexity. In this study, an automatize failure detection in wiring pattern on a sheet-like product using flatbed scanner images is attempted. We experimentally estimated dimensional accuracy of flatbed scanner image and confirmed that candidates for failure part can be successfully detected from difference image between reference product and product under inspection.
Keywords : Image Inspection，Pattern Recognition，Flatbed Scanner
はじめに 本稿では、フラットベッドスキャナを用いた不良判別自動化システムの構築を目的とする。民生のフラ ットベッドスキャナを使用したため、精度評価を行う必要がある。手法としてグリッド パターンを用いた あてはめのアルゴリズムモデルを構築し、光学的な歪を補正する。さらに、OpenCV などの画像処理ライ ブラリを利用した不良判別自動化システムの開発に着手し、不良個所の候補検出自動化を試みた。 結果および考察 今回の実験で使用するフラットベッドスキャナは EPSON 社製 GT-X980 を使用した。スキャナの幾何精 度を調べるため、グリッドパターンを用いたあてはめのアルゴリズムを使用してスキャナの精度評価をし た。あてはめのアルゴリズムによりスキャナ画像の補正は可能であったが、全体が一様に歪んでいたため 今回用いた差画像という不良検出手法では正解画像を同様に歪ませれば補正の必要がないということが確 認できた。 図 1 に今回行った不良判別処理の流れを示す。まず、取り込んだカラー画像を画像処理しやすいように、 グレースケール処理、2 値化処理を行った。今回の検査対象物は特徴的な配色をしているため HSV 変換の H 成分を用いてグレースケール画像を作り出した。そのグレースケール画像から不良判別できる閾値を目 視で設定し二値化した。スキャナで画像を取得する際に回転や並行移動などのズレが発生するので、その ズレを補正する位置合わせを行う．位置合わせには二点間の位置情報が 必要である。左上と右上の製品の位置座標をテンプレートマッチング使 用して求めた。次に検査対象はシート上に数百個存在するので 1 個ごと に評価するためにテンプレートマッチングで製品画像を切り分けた。最 後に不良個所を抽出するために正解画像との XOR 処理を行うことによ り差画像による欠陥検出を作り出した。この正解画像は良品製品にもば らつきがあること、幾何補正の必要を考慮し、スキャナ画像で撮影した 複数枚の良品画像から平均を取ることで設定した。 これより差画像を用いた欠陥抽出を行ったが、配線パターンの境界が 浮き出でしまった。これは金属の光沢による 2 値化過程におけるズレが 原因だと考えられる。この問題を解決するためにモルフォロジー変換を 利用したズレの許容手法を提案した。モルフォロジー変換により正解画 像を膨張および縮小画像を作り出す。膨張画像と反転した製品画像の and 処理より出っ張りなどの配線パターン外の欠陥抽出、反転した縮小 画像と製品画像の and 処理より断線などの配線パターン内の不良検出が 可能となる。起伏の大きい不良は全て検出できたが、蛇行などの起伏が 小さい不良はモルフォロジー許容内に不良個所が入ってしまうという問 題があった。本研究では、スキャナ画像の幾何補正の必要性について確 認し、ズレを許容した配線欠陥抽出を説明することができた。
平成
30
年度修士論文
フラットベッドスキャナ画像を用いた
配線パターン不良判別自動化の試み
指導教員 伊藤直史 准教授
群馬大学大学院理工学府 理工学専攻
電子情報・数理教育プログラム
内田 隆太
目 次
第 1 章 序論 3 1.1 研究背景 . . . . 3 1.2 研究の目的 . . . . 4 1.3 本論文の構成 . . . . 4 第 2 章 実験機器 5 2.1 撮像対象 . . . . 5 2.2 フラットベッドスキャナの仕様 . . . . 5 2.3 撮像方法 . . . . 6 第 3 章 スキャナ画像の幾何精度評価 10 3.1 光学補正用グリッドパターン . . . . 10 3.2 モデル格子のフィッテイング . . . 11 3.3 あてはめのアルゴリズム . . . 11 3.4 精度評価 . . . 14 第 4 章 画像処理の概要 17 4.1 画像処理の流れ . . . 17 4.2 位置合わせ . . . . 18 4.3 製品ごとの区分け . . . 18 4.4 差画像 . . . 19 第 5 章 画像処理の詳細と結果 21 5.1 位置合わせ . . . . 21 5.2 製品ごとの区分け . . . 23 5.3 差画像 . . . 24 第 6 章 ズレを考慮した処理 27 6.1 モルフォロジー変換 . . . . 27 6.2 膨張縮小処理 . . . 27 6.3 ズレを許容した処理 . . . . 28 6.4 ズレを許容した結果 . . . . 29第 7 章 不良判別まとめ 33 7.1 不良判別結果 . . . 33 7.2 処理時間 . . . 34 第 8 章 まとめ 36 8.1 結論 . . . 36 8.2 今後の課題 . . . . 36 謝辞 37 参考文献 39
第
1
章 序論
§ 1.1
研究背景
産業界において，製品が良品か否かを確認するための検査工程は必要不可欠で ある．近年は自動化が進んでいるが一方，製品の多様性や検査の複雑化のため，人 手による目視検査が未だに用いられているという実情がある．しかし，人の目に よる検査は時間がかかり生産コスト上昇を招くほか，検査者の主観的な判断に依 存するので定量性が保証されないなどのデメリットが大きい．このため，これま で自動化されていない検査についても自動化を推し進め，定量的に不良判別を行 い，品質の均一化やコスト削減を図ることが急務となっている [1]．製品の外観検 査においては，CCD カメラで取り込んだ画像による検査の自動化が産業界で用い られているが，検査に使用されるような CCD カメラは高価格であり，撮影条件な ど条件設定が難しいなどの問題がある． 本研究で検査対象とするのは，複雑で微細な配線パターンをもつシート状の製 品である．欠陥には正規の配線パターンからの余剰な出っ張り，不足している欠 けや断線，両方の特徴を持つ蛇行不良などの様々な形態がある． 本研究では，検査対象の画像取得にフラットベッドスキャナを用いる．フラッ トベッドスキャナは最も一般的で広く普及しているスキャナであり，透明な原稿 台の上に撮像対象を固定して，下から光を照射し，反射光を読み取るタイプもの である．検査対象の全体の寸法は約 100×270mm，配線パターンの最小配線幅は 0.05mmである．フラットベッドスキャナならば製品全体画像を得ることができ，分 解能6400dpi（1 画素の大きさ 0.0039mm）で画像を取得した場合，最小幅の配線で も約 13 画素の線幅で取得できるので，検査機器として適していると考えられる． また，画像入力装置として，光学系の調整や校正なしに寸法を精度良く得ることが できるのは CCD カメラに対する利点となる．その他，フラッドベッドスキャナを 用いる利点としては，高解像度のカメラなどに比べて安価かつ簡便であることが 挙げられる．このことは，検査工程のコスト低減に大きく寄与すると考えられる． 以上より，検査対象がシート状かつスキャナ内に収まる大きさであれば安価で 撮影条件の不要なフラットベッドスキャナを検査に用いることで低コストかつ簡 便に検査が実現できるのではと考えられる．§ 1.2
研究の目的
本研究では民生のフラットベッドスキャナを使用しているため，取得した画像 が十分な幾何精度を評価して用いることが必要である [2]．また長い検査時間は製 品のコスト増に継がるため，高速な欠陥検出と不良判別のアルゴリズムを開発す ることも重要である． 本稿では，フラットベッドスキャナを用いた不良判別自動化システムの構築を 目的とする．フラットベッドスキャナの精度評価を行うための手法として，グリッ ドを撮像した画像から格子点の座標を抽出し，光学的な歪のモデルにあてはめる アルゴリズムを構築し，必要であればモデルを用いて光学的な歪を補正する．さ らに，OpenCV などの画像処理ライブラリを利用した不良判別自動化システムの 開発に着手し，不良個所の候補を検出の自動化を試みた．§ 1.3
本論文の構成
第 2 章では，検査対象や欠陥の種類，用いたフラットベッドスキャナ，撮像方法 について説明する．第 3 章では，フラットベッドスキャナの精度評価について説 明する．第 4 章では，画像処理について説明する．第 5 章では，画像処理の結果と 得られた結果の評価を行う．第 6 章では，ズレを考慮した結果と得られた結果の 評価を行う．第 7 章では，不良判別結果の評価を行う．最後に第 8 章でまとめと今 後の課題について述べる．第
2
章 実験機器
§ 2.1
撮像対象
本稿の検査対象はシート上にある配線パターンである。このシートの大きさは およそ縦 100mm×横 270mm であり，同一形状の金属の配線パターンが赤色の絶 縁シート上に格子状に数百個配置されている．§ 2.2
フラットベッドスキャナの仕様
今回の実験で使用するフラットベッドスキャナは，図 2.3 に示す EPSON 社製 GT-X980 である．大きさは 308×503×152.5mmと一般的なスキャナと変わりなく，価 格も 65000 円程度の安価なものである．フラットベッドスキャナの特徴として外 光も遮断できるため、安定して精度の高いスキャンが可能である． 仕様を表 2.1 に示す．表 2.1 からスキャナは測定対象物を高解像度で取得するの に適している．スキャナに接続した PC で添付ソフトウェア（EPSON Scan）を 使用して，スキャナの制御および画像取得を行った．取得した画像は BMP 形式で 保存した．スキャナをエピソンダイレクト社製 Endeavor Pro5800（CPU：インテ ル Core i7-7700K プロセッサー）に接続し，同コンピュータで画像の取り込み制 御と画像処理を行った．OS には Windows 10 Pro 64bit（マイクロソフト社製）で ある．撮像した画像の処理は OS は RPM 系 Linux ディストリビューションである Fedora25，ソフトウェアは画像処理ライブラリである OpenCV で行った．表 2.1 フラットベッドスキャナの仕様 （EPSON GT-X980） 項目 値 読み取り速度 最大 3.1msec/line（600dpi） 最小 10.8msec/line（4,800dpi） 最大解像度 12800dpi 最大有効領域 216×297mm 走査方式 読み取りヘッド移動型原稿固定 読み取り 光源 白色 LED 搭載センサー α-Hyper CCD II オンチップ マイクロレンズ付 6 ラインカラー CCD（R/G/B×2 ライン）
§ 2.3
撮像方法
表 2.2 にスキャナの分解能を最小線幅画素数，データサイズ，撮影時間の関係を 示す．6400dpi から取得時間は変わらないので，最大分解能である 12800dpi が最 も不良判別処理に適していると思われる．しかし一度に撮影できる画素数は決まっ ているので高解像度では何回かに分けて撮影を行わなくてはならず，撮影時間が 長くなってしまう．また，1 枚のシートの画像容量が数十 GB になるので画像処理 に時間がかかるという問題が発生する． よって最大の分解能シートの端まで撮影できる 6400dpi に分解能を設定した．こ の分解能でも最小線幅が 0.05mm であることにより画像処理に必要な画素数（13 画素）を取得できる．表 2.2 スキャナ分解能と最小線幅画素数，データサイズ，撮影時間の関係 分解能 [dpi] 最小線幅 [画素] 40mm 範囲容量 40mm 範囲撮影時間 [s] 1200 2 10.7MB 28 2400 5 42.9MB 50 3200 6 76.2MB 61 4800 9 171.4MB 97 6400 13 304.7MB 120 9600 19 685.7MB 120 12800 25 1.2GB 120 検査対象がシートであるため、撮影時に丸まりやすいなどの問題がある．図 2.2 のように撮影時に対象が少しでも曲がっていると，検査対象の配線パターンの金 属で，光強く反射され撮影が失敗する．具体的には縞模様に光を反射し色が変わっ てしまうため，後の画像処理に影響を及ぼす．そのため図 2.3 のようにガラス板で 挟んで撮影を行う． 図 2.2 撮影失敗 図 2.3 撮影方法
ガラス板の厚さよりスキャナと対象製品の距離が離れるため，取得画像に加わる ボケが変化しうると考えられる．図 2.4 はフラットベッドスキャナで黒い紙を撮影 した輝度変化についてのグラフである．画素位置は白から黒に変わる位置と黒か ら白に変わる画素位置を切り抜いて設定した．撮影ガラスの厚さは 0mm，2mm， 3mm で挟んで焦点の比較を行った．焦点がぼやけているなら輝度の変化は緩やか となり，焦点が合っているならば輝度変化は急となる．図 2.4 より 2mm のときが 最も変化が急で，焦点があっていると考えられる．以上の結果から 2mm の厚さの ガラス板を撮像に用いることとした． 図 2.4 輝度変化 欠陥の種類を図 2.5 の画像を用いて説明する．これらの画素にスキャナ画像を後 述の方法で 2 値化したものである．欠陥の形状には大きく分けて 5 つの種類があ る．まず，配線パターン上から金属が完全に切れている「断線」，配線パターン上 から金属部分が不足している「欠け」，次に配線パターン上から金属部分が過剰 な「出っ張り」，配線パターン上とは関係ないところに金属が乗ってしまう「泊残 り」，最後に配線パターン上から金属が曲がるおよび凹凸が激しい「蛇行」である． これらの不良パターンは配線パターン上の金属が余剰か不足のどちらかであり， ２値化を行った後でも良品パターンと明らかに差異がある．よって 2 値化を行った 画像でも識別が可能と考えられる．
(a) 断線 (b) 欠け
(c) 出っ張り (d) 泊残り
(e) 蛇行 図 2.5 製品不良例
第
3
章 スキャナ画像の幾何精度評価
§ 3.1
光学補正用グリッドパターン
フラットベッドスキャナ画像の幾何精度を調べるために，キャリブレーション用 グリッドパターン（渋谷光学社製 CBG01-150T）を撮像対象として使用した．こ のグリッドパターンは，大きさが縦 160mm×横 160mm × 厚さ 3mm の石英ガラス 基板の上に5(±0.001）mm 間隔で線幅 0.1(±0.005)mm の正方格子が描画されたも のである． グリッドパターンをフラットベッドスキャナで撮影した画像を用いて，グリッド パターンの位置や回転・光学系の歪などを解析する．グリッドパターンを製品検 査でも用いる予定の 6400dpi 解像度で取得したスキャナ画像を図 3.1 に示す．この 画像からグリッドパターンの格子点が周辺部分を除き，29×29 点が得られる． 図 3.1 光学補正用グリッドパターン （渋谷光学社製 CBG01-150T）§ 3.2
モデル格子のフィッテイング
グリッドパターンのスキャナ画像から，29 ×29 の格子点の座標を取得して，位 置精度を以下の方な方法で評価した． 格子点の画像上の座標を求めるため，グリッドパターン画像に対して格子点周 辺の局所的な画像（図 3.2）をテンプレートとしてスキャナ画像全体を範囲としてテ ンプレートマッチングを行い，29 ×29 の格子点のすべての座標を求めた．このよ うに計測して得られた座標をグリッドパターンの位置や回転，光学系の歪をモデ ル化して計算した座標と比較し，精度評価を行う． 図 3.2 グリッドパターンのテンプレート （110× 110 画素）§ 3.3
あてはめのアルゴリズム
フラットベッドスキャナ画像の歪のモデルとそのモデルのパラメータを固定す るアルゴリズムについて説明をする．グリッドパターンをフラットヘッドスキャ ナで取り込み，前節の方法で取得画像から抽出した格子点の座標を次式のように 表す． ⃗rij = ( xij yij ) (i，j = 0，1，· · · ，n − 1) (3.1) ここで，n は格子点の一辺あたりの数で，n=29 である．グリッドパターンは精密 な正方格子であるが，スキャナに取り込んだ画像は一般に対象を置く位置や向き の影響を受けて平行移動・回転し，さらに光学系の特性にしたがって歪みをうけ， 格子点の座標も正方格子からずれる．図 3.3 に計測した格子点の位置のモデルを示す．このモデルの格子点の座標を次式で表す． ˆ ⃗ rij = ( ˆ xij ˆ yij ) (3.2) y x ˆ r00 ˆ r10 ˆ r01 図 3.3 格子点の位置モデル
ここで，x 軸方向の基底と ⃗ex = ˆ⃗r10− ˆ⃗r00，y 軸方向の基底と ⃗ey = ˆ⃗r01− ˆ⃗r00と定 義する． この基底を用いて，i 行 j 列目の格子点の座標を表す次のようなモデル式を考え る．このモデル式をスキャナ画像から抽出した格子点にあてはめることにより，ˆ⃗r00， ⃗ ex，⃗eyを定める． ˆ ⃗ rij = ˆ⃗r00+ i⃗ex+ j⃗ey (3.3) ⃗ exが x 軸となす角を θx，長さを dx，⃗eyが y 軸となす角を θy，長さを dyとおき，パ ラメータ u1，u2，· · · ，u6を次式で定義する． ˆ ⃗r00 = ( u1 u2 ) ， ⃗ex = dx ( cos θx sin θx ) = ( u3 u4 ) ， ⃗ ey = dy ( − sin θy cos θy ) = ( u5 u6 ) ． スキャナーで取得した画像の歪みは小さく，θx ≃ 0，θy ≃ 0，dx ≃ dyと仮定す る．特に正確な正方格子の場合は，θx = θy，dx = dy，したがって，u5 = −u4、 u6 = u3となる．
パラメータ u1，u2，· · · ，u6 を用いると，格子点の座標は，次のモデル式で表さ れる． ˆ ⃗rij = ( u1 u2 ) + ( u3 u5 u4 u6 ) ( i j ) (3.4) 画像から抽出した格子点とモデル格子点の位置の差から，残差 L を次式のよう な距離の２乗平均で定義する． L = 1 2n2 n−1 ∑ i，j=0 |ˆ⃗rij − ⃗rij|2 (3.5) ここで，n2は格子点の総数を表し，∑n−1 i=0 ∑n−1 j=0 を ∑n−1 i，j=0と略記した．残差 L を最小とするパラメータ u1，u2，· · · ，u6を次のように求める． 残差 L を最小とするパラメータ u1，u2，· · · ，u6を求める問題は非線形の最適化問 題で，解を簡単に得ることはできない．L の勾配をベースとして，反復解法によ り漸近的に最適解を求める．L の勾配は L を各パラメータで偏微分して求められ る．まず，ˆ⃗rijを各パラメータで偏微分すると、次式が得られる． ∂ ˆ⃗rij ∂u1 = ( 1 0 ) ，∂ ˆ⃗rij ∂u2 = ( 0 1 ) ， ∂ ˆ⃗rij ∂u3 = ( i 0 ) ，∂ ˆ⃗rij ∂u4 = ( 0 i ) ， ∂ ˆ⃗rij ∂u5 = ( j 0 ) ，∂ ˆ⃗rij ∂u6 = ( 0 j ) ． これを用いて、次式を得る． ∂L ∂u1 = 1 n2 n−1 ∑ i，j=0 ∂ ˆ⃗rij ∂u1 T (ˆ⃗rij − ⃗rij) = ( 1 0 )T 1 n2 n−1 ∑ i，j=0 (ˆ⃗rij − ⃗rij) = ( 1 0 )T (ˆ⃗c− ⃗c) ここで，⃗c と ˆ⃗c は次式で定義される格子点 ⃗rij と ˆ⃗rij の重心である． ⃗c = 1 n2 n−1 ∑ i，j=0 ⃗rij，ˆ⃗c = 1 n2 n−1 ∑ i，j=0 ˆ ⃗ rij． (3.6)
次式も同様に計算して得られる． ∂L ∂u2 = ( 0 1 )T (ˆ⃗c− ⃗c) 最小解では ∂L/∂u1 = ∂L/∂u2 = 0 より，ˆ⃗c = ⃗c が得られる．勾配の残りの成分に ついても，次式のように計算される． ∂L ∂u3 = 1 n2 n−1 ∑ i，j=0 ( i 0 )T (ˆ⃗rij − ⃗rij)， ∂L ∂u4 = 1 n2 n−1 ∑ i，j=0 ( 0 i )T (ˆ⃗rij − ⃗rij)， ∂L ∂u5 = 1 n2 n−1 ∑ i，j=0 ( j 0 )T (ˆ⃗rij − ⃗rij)， ∂L ∂u6 = 1 n2 n−1 ∑ i，j=0 ( 0 j )T (ˆ⃗rij − ⃗rij)． これにより，L の勾配が求まる．スキャナー画像の分解能が 6400dpi の場合，格子 間隔の真値は d = 5× 6400/25．4 = 1259.84（単位：画素）となる．初期値 u3 = d， u4 = 0，u5 = 0，u6 = d から出発して，非線形最適化問題を解決するためのアルゴ リズムである L-BFGS 法 [3] を用いて L を最小化し，パラメータを求める． このパラメータを利用すれば真の座標値は ⃗rij∗ = d(i，j)T で与えられるので，計 測した座標を (3,4) 式を (i, j)T について解いた次式で幾何補正して真値を推定する ことができる． ⃗ rij∗ = d ( u3 u5 u4 u6 )−1( ⃗rij− ( u1 u2 )) (3.7)
§ 3.4
精度評価
実際にグリッドパターン画像を用いて解析すると，正方格子を仮定した場合に は格子間隔 1262.5 画素，格子点の位置ずれの標準偏差√2 は 34.19 画素となり，位 置誤差が大きいことが分かった．図 3.4 は正方格子を仮定してあてはめを行った結 果である．点線がモデル格子，実線が計測した格子を表す．なお，歪みが分かり やすいようにモデル格子からの位置誤差を 50 倍に強調して表している．正方格子 をあてはめした場合は回転と拡大・縮小を補正した結果となる．これを見ると計 測した格子はモデル格子（回転した正方格子）からさらに全体的に斜めにひしゃ げており，正方格子から大きく外れていることがわかる．そこで，正方格子との条件を与えずにあてはめを行うと，図 3.5 に示す結果が得 られ，あてはめの精度が向上していることがわかる．このときの格子間隔は 1265.06 画素，標準偏差は 4.84 画素となり，正方格子を仮定したときよりも誤差は少ない． つまりスキャナ画像の歪みは，回転と拡大・縮小だけでないことがわかる．図 3.5 より，この誤差は十分に小さく，モデル式が良くあてはまっていると考えられる． したがって，この結果を用いて（3.7）式の幾何補正を行うにより，対象の寸法を 十分な精度で計測できると考えられる． 表 3.1 に正方格子を仮定した場合と正方格子の条件を与えずにあてはめを行った 結果を示す． フラットベッドスキャナの幾何精度の評価の結果，スキャナで取得した画像の 歪みは画像中の場所によらず一様である．したがって，同じ歪みを受けた製品の 正解画像を用いた場合，幾何補正を行うことなく精度良くパターンマッチが行え る．従って以後に記す欠陥抽出においては聞か補正は行っていない． 表 3.1 あてはめ結果 格子間隔 標準偏差 真値 1259.84[画素] 5.00[mm] 正方格子を仮定 1262.5[画素] 5.01[mm] 34.19[画素] 正方格子の条件なし 1265.06[画素] 5.02[mm] 4.84[画素]
図 3.4 正方格子の条件あり
第
4
章 画像処理の概要
§ 4.1
画像処理の流れ
画像処理には画像処理ライブラリである OpenCV（ver4.0.0）を主に使用する． OpenCV とは画像処理関数が多数実装された非常に強力なライブラリである．オー プンソースでマルチプラットフォーム，様々なプログラミング言語から簡単に利 用できるという点から，企業から個人まで幅広く利用されている [4]． 不良判別までの流れとして，図 4.1 のような手順で行った．まず，取り込んだカ ラー画像を画像処理するために，グレースケール処理，2 値化処理により白黒画像 に変換する．検査対象は特徴的な配色であるため，今回は HSV 成分に着目してグ レースケール処理を行った．次に画像取得の際に回転や並行移動などのズレが発 生するので，そのズレを補正する位置合わせを行う．また，検査対象はシート上 に数百個存在するので 1 個ごとに評価するためにテンプレートマッチングでスキャ ナ画像を切り分けた． そののちに正解画像と検査対象画像との差画像を作成し，欠陥部分の抽出を行 う．最終的には抽出された欠陥部分に基づいて不良判別を行う． 図 4.1 画像処理の流れ§ 4.2
位置合わせ
画像を取得する際には人の手で検査対象をスキャナのトレー上に配置している． トレー上に位置合わせのための基準があるが，これに合わせても回転や平行移動 などのズレが発生する．ズレによる後の処理の影響を抑えるために位置合わせを 行う必要がある．ズレのうち，平行移動は後述するようにテンプレートマッチン グに影響しない．主に回転が問題となり，何度回転しているかの情報が必要であ る．この情報を取得するためにテンプレートマッチングを使用した． テンプレートマッチングはテンプレート画像を入力画像上で走査させ，入力画 像上の各位置における類似度を算出し， 最大の類似度（正規化は相関係数）をと る位置を検出する手法である．テンプレートマッチングは、カラー画像でも使用 できる。ただし、特定の色相を抜き出すなどの前処理の後ではグレイスケール画 像になることが多く、またカラー画像のままでは類似度の計算に時間がかかるの で、２値化画像でテンプレートマッチングを行う．式 4.1 は正規化相関係数の式を 表す．I は画像を，T はテンプレートを，R は結果をそれぞれ示している．R(x,y) が最大となる位置 (x,y) を求める． R(x, y) = ∑ x′,y′(T′(x′, y′)・I′(x + x′, y + y′) √∑ x′,y′T′(x′, y′)2・ ∑ x′,y′I′(x + x′, y + y′) (4.1) 検査対象は図 4.2 のように製品が規則的に並んでいる．図 4.2 の左上角と右上角の 2 つの製品を式のテンプレートマッチングを用いて位置を調べる．その位置情報か ら三角関数を用いて傾斜を計算し，元画像を角度が 0 になるように画像を回転さ せズレを補正する． 図 4.2 簡易的な製品配置図§ 4.3
製品ごとの区分け
製品画像はカラーで取得しているが，このままでは画像のデータサイズが大きく 処理が困難なので，グレースケール化後，設定した閾値で二値化処理をする．今回の対象はシートが赤色という特長的な配色をもつため，HSV 変換を用いてグレー スケール化を行う．今回，２値化の閾値は目視で製品の不良判別の行える 187 に 設定した．本研究で対象としている製品は１シート上に数百個存在しているため， １個ずつ不良判定の評価するために切り分ける必要がある．検査対象の画像は高 解像度で取得しているため，製品画像全体でテンプレートマッチングで切り分け ると分単位の長い計算時間が掛かる．そこで，前処理の位置合わせによりある程 度製品の位置は定まっているので，製品が存在する位置に製品の 1.5 倍の矩形画像 を取りその中でテンプレートマッチングを行うことで個別の製品単位に画像を切 り分けた．
§ 4.4
差画像
不良判別を行うため，正解画像との差画像を取ることで不良部分を抽出した．元 となる正解画像は良品画像を元に作成するが，良品画像にもばらつきがあること， 幾何補正の必要性をなくすことを考慮し, スキャナ画像で撮影した複数枚の良品画 像から平均を取ることで設定した．ここで言う差画像とは 2 値化した 2 枚の画像 を排他的論理和（Exclusive OR 以下 XOR）XOR 処理したものである． XOR 処理は単純な画像処理であり，二枚の画像を画素毎に比較し，一致した部 分を黒，不一致した部分を白で書き出す． 差画像の例を図 4.3，図 4.4 に示す．図 4.3 のように良品は，基準となる良品画 像と一致するので差画像が全て黒になるので良品と判定できる．一方，不良画像 の場合は不良箇所が白で表示されることにより不良と判定できる．図 4.4 は配線パ ターンの出っ張りと欠けを模した不良画像の例で，差画像に白く欠陥部分が抽出 されることから不良と判定できる． (a) 正解画像 (b) 良品画像 (c) 差画像 図 4.3 良品の差画像(a) 正解画像 (b) 不良品画像（欠けと出っ張 り）
(c) 差画像
第
5
章 画像処理の詳細と結果
§ 5.1
位置合わせ
図 5.1 をテンプレートとし，左上角と右上角の製品部位でテンプレートマッチン グを行い位置情報から並行になるように画像を回転させる．傾斜角は 次にスキャナで撮像する際の配置の回転をシミュレートし，1 枚のスキャナ画像 を画像処理ライブラリで回転させた画像が位置合わせでどの程度の精度で復元で きたかを評価する．表 5.1 に結果を示す．左から製品画像を画像処理で回転した角 度，位置合わせのプログラムで補正した角度，理想補正とのズレをそれぞれ表し ている．表 5.1 の通り回転角度が大きいほど角度のずれが大きくなる傾向がある． テンプレートマッチングは回転に弱いという特徴があるので，これはテンプレー トマッチングを位置合わせに使用していることが要因であると考えられる． 実際に画像取得する際には，ある程度水平に撮影できるような基準がフラット ベッドスキャナにあるので，製品画像の角度のズレが 5 °以上大きくなることはな い．角度の補正差は非常に小さく，後の不良判別処理でも無視できるものとなる． 図 5.2 に回転前後での相関係数の違いを示す．この撮影画像は実際の検査と同じ く，基準に合わせてスキャナで撮影したものである．このシートには 5 枚分の製品 画像計 1650 個の結果が含まれる．図 5.2 に示すように位置合わせでシートの回転 を補正することにより，個々の製品のテンプレートマッチングの精度が向上する． これは精度良く差画像を作成できるようになることを示す．(a) テンプレート画像（左上） (b) テンプレート画像（右上） 図 5.1 テンプレート画像 表 5.1 位置合わせ評価 回転角度 [ ° ] 位置補正角度 [ ° ] 差 0.5 0.494328 0.005672 1 0.995518 0.004482 2 1.991264 0.008736 3 2.991107 0.008893 4 3.991862 0.008138 5 4.987159 0.012841 6 5.986481 0.013519 7 6.988620 0.011380 8 7.989327 0.010673 9 8.988754 0.011246 10 9.984085 0.015915
図 5.2 回転と相関係数
§ 5.2
製品ごとの区分け
製品ごとにテンプレートマッチングを行い，製品 1 個ずつ区分けした画像を作 成する．参考のため，図 5.3，5.4 に良品および不良のテンプレートマッチングし たときの相関係数を示す．良品画像でも相関係数が 1 にならず 0.95 が平均値とな る．相関係数が 1 とならないのはガラス板にシートを挟む際にゴミが入り込む，ま たは撮影対象の配線が金属であることによる明度の差により 2 値化の際にズレが 発生するためだと考えられる．また不良品画像でも良品画像と結果に違いはなく， 相関係数だけでは不良判別は難しいことが確認できる．図 5.3 良品相関係数
図 5.4 不良品相関係数
§ 5.3
差画像
良品画像と切り出した製品画像との差画像を得るために XOR 処理を行った．以 下の処理結果の画像は製品の一部である．図 5.6，図 5.7，図 5.8，図 5.9，図 5.10
に示すように欠陥抽出自体は成功した．しかし処理により欠陥部分のみの抽出が できるはずであるが，実際には良品画像でも図 5.5 のように位置合わせのわずかな ズレが存在し，本来は欠陥ではないパターンの輪郭が抽出された．これは前処理 であるテンプレートマッチングによるズレおよび配線パターンに光沢があること による 2 値化過程におけるズレが原因だと考えられる．以上よりズレを許容した 不良判別処理を検討する必要がある． (a) 正解画像 (b) 良品画像 (c) 差画像結果 図 5.5 良品画像と正解画像の差画像 (a) 正解画像 (b) 不良品画像（断線） (c) 差画像結果 図 5.6 差画像を用いた断線不良個所の抽出 (a) 正解画像 (b) 不良品画像（欠け） (c) 差画像結果 図 5.7 差画像を用いた欠け不良個所の抽出
(a) 正解画像 (b) 不良品画像（出っ張り） (c) 差画像結果 図 5.8 差画像を用いた出っ張り不良個所の抽出 (a) 正解画像 (b) 不良品画像（泊残り） (c) 差画像結果 図 5.9 差画像を用いた泊残り不良個所の抽出 (a) 正解画像 (b) 不良品画像 (c) 差画像結果 図 5.10 差画像を用いた蛇行不良個所の抽出
第
6
章 ズレを考慮した処理
§ 6.1
モルフォロジー変換
本研究ではテンプレートマッチングで製品ごとに切り分けることにより単一画 像から配線パターン不良を検出することを目的としている．位置合わせが誤差な く行えれば，良品との差画像を取ることで欠陥抽出が可能である．しかし実際に は，光学系の歪みなど画像取得時に生ずる誤差があるため，位置合わせにごく小 さなズレが発生し，本来欠陥でない部位が欠陥として誤検出される．このように， 単純に正解画像との差画像を取るだけではテンプレートマッチングに誤差がある ため，配線同士の重なりのごくわずかなズレが欠陥部位として誤検出されること が問題となる．その問題の解決策として，誤差を許容した特徴抽出が必要である． 本稿ではズレを許容して良品との差画像を取るためにモルフォロジー変換を用 いた正解画像作成を行った．§ 6.2
膨張縮小処理
膨張処理および縮小処理はモルフォロジー変換の基本処理である．モルフォロ ジー変換は構造化要素により，画像を変化させるフィルタを作成する． 膨張処理とは構造化要素内に画素値が 1 の画素が一つでも含まれれば，出力画 像の注目画素の画素値を 1 にする処理である．逆に縮小処理とは構造化要素内に 画素値が 0 の画素が一つでも含まれれば，出力画像の注目画素の画素値を 0 にす る処理である． 図 6.1 に膨張処理および縮小処理を示す．元画像との膨張幅および縮小幅が誤差 の許容範囲となる．本研究では，位置合わせの誤差をある程度許容するために，モ ルフォロジー変換を利用して 2 種類の良品画像を作成した．(a) 元画像 (b) 膨張画像 (c) 縮小画像 図 6.1 膨張縮小処理
§ 6.3
ズレを許容した処理
ズレを許容した結果から不良検出をする．膨張正解画像と検査画像との差画像 から出っ張りなどの余剰な金属部分が検出できる．また，縮小正解画像と検査対象 画像との差画像をとることにより欠けなどの不足している金属部分が検出できる． 図 6.2 に余剰部分の不良検出例について示す．反転した配線パターンと膨張した正 解画像の and 処理により配線パターン外の余剰の不良が検出できる．また，図 6.3 に不足部分の不良検出例について示す．配線パターンと反転縮小した正解画像の and 処理によりパターン内の不足の不良が検出できる． (a) 配線パターン画像（反転） (b) 膨張した正解画像 (c) 余剰部分検出 図 6.2 余剰不良検出（出っ張り）(a) 配線パターン画像 (b) 縮小した正解画像（反転」） (c) 不足部分検出 図 6.3 不足不良検出（欠け）
§ 6.4
ズレを許容した結果
前節で説明したズレを許容した差画像を作成する方法による処理結果を図 6.4， 図 6.5，図 6.6，図 6.7，図 6.8，図 6.8，図 6.9 に示す．単純に差画像を取る場合で は見られたズレが消えて，欠陥部位のみが正しく抽出される結果が得られている． (a) 正解画像 (b) 膨張画像 (c) 縮小画像 (d) 判別画像 図 6.4 誤差を許容した判別結果（良品）(a) 検査対象画像 (b) 膨張差画像 (c) 縮小差画像 (d) 判別画像 図 6.5 誤差を許容した判別結果（断線） (a) 検査対象画像 (b) 膨張差画像 (c) 縮小差画像 (d) 判別画像 図 6.6 誤差を許容した判別結果（欠け）
(a) 検査対象画像 (b) 膨張差画像 (c) 縮小差画像 (d) 判別画像 図 6.7 誤差を許容した判別結果（出っ張り） (a) 検査対象画像 (b) 膨張差画像 (c) 縮小差画像 (d) 判別画像 図 6.8 誤差を許容した判別結果（泊残り）
(a) 検査対象画像 (b) 膨張差画像
(c) 縮小差画像 (d) 判別画像
第
7
章 不良判別まとめ
§ 7.1
不良判別結果
1650 個の製品画像からズレを許容した不良判別処理を行った結果を表 7.1 に示 す．不良判定は全て黒となったら良品，それ以外は目視で判定した．左から実際 に良品判別できた結果，不良品を不良と判別できた結果，実際は良品だが不良品 と判定した誤判定結果，実際は不良品だが良品と判定した見逃し結果である．表 7.1 の通り断線，出っ張り，欠け，泊残りなどの起伏の大きい不良判別処理は正確 に実行できる．しかし主に原因はゴミなどだが，製品上に乗ってしまい良品だが 不良判別されるという誤判定が非常に多い．また，起伏の小さい蛇行などは、モ ルフォロジー変換の許容範囲に入ってしまい，図 7.1 のように見逃しなどを起こす などの問題が存在した． 表 7.1 1650 個の製品不良判別結果 正答 誤答 良品判定 不良判定 良品だが不良判定 不良だが良品判定 断線 0 27 119 0 出っ張り 0 19 49 0 欠け 0 9 38 0 泊残り 0 2 6 0 蛇行 0 1 3 9 合計 1368 58 215 9(a) 検査対象画像 (b) 膨張差画像 (c) 縮小差画像 (d) 判別画像 図 7.1 誤差を許容した結果（蛇行判別失敗）
§ 7.2
処理時間
現在の画像処理時間を表 7.2 で表す．1 シート分 330 個の製品で合計 58 秒となっ た．これはスキャナ画像が得られているとして，画像の入力から差画像の出力ま での処理時間である．HSV 変換， 2 値化，差画像などの簡単な計算処理は合計し ても 10s 掛からなかった。しかし，位置合わせや区分けなどのテンプレートマッ チングや回転の複雑な計算が必要な処理は多くの時間が掛かる．さらに短縮を目 指すならば画像処理ハードウェアによる計算支援（GPU ボードによる並列計算処 理）やテンプレートマッチングの範囲を狭めるなどの改良によって可能であると 考えられる．表 7.2 処理時間 画像処理 時間 [ms] 位置合わせ 13181 HSV 変換 2493 ２値化 171 区分け 35133 差画像 7488
第
8
章 まとめ
§ 8.1
結論
フラットベッドスキャナを用いてシート状製品の配線パターンの画像を取得し， この画像を用いて外観検査を行う手法の開発に取り組んだ．まず，フラットベッド スキャナ画像の幾何精度を評価したその結果，幾何補正を行えば，検査に必要な 精度が十分得られることを確認した．なお，評価結果から，スキャナ画像の歪は 場所に依存せず一様であるため，同じ歪みを受けた正解画像を用いれば幾何補正 の必要はないと判断した． 次に良品画像と検査対象画像の位置合わせと製品の切り分けを行い，差画像処 理によって欠陥の可能性のある部分の抽出を行った．しかし，単純な差画像処理 では配線パターンの境界が浮き出てしまい，欠陥出ない部位が欠陥として抽出さ れるという問題点が生じる．そこで本研究では，位置合わせの誤差を考慮した良 品画像の許容範囲を設けることで，欠陥でない部分の誤検出を低減した．これに より，断線や一定の大きさ以上の出っ張りなどは問題なく検出が可能である．§ 8.2
今後の課題
今後は不良を見逃してしまう蛇行の失敗をなくすために，テンプレートマッチ ングの精度向上．色空間しきい値によるゴミの影響の除去や幾何補正による，フ ラットベッドスキャナ精度改善のプログラムの開発や，判別結果からの不良要因 の解析，また製造現場で実際の検査に用いるために精度および処理時間の改善な どが課題に挙げられる．謝辞
伊藤直史先生には研究等におきまして御指導，助言いただき深く感謝しており ます．また，製品提供にあたり東京測器研究所の萩原智宣氏，江沢俊介氏にはご 協力いただき心より感謝いたします． また，研究室の皆様のおかげで充実した日々を過ごせました．本当にありがと うございました. なお，この研究は共同研究「画像処理によるセンサ製品不良判別の高度化」の 助成を受けて実施されたものである．記して謝意を表す．・学会発表
内田隆太，伊藤直史，，伊藤直史，萩原智宣，江沢俊介，フラットベッドスキャナ
画像を用いた配線パターン不良判別自動化の試み，第 61 回自動制御連合講演会， 907/911，2018
参考文献
[1] 秦清治: 外観検査の自動化現状と展望: 精密工学会誌, Vol. 56, No. 8, pp. 1366-1370 (1990). [2] 宮田瞳, 桂木俊哉, 篠崎真: フラット・ベッド・スキャナの基礎性能の検討 − 寸法と輝度の安定性について−: 日本印刷学会誌, Vol. 39, No. 4, pp. 237– 248(2002).[3] C. Zhu, et al., Algorithm 778: L-BFGS-B: Fortran subroutines for large-scale bound-constrained opti-mization, ACM Trans. on Mathematical Soft-ware, Vol. 23, No. 4, pp. 550–560 (1997).
[4] 小枝正直, 上田悦子, 中村恭之: OpenCV による画像処理入門改訂第 2 版, pp. 3– 9 (2018).
フラットベッドスキャナ画像を用いた配線パターン不良判別自動化の試み
An attempt to automatize failure detection in wiring pattern
using flatbed scanner image
○内田 隆太1 伊藤 直史1 萩原 智宣2 江澤 俊介2 群馬大学大学院理工学府1 東京測器研究所2
*Ryuta Uchida1， Tadashi Ito1， Tomonori Hagiwara2 and Shunsuke Ezawa2 Gunma University1，Tokyo Measuring Instruments Laboratory Co.,Ltd.2
Abstract Process of product inspection which distinguishes between good and no-good is indis-pensable for certification of product quality. In industry, automatized visual inspection using CCD camera images is widely utilized, however, manual inspection is still also used to deal with the rapid growing of product diversity and inspection complexity. In this study, an automatize failure detection in wiring pattern on a sheet-like product using flatbed scanner images is attempted. We experimentally estimated dimensional accuracy of flatbed scanner image and confirmed that candidates for failure part can be successfully detected from difference image between reference product and product under inspection.
Key Words: Image Inspection，Pattern Recognition，Fladbed Scanner
1 はじめに 製品が良品かどうかを確認する検査工程は品質確保 のため必要不可欠である．製品の外観検査においては， CCD カメラで取り込んだ画像による検査の自動化が産 業界で広く用いられている． しかし，製品の多様性や検査の複雑化のため，人手 による外観検査も未だに用いられているのが実情であ る．人の目による検査は時間がかかり生産コストの上 昇を招くほか，検査者の主観的判断に依存するので品 質がばらつくなどのデメリットがある．このため，こ れまで自動化されていない検査についても自動化を推 し進め，定量的に不良判別を行うことで品質の均一化 やコスト削減を行うことが急務となっている [1]． 本研究で検査対象とするのは，複雑で微細な配線パ ターンをもつシート状の製品である．欠陥には正規の 配線パターンからの余剰な出っ張り，不足している欠 けや断線，両方の特徴を持つ蛇行不良などの様々な形 態がある． 本研究では検査対象の画像取得にフラットベッド スキャナを用いる．フラットベッドスキャナは最も 一 般 的 で 広 く 普 及 し て い る ス キャナ で あ り，透 明 な 原 稿 台 の 上 に 撮 像 対 象 を 固 定 し て ，下 か ら 光 を 照 射 し 反 射 光 を 読 み 取 る タ イ プ も の で あ る ．検 査 対 象 の 全 体 の 寸 法 は 約 100×30mm，配線パターン の 最 小 配 線 幅 は0.05mmで あ る ．フ ラット ベッド ス キャナならば製品全体画像を得ることができ，分解能 6400dpi（1 画素の大きさ 0.0039mm）で画像を取得した 場合，最小幅の配線でも約 13 画素の線幅で取得できる ので，検査機器として適していると考えられる．また， 画像入力装置として，光学系の調整や校正なしに寸法 を精度良く得ることができるのは CCD カメラに対す る利点となる [2]．ただし，今回用いたフラットベッド スキャナは民生用のものであるため，寸法精度を評価 して用いることが必要である． その他，フラッドベッドスキャナを用いる利点とし ては，高解像度のカメラなどに比べて安価かつ簡便で あることが挙げられる．フラッドベッドスキャナは民 生であるがゆえに取り扱いが容易かつ安価で入手しや すく，製品寿命が長く繰り返しの使用にも耐えるなど の利点がある．このことは，検査工程のコスト低減に 大きく寄与すると考えられる． 今回，フラットベッドスキャナの精度評価を行い画 像の光学的な歪を補正する手法を開発した．さらに， OpenCV などの画像処理ライブラリを利用した不良判 別自動化システムの開発に着手し，不良個所の候補を 検出する段階まで進展したので報告する． 2 フラットベッドスキャナ画像の精度評価 2.1 精度評価の方法 今回の実験で使用するフラットベッドスキャナは Fig. 1 に示す EPSON 社製 GT-X980 を使用した．仕 様を Table 1 に示す． フラットベッドスキャナ画像の寸法精度を調べるため に，キャリブレーション用グリッドパターン（渋谷光学 社製 CBG01-150T）を撮像対象として使用した．この グリッドパターンは，大きさが縦 160mm×横160mm×
13C1
Fig. 1: Outlook of the flatbed scanner （Epson GT-X980）
Table 1: Specification of the flatbed scanner （EPSON GT-X980） 項目 値 読み取り速度 最大 3.1msec/line（600dpi） 最小 10.8msec/line（4,800dpi） 最大有効領域 216×297mm 走査方式 読み取りヘッド移動型原稿固定 読み取り 光源 白色 LED 搭載センサー α-Hyper CCD II オンチップ マイクロレンズ付 6 ラインカラー CCD（R/G/B×2 ライン） 厚さ 3mm の石英ガラス基板の上に 5(±0.001）mm 間 隔で線幅 0.1(±0.005)mm の正方格子が描画されたもの である． グリッドパターンの画像を製品検査でも用いる予定の 6400dpi 解像度で取得した結果を Fig. 2 に示す．周辺部 分を除き，29×29 の格子点が得られる．これらの格子 点の位置精度を以下のような方法で評価した．まず，格 子点の画像上の座標を求める．そのためにグリッドパ ターン画像に対して格子点周辺の局所的な画像（Fig. 3） をテンプレートとしてテンプレートマッチングを行い， 29× 29 の格子点のすべての座標を求めた．このように 計測して得られた座標をグリッドパターンの位置や回 転，光学系の歪をモデル化して計算した座標と比較し， 精度評価を行う． 2.2 あてはめのアルゴリズム グリッドパターンをフラットヘッドスキャナで取り 込み，取得画像から抽出した格子点の座標を次式のよ うに表す． rij = ( xij yij ) (i，j = 0，1，· · · ，n − 1)． (1) ここで，n は格子点の一辺あたりの数で，n=29 である． グリッドパターンは精密な正方格子であるが，スキャ ナーで取り込んだ画像は一般に対象を置く位置や向き
Fig. 2: Grid pattern image captured by the flatbed scanner at 6400dpi
Fig. 3: Template pattern of a Grid point （110× 110 pixel image） の影響を受けて平行移動・回転し，さらに光学系の特 性にしたがって歪みをうけ，格子点の座標も正方格子 からずれる．Fig. 4 に計測した格子点の位置のモデル を示す．このモデルの格子点の座標を次式で表す． ˆ rij= ( ˆ xij ˆ yij ) (2) ここで，x 軸方向の基底 ex= ˆr10− ˆr00と，y 軸方向 の基底 ey = ˆr01− ˆr00を用いて，次式で表されるモデ ル式を考える． ˆ rij= ˆr00+ iex+ jey (3) exが x 軸となす角を θx，長さを dx，eyが y 軸となす 角を θy，長さを dyとおき，パラメータ u1，u2，· · · ，u6 を次式で定義する． ˆ r00= ( u1 u2 ) ， ex= dx ( cos θx sin θx ) = ( u3 u4 ) ， ey= dy ( − sin θy cos θy ) = ( u5 u6 ) ．
y x ˆ r00 ˆ r10 ˆ r01
Fig. 4: Model for measured grid
スキャナーで取得した画像の歪みは小さく，θx≃ 0， θy ≃ 0，dx ≃ dyと仮定する．特に正確な正方格子の 場合は，θx= θy，dx = dy，したがって，u5 =−u4、 u6= u3となる． パラメータ u1，u2，· · · ，u6を用いると，モデル格子 点の座標は，次式で表される． ˆ rij = ( u1 u2 ) + ( u3 u5 u4 u6 ) ( i j ) (4) 画像から抽出した格子点とモデル格子点の位置の差か ら，残差 L を次式のような距離の２乗平均で定義する． L = 1 2n2 n∑−1 i，j=0 |ˆrij− rij|2 (5) ここで，n2は格子点の総数を表し，∑n−1 i=0 ∑n−1 j=0 を ∑n−1 i，j=0と略記した．残差 L を最小とするパラメータ u1，u2，· · · ，u6を次のように求める．まず，L を各パラ メータで偏微分して勾配を求める．ˆrijを各パラメータ で偏微分すると、次式が得られる． ∂ˆrij ∂u1 = ( 1 0 ) ，∂ˆrij ∂u2 = ( 0 1 ) ， ∂ˆrij ∂u3 = ( i 0 ) ，∂ˆrij ∂u4 = ( 0 i ) ， ∂ˆrij ∂u5 = ( j 0 ) ，∂ˆrij ∂u6 = ( 0 j ) ． これを用いて、次式を得る． ∂L ∂u1 = 1 n2 n∑−1 i，j=0 ∂ˆrij ∂u1 T (ˆrij− rij) = ( 1 0 )T 1 n2 n−1 ∑ i，j=0 (ˆrij− rij) = ( 1 0 )T (ˆc− c) ここで，c と ˆc は次式で定義される格子点 rijと ˆrijの 重心である． c = 1 n2 n−1 ∑ i，j=0 rij，ˆc = 1 n2 n−1 ∑ i，j=0 ˆ rij． (6) 次式も同様に計算して得られる． ∂L ∂u2 = ( 0 1 )T (ˆc− c) 最小解では ∂L/∂u1 = ∂L/∂u2 = 0 より，ˆc = c が得 られる．勾配の残りの成分について，次式が得られる． ∂L ∂u3 = 1 n2 n∑−1 i，j=0 ( i 0 )T (ˆrij− rij)， ∂L ∂u4 = 1 n2 n∑−1 i，j=0 ( 0 i )T (ˆrij− rij)， ∂L ∂u5 = 1 n2 n∑−1 i，j=0 ( j 0 )T (ˆrij− rij)， ∂L ∂u6 = 1 n2 n∑−1 i，j=0 ( 0 j )T (ˆrij− rij)． これにより，L の勾配が求まる．スキャナー画像の分解 能が 6400dpi の場合，格子間隔の真値は d = 5× 6400/ 25．4 = 1259.84（単位：画素）となる．初期値 u3= d， u4= 0，u5= 0，u6= d から出発して，非線形最適化問 題を解決するためのアルゴリズムである L-BFGS 法 [3] を用いて L を最小化し，パラメータを求める．このパ ラメータを利用すれば真の座標値は r∗ij = d(i，j)T で 与えられるので，計測した座標を次式で幾何補正して 真値を推定することができる． r∗ij= d ( u3 u5 u4 u6 )−1( rij− ( u1 u2 )) (7) 実際にグリッドパターン画像を用いて解析すると，正 方格子を仮定した場合には格子間隔 1262.5 画素，位置 ずれの標準偏差は 34.19 画素となり，位置誤差が大きい ことが分かった．Fig. 5(a) は正方格子を仮定してあて
はめを行った結果である．点線が正確な格子，実線が 計測した格子を表す．なお，歪みが分かりやすいよう に位置誤差を 50 倍に強調して表している．これを見る と計測した格子は全体的に斜めにひしゃげており，正 方格子から大きく外れていることがわかる． そこで，正方格子との条件を与えずにあてはめを行 うと，Fig. 5(b) に示す結果が得られ，あてはめの精度 が向上していることがわかる．このときの格子間隔は 1265.06 画素，標準偏差は 4.84 画素で，Fig. 5(b) より あてはめの精度が向上していることがわかる．この結 果を用いて（7）式の幾何補正を行うにより，対象の寸 法を十分な精度で計測できると考えられる．
(a) Case of square grid
(b) Case of non-square grid
Fig. 5: Result of model fitting
3 不良判別自動化 不良判別までの流れとして，Fig. 6 のような手順で 行った．製品画像をフラットベッドスキャナで取得，製 品画像から画像処理を行い最終的には不良判別を行う． 今回は幾何補正は行わず，不良個所の抽出までを行った. 3.1 製品画像の取得 フラットベッドスキャナを用いた製品画像の取得は スキャナの光学系焦点を考慮し，検査対象シートを厚 さ 2mm のガラス板に挟んで行った．
Fig. 6: Processing flow of the proposed method
3.2 前処理 画像処理には画像処理ライブラリである OpenCv を 主に使用する．OpenCV とは画像処理関数が多数実装 された非常に強力なライブラリである．オープンソー スでマルチプラットフォーム，様々なプログラミング 言語から簡単に利用できるという点から，企業から個 人まで幅広く利用されている [4]． まず，取り込んだカラー画像のグレースケール化，2 値化処理を行う．2 値化した画像と良品画像をテンプ レートマッチングを行うことで位置合わせを行い，次 の画像処理に移る． 3.3 差画像による欠陥部位の抽出 良品画像（Fig. 7(a)）と切り出した製品画像（ Fig. 7(b)）との差画像を得るために Exclusive OR 処 理を行った．なお，以下の処理結果の画像は製品の一 部である．この処理により欠陥部分のみの抽出ができ るはずであるが，実際には Fig. 7(c) のように位置合わ せのわずかなズレが存在し，本来は欠陥とならないパ ターンの輪郭が抽出された． 3.4 許容誤差を考慮した欠陥部位の抽出 位置合わせが誤差なく行えれば，良品との差画像を 取ることで欠陥抽出が可能である．しかし実際には光 学系の歪みなどの外的要因で誤差があるためズレが発
(a) Reference image
(b) Product image (c) Xor processing
Fig. 7: Ditection of defecftive part by using difference image
生し，欠陥でない部位が誤検出される．そこで，位置 合わせの誤差をある程度許容するために，モルフォロ ジー変換を利用して 2 種類の良品画像を作成した． モルフォロジー変換は主に 2 値画像を対象とし，画像 上の図形に対して作用するシンプルな処理である．良品 画像と処理の性質を決める構造的要素 ( カーネル ) の二 つを入力し，収縮（Fig. 8(a)）あるいは膨張（Fig. 8(b)） を行う．収縮は画像中の各画素に対して，その画素を 中心とするカーネルの領域に含まれる画素の画素値が 全て 1 であれば 1，そうでなければ 0 を画素値として 出力する．膨張は収縮の逆の処理を行う．今回の製品 では 7 × 7 のカーネル（総計 6 画素）に設定すること によりズレを許容した．
(a) Dilation (b) Erosion
Fig. 8: Two reference images calculated by using morphology to consider allowable error
縮小した良品画像と AND 画像を取ることで断線な どの欠けている欠陥を抽出でき，膨張した良品画像と AND 画像を取ることで出っ張りなどの余分の欠陥を抽 出できる．その結果を Fig. 8 に示す．赤い部分が欠陥 として抽出された個所であり，不良個所の検出が可能 であることが確認できた．
(a) Disconnection (b) Protrusion
Fig. 9: Detection of defective part with consideration to allowable error
4 まとめ フラットベッドスキャナを用いてシート状製品の配 線パターンの画像を取得し，この画像を用いて外観検 査を行う手法の開発に取り組んだ．まず，フラットベッ ドスキャナ画像の寸法精度を評価し，幾何補正を行え ば，検査に必要な精度が十分得られることを確認した． 次に良品画像と検査対象画像の位置合わせを行い，差 画像を作ることによって欠陥の可能性のある部分の抽 出を行った．位置合わせの誤差を考慮し良品画像の許 容範囲を設けることで欠陥でない部分の誤検出を低減 した．これにより，断線や一定の大きさ以上の出っ張 りなどは問題なく検出が可能である． しかし，精度を上げなければ蛇行不良などのある程 度大きさがない不良の判別に失敗してしまう．これは 幾何補正を用いることにより解決できると考えている． 今後は色空間しきい値によるゴミ削除や幾何補正に よる，フラットベッドスキャナ精度改善のプログラム の開発や，判別結果からの不良要因の解析などが課題 に挙げられる． 参考文献 [1] 宮田瞳, 桂木俊哉, 篠崎真: フラット・ベッド・スキャ ナの基礎性能の検討 −寸法と輝度の安定性につい て−: 日本印刷学会誌, Vol. 39, No. 4, pp. 237– 248(2002). [2] 秦清治: 外観検査の自動化現状と展望: 精密工学会 誌, Vol. 56, No. 8, pp. 1366-1370 (1990).
[3] C. Zhu, et al., Algorithm 778: L-BFGS-B: For-tran subroutines for large-scale bound-constrained opti-mization, ACM Trans. on Mathematical Soft-ware, Vol. 23, No. 4, pp. 550–560 (1997).
[4] 小枝正直, 上田悦子, 中村恭之: OpenCV による画 像処理入門改訂第 2 版, pp. 3–9 (2018).
