画像処理によるコンクリ－ト構造物の
高精度なひび割れ自動抽出
藤田 悠介
1・中村 秀明
2・浜本 義彦
3 1正会員 山口大学大学院助教 理工学研究科 電子情報システム工学専攻 （〒755-8611 宇部市常盤台2-16-1） E-mail: [email protected] 2正会員 山口大学大学院教授 理工学研究科 環境共生系専攻（〒755-8611 宇部市常盤台2-16-1） E-mail: [email protected] 3山口大学大学院教授 医学系研究科 応用分子生命科学系専攻（〒755-8611 宇部市常盤台2-16-1） E-mail: [email protected]. 本論文では，光の変動や影あるいは壁面に汚れのある画像に対して，二つの前処理と，閾値処理の問題 に対する二段階の抽出処理からなる高精度なひび割れ自動抽出法を提案する．本手法では，撮像系の条件 により画像の分解能を指定することで，画像処理のスケールパラメータの設定を容易としている．また， 前処理の多重スケール線強調処理により，抽出したひび割れを幅別に分類することが可能である．さらに， 二段階の抽出処理では，確率的弛緩法を適用することにより閾値のようなパラメータの設定を不要として おり，段階的閾値処理により高精度な抽出を実現している．光の変動がある状態で汚れなどの見られるコ ンクリート表面を撮影した画像を用いた実験により，提案手法は従来法や従来の閾値処理と比べて抽出性 能が高いことを示している．Key Words : image processing, concrete, crack recognition, nondestructive test, digital camera
1. はじめに わが国では，高度経済成長期に多くのコンクリ－ト構 造物が造られ，社会資本の整備が急速かつ大量に行われ た．メンテナンスフリーと云われたコンクリ－ト構造物 であるが，造られた時点から，劣化は徐々に進行してお り，これら社会基盤構造物の老朽化が社会的問題となっ ている1)－4)．これらの構造物を末永く有効に利用するた めには，構造物の維持管理が重要であり，いかに効率良 く維持管理するかに社会の関心は集まっている．高齢化 により，福祉予算は年々増大し，その一方で，建設投資 額は年々減少している．また少子化により若年技術者は 減少しており，さらに，これまで建設技術の発展を担っ ていたベテラン技術者が定年を迎えている．造った構造 物は必ず維持管理する必要があり，維持管理が必要な構 造物の数は年々増加している．このような厳しい状況の 中で，少ない人数で効率良く維持管理する手法が求めら れている．コンクリ－ト構造物の維持管理を考えた場合， まずは現状を正確に把握するため，種々の点検が行われ る．点検にも色々な種類があるが，目視点検は，簡便で あり直接的な方法であることから，維持管理の出発点と して広く用いられている．目視点検は後の調査や補修・ 補強の方針を決める上でも重要な位置づけにある．しか しながら，その問題点として，点検に熟練技術や経験を 要する，点検者の経験に基づくため，客観的かつ定量的 な評価が困難である，スケッチなどのアナログデータは データの管理が困難である，といったことが挙げられる． そこで，近年，デジタルカメラや画像処理技術の発展 により，目視点検を支援する点検方法として，デジタル 画像を用いた点検が注目を集めている5)．デジタル画像 を用いた点検では，コンピュータによるひび割れ等の損 傷の抽出や計測が可能であり効率的である．また，点検 者の技量に左右されないため，客観的かつ定量的な評価 が可能である．さらに，デジタルデータは管理が容易で あり，過去のデータと比較することにより経年的な変化 を容易に調べることができる．コンクリート構造物の劣 化や損傷の定量化，診断のためには，変状の検知や抽出 は特に重要であり，これまでに数多くの研究が行われて おり6)－11)，抽出したひび割れの特徴量から損傷度の診断 を行う研究12)も行われている． コンクリ－ト構造物の目視点検では，ひび割れ状況の 把握が重要である．室内の良い条件下で得られた画像と
は違い，実際のコンクリ－ト構造物表面の画像は，光の 当たり具合や影などの影響，汚れ（砂すじや表面気泡等 を含む）などのため，画像処理による検知や抽出の自動 化は非常に困難である．また，コンクリート表面の凹凸 や曲面，型枠跡などが見られることも困難とする要因で ある． Itoら6) の構築したシステムでは，予め表面に白板など を設置して撮影した補正用データを作成し，点検対象と なる壁面を撮影したデータと差分をとるシェーディング 補正により光の影響を除去している．しかしながら，一 般的に撮影場所は足場が悪く，撮影するたびに補正用デ ータを作成することは困難であり，作業効率が良いとは 言えない．Abdel-Qaderら7) はウェーブレット変換，フー リエ変換，Sobelフィルタ，Cannyフィルタのひび割れ抽 出への有効性を比較しており，Hutchinson & Chen8) は，
ひび割れ抽出にウェーブレット変換とCannyフィルタを 用いている．しかしながら，抽出対象となるひび割れ幅 の不均一性については考慮されていない． また，山口ら9),10)は画像の輝度と形状を特徴としたパー コレーション処理によりノイズの発生を抑えたひび割れ 検出を実現している．しかしながら，閾値処理などのパ ラメータ設定の自動化は考慮されていない．河村ら11)はひ び割れ検出の処理を画像処理とパラメータの組合せ最適 化問題として，対話型遺伝的アルゴリズムにより，半自 動的に解く方法を提案している．完全な自動検出のため には処理の組合せやパラメータの自動最適化も大きな課 題である． 筆者らは，これまでにひび割れ自動抽出のために，二 つの前処理と閾値処理，線延長処理からなる手法を提案 している13), 14)．ところが，前処理に用いるパラメータの 設定方法については十分に検討されていない．また，閾 値処理では設定する閾値によってはノイズが発生してし まい，線延長処理においてノイズを拡張してしまうとい う問題があった． そこで，本論文では，ひび割れ抽出の自動化を目的と して，様々な条件下で撮影された，影や汚れがあるコン クリ－ト表面のひび割れ画像に対して，頑健にひび割れ を抽出する画像処理手法を提案する．本論文では，まず 始めに，二つの前処理に用いるパラメータの設定方法を 明らかにする．次に，前処理の一つである多重スケール 線強調処理により，ひび割れ幅を分類する方法を提案す る．さらに，より安定した自動抽出を目的として，閾値 処理の問題に対して確率的弛緩法を導入した二段階の自 動抽出法を提案する．最後に，提案する手法の実用に向 けた展望について述べる． 2. ひび割れ自動抽出手法 本論文で提案するひび割れ自動抽出手法は，グレース ケール画像を対象としている．カラー画像が入力された 場合には，まず始めにグレースケールに変換し，グレー スケール画像に対し，二つの前処理13), 14)と，二段階の抽 出処理が行われる．図-1に提案手法の処理の流れを示し， 提案手法の概要と前処理に用いるスケールパラメータの 設定について述べる． (1) 提案手法の概要 前処理では，コンクリート表面には抽出対象となるひ び割れ以外に光の不均一性や影，あるいは壁面の水漏れ などの汚れも含まれるため，これらの影響を抑えること が重要となる．これらの対策として，光の不均一性や影 などによる濃淡変化を除去し，ひび割れを汚れなどと区 別するために，二つの前処理を導入する13), 14)． Itoら6) は，光の影響を除去するために，事前に補正用 データを取得して，その差分をとることにより光の影響 を抑制している．これに対して，著者らは，処理対象と なる画像からメディアンフィルタを用いて補正用データ を生成し，光の影響を除去する手法を提案している．本 手法ではひび割れを除去した補正用画像を入力画像から 生成できるため，一枚の入力画像のみで光や影の影響を 除去できる． また，抽出対象となるひび割れは幅が不均一であるた め単一スケールの処理では抽出が困難である．著者らは， ヘッセ行列を用いた多重スケール線強調処理によりひび 割れを強調する手法を提案している13), 14)．また，多重ス ケール処理はひび割れ幅の分類にも応用することができ る．以上二つの前処理では，メディアンフィルタやヘッ 図-1 提案するひび割れ自動抽出法 メディアンフィルタを用いた差分処理 （Subtraction preprocessing） ・光の不均一性や影などによる濃 淡変化を 除去 する ・対象画像のみから補正データを 生成 する ヘッセ行列を用いた多重スケール線強調処理 （Multi-scale line emphasis preprocessing）
・壁面の傷や汚れなどの影響を抑 える ・ひび割れ幅の不均一性を 考慮し た多 重ス ケール処 理 確率的弛緩法に基づく抽出処理 （Probabilistic relaxation） ・ノイズの発生を抑え，大まかにひび割 れを抽出 する ・閾値設定の問題を回避する 段階的閾値処理
（Improved locally adaptive thresholding）
・大まかに抽出されたひび割れを もと に高精 度化 する
前処理
抽出
セ行列の計算に用いるガウス関数にスケールパラメータ が用いられる．これらのスケールパラメータの設定方法 については(2)で述べる． 次に，前処理を行った画像からひび割れを抽出するた めの処理が必要になる．一般的には閾値処理が用いられ ている．閾値処理は，画像処理の基本的な手法であり， 領域分割などに広く用いられる処理である15)－17)．効率的 にひび割れを抽出するためには，処理の自動化とロバス ト性が必要である．閾値処理の方法は，画像全体に対し て一つの閾値を与える固定閾値処理と，画像の局所的情 報をもとに画素ごとに動的に閾値を設定する動的閾値処 理とに分けられる．固定閾値処理では閾値が抽出性能に 大きく影響を及ぼすため閾値の決定が重要である．しか しながら，ひび割れを欠落せずにひび割れ以外の過検出 を防止することは困難であり，固定閾値処理では性能に 限界があるといえる．一方，動的閾値処理では画素ごと に閾値を設定できるためひび割れは欠落されにくいが， 一般的にひび割れが存在しない領域においても画像の局 所的な濃淡変化に応じて閾値を調節してしまうため，過 抽出につながりやすい． このような問題に対して，本論文では前処理を施した 画像に対して，二段階の処理によりひび割れを自動抽出 する手法を提案する．本手法では，まず，確率的弛緩法 に基づく処理により，ノイズの発生を抑え，ひび割れの 位置と形状を大まかに抽出する．次に，抽出されたひび 割れの周囲に限定して段階的に閾値処理を施すことによ り，ひび割れの細部まで抽出する．二段階の検出方法を とることにより，ノイズを抑えた抽出が可能になる18)． また，確率的弛緩法を導入することにより閾値設定の問 題を回避することができる． (2) 撮影条件によるスケールパラメータの設定 一般に，画像処理のパラメータは処理性能へ影響を及 ぼすため，その設定は重要な問題である．本手法の前処 理で用いるスケールパラメータ（メディアンフィルタの サイズやガウス関数の標準偏差）は，画像上での抽出対 象となるひび割れ幅に応じて決定することが可能である． また，画像上での抽出対象の分解能は，画像取得時の撮 影機器と被写体との距離や光学レンズの性能，画像の解 像度などによって変動する．したがって，これらの撮像 系の条件と画像の分解能との関係が既知であれば，スケ ールパラメータを指定することが可能である． 本手法で用いるパラメータは撮像系の条件により指定 できるため，予め固定する分解能で抽出の対象となるひ び割れを撮影し，取得した画像を用いて最適なパラメー タを導出する．撮像系の条件により設定する分解能にお ける最適なパラメータを導出しておけば，同じ分解能で 撮影した画像に対して同一なパラメータを使用すること により，同様に抽出が可能であると考えられる． なお，本論文では，コンクリート構造物の診断におい て重要とされるひび割れ幅0.2mm以上のひび割れを抽出 対象としている1),19)． (3) 前処理 a) メディアンフィルタを用いた差分処理13) ひび割れを含むコンクリ－ト表面を撮影した画像は， 光の当たり具合や影などにより濃淡変化が生じている． まず，メディアンフィルタにより補正用画像（平滑化画 像）を生成し，次にこの画像を用いて，光の当たり具合 や影などの影響を抑制する．図-2にメディアンフィルタ による差分処理の適用例を示す．(a)は入力画像，(b)は入 力画像に対して平滑化処理を施した結果，(c)は(a)と(b) の差分画像である．(c)は白黒を反転した画像を示してい る． メディアンフィルタを用いた差分処理を式(1)に示す．
( )
⎩ ⎨ ⎧ − = ∈ 0 ) ( ) ( median max x R j i i s x I x I x I j i (1) ここで，Is(xi)は画素xiの差分後の輝度値，I(xi)は画素xiの 図-2 メディアンフィルタを用いた差分処理の例 (a) 入力画像 (b) 平滑化画像 (c) 差分画像 図-3 メディアンフィルタによる背景差分処理輝度値を，Riは画素xiの近傍を表す．medianは中央値を与 える関数である． メディアンフィルタは，画像中の各画素の輝度値をそ の近傍にある画素の輝度値の中央値に置き換える平滑化 フィルタであるため，局所的に輝度が高いあるいは低い 画素の輝度値を周囲の輝度値に揃える効果がある．ひび 割れを含む画像においては，フィルタサイズをひび割れ 幅の2倍以上にすれば局所的に輝度の低いひび割れを除 去できる．図-3に示す赤線(a)は，入力画像の輝度値を示 す．影の部分は明るい部分に比べ輝度値が低い．また， ひび割れ部分は局所的に輝度値が小さい．青線(b)は，赤 線(a)に対してメディアンフィルタを用いて平滑化した 画像を示す．図-3のメディアンフィルタ(1)の例において は，中央の注目画素はひび割れ上の画素であり，輝度値 が局所的に低い．しかし，メディアンフィルタ内のひび 割れ以外の背景画素の割合が0.5より大きいため，中央値 をとると背景の輝度値に置換することができる．また， メディアンフィルタ(2)の注目画素は明部と暗部の境界 に位置するが，フィルタ内の明部の画素数と暗部の画素 数はほぼ同じ割合であるため，中央値をとっても元の輝 度値とそれほど差がない．また，メディアンフィルタ(3) の例では，注目画素が背景にありフィルタ内にひび割れ 画素が含まれているが，背景画素の割合が大きいため中 央値をとると背景の輝度値が与えられる． 次に，メディアンフィルタによりひび割れを除去した 画像を補正用データとして元の画像と差分をとることに より，図-3の灰線(c)が示すように光の影響による画像中 の濃淡変化を除去したひび割れ画像が得られる．なお， メディアンフィルタの一辺の長さは抽出対象とするひび 割れ幅の5倍以上であることが望ましい． b) ヘッセ行列を用いた多重スケール線強調処理13) ヘッセ行列を用いることにより線・粒・面の構造を区 別したエッジ強調が可能になり20), 21)，ノイズを抑制した ひび割れ強調が可能になる．また，多重スケール処理20), 22)に よりひび割れ幅の不均一性に対してもロバストな検出が 可能となる． 画像におけるヘッセ行列は画像の濃淡変化の2階偏微 分を要素としてもつ行列である．2次元平面でのヘッセ行 列の2つの固有値を組み合わせることにより，濃淡変化の 線状性，粒状性，面状性の構造の違いを表すことができ る．図-4に線状構造，粒状構造，面状構造における固有 ベクトルの関係を示す．図中の各ベクトルの向きは固有 ベクトルの向き，大きさは固有値の絶対値の大きさに対 応している．線状性の強い位置では，線の進行方向のエ ッジが小さく，線の進行方向に対して垂直方向にエッジ が大きい（図-4(a)）．一方，粒状性の強い位置では，2 方向ともエッジが大きく（図-4(b)），面状性の強い位置 では2方向ともエッジが小さい（図-4(c)）．この性質の 違いを利用して式(2)により，各画素xにおける線の強度 を計算する． ⎪ ⎪ ⎪ ⎪ ⎪ ⎩ ⎪⎪ ⎪ ⎪ ⎪ ⎨ ⎧ < < < − = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − ≤ ≤ + = ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ + = otherwise if if x 0 0 1 0 1 ) ( 2 1 2 1 2 2 1 2 1 2 1 2 2 1 2 α λ λ λ αλ λ λ λ α λ λ λ λ λ λ λ λ λ (2) ここでλ1は最大固有値，λ2は最小固有値である．またαは 線の双曲性に対する許容度を表す．このとき，本手法で 対象とする線は，線の中心ほど輝度値が高い（図-2(c)） ため，理想的な線状構造では固有値の関係がλ2<λ1≈0とな る．したがって，式(2)により，二つの固有値の関係を評 価すれば，線状構造において高いλ(x)が得られる． デジタル画像のような離散データに対する2階微分は ガウス関数の2階微分との畳み込みにより近似的に計算 することができる．このときガウス関数の標準偏差を変 えることにより強調される成分のスケールを調整するこ とができる．本手法では，ガウス関数の標準偏差をσiと したときの式(2)による線の強度をλ(x; σi)と表し，これを 標準偏差で正規化して式(3)により，線の強度が最大のス ケールを選択し，線の強度R(x)を計算する．
( )
x max i2 (x; i) R i σ λ σ σ =)
...,
,
2
,
1
(
1 1i
n
s
i i=
−σ
=
σ
(3) ここで，σ1は標準偏差の最小値，sは強調する線幅σiのサ ンプリング間隔を決めるパラメータである．以上のよう に，多重スケール処理により線を強調することにより， ひび割れ幅の不均一性に対して安定した検出が可能とな る． (a) 線状構造 (b) 粒状構造 (c) 面状構造 |λ2| |λ1| e2 e1 |λ1| |λ2| e1 e2 |λ1| |λ2| e1 e2 図-4 構造別の固有ベクトルの関係(4) 自動抽出処理 前処理を施した画像に対するひび割れの自動抽出処理 について述べる．図-5に抽出処理の流れを示す．まず， ノイズの発生を抑えるために確率的弛緩法23), 24)を導入し， 大まかにひび割れの位置や形状を抽出する．次に，抽出 された領域の周辺に対して段階的に閾値処理を施すこと によりひび割れを細部まで抽出する．対象とする領域を 抽出されたひび割れの周囲に限定することによりノイズ を抑えた抽出が可能であり，画素ごとに閾値を与えるた め高精度な検出が可能である． a) 確率的弛緩法の導入 閾値処理でのパラメータ設定の問題に対し，ひび割れ の局所的な線状構造を利用した弛緩法により，閾値設定 が不要であり，ノイズを抑えた大まかなひび割れの抽出 を可能とする．画像処理における弛緩法は，画像のあい まいさや部分的な誤りを低減する方法として知られてお り，領域分割の問題においてもノイズの影響を低減させ る効果が期待される23), 24)．領域分割などに用いられる確 率的弛緩法では，各画素の輝度値に対して近傍の画素と の関係により拘束条件を定義し，拘束条件にもとづき輝 度値の更新を繰り返す．問題に応じて適切に拘束条件を 定義することにより良好な領域分割が可能となる． 本論文では，ひび割れの線状性に注目し，ノイズと区 別するために線の構造を強調するように拘束条件を定め る．ここでは線の構造を保持するために，近傍を図-6(a) に示すように方向別の4方向に分けたいずれかの領域の 画素とのみ拘束条件をもつものとし，拘束条件として近 傍の画素と同じラベルをもつように定義する．図-6(a)で 円は画素を表しており，中央の注目画素とその近傍の8 画素を示している．点線で示す4つの領域が方向別の近傍 領域を示している．このとき4方向の近傍の中で注目画素 のひび割れ確率の更新値をそれぞれ計算し，ひび割れ確 率が最大となる方向を選択する．したがって，ある方向 の近傍中の画素が注目画素のひび割れ確率より高い場合 には，注目画素のひび割れ確率を高めるように更新し， いずれの方向においてもひび割れ確率が低い場合にはひ び割れ確率を下げるように更新する． 図-6(b)，(c)にひび割れの強調およびノイズの抑制の例 を示す．図では各画素のひび割れ確率の大きさを円の大 きさで示している．(b)の注目画素（中央の円）では近傍 画素のひび割れ確率が高い横方向が選択され，近傍画素 のひび割れ確率が注目画素より高いため，注目画素のひ び割れ確率は高くなるように更新される．一方(c)では， 比較的近傍画素のひび割れ確率が高い右斜め上の方向が 選択されるが，近傍画素のひび割れ確率が注目画素より 低いため，ひび割れ確率を下げるように更新される．こ の更新処理を全画素に対して繰り返し適用することによ りラベル確率の更新を行う．また，近傍画素の一方では ひび割れ確率が高く，他方ではひび割れ確率が低い場合 には，それらの平均が高ければ強調され，平均が低けれ ば抑制される． 図-5に示す具体的な計算手順を述べる．まず，前処理 で得られた線の強度により，各画素のひび割れ，背景の 初期確率を定義する．このとき，前処理で得られた線の 強度は全体的に弱い方へ偏っているため，そのまま初期 確率として与えると背景に含まれやすい．ここでは，対 数変換を施して線の強度の偏りを補正する．ひび割れお よび背景の初期確率は次式により計算する． ) 1 ( log ) (1 = MAX+1 i+ i l f P (4) ) ( 1 ) (l2 P l1 Pi = − i (5) ここで，l1，l2はそれぞれひび割れと背景のラベルを表し， Pi(lk)は画素xiがラベルlkである確率を表す．また，fiは画素 xiにおける前処理の出力値である．MAXは画像の輝度の 最大値である． 次に近傍の画素との関係をもとに，各画素のひび割れ 確率と背景確率を更新していく．ひび割れ確率の更新式 ※円は画素であり，(b),(c)の円の大きさは画素のひび割れ確率を表す． 図-6 確率的弛緩法による強調と抑制 (a) 方向別近傍領域 (b) 強調 (c) 抑制 図-5 自動抽出処理の流れ 開始 初期ラベル確率の定義 確率的弛緩法によるラベル確率の更新 局所的閾値処理による更新 初期候補領域の決定 候補領域の更新 終了 収束 ? 収束 ? No Yes No Yes
を式(6) に示す． ) ( ) ( ) ( ) ( ) ( ) ( max ) ( ' 2 , 2 1 , 1 1 , 1 1 l Q l P l Q l P l Q l P l P d i i d i i d i i d i = + (6)
∑
∈ = d i j A x k j d i k d i P l N l Q , ) ( 1 ) ( , , (7) ここで，P’はPの更新値を表し，d=1, …, 4は領域の方向 を表す番号である．また，Ai,d は画像xiの方向dの近傍領 域であり，Ni,dはAi,dの画素数を表す．式(7)で各方向での ラベル確率の適合度Qi,d(lk)を計算し，式(6)により方向を 選択して注目画素のひび割れ確率を更新する．ラベルlk の適合度Q(lk)が高い場合にはP(lk)を高めるように更新さ れる．また，背景のラベル確率は式(5)により更新される． 以上の更新処理を全画素について繰り返し，ラベル確率 の更新が収束するまで行う．図-7に確率的弛緩法による 抽出の一例を示す． b) 段階的閾値処理 動的閾値処理は画素ごとに閾値を設定する局所的な閾 値処理であり，一般的にひび割れのように抽出対象が線 状の場合には欠落されにくいが，抽出対象が存在しない 領域において過抽出が生じる．そこで，確率的弛緩法に より抽出された領域の周囲に限定して，局所的な閾値処 理を段階的に施す．この処理を段階的閾値処理と呼ぶ． 段階的閾値処理では，画素ごとに閾値を最適化できる ため，高精度な抽出が可能となる．また，対象とする領 域を一度抽出された領域の周辺に限定できるため，新た にノイズが発生することを防止できる．ここでは，前処 理で得られた線の強度に対して閾値処理を施す．処理の 手順を以下に述べる． （手順1）確率的弛緩法により抽出されたひび割れ領域の 周辺を初期探索領域とする．ここでは，ひび割れとして 決定された画素の8近傍に位置する画素を探索領域に指 定する． （手順2）探索領域の各画素に対して局所的閾値処理によ りひび割れかあるいは背景かを判別する．ここでは，対 象画素を中心とする近傍領域内のM×M 画素より，判別 分析法25), 26)により閾値を決定し，対象画素の線の強度が 閾値以上のときひび割れと判別し，閾値未満のとき背景 と判別する．このとき，ひび割れと判別された画素はひ び割れ領域に追加し，背景と判別された画素は背景領域 として確定する． （手順3）更新されたひび割れ領域の近傍を新たに探索領 域に追加する．このとき，近傍に位置する画素であって も手順2で一度背景領域として確定された画素は探索領 域には追加しない． （手順4）手順3で探索領域が変更された場合は手順2に戻 り，変更されなかった場合には処理を終了する．図-8に 段階的閾値処理の一例を示す． (5) ひび割れ幅による色付け処理 構造物の診断において抽出されたひび割れの幅を計測 することは重要である．線強調処理では，ガウス関数の 標準偏差を変えて各スケールでの線の強度を計算してい る．したがって，ひび割れの画素について，式(3)におけ るσi2λ(x;σi)が最大となるスケールσiを調べることにより 図-7 確率的弛緩法による抽出 (a) 入力画像 (b) 確率的弛緩法適用前 (c) 更新 2 回 (d) 更新10 回 (a)入力画像 (b)段階的閾値処理適用前 (c)更新 10 回 (d)更新 67 回（収束時） 図-9 ひび割れ幅による色付け処理 (a)画素単位でのスケール 注目画素 近傍領域 (N×N) (b)平均化されたスケール 図-8 段階的閾値処理画素でのひび割れ幅を認識することが可能であり，ひび 割れを幅別に分類することが可能である． 図-9に色付け処理の様子を示す．図の例では，(a)に示 す注目画素はスケール2であるが，周囲の画素とのスケー ルが異なるため，この位置でのひび割れ幅を定義するこ とができない．ここで，注目画素の近傍のN×N画素の中 で，ひび割れである画素のスケールの平均をとることに よりこの位置でのひび割れ幅を決定する．図-9(b)にスケ ールを平均化した結果を示す．この数値に応じて色に置 き換えることにより，ひび割れ幅による色付けを行う． 3. 提案手法の有効性の検証と実用化への展望 コンクリート構造物に発生しているひび割れを撮影し た実画像60枚を用いた実験により，提案手法の有効性を 評価する．実画像は種々の構造物から撮影したもので， 特に影や汚れが写っているものを集めた．前処理につい ては，これまでにROC解析により光の変動や汚れに対す る有効性を定量的に示している13), 14)．ROC解析とは，分 類のための閾値を変動させたときの信号とノイズの分離 性を，感度と特異度（後述の説明を参照されたい）の関 係により定量的に評価する解析方法であり，閾値の設定 を考慮せずに前処理を評価できる27)．本論文では，確率 的弛緩法を適用した二段階自動抽出法の有効性を示す． 実験には，コンクリート構造物表面のひび割れを撮影 した60枚の256階調グレースケール画像（VGA：640×480 画素）を用いる．本研究では，構造物の劣化診断におい て重要な指標となる幅0.2mm以上のひび割れを抽出対象 とする1), 17)．そのため，実験に用いる画像は分解能が 0.1mm程度になるよう条件を定めて取得している．なお， 前処理でのパラメータは，メディアンフィルタのサイズ を27×27とし，線強調処理ではα=0.25，ガウス関数の標準 偏差を 2,2,2 2,4( 2, 2, 4) 1= = = = σ s n σ とした．また， 段階的閾値処理での近傍領域のサイズを27×27画素とし た． 本論文では，人手によるひび割れトレース結果を規範 とし，ひび割れの形状を人手によるトレース結果と同等 に検出することを目標とする．ひび割れ抽出性能を定量 的に示すために，感度(Sensitivity)と特異度(Specificity)に より抽出結果を評価する．ここで，感度は，ひび割れの 正検出率を表し，特異度は，背景に対する識別率を表す． 感度と特異度がともに高いほど，処理の性能が優れてい るといえる．事前に目視によりひび割れをトレースした 画像を評価基準とし，各画素にひび割れあるいは背景の ラベルを付与する．実験では，これをもとにして，抽出 性能を感度と特異度により定量的に評価する． まず，閾値処理28)による抽出との比較により提案手法 の有効性を示す．一般に用いられる閾値処理では，パラ メータとなる閾値によって感度と特異度が変動するため， 感度と特異度による評価は容易ではない．本論文では， 画像別に提案手法による抽出結果の感度あるいは特異度 と同等になるように比較用の閾値処理の閾値を定め，も う一方の特異度あるいは感度により，抽出性能を比較す る．感度を同等とする場合にはひび割れを同程度に抽出 したときのノイズ抑制の観点から，特異度を同等とする 場合にはノイズを同程度に抑制したときのひび割れ抽出 の観点から，提案手法と固定閾値処理の性能を評価する． 表-3 感度・特異度・適合率による提案手法と判別分析法および動的閾値処理との比較 評価指標 提案手法 判別分析法 動的閾値処理 従来法13) 感度 (Sensitivity) 0.80 0.77, 0.83 0.72*** 0.69, 0.76 0.81 (n.s.) 0.80, 0.83 0.75*** 0.72, 0.78 特異度 (Specificity) 0.992 0.991, 0.993 0.993*** 0.992, 0.995 0.922*** 0.918, 0.927 0.989 (n.s.) 0.984, 0.994 適合率 (Precision) 0.61 0.58, 0.63 0.66*** 0.62, 0.69 0.15*** 0.13, 0.16 0.59 (n.s.) 0.56, 0.63 上段：平均 下段：95％信頼区間
***: p<0.001, (n. s.): not significant (Paired t-test) 表-1 感度が同等なときの特異度による提案手法と固定閾 値処理の比較 評価指標 提案手法 固定閾値 特異度 0.992 0.991, 0.993 0.991*** 0.990, 0.992 上段：平均 下段：95％信頼区間 ***: p<0.001 (Paired t-test) 表-2 特異度が同等なときの感度による提案手法と固定閾 値処理の比較 評価指標 提案手法 固定閾値 感度 0.80 0.77, 0.83 0.79*** 0.75, 0.82 上段：平均 下段：95％信頼区間 ***: p<0.001 (Paired t-test)
表-1に画像別に感度を同等とした場合の特異度による 比較結果を，表-2に画像別に特異度を同等とした場合の 感度による比較結果を示す．各表には，60枚の画像に対 する特異度あるいは感度の平均および95%信頼区間を示 す．表より，特異度と感度のいずれの比較においても提 案手法が高い性能を有することがわかる．特異度あるい は感度について，提案手法と閾値処理による抽出には Paired t-test29)でp<0.001においていずれの差も有意性が認 められた．確率的弛緩法を用いた二段階自動抽出である 提案手法は固定閾値処理よりも高い抽出性能があるとい える． 次に，提案手法を，代表的な閾値自動選定法である大 津の判別分析法25), 26)による抽出法，動的閾値処理である 動的閾値処理による抽出法，従来法13)と比較する．ここ では，上述の感度，特異度に加えて，適合率(Precision) により抽出結果を評価する．感度は正解画像のひび割れ 全体に対する抽出率を表すのに対し，適合率はひび割れ として抽出された画素での正解率を示す．感度が高いが 適合度が低い場合には，過抽出の割合が高いことがわか る． 表-3に60枚の画像に対する提案手法，判別分析法，動 的閾値処理および従来法による抽出での感度，特異度， 適合率の平均と95%信頼区間を示す．提案手法と判別分 析法とを比較すると，特異度と適合率での差は小さいが， 感度においてPaired t-testで有意な差が見られ（p<0.001）， 提案手法が優れている．判別分析法で決定された閾値で は，ノイズを抑制する傾向があるが，固定閾値によるた め比較的輝度の低い部分のひび割れを抽出できていない． 一方，動的閾値処理は，提案手法と比較して感度はほぼ 同等であるが，特異度と適合度が著しく低くPaired t-test で有意な差が見られた（p<0.001）．図-10に判別分析法 および動的閾値処理との抽出結果の比較例を示す．入力 画像上に記載している幅はクラックスケールを用いて目 視により計測した実測値である（以下の図も同様である）． 提案手法は従来法と比較すると，特異度では有意な差は ないが，感度においてPaired t-testで有意な差が見られた （p<0.001）． 図-11に抽出精度（上段：比較的良い，下段：比較的悪 い）別に提案手法による抽出結果の例を示す．抽出精度 が比較的低い画像においてもひび割れをほぼ完全に抽出 できていることがわかる． 以上の結果から，提案手法は通常の閾値処理より抽出 精度が高いといえる．また，光の不均一性や壁面の汚れ などを含むような場合にも，画像によらず比較的安定し た抽出が可能であるといえる． さらに，2.(5)で述べたアルゴリズムにより，抽出され たひび割れに対して幅により色づけした例を図-12に示 す．平均化する際の近傍領域の大きさは11×11画素とし 図-10 判別分析法および動的閾値処理との比較例 (b) 提案手法 (d) 動的閾値処理 (a) 入力画像 (c) 判別分析法 幅 0.2mm 幅 0.5-0.6mm 幅 0.3-0.4mm
ている．図ではひび割れ幅が小さい部分を青とし，ひび 割れ幅が大きくなるについて赤に近い色で示している． 結果に示すように，ひび割れ幅に応じて色分けされてい ることがわかる．これにより抽出したひび割れの幅の違 いを可視化することができ，点検に有用であると考える． 本論文では，幅0.2mm以上のひび割れを抽出の対象と している．実験では，これらのひび割れが画像を撮影し た際に，2画素程度の幅をもつように，撮影機器の条件や 撮影距離により画像の分解能を設定している．各処理で 用いるスケールパラメータはこの条件で取得した画像に 対して調整しており，実験では幅0.2mmから1.5mmのひ び割れを抽出できることを確認している（幅1.5mm以上 は未検証である）． 撮影時の被写体との撮影距離，レンズの倍率，解像度 図-11 提案手法による抽出結果
(a) 入力画像(i) (b) 入力画像(ii) (c) 入力画像(iii)
(d) (a)の抽出結果 [感度：0.95，特異度：0.998] (e) (b)の抽出結果 [感度：0.93， 特異度：0.995] (f) (c)の抽出結果 [感度：0.93， 特異度：0.994]
(g) 入力画像(iv) (h) 入力画像(v) (i) 入力画像(vi)
(j) (g)の抽出結果 [感度：0.91， 特異度：0.994] (k) (h)の抽出結果 [感度：0.89， 特異度：0.989] (l) (i)の抽出結果 [感度：0.73， 特異度：0.987] 幅0.2mm 幅0.4mm 幅0.3-0.4mm 幅0.4-0.5mm 幅 0.2mm 幅 0.2mm 未満 幅 0.5mm 幅 0.3-0.4mm 幅 1.0-1.2mm 幅 0.5-0.6mm 幅 1.2-1.4mm
は，互いに条件を合わせて変更することにより，同一の 分解能の画像を得ることが可能である．これらを変更す ることにより，様々な条件で撮影することができる．例 えば，撮影距離を大きくし，それに応じてレンズの倍率 を高くすることにより，より遠方から撮影することが可 能になる．また，画像の画素数を大きくしてレンズの倍 率を高くすることにより，より広範囲を一度に撮影する ことが可能となる．場合によっては点検対象とするひび 割れ幅に応じて分解能を変更することも可能である． 4. 結論 画像処理によるひび割れ自動抽出の課題として，光の 影響，壁面の汚れの影響について，また，閾値などのパ ラメータの最適化の問題について述べた．これらの問題 に対して，二つの前処理と二段階の自動抽出処理からな るひび割れ自動抽出法を提案した． 光の変動がある状態で汚れなどの見られるコンクリー ト表面を撮影した画像を用いた実験により，提案手法の 有効性を評価した．以下に本研究を通じて得られた知見 をまとめる． 図-12 幅別での色づけ結果 (b) 色づけ結果(i) (d) 色づけ結果(ii) (f) 色づけ結果(iii) (a) 入力画像(i) (c) 入力画像(ii) (e) 入力画像(iii) 小 大 ひび割れ幅 小 大 ひび割れ幅 小 大 ひび割れ幅 幅 0.7-0.8mm 幅 0.2-0.3mm 幅 0.2mm 未満 幅 0.2mm 幅 0.5-0.6mm 幅 0.3-0.4mm 幅 0.2mm 幅 0.3-0.4mm 幅 0.2mm
1) 前処理を施した画像に対して，提案する二段階の抽 出処理法と固定閾値処理の性能を感度と特異度に より評価した．固定閾値処理での閾値を調整し，感 度を揃えて特異度により二つを比較した場合にも， 特異度を揃えて感度で比較した場合にも，提案手法 が優れていることを確認することができた． 2) 提案する二段階の抽出処理法と代表的な固定閾値 処理法である判別分析法，動的閾値処理法および従 来法13)とを感度，特異度，適合率により定量的に評 価し，有効性を比較した．提案手法は判別分析法と 比べて，感度，特異度，適合率においても有意な差 があり提案手法が優れていることを確認した．また， 提案手法は感度が高い動的閾値処理法と同等な感 度でひび割れを抽出し，特異度や適合率を大幅に高 めることが可能となった．さらに，従来法と比較し て，特異度と適合率ではそれほど大きな差はないが， 感度において優れていることが確認された． 3) 本研究では，幅0.2mm以上のひび割れを抽出対象と しており，撮像系の条件や撮影距離により画像の分 解能を固定することにより，前処理でのスケールパ ラメータを分解能に応じて指定することができ，パ ラメータの設定を容易にしている．実験では0.1mm/ 画素で撮影した画像により抽出精度を検証し，幅 0.2mmから1.5mmのひび割れを安定して抽出できる ことを確認した．今後，同一パラメータで1.5mm以 上のひび割れに対する検証も行う必要がある． 4) 本手法により，光の変動の影響に対しては，ほぼ完 全に抑制することが可能である．しかしながら，ひ び割れ以外の損傷や壁面の汚れの影響は軽減され ているが，対策が完全とはいえない．今後は抽出さ れたひび割れと過抽出された領域との分類の自動 化が課題である． 5) ひび割れ計測のために，線強調処理の結果を利用し て，幅によりひび割れを分類（色付け）できること を確認した．これにより危険性の高いひび割れの密 度を計測するなど，点検に有用な情報を得ることが 可能となる．しかし，色付け結果をひび割れ幅の実 測値と比較するなど，分類精度については検証を行 うことが課題となる． コンクリート構造物の点検において，ひび割れなどの 損傷の抽出は，損傷の計測や定量化，さらには構造物の 補修や補強の方針を決定するための前段階である．した がって，本手法による抽出結果を利用して，ひび割れの 長さや幅，分布などを定量化することができれば，客観 的にかつ定量的にひび割れを評価することができる．ま た，画像とともに計測した損傷の情報をデータベースで 管理しておき，過去の画像や損傷情報を参照することに より，経年変化を調査することも可能である．さらには， 構造物の設計方法などの情報の利用も含めて構造物を総 合的に調べることにより，構造物の損傷度や劣化の進行 度あるいは将来的な危険予測が可能になれば，より効率 的な点検を実現できると考えられる． 参考文献 1) 魚本健人：「非破壊検査」ではかるコンクリート構造 物への応用，土木学会誌，Vol. 85, No. 1, pp. 81-85, 2001.1. 2) 魚本健人：コンクリート構造物の維持管理とコンクリ ート診断士，コンクリート工学，Vol. 39, No. 4, pp. 10-13, 2001.4. 3) 松村英樹：コンクリート構造物の点検・調査・診断の 現状，コンクリート工学，Vol. 39, No. 6, pp. 8-9, 2001.6. 4) 鎌田敏郎：コンクリート構造物のメンテナンスのおけ る検査の役割，土木学会誌，Vol. 86, pp. 34-36, 2001.12. 5) 外川 勝，小出 博，中井 誠：デジタル画像による橋 梁損傷調査，土木学会第57 回年次学術講演会，Vol. 85, No. 1, pp. 67-68, 2002.9.
6) Ito, A., Aoki, Y. and Hashimoto, S.: Accurate extraction and measurement of fine cracks from concrete block surface image, Proceedings IECON, Vol. 3, pp. 2202-2207, 2002.
7) Abdel-Qader, I., Abudayyeh, O. and Kelly, M. E.: Analysis of edge detection techniques for crack identification in bridges, Journal of Computing in Civil Engineering, Vol. 17, No. 3, pp. 255-263, 2003.
8) Hutchinson, T. C. and Chen, Z.: Improved image analysis for evaluating concrete damage, Journal of Computing in Civil Engineering, Vol. 20, No. 3, pp. 210-216, 2006. 9) 山口友之，橋本周司：既設コンクリート構造物におけ
るひび割れ幅の実画像計測（特集実利用マシンビジョ
ン技術），電気学会論文誌C，電子・情報・システム
部門誌，Vol. 127，No. 4，pp. 605-614，2007.4． 10) Yamaguchi, T., Nakamura, S., Saegusa, R. and Hashimoto,
S.: Image-based crack detection for real concrete surfaces, Transactions on Electrical and Electronic Engineering, Vol. 3, pp. 128-135, 2008. 11) 河村 圭，宮本文穂，中村秀明，佐藤亮：対話型遺伝 的アルゴリズムによるデジタル画像からのひび割れ 抽出，土木学会論文集，Vol. 742，pp. 115-131，2003． 12) 広兼道幸，野村泰稔，楠瀬芳之：コンクリート構造物 のひび割れ形状に基づく損傷度分類への線形SVM の 適用，土木学会論文集A，Vol. 64，No. 4，p.739-749， 2008． 13) 藤田悠介，三谷芳弘，浜本義彦：画像処理によるコン クリート表面のひび割れ抽出法，非破壊検査，Vol. 56， No. 7，2007．
14) Fujita, Y., Mitani, Y. and Hamamoto, Y.: A method for crack detection on a concrete structure, Proceedings of the 18th International Conference on Pattern Recognition (ICPR06), pp. 901-904, 2006.
15) Weszka, J. S.: SURVEY: A Survey of Threshold Selection Techniques, Computer Graphics and Image Processing, Vol. 7, pp. 259-265, 1978.
16) Lee, S. U., Chung, S. Y. and Park, R. H.: A comparative study of several global thresholding techniques for
segmentation, Computer Graphics and Image Processing, Vol. 52, pp. 171-190, 1990.
17) Sezgin, M. and Sankur, B.: Survey over image thresholding techniques and quantitative performance evaluation, Journal of Electronic Imaging, Vol. 13, No. 1, pp. 146-168, 2004. 18) 藤田悠介，三谷芳弘，浜本義彦：コンクリート構造物 のひび割れ抽出のための一手法，画像の認識・理解シ ンポジウム(MIRU2005)，pp.981-988，2005． 19) 日本コンクリート工学協会. コンクリートのひび割れ 調査，補修・補強指針-2003-，2003．
20) Sato, Y., Nakajima, S., Shiraga, N., Atsumi, H., Yoshida, S., Koller, T., Gerig, G. and Kikins, R.: Three-dimensional multi-scale line filter for segmentation and visualization of curvatures in medical images, Medical Image Analysis, Vol.2, No. 2, pp. 143-168, 1999. 21) 金澤靖，金谷健一：コンピュータビジョンのための画 像の特徴点抽出，電子情報通信学会誌，Vol. 87，No. 12， pp. 1043-1048，2004． 22) 澤田晃，佐藤嘉伸，木戸尚治，田村進一：胸部 X 線画 像における肺腫瘤陰影の検出－多重解像度フィルタ エネルギー差分画像の利用と性能分析－，Medical Imaging Technology, Vol. 17，No. 1，pp. 81-91，1999． 23) Rosenfeld, A., Hummel, R. A. and Zucker, S. W.: Scene labeling using relaxation operation, IEEE Trans. Syst., Man, Cybern., Vol. SMC-6, No. 6, pp. 420-433, 1976． 24) 高木幹雄，下田陽久：新編 画像解析ハンドブック，
東京大学出版会，2004．
25) Otsu, N.: Threshold selection method from gray-level histograms, IEEE Trans. Syst. Man Cybern., Vol. 9, No. 1, pp. 62-66, 1979. 26) 大津展之：判別および最小 2 乗基準に基づく自動しき い値選定法，電子通信学会論文誌，Vol. J63-D，No. 4， pp. 349-356，1980． 27) 白石順二：CAD 研究に役立つ ROC 解析，医用画像情 報学会雑誌，Vol. 21，No. 1，pp. 30-37，2004． 28) 奥富正敏：デジタル画像処理，CG-ARTS 協会，2004． 29) 奥野忠一：応用統計ハンドブック，養賢堂，1978． (2009. 5. 8 受付)
AUTOMATIC AND EXACT CRACK EXTRACTION FROM CONCRETE
SURFACES USING IMAGE PROCESSING TECHNIQUES
Yusuke FUJITA, Hideaki NAKAMURA and Yoshihiko HAMAMOTO
In this paper, we proposed a method for robust automatic crack extraction from noisy concrete surface images. The proposed method has two preprocessing steps for robust extraction. After two preprocessing steps, probabilistic relaxation is applied to overcome the problem of threshold selection and also to prevent noises, and improved locally adaptive thresholding is used to extract cracks exactly and automatically. It is possible to classify width of cracks extracted by our proposed method. The experimental results show that the proposed method is effective to extract cracks from actual noisy concrete surface images, compared to the conventional method and other thresholding techniques.
