開発技術を点検現場・実証現場につなぐ

２０１７－０６－３０ 産総研人工知能セミナー

NEDOインフラ維持管理・更新等の社会課題対応システム開発プロジェクト

②イメージング技術を用いたインフラ状態モニタリングシステム開発 道路構造物ひび割れモニタリングシステムの研究開発

道路構造物ひび割れ検出サービスの研究開発

国立研究開発法人産業技術総合研究所 知能システム研究部門 コンピュータビジョン研究グループ 永見 武司

本日の内容

1. 背景

2. 開発技術について

3. データ収集について

4. 関連技術の開発

道路構造物点検における課題

土木技術者不足 財政負担増

橋梁、トンネル等の道路構造物の高齢化（劣化損傷の増加）

近接目視点検義務の徹底 (1 回 /5 年 ) H26.7 より

点検困難箇所顕現

点検を支援・自動化する技術

省コスト 課題

NEDO：インフラ維持管理・更新等の社会課題対応システム開発プロジェクト 首都高技術株式会社、東北大学、産業技術総合研究所

3

背景

省力化 高精度化 補助・代替

課題解決のための取組み

○イメージング技術を用いたインフラ状態モニタリングシステム開発

（１）イメージング技術開発

完全自動により画像データから０．２ｍｍ幅以上のひび割れを８０％以上 の確率で判別できる画像処理手法を開発し、実証する。

（２）イメージング技術を用いたモニタリングシステムの実証実験

（１）の開発技術を用いて、インフラ状態をモニタリングするシステムを構 築し、実環境下で実証評価を行い、実用システムを開発する。

ＮＥＤＯインフラ維持管理・更新等の社会課題対応システム 開発プロジェクト

Ｈ２６～２８年度：要素技術の研究開発、Ｈ２９～３０：実証実験

技術シーズ

研究開発課題・体制

コンクリートのひび割れ自動検出技術

パノラマ合成・経年変化検出等の支援技術 これらを統合したモニタリングシステムの開発

実用可能なひび割れモニタリングシステムの開発 開発課題

首都高での点検効率化 点検受託事業の拡大 コンサルティング事業 首都高・各地交体等

Co

ひび割れ損傷撮影 首都高技術

コンクリート構造物の 調査解析および

維持管理技術 東北大

画像解析技術、

異常検出技術および 合成処理技術

産総研

事業化により得られる効果 事業化

成果

NEDO：インフラ維持管理・更新等の社会課題対応システム開発プロジェクト 首都高技術株式会社、東北大学、産業技術総合研究所

5

研究開発の現状

道路橋の床版・橋台等を対象にした実験で、検出精度８１％

機能：

開発技術 某ソフト

見落としも誤検出も少ない技術を開発

●いつでもどこからでも利用可能

ひび割れ検出機能をＷｅｂサービスとして実装

●処理が集中しても遅滞なく安定した結果出力が可能 スケールアウト可能なシステム構造

人（専門技術者）

開発技術

汚れが目立つ対象でも人に近い識別能力を実現

性能：

開発システムのデモ映像

7

スマートフォン用アプリでの実験映像

NEDO： インフラ維持管理・更新等の社会課題対応システム開発プロジェクト 道路構造物ひび割れモニタリングシステムの研究開発

ひび割れ検出技術の開発アプローチ

２．統計的パターン認識（今）

微小領域の特徴をベクトル化し、

学習型識別器を構成して適用

１．モデル計測アプローチ（昔）

生成モデルに基づく多数のルール を適用

元画像

検出（識別）

閾値処理

検出（識別）

機械学習によるパターン（ベクトル）識別 特徴抽出

輝度値の二値化、微分、

etc..

・物理的な量、形体

二値化 微分

ノイズ を拾う

途切 れる

特徴抽出

・近傍との関係に関する統計量

ひび割れがもつ局所的な形状特徴を パターンとして抽出

…

集計 ベクトル化

1 5 0 :

9

ひび割れ検出技術の概略

元画像 結果

ニューラルネット

CNN ^{クラス分け}

判定 特徴抽出

ひび割れ＝谷形状と 見立て特徴量を設計

NEDO： インフラ維持管理・更新等の社会課題対応システム開発プロジェクト 道路構造物ひび割れモニタリングシステムの研究開発

253

130 88 58 55 48

220

111 79

63 50 45

36

37 38

37 38 37

509

278 205

158 143 130

0 100 200 300 400 500 600

1 2 3 4 5 6

ＰＲＯＣＥＳＳＩＮＧＴＩＭＥ［ＳＥＣ］

GPU BOARDS

preprocess postprocess others

処理速度向上の道のり（マシンタイプとＧＰＵ数）

11

21 11 8 7 6 6 6 6

54 29 19 15 13 12 11 11

5 5 5 5 5 5 5 5

80

45 32 27 24 23 22 22

0 100 200 300 400 500 600

1 2 3 4 5 6 7 8

GPU BOARDS

64 34 23 18 16 14

43 29 21 17 15 14

9

8 9 9 8 9

116

71 53 44 39 37

0 100 200 300 400 500 600

1 2 3 4 5 6

ＰＲＯＣＥＳＳＩＮＧＴＩＭＥ［ＳＥＣ］

GPU BOARDS

preprocess postprocess others

107 55 37 29

56

31 21 17

7

7 8 7

170

93 66 53

0 100 200 300 400 500 600

1 2 3 4

GPU BOARDS

Xeon 2.7GHz (12core) x 2, 60GB Memory

NVIDIA K40 (GPU 2880 core)

NVIDIA GRID K520 (GPU 1536 core)

G2.xlarge8 (CPU 24 core), 60GB

NVIDIA K80

(GPU 4992 core)

P2.xlarge8 (CPU 32 core), 488GB

2015

2016

開発用計算機

並列化、複数ボード構成 への適応を推進

2016 2017

Amazon Web Service

開発プログラムを

EC2

※ Postprocess

Caffe

ひび割れデータの採取と模擬試験

塩害 凍害

アル骨 コンクリート舗装ひび割れ 各種コンクリートひび割れ損傷写真

国内各地でサンプルデー タを収集し、教示用／評 価用データを作成

供試体 光量不足

斜め方向から撮影 水濡れ

供試体による撮影条件の検討

ひび割れ幅調整機能を有

する供試体を作成し、安定

した環境条件のもとに実験

NEDO： インフラ維持管理・更新等の社会課題対応システム開発プロジェクト 道路構造物ひび割れモニタリングシステムの研究開発

サンプルデータの管理（失敗例）

13

ラベル フォルダ名 サブフォルダ サブサブフォルダ 画像ファイル名 枚数 形式

img1 492A0868:492A0906 39 JPEG

img2 492A0878:492A0906 20 JPEG

20140717 Ａ橋橋台 492A2512:492A2523 12 JPEG

Ｂ橋橋台 492A2436:492A2464 28 JPEG

Ｂ橋桁 492A2476:492A2501 26 JPEG

20140724(その１) Ａ橋 492A2625:492A2668 44 JPEG

Ｂ橋 492A2617:492A2624 8 JPEG

20140724(その２) Ａ橋 492A2669:492A2704 36 JPEG

有 ○○ＴＮ（その１） ひび割れ幅用 492A2736:492A2747 4 JPEG

合成用 492A2734:492A2746 8 JPEG

20140908 ○○橋 492A2922:492A2935,IMG_0111:IMG0123 27 JPEG

○○島 IMG_0149:IMG_0203 54 JPEG

○○線 492A2833:492A2866 33 JPEG

○○川橋 IMG_0040:IMG_0048 9 JPEG

○○橋 IMG_0075:IMG_0102 28 JPEG

○○ＴＮ（その２） 492A2775:492A2800 26 JPEG

○○橋 492A2936:492A2962,IMG_0124:IMG_0128 32 JPEG

Ａ橋 1(3.7m):38(4.56m) 38 JPEG

20140806 7G0A0003:7G0A0064,DSCN0275:DSCN0338 126 JPEG

有 crack 20140806 492A2776:492A2799 13 JPEG

一部有 2014_11_05_○○TN IMG_0214:IMG_0457 233 JPEG

一部有 20141106○○ IMG_0210:IMG_0457 248 JPEG

2014_11_07_○○ 5D 492A2970:492A3088 83 JPEG

一部有 6D IMG_0459:IMG_0673 215 JPEG

一部有 20141116○○ IMG_0674:IMG_0851 178 JPEG

有 2014-12-26_A 7G0A0015:7G0A0023 5 PSD

有 20150225 0.1mm IMG_2252:IMG_2346 48 RAW,JPEG

有 0.3mm IMG_2137:IMG_2250 56 RAW,JPEG

有 0.05mm IMG_2348:IMG_2442 48 RAW,JPEG

有 0.05mm(広角レンズ) IMG_2444:IMG_2474 16 RAW,JPEG

有 ステレオ撮影もどき IMG_0004:IMG_2475 2 RAW,JPEG

目録方式

画像ファイル命名ルール

YYYYMMDDhhmmss_buildingname_image000_nn.nnnnnnn_eee.eeeeeee_option1_option2.jpg

撮影時刻

_

_

_

_

_

_

_

規則：

１．先頭から５項目（撮影時刻、場所名、ファイル名等、緯度、経度）は順番を守る ２．項目間は「

_

３．項目内の文字列には「

_

５．項目に書くべき情報がない場合は記載しない。つまり前後アンダースコアだけ

（場所名がない場合、

20160401123015__IMG335_

６．時刻が秒単位では区別できない場合はミリ秒まで記載する

（秒部分だけ５桁にする

YYYYMMDDhhmmsssss

７．緯度・経度は、百分率表記とし、小数点以下７桁とする。南緯、西経は負号つき 推奨事項：

１．場所名、ファイル名等も半角英数で小文字を推奨する

NEDO： インフラ維持管理・更新等の社会課題対応システム開発プロジェクト 道路構造物ひび割れモニタリングシステムの研究開発

サンプルデータの管理（なんとかやれてる）

15

・・

ファイル名に全部（時刻、場所、元ファイル名、対象、目的、・・）持たせる方式

ラベル付けツール

当初、 Photoshop を利用

機能豊富でツールやモードの選択が煩雑

専用アプリを製作

数秒で起動

同一画面上に編集窓とツールを配置

専用アプリにひび割れ検出機能を追加

ひび割れの塗り分けに研究成果を流用

ラベル付けツールのデモ

17

ひび割れ検出精度の考え方

赤色：ひび割れを正しく検出した部分

白色：ひび割れだが検出されなかった部分＝見落とし 黄色：ひび割れではないのに検出された部分＝過検出

Recall（再現率）

正しく検出したひび割れ 検出すべきひび割れ部位

Precision（適合率）

＝ ＋

正しく検出したひび割れ

＝ ＋

検出した全部位

精度評価の観点：見落としと過検出

従来、見落とさないことを重視するあまり、Recallの観点から性能が示されていた しかし、実用上はPrecisionの観点も不可欠

一般的にRecallとPrecisionはトレードオフの関係にあり、両者を含んだ評価が必要

NEDO： インフラ維持管理・更新等の社会課題対応システム開発プロジェクト 道路構造物ひび割れモニタリングシステムの研究開発

ひび割れ検出精度の評価指標

P re c is io n

Recall

RecallとPrecisionの両方を考慮した検出精度の評価

トレードオフの関係を定量化

17サンプルのPrecision Recall Curveの例

サンプル毎に各Recall値でのPrecision の平均を算出し、さらに全サンプルに ついてこの値の平均を算出

MAP(Mean Average Precision)

＝ 検出精度

これは各グラフの面積比の平均に等しい

右肩が張っているほど精度が高いといえる

＜

19

詳細形状・寸法算出方法の検討

元画像 詳細形状抽出 幅・長さ算出 幅・長さを表示

NEDO： インフラ維持管理・更新等の社会課題対応システム開発プロジェクト 道路構造物ひび割れモニタリングシステムの研究開発

開発システムの現場環境への対応性検討

○汎用性

市販の撮影機材に広く対応

⇒画質が劣る防塵防水型コンパクトデジタルカメラでも適用可能

○作業性

手持ちで利用

⇒三脚や車体への固定が不要

⇒吊り下がりながらの点検や狭小箇所でも運用可能

○信頼性

検出結果をその場で確認

⇒手戻り防止

21

実証に向けたシステム開発

ＰＣ画面 スマホ

点検・維持管理 クラウドサービス

オフィス

現場

ドローン

いつでもどこからでも利用可能なシステム