デジカメ点群を主とした
⼩規模構造物の3D変状の取得と管理⼿法
中川 雅史 （芝浦⼯業⼤学）
デジカメ点群を主とした⼩規模構造物の3D変状の取得と管理⼿法
- デジカメ画像を⽤いた従来型SfM/MVS処理
- SfM/MVS処理の効率化
- 全天球カメラ利⽤による撮影時間短縮
- TOFカメラを⽤いた実時間メッシュモデル作成
- 構造物情報管理のためのアブストラクションおよびモデリング
- はじめに
- ⼿持ちデジカメを⽤いた従来型SfMによる橋梁計測の実証実験 - 構造物計測におけるSfM/MVS処理の効率化 - 構造物計測におけるSfM/MVSのための撮影時間コスト改善 - ヘッドマウント型TOFカメラによるメッシュモデルの実時間⽣成に関する検証実験 -点群から3Dモデル（CAD/BIM）への中間処理（アブストラクション処理）を提案 - レーザー計測と⽐較した画像計測の優位性 - 撮影コストと処理コストに関する課題の整理 - 画像群のブロック化にもとづく画像組合せ候補の絞り込みによる処理⾼速化 - 全天球画像群から多視点の中⼼投影画像群を⽣成し，点群を⽣成する⼿法を提案 - 橋梁の点群を⽤いて，提案⼿法を検証＋橋梁点検における成果の活⽤⽅法の提⽰ - 構造物計測におけるSfM/MVS処理の意義 - ハンズフリーな3D計測の可能性を提⽰はじめに
■既往⼿法との差異
メリット デメリット 従来型点検（紙媒体） ドローン空撮，レーザー計測 ・実績がある ・完全性を担保できない ・計測ノウハウが必要 ・記録精度が主観に依存 ・記録が客観的 ・点検漏れを⼤幅に減らせる ・CIMに対応できる ・CIM対応が不完全 ・外業時間が短い 提案⼿法 ・記録が客観的 ・点検漏れを⼤幅に減らせる ・CIMに対応できる ・導⼊コストが⾼すぎ ・⼩規模構造物の計測に 適さない ・導⼊リスクが低い ・低性能センサで⾼分解能 ①⼩回りの効く3D計測 ・従来型点検とほぼ同コスト ⾃動・⾼精度に情報重畳できるので， 2回⽬(例：5年先)以降の点検を ⼤幅に⾃動化できる 点検の「数をこなす」ならば， 従来型点検が簡単 2回⽬以降の 点検結果と 重ならない 点検結果を補修・管理へ⼗ 分活⽤できない CIMを円滑に全国展開できない CIMの全国 展開で必須 ディープラーニング⽤ 学習データの⾼度化 ⼤・中規模構造物の点検や 施⼯管理への適⽤ 地⽅⾃治体や中⼩企業による 3D計測と利⽤の促進 発展性 ②GPSに依存しない変 状位置データ管理 ③点群上での変状の位置 情報管理 新規性■⽬的：⼩規模構造物の点検のための3Dデータ取得を迅速かつ安価に実現すること
■意義：i-Constructionを全国展開できない課題をボトムアップで解決
JACIC研究のターゲット
⼩規模構造物に対応した計測⽅法の提案
構造物 規模 計測技術需要 計測コスト LiDAR （1億円級） LiDAR （2000万円級） LiDAR （500万円級） UAV （5000万円 級） UAV （500万円級） UAV （50万円級） 構造物 規模 ゲートブリッジ級 橋⻑10m 計70万橋 JACIC研究の ターゲット 空撮許可が必要なので， 漸減率が低い 地上計測なので， 計測コストは低い ⼩規模構造物に適した計測⽅法が それほどない ⼤規模構造物に適した計測⽅法は 提案されている JACIC研究の ターゲット ⼤ ⼤ ⾼ ⼤デジカメ画像を⽤いた従来型SfM/MVS処理
橋梁点検の移動ルートに沿って撮影した画像でSfM処理できそう
Water flow ⽬視（全景） ⽬視（橋⾯舗装） ⽬視（排⽔装置） ⽬視（⾼欄） 打⾳（橋⾯舗装） ⽬視（床版） ⽬視（橋台・橋脚） ⽬視（伸縮装置） 橋上 橋下 変状 初期⽋陥 劣化 損傷 施⼯時に⽣じるもの 時間の経過に伴って進⾏するもの 地震や交通事故で発⽣したもの （アルカリシリカ反応，塩害など） 環境条件 はく離 ひび割れ はく落 浮き さび汁 遊離⽯灰 スケーリング 変⾊ 断⾯⽋損 ゲル 鋼材腐⾷ 付帯設備の損傷 使⽤条件 荷重条件 外観 伸縮継ぎ⼿の不良 異常なたわみや振動橋梁点検の移動ルート
従来型SfM処理における課題
橋梁を対象としたSfM処理では，
橋梁全体の抜けもれない撮影
が求められる
ただし，⼩規模橋梁の場合であっても..
・橋梁表⾯全体を多視点かつ画像間の重複を⼗分に確保した撮影
・ある領域の画像が2枚以上撮影されている
オーバーラップ率は
90％を⽬安
まんべんなく橋梁表⾯全体を⽬視する⽬視点検の流れに沿って
画像を撮影することで実現できる
- SfM/MVS処理に1〜3⽇程度の処理時間
計測コストと処理コストに関する課題への解決策の検討
- 1000〜3000枚程度の⼤量の画像撮影
膨⼤な処理コスト
膨⼤な計測コスト（撮影時間）
- SfM/MVS処理の効率化
- 全天球カメラ利⽤による撮影時間短縮
SfM/MVS処理の効率化
Close- and Long-range images
Matching matrix
- Outline images Main block - Low resolution - Detailed images Subblock - High resolution (0.2mm) Main block Subblock 1 Subblock 2 Blocked images Image acquisition for bridge modeling- Long-range images - Close-range images 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 １ 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
①Generate sampling lines
Sparse block
②Select representative images from Main block
Main block Sub-block 1 Sub-block 2 Extract key image pairs
The row and column indicate input image numbers
The combinations of row and column show image combinations in image matching Grayed grids show the existence of
actual image combinations
Many actual image combinations exist in the main block and subblocks Other image combinations would be sparse
between the main block and each subblock
- 副ブロック数 3の場合，約1.3倍速へ
- 副ブロック数10の場合，約2倍速へ
全天球カメラ利⽤による撮影時間短縮
計測⽤カメラではなく，安価なカメラを利⽤する
Panoramic Image Decomposition for SfM
Mercator to Centric (18 directions)
e.g. 10 panorama images = 180 images
広⾓8眼での撮影例
× SfM処理で扱う枚数が膨⼤になりすぎ
Panoramic camera (THETA S, RICOH)
Image size Focus distance Sensor (s) Weight 14 M pixels (5376×2688) 10 cm - ∞ 1/2.3 CMOS (×2) 125 g = 16,110 matching patterns !
