• 検索結果がありません。

SHIBAURA Presentation

N/A
N/A
Protected

Academic year: 2021

シェア "SHIBAURA Presentation"

Copied!
30
0
0

読み込み中.... (全文を見る)

全文

(1)

色つき点群データの透過効果問題と

遠近問題を高速に解決する技術

芝浦工業大学 工学部 土木工学科

准教授 中川 雅史

(2)

色つき点群データの透過効果問題と遠近問題を高速に解決する技術

点群データとは

従来技術とその問題点

新技術の特徴・従来技術との比較

想定される用途

実用化に向けた課題

企業への期待

本技術に関する知的財産権,問合せ先

(3)

点群(Point cloud)とは

実空間に存在する物・環境・人を,3Dセンサによって

その表面形状を取得した「3D点の座標の集まり」のデータ

物体表面の位置・形状を表す

Laser scanner

(LiDAR)

(計測できない物体内部は表現しない)

点群を構成する各点は,

三次元座標値 (x,y,z)で

定義される

・レーザースキャナ+カメラ

・ステレオカメラ

で,点に彩色可能

= 色つき点群

色つき点群 サンプルデータ

or

(4)

点群(Point cloud)とは

実空間に存在する物・環境・人を,3Dセンサによって

その表面形状を取得した「3D点の座標の集まり」のデータ

Laser scanner

(LiDAR)

レーザースキャナやステレオカメラ等で

取得できる(数万円~数千万円)

高額すぎて購入できる

企業や大学が少なかった

最近は,安価なセンサが

多く販売されている

(5)

色つき点群データの透過効果問題と遠近問題を高速に解決する技術

点群データとは

従来技術とその問題点

新技術の特徴・従来技術との比較

想定される用途

実用化に向けた課題

企業への期待

本技術に関する知的財産権,問合せ先

(6)

点群処理における課題

ハードウェアとニーズは充実してきたが,

ソフトウェアがなかなか追い付いていない

位置合わせ

データ取得

可視化

3Dモデリング

AR

マッピング

BIM/CIM

3Dプリント

比較的簡単

実質的な手作業が多く大変

比較的簡単

抽象化

レンダリング

クラスタリング

内容改善のキーワード

ハードウェア

ニーズ

ソフトウェア

一般的な点群処理の

流れ

(7)

従来技術

点から面への変換

点群はそのままレンダリングすることが可能

しかし,各種の3D処理には適さないことが多い

点形式

- ポリゴン

- 不整三角網のメッシュ(TIN)

- 非一様有理Bスプライン曲面(NURBS)

- CADモデル

- ドロネー三角形分割

- アルファシェイプ法

変換

面形式

など

(8)

点群データの自動処理のためのアプローチ(従来技術 その1)

点群データ取得→3Dモデリング→レンダリング

× 面の表裏を判定が困難

- Random Sample Consensus (RANSAC)

× 「シードポイント」問題

× メモリ浪費,処理量が莫大

- 3D Delaunay

× 「滑らかなエッジ」問題

× メモリ浪費,処理量が莫大

- Marching cube, Voxel modeling, …

× 内外判定には,ポリゴンの穴を埋める作業が必要

× メモリ浪費,処理量が莫大

(9)

点群データの自動処理のためのアプローチ(従来技術 その2)

レンジ画像上でのサーフェスモデリング(スケッチ)

An Interactive 3D Modeling System Based on Dense Point-Cloud

Perspective projection

Mercator projection

θ

φ

Projection

画像 (スケッチ)

モデリング

連動

○ 3Dモデリングが容易

Rapid mesh modeling

× 視点制約

Viewpoint = Scanning position

× 任意視点からのスケッチは困難

Near-far problem, Transparent effect

(10)

一般的なポイントベースドレンダリング

透過効果問題と遠近問題

“Near” from a viewpoint

Sparse points

“Far” from a viewpoint

Dense points

(Visualization quality depends on a viewpoint)

Occlusion

Rendered point cloud from a viewpoint

透過効果問題

Caused by rendering hidden points

among near-side points

遠近問題

Caused by distance differences

from the viewpoint to scanned points

任意視点からのスケッチは困難

(11)

色つき点群データの透過効果問題と遠近問題を高速に解決する技術

点群データとは

従来技術とその問題点

新技術の特徴・従来技術との比較

想定される用途

実用化に向けた課題

企業への期待

本技術に関する知的財産権,問合せ先

(12)

新技術の特徴・従来技術との比較

点群処理の課題

点群データ取得→レンダリング→3Dモデリング

点群データ取得→3Dモデリング→レンダリング

- Random Sample Consensus (RANSAC)

- 3D Delaunay

- Marching cube, Voxel modeling, …

レンジ画像上でのサーフェスモデリング(スケッチ)

従来技術とその問題点

× 面の表裏を判定が困難

× 「シードポイント」問題

× 「滑らかなエッジ」問題

× メモリ浪費,処理量が莫大

・大規模データであるため扱いづらい

・遠近問題と透過効果問題

「多視点2D画像処理を適用し,精度を落とさず,点群処理を軽くする技術」

メッシュモデリングにより可視化を実現

× 手作業(修正作業)が多い

× 任意視点からスケッチは困難

× 視点制約

× 自動処理コストが極めて大きい

× 大規模データへの対応が困難

新技術の特徴

○ ノートPCレベルで処理可

○ 任意視点からのスケッチ可

○ 面の表裏判定が容易

○ 汎用性高

ポイントベースドレンダリング技術

+空間フィルタリング技術

(13)

成果の概要(1)

遠近問題と透過効果の同時解消(建物データへの適用)

INPUT

(colored points)

OUTPUT

(colored

points )

Side looking

透過効果問題

“Near” from a viewpoint=

Sparse points

“Far” from a viewpoint =

Dense points

遠近問題

Hidden points are visible

among near-side points

(14)

成果の概要(2)

遠近問題と透過効果の同時解消(屋内外データへの適用)

INPUT(colored points)

OUTPUT(colored points )

透過効果問題

“Near” from a viewpoint=

Sparse points

“Far” from a viewpoint =

Dense points

遠近問題

Hidden points are visible

among near-side points

(15)

Panoramic layered range image

Point cloud projection in Layered image

Measured point

Azimuth→

Panorama model

Multi-layered range image

(X,Y,Z),

(R,G,B),

(Intensity)

(X,Y,Z),

(R,G,B),

(Intensity)

El

ev

at

io

n

Projected point

・Simplify viewpoint translation

・Simplify filtering

・Simplify visualization

Point cloud to range image

(layered range image)

Cylindrical, Spherical, Cubic model, etc..

(16)

Pixel-selectable averaging filter using distance values

Point cloud interpolation

Xo

Xt

P3

P2

P1

Generate a new point P

new*

P4

P5

P6

P7

P8

P9

P10

Real surface

P

new1

Ro

Rt

Range

data

No data space

“Near” from a viewpoint= Sparse points “Far” from a viewpoint = Dense points

遠近問題の推定

透過効果問題の推定

Hidden points are visible among near-side points

(17)

自然物・人工物へ同時に適用可能

Part of the point cloud image

after a viewpoint translation

Part of the point cloud image

after a filtering

(18)

オリジナルデータ以上の画質で点群表示が可能

Original point

cloud

Enhanced point

cloud

Spatial resolution:

(19)

新技術の特徴のまとめ

測量・地理空間情報技術奨励賞,2014

× 手作業(修正作業)が多い

× 自動処理コストが極めて大きい

× 大規模データへの対応が困難

- すでに,測量分野から有用性に関する評価をいただいている

従来技術

○ ほとんど自動化

○ 自動処理コストが小さい

○ 大規模データへ対応済み

新技術

- 手作業で作成されるCADやCGと比較して高臨場感な映像(3D座標値付き)

- 短期間かつ低コストで点群処理可能

(モデリング&テクスチャマッピング作業が不要なため)

(実測データを直接扱い,情報劣化もほとんどないため)

そのほかの特徴

応用測量 論文奨励賞,2013

宮地杭一記念賞,芝浦工業大学,“測量技術の高度化”,2012

日本写真測量学会 学会奨励賞,2011

(20)

色つき点群データの透過効果問題と遠近問題を高速に解決する技術

点群データとは

従来技術とその問題点

新技術の特徴・従来技術との比較

想定される用途

実用化に向けた課題

企業への期待

本技術に関する知的財産権,問合せ先

(21)

想定される用途

現在の「点群の応用分野」+「一般向けの応用」

部品設計

部品の3次元CADモデル作成

測量,地理情報システム(GIS)

数値標高モデル(DEM)の生成

医療

医用画像処理での活用

土木

台帳作成,CIM全般

文化財

文化財の記録,損壊状況の把握

工業検査

品質管理

建築

BIM全般

製造(自動車,造船,食品など)

3Dプリント

3Dアニメーション(CG作成支援)

3Dシミュレーション

自律移動ロボット

ロボット

3D地図の生成

(22)

色つき点群データの透過効果問題と遠近問題を高速に解決する技術

点群データとは

従来技術とその問題点

新技術の特徴・従来技術との比較

想定される用途

実用化に向けた課題

企業への期待

本技術に関する知的財産権,問合せ先

(23)

現状の点群処理技術(商業ベース)

3D点群

計測

間引き ノイズ

除去

3D

モデリング

CG可視化

工業計測

「CG」な

建築・景観・

考古

地形図

膨大なデータ量

が課題

不規則なノイズ

が課題

だいたいの中小企業でも

「自動処理」ができる

(と言われている)

半自動(大幅な手編集が必要)

・時間がかかる

・「CG」的な品質が限界

ここまでの処理で,

このようなデータ

=エンドユーザーがデータを

十分に利活用しづらい

(24)

ビジネス的有用性&従来技術と比した優位性

複雑な計測対象でも,リアルに高速処理できる3D点群レンダリング

3D点群

計測

間引き ノイズ

除去

3D

モデリング

CG可視化

3Dスキャナベンダ

K社,T社

G社

3D点群

レンダリング

このレベルの自動化を芝浦工大発で可能

工業計測

「実写」な

工業・建築・

景観・考古・

地形

ソフトウェアS

ソフトウェアP,ソフトウェアR

「CG」な

建築・景観・

考古

N社(ただし,製品検査用)

T社

視点移動の再現はできない.複雑な空間補間処理

CAD計測

測量コンサル,中小サービス業

地形図

G社

ソフトウェア開発と比較して,ハードウェア開発が大幅に先行している背景があるため→

ソフトウェア

企業

(自動処理)

企業

(半自動)

CG制作会社

単純な直線・曲面で描きづらい物体を

「3D画像」として扱える

(完全自動処理で)

2D画像上で3D計測も可能

膨大なデータ量

が課題

不規則なノイズ

が課題

手動編集が課題 高性能なソフト&GPUが必須

精度を落とさない

ソフトウェアL

(25)

想定される業務体制

・上流から下流までをカバー

①計測サービス

初期

投資額

②ソフトウェア販売

③プラグイン販売

④オンデマンドサービス

必要

単価

縄張り

・点群データ処理ソフトそのものを販売

・既存ビューワへのプラグイン販売

5000万円~

100万円~

・論文校正サービスのようなイメージ

・ユーザーがデータをUpload,処理結果をDL

営業

コスト

維持

コス

リスク

隙間度が

・衛星画像処理で前例あり(無料サービス)

・IE,Opera,Firefox,・・・

・iPad,スマホ,・・・

・3D studio, Autocad,・・・

・ユーザー:測量,工業計測,文化財,建設,・・・

・ユーザー:測量,工業計測,文化財,建設, ・・・

取り込める

ユーザー数

開発

コスト

・国内に中小企業が複数あり

・海外企業が国内より多い

国内展開

海外展開

可能

特にセンサ費

サポートセンター

の充実

関連?

ユーザー数×単価=売上 はそれほど変わらない?

オンデマンドサービスによって,高速自動処理の恩恵を低リスクで最大化可

・無人化された24時間業務

・最低限の機材投資 ・発注の敷居が低い

(26)

実用化に向けた課題

論文化しにくい領域は未実施

○ 点群処理について大幅な自動化が可能なところまで開発済み

× 「超」大規模データ処理の未実施

現在の実績:10億点(一般的な大規模データ)

△ BIM/CIMへの新技術提案(論文をいくつか発表済み)

○ 航空(ALS)・車載(MMS)・地上計測による実データで検証済み

オンデマンドサービス化

・ユーザーがデータをUpload,処理結果をDL

・論文校正サービスのようなイメージ

・衛星画像処理で前例あり(無料サービス)

・無人化された24時間業務

・最低限の機材投資 ・発注の敷居が低い

× 高速化のチューニング

? IFCへの対応(IFCの動き方次第)

(27)

色つき点群データの透過効果問題と遠近問題を高速に解決する技術

点群データとは

従来技術とその問題点

新技術の特徴・従来技術との比較

想定される用途

実用化に向けた課題

企業への期待

本技術に関する知的財産権,問合せ先

(28)

企業への期待

- BIM/CIMの技術を持つ,企業との共同研究を希望

多様な実施例の蓄積→冗長性の検証→分野横断領域での展開

強み

業務の無人化

業務の24h化

市場拡大

営業力

セキュリティ

データ量の増大

弱み

機会

脅威

3Dデータ処理

支援

Webサービス

発明者,芝浦生

2014年度~

点群活用の

高度化

3Dサービスの

普及

資本金

100万円~可

どこでも可

建設,環境,工業,

一般ユーザー

What

How

Who

When

Why

How much

Where

Whom

- 建設分野以外にも適用可能

- すでに点群処理に課題があると考えている場合は,本技術の導入が有効

企業

(29)

色つき点群データの透過効果問題と遠近問題を高速に解決する技術

点群データとは

従来技術とその問題点

新技術の特徴・従来技術との比較

想定される用途

実用化に向けた課題

企業への期待

本技術に関する知的財産権,問合せ先

(30)

色つき点群データの透過効果問題と遠近問題を高速に解決する技術

芝浦工業大学

問い合わせ先

工学部土木工学科 中川 雅史

産学官連携・研究支援課 片野 陽子

mnaka@shibaura-it.ac.jp

i028778@ow.shibaura-it.ac.jp

TEL:03-5859-7180,FAX:03-5859-7181

本技術に関する知的財産権

発明の名称

:他視点閉曲面画素値補正装置,他視点閉曲面画素値補正

方法,利用者位置情報出力装置,利用者位置情報出力方法

出願番号

:特願2010-172948

出願人

:芝浦工業大学

発明者

:中川雅史,黒木雅人

参照

関連したドキュメント

社会,国家の秩序もそれに較べれば二錠的な問題となって来る。その破綻は

ガイダンス: 5G 技術サプライヤと 5G サービスプロバイダは、 5G NR

島根県農業技術センター 技術普及部 農産技術普及グループ 島根県農業技術センター 技術普及部 野菜技術普及グループ 島根県農業技術センター 技術普及部

現時点の航続距離は、EVと比べると格段に 長く、今後も水素タンクの高圧化等の技術開

理由:ボイラー MCR範囲内の 定格出力超過出 力は技術評価に て問題なしと確 認 済 み で あ る が、複数の火力

2008 年、 Caterpillar 社の MaK 低排出ガスエンジン( Low Emissions Engine : LEE) 技 術は、同社の M32 中速ディーゼル・エンジン・シリーズに採用が拡大された。 LEE 技術

難病対策は、特定疾患の問題、小児慢性 特定疾患の問題、介護の問題、就労の問題