単板撮像素子を用いた
マルチバンド画像撮影システム
◯ 紋野 雄介、田中 正行、奥富 正敏（東京工業大学）
菊地 直、吉崎 和徳、福西 宗憲、小宮 康宏（オリンパス技術開発部門）
招待ショートサーベイ講演
２０１６年９月５日（月）
電子情報通信学会
パターン認識・メディア理解（PRMU）研究会
マルチバンド画像撮影
• 撮影シーンの分光情報（画像）を取得する技術
400 Wavelength (nm) 700 400 Wavelength (nm) 700 S p ectr al p o w er 照明光の分光分布 0 100 照明光 被写体 400 Wavelength (nm) 700 R ef lecta n ce 分光反射率 0 1 400 Wavelength (nm) 700 Sp ec tr al p o w er カメラ入射光の分光分布 0 50 従来のカラー画像撮影 マルチバンド画像撮影 Spectrum Spectrum 400 Wavelength (nm) 700 カメラマルチバンド画像撮影の応用例
• 幅広い分野で応用が提案されている
Goel et al., UbiComp2015 Ribes et al., SPM2008
食物検査
ディジタル
アーカイブ
忠実色再現
（リライティング）
医療応用
（血管強調）
既存マルチバンド画像撮影システム
• 大掛かりで煩雑なシステム
– 研究室などの限られた環境のみで利用可能
マルチショットシステム
マルチカメラシステム
マルチショット
＋ アクティブ光源
Fukuda et al., EI2005 Ohsawa et al., JIST2004 Park et al., ICCV2007
○ 動画像撮影
× 動画像撮影
単板式カラー画像撮影
• 現在のディジタルカメラ、スマートフォンで広く普及
カメラ
単板撮像素子 センサ感度デモザイキング
カラー画像
400 Wavelength (nm) 700カラーフィルタアレイ
（CFA）
単板撮像素子
と
カラーフィルタアレイ
の利用
• 小型
• 低価格
• 簡便な動画像撮影
単板式マルチバンド画像撮影
• 単板式カラー画像撮影をマルチバンドへ拡張
400 Wavelength (nm) 700 単板撮像素子 センサ感度カメラ
マルチバンド画像
マルチバンド
フィルタアレイ
• 小型
• 低価格
• 簡便な動画像撮影
利点：
マルチバンド
デモザイキング
• 疎なサンプル
→ 低画質化
欠点：
コンセプトの提案
• Assorted pixels
(Nayar and Narasimhan, ECCV2002)
– モノクロセンサの拡張性の１つとして記載されている
※ マルチバンド画像撮影に対する具体的なシステム設計は、
その後 （
Yasuma et al., TIP2010） にて発表
Brightness
Space
Time
Spectrum
Polarization
Depth
Assorted pixels
センサ技術
• マルチバンドセンサの製作が可能になりつつある
– しかしながら、低画質など課題は多い
IMECハイパースペクトルセンサ
http://www2.imec.be/content/user/File/Brochures/2015/HSI%20acti vity.pdf G R B IRオムニビジョン
RGB-IRセンサ
https://www.e-consystems.com/OV4682-RGB-IR-USB3-camera.asp http://www.ovt.com/products/sensor.php?id=145高画質化に向けた課題
• マルチバンドフィルタアレイの設計 （どう配置するか？）
• マルチバンドデモザイキングの開発 （どう補間するか？）
• マルチバンドセンサの感度設計（どのバンドを撮影するか？）
マルチバンド
フィルタアレイの設計
マルチバンド
デモザイキングの開発
マルチバンド
センサの感度設計
依存関係
高画質化に向けた課題
マルチバンド
フィルタアレイの設計
マルチバンド
デモザイキングの開発
マルチバンド
センサの感度設計
依存関係
これらシステム全体の最適化を図ることが、
高画質なマルチバンド画像撮影の鍵
マルチバンドセンサの感度設計
• 最適なセンサ感度に関する理論研究は古くから行
われている
– 色再現性を評価
（
Vrhel and Trussell, TIP1994）
– ノイズ特性を評価
（
Vrhel and Trussell, TIP1995）, etc.
• 一方で、現実的には製作可能なセンサ感度は限ら
れるため、経験則や総当り的評価に基づく事も多い
マルチバンド
センサの感度設計
マルチバンドフィルタアレイの設計
• Generic method
（
Miao et al., TIP2006）
– 任意バンド数のフィルタ配置を設計するフレームワーク
– ５バンドの１例：
２分割
２分割
２分割
2
1
4
1
8
1
マルチバンドデモザイキングの開発
• BTESアルゴリズム
（
Miao et al., TIP2006）
– エッジセンシング補間を繰り返すフレームワーク
エッジセンシング
補間
エッジセンシング
補間
エッジセンシング
補間
2
1
4
1
8
1
Miaoらのフレームワーク
• 利点
– 任意のバンド数に対応可能な柔軟なフレームワーク
• 欠点（利点とのトレードオフでもある）
– 最終的なフィルタアレイ配置の選択はユーザー任せ
結局、どの配置が良いかは分からない
– エッジセンシング補間では高画質な画像が得られない
高画質なマルチバンド画像撮影のための、
フィルタアレイ配置およびデモザイキング処理の提案
発表者らの取り組み（2010年頃から）
着眼点：バンド間の相関を利用
• 分光画像では、各バンド間に相関があることが知られている
0 0.08 400 500 600 700 Sensi ti v it y Wavelength (nm) R Or G Cy B撮影シーン
５バンド
センサ感度例
R Or G Cy B各バンド画像は互いに似た画像構造を有する
相関を利用
フィルタアレイとデモザイキングの同時設計
• ガイド画像を利用した高精度な補間処理
（
Monno et al., EI2012）
G R G Or G B G Cy G B G Or G R G Cy G B G Cy G R G Or G ガイデッドフィルター （He et al., ECCV2010）
バンド間の
相関を利用
提案フィルタ配置 （５バンド） ガイド画像生成 ガイド画像 １つのバンドを 高密度に配置デモザイキング結果
• 分光データベースによるシミュレーション結果（Cyバンド）
真値
提案手法
従来手法
（BTES法）
撮影シーン
プロトタイプカメラの開発
• リアルタイムでマルチバンド画像撮影が可能
（
Monno et al., TIP2015）
レンズ イメージセンサ EMUDA 提案 フィルタアレイ カメラリンク ケーブル カメラシステム （FPGAボード） ディスプレイ 0 100 200 300 400 500 380 480 580 680 S en siti v it y Wavelength (nm) センサ感度 mountC 外部ディスプレイ プロトタイプ外観 ５バンドカメラ Adobeディスプレイ
http://www.ok.ctrl.titech.ac.jp/res/MSI/TIP-MSI.html
プロトタイプ撮影画像例
RGB Rバンド Orバンド
デモザイキング結果
提案手法
従来手法
（BTES法）
RGBカラーカメラとの解像度比較
正解データ
（３板式）
３バンド
RGBカメラ
５バンドカメラ
（提案）
解像チャート
水平・垂直の解像度は３バンドと同等レベル
応用例：高精度分光反射率推定・色再現
0 0.2 0.4 0.6 0.8 1 420 460 500 540 580 620 660 700 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 420 460 500 540 580 620 660 7005
3
色差ΔE △ AdobeRGB Gamut △ sRGB Gamut 0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 1 2 3 4色差評価
分光反射率推定
真値5
バンド （提案）3バンド （従来）
応用例：リライティング
標準光源撮像
（正解）
５バンド撮像
３バンド撮像
蛍光灯撮像
400 480 560 640 400 480 560 640リライティング
応用例：脈波測定
MIT Media Lab から新コンセプト
(
McDuff et al., TBE2014)
RGBカメラで検出できない微妙な肌の色の変化を捉え、
心拍数・ストレスの有無の検出
に成功。
→ 非接触で感情推定や心筋梗塞の予測への応用可能性有り
RGBカメラ
５バンド実験機
接触式心拍センサ
5バンドの時系列データ 独立成分分析 心拍数検出 心拍変動リアルタイム
RGB-NIR画像撮影システム
• カラー（
RGB）画像と近赤外線（NIR）画像を同時
に撮影可能なシステム
（
Yoshizaki et al., CVPR2016デモ）
• まとめ
– 単板式マルチバンド画像撮影の技術紹介
– 発表者らが開発したプロトタイプカメラの紹介
– マルチバンド画像撮影の応用例の紹介
• 今後の課題
– 画像撮影パイプラインの更なる高精度化
– 応用に応じた画像撮影パイプラインの最適化
– 新しい画像センシング技術の模索
謝辞：
• 発表者らの研究成果の一部は、総務省・戦略的情報通信研究開発推進事業（SCOPE）の委託 （No.141203024）を受けたものである。まとめと今後の課題
参考文献リスト
• 応用例（2ページ）
– Goel et al., “HyperCam: Hyperspectral imaging for ubiquitous computing applications,” UbiComp2015.
– Ribes et al., “Studying that smile,” Signal Processing Magazine, 2008.
– Park et al., “Multispectral imaging using multiplexed illumination,” ICCV2007. – Hashimoto et al., “Multispectral image enhancement for effective visualization,”
Optics Express, 2011.
• 撮影システム（3ページ）
– Fukuda et al., “Development of 16-bands multispectral image archiving system,” EI2005.
– Ohsawa et al., “Six-band HDTV camera system for spectrum-based color reproduction,” JIST, 2004.
– Park et al., “Multispectral imaging using multiplexed illumination,” ICCV2007.
• Assorted pixels（7ページ）
– Nayar et al., “Assorted pixels: multi-sampled imaging with structural models,” ECCV2002.
参考文献リスト
• センサ感度設計（11ページ）
– Vrhel et al., “Filter consideration in color correction,” TIP, 1994.
– Vrhel et al., “Optimal color filters in the presence of noise,” TIP, 1995.
• Miaoらのフレームワーク（12,13ページ）
– Miao et al., “The design and evaluation of a generic method for generating mosaicked multispectral filter arrays,” TIP, 2006.
– Miao et al., “Binary tree-based generic demosaicking algorithm for multispectral filter arrays,” TIP, 2006.
• 発表者らの開発システム（16,18,26ページ）
– Monno et al., “Multispectral demosaicking using guided filter,” EI2012.
– Monno et al., “A practical one-shot multispectral imaging system using a single image sensor,” TIP, 2015.
http://www.ok.ctrl.titech.ac.jp/res/MSI/TIP-MSI.html
– Yoshizaki et al., “A real-time RGB-NIR imaging system using a single image sensor,” CVPR2016 (Demonstration).
http://www.ok.ctrl.titech.ac.jp/res/MSI/RGB-NIR.html
