第 7 章 まとめ 51
7.2 今後の課題
画像を周期的にすることによってアーチファクトを減少させることができたが,
完全に取り除くことはできなかった.現状では,SN比を変えることでアーチファ クトの発生が抑えられたときには画像がぼやけてしまい,超解像再構成の結果が 悪くなってしまう.そのため,この問題を解決することがまずはじめに考えられ る.
次に,超解像再構成の精度向上も考えられる.これはアーチファクトの問題に も関係してくると考えられる.
また,今回のシミュレーションでは等間隔にサンプリングを行っているが,実際 には不等間隔でサンプリングが行われることが考えられる.そのような場合,画 像の位置合わせ処理や回転,拡大縮小等が必要になってくる.そうした状況にお いて,どのようにしたら超解像再構成の効果が得られるのかを検討する必要があ る.光学的なボケについても,実際にはボケを推定する必要がある.
最後に,今回はシミュレーションを用いて再構成を行ったが,実際のカメラで 撮影した画像を用いた応用をすることが考えられる.このときに前述の処理が必 要になってくる.
謝辞
伊藤直史先生には研究等におきまして御指導,助言いただき深く感謝しており ます.また,研究室の皆様には本当にお世話になりました.本当にありがとうご ざいました.
・学会発表
野田智史,川島岳洋,伊藤直史,サブピクセルシフトを用いた超解像画像再構成 に関する基礎的検討,第31回センシングフォーラム資料,23/28,2014
参考文献
[1] 田中正行,奥富正敏:画素数の壁を打ち破る:複数画像からの超解像技術,映 像情報メディア,62 3,337/342 (2008)
[2] 齋藤隆弘:サンプリング定理の壁を打ち破る:1枚の画像からの超解像度オー バーサンプリング,映像情報メディア,62 2,181/189 (2008)
[3] 吉川明博,鈴木彰太郎,後藤富朗,平野智,桜井優:次世代超解像度画像復 元法の提案,映像情報メディア学会技術報告,34 55,11/13 (2010)
[4] 奥富正敏,田中正行,竹島秀則,松本信幸:画像超解像処理技術の最新動向,
電子情報通信学会誌,93 8,693/698 (2010)
[5] W. Wu,Z. Liu and X. He:Learning-based super resolution using kernel partial least squares,Image and Vision Computing,29 6,394/406 (2011)
[6] 我妻大樹,三柴数,池原雅章:l2ノルムを用いた自己学習型超解像,電子情 報通信学会技術研究報告,112 485,57/61 (2013)
[7] G. K. Chantas,N. P. Galatsanos and N. A. Woods:Super-Resolution Based on Fast Registration and Maximum a Posteriori Reconstruction,IEEE Trans. Image Processing,16 7,1821/1830 (2007)
[8] 和泉大佑,小川貴弘,長谷山美紀:ぶれにより劣化した低解像度動画像の高 解像度化に関する考察:PSF を用いた事後確率の高制度化に関する検討,電 子情報通信学会技術研究報告,110 421,159/164 (2011)
[9] P. E. Eren,M. I. Sezan and A. M. Tekalp:Robust, Obeject-Based High-Resolution Image Reconstruction from Low-High-Resolution Video,IEEE Trans.
Image Processing,6 10,1446/1451 (1997)
[10] 井田孝,松本信幸:ハイビジョンテレビにおける超解像技術,映像情報メディ ア学会技術報告,34 55,7/10 (2010)
[11] F. W. Wheeler,X. Liu and P. H. Tu:Muti-Frame Super-Resolution
[12] 吉田智成,高橋友和,出口大輔,井手一郎,村瀬洋:顔の非剛体変形に頑健 な複数フレーム超解像の検討,電子情報通信学会技術研究報告,111 193,
181/186 (2011)
[13] 高野照久,松下侑輝,小野晋太郎,川崎洋,池内克史:視界支援用の車載カメラ として使用される魚眼カメラ画像列を用いた超解像の提案,生産研究,67 2,
99/104 (2015)
[14] 美齊津宏幸,稲村實:不完全なリモートセンシング観測画像からの超解像再 構成,日本リモートセンシング学会誌,29 3,485/496 (2009)
[15] 伊藤直史,大江惇平,稲村實,美齊津宏幸:熱画像計測における超解像再構 成の応用,第29回センシングフォーラム資料,269/272 (2012)
[16] 大江惇平:熱赤外画像における超解像再構成の研究,群馬大学大学院工学研 究科修士論文(2012)
[17] 青木伸:複数のデジタル画像データによる超解像処理,Ricoh Technical Report,
24,19/25 (1998)
[18] S. C. Park,M. K. Park and M. G. Kang:Super-Resolution Image Re-construction: A Technical Overview,IEEE Signal Process Magazine,20 3,
21/36 (2003)
[19] H. Takeshima and T. Kaneko:IMAGE REGISTRATION USING SUBPIXEL-SHIFTED IMAGES FOR SUPER-RESOLUTION,ICIP,IEEE Conference,
2404/2407 (2008)
[20] 金谷健一:これなら分かる応用数学教室 最小二乗法からウェーブレットまで,
106/112,共立出版 (2003)
[21] 小松隆,相澤清晴,斎藤隆弘:2台のカメラを用いる超高精細画像取得法の提 案とその理論的解析,テレビジョン学会誌,52 10,1256/1262 (1991) [22] 高木幹夫,下田陽久:新編画像解析ハンドブック,1364/1366,1216/1217,東
京大学出版 (2004)
[23] 森口繁一,宇田川久,一松信,岩波数学公式2級数・フーリエ解析,276,岩 波書店(1987)
付録
「○○○.pgm」(518×518画素)を超解像再構成する手順について説明する.
端末で~nodame/syuron/test/20160210/srpに移動してから行うか,~nodame/
syuron/test/20160210/srpのディレクトリをすべてコピーしてから行う.プロ グラムを実行する手順としては以下のようになる.
1. ./before_main ○○○.pgm 2. ./main △△△
これで超解像再構成が行われる.ここで「△△△」は保存用のディレクトリ名と なるので,適宜名前をつける.再構成が終わると,指定した保存用ディレクトリ の中に結果が記録される.
次に,保存用ディレクトリに残るデータについて簡単に説明する.
「_fft」が付いているものはFFTした結果なので省力する.
1. 「△△△」の中
• boke-image○○○:ボケを入れた「○○○×○○○画素」の元画像
• image○○○:ボケも入ってない「○○○×○○○画素」の元画像
2. 「△△△/hikaku」の中
• boke-image256:boke-image259を1行1列右下にずらしてから256×256 画素分切り抜いた画像
• image256:image259を1行1列右下にずらしてから256×256画素分切 り抜いた画像
• NCC.txt:NCCの計算結果
• sr256:周期的にしてないモザイク画像を用いた再構成結果
• sr256-2:周期的にしたモザイク画像を用いた再構成結果
3. 「△△△/hikaku/lr_256」の中は256×256画素に拡大した低解像度画像が 入っている.名前は3.2節のi, jの番号に対応していて,「0i_0j_256」となっ ている.