第 6 章 まとめと今後の課題
6.2 今後の課題
今後の課題について、特徴量記述に関する問題と本技術の応用課題の2点が考えられる。
提案特徴量記述に関する問題として以下が挙げられる。
問題1. ピクトグラム内で検出できる交点が2点より少ない場合、マッチングができない。
問題2. 形状が異なる同じ意味を表すピクトグラムのマッチングができない。
問題3. 凸包の形が大きく変化するようなオクルージョンを伴ったピクトグラムのマッチ
率が低い。
問題1については、CRN値を算出する際に内部交点を2点用いるが、その2点が検出で きず特徴量が算出できないことが原因である（図6.1）。この問題を解決するためには、特 徴量の記述をCRNのみで行わず、交点が1点のみだった場合は別な特徴量を要素とするな どの場合分け処理が必要だと考えられる。
図 6. 1 内部交点が2点得られないピクトグラムの例
問題2について、本研究では対象ピクトグラムとして標準案内用図記号[29]を用いたが、
これを用いてない案内用図記号も存在する。例えば図6.2のように形状が異なった同じ意味 を持つピクトグラムをマッチングさせることは現在難しい。この問題を解決するためには、
形状記述子とは異なる手法を取るか、データベース内の画像を多様にするというようなア
82 プローチが考えられる。
図 6. 2 形状が異なる同じ意味を表すピクトグラムの例
（左：標準案内用図記号[29]、右：トイレマークのデザイン[32]）
問題3については、オクルージョンがピクトグラムの凸包の外側に存在した場合、凸包 の形が大きく変わってしまい、局所特徴量の大半が異なるものになってしまうことが原因 である。この問題の解決手法として、2つのアプローチが考えられる。1つ目は、ピクトグ ラムマッチングの前処理による解決である。本研究では、ピクトグラムマッチングを行う 際に、第5.1節で述べたように自然画像からピクトグラム領域のみを取り出したもの対象と した。自然画像からピクトグラム領域を取り出す際に、オクルージョン領域を除くことが 可能となれば、問題3が解決できると考えられる。2つ目は、特徴量をより特徴化すること による解決である。オクルージョンによる凸包の形が大きく変化しても、ピクトグラムの 輪郭と凸包がいくらか接している場合、正しい局所特徴量がいくつか検出できる。それら の正しい局所特徴量だけでも正確にマッチングできれば、オクルージョンに関わらず認識 することが可能になると考えられる。
本技術の応用課題として以下が挙げられる。
課題1. 本研究で提案したピクトグラムマッチングのフレームワークを携帯アプリで使用
できる形に構築する。
課題2. 実用アプリケーションとして一般的に使用可能な形にする。
本研究の大きな目的は実用可能なピクトグラムマッチングである。実用可能とするため の第一歩として、課題1の、携帯アプリの構築が求められる。さらに、課題1の次の段階 として、課題2の、実用アプリケーションの構築を目標としている。具体例としては、公 共施設におけるピクトグラムの撮影により、ピクトグラムが示す案内の地図上の表示・詳 細の説明の表示・近隣の混雑状況の表示を可能にするアプリケーションが考えられる。
提案ピクトグラムマッチング技術から構築されるこれらのアプリケーションは、位置が 固定されている交通標識や案内看板の他、位置が固定されないもののラベルロゴの認識に も用いることができる、今後の社会で長く利用可能なアプリケーションである。
以上の特徴量記述に関する問題を解決し、本技術の応用課題を実現することが、今後の 課題であると考える。
83
参考文献
[1]YinanYu, Kaiqi Huang and Wei Chen,” A Novel Algorithm for View and Illumination Invariant Image Matching”,IEEE Transaction on Image Processing, vol.21, issue.1, pp.229-240, 2012.
[2] J. Sivic, A. Zisserman “Video Google: a text retrieval approach to object matching in videos”, Ninth IEEE International Conference on Computer Vision, vol.2, pp.1470-1477, 2003.
[3] D. G. Lowe, “Object recognition from local scale invariant features”, The Proceedings of the Seventh IEEE International Conference on Computer Vision, Sep, 1999.
[4] Donghua Xu, Zhiyi Qu “An Image Classification Method Based on Matching Similarity and TF-IDF Value of Region”, 2013 Sixth International Symposium on Computational Intelligence and Design (ISCID), vol.2, pp.112-115, 2013.
[5] J. W. H. Tangelder, R. C. Veltkamp “A survey of content based 3D shape retrieval methods”, Proceeings of Shape Modeling Applications, pp.145-156, 2004.
[6] Herbert Bay, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded-Up Robust Features"
Computer Vision and Image Understanding (CVIU), EECV, pp.404-417, 2006.
[7] Guoshen Yu, Jean-Michel Morel, “a fully affine invariant comparison method”, IEEE International Conference on Speech and Signal Processing, pp.1597-1600, 2009
[8] N. Dalal, B. Triggs, “Histograms of oriented gradients for human detection”, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) , vol.1, pp.886-893, 2005.
[9] Engin Tola, Vincent Lepetit, Pascal Fua, “DAISY: An Efficient Dense Descriptor Applied to Wide-Baseline Stereo”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.32, pp.815-830, 2010.
[10] M.Calonder, V.Lepetit, C.Strecha, P.Fua, “BRIEF: Binary Robust Independent Elementary Features”, Proceeings of European Conference on Computer Vision, pp105-119, 2010.
[11] Christoph Strecha, Alex Bronstein, Michael Bronstein, Pascal Fua, “LDAHash:
Improved Matching with Smaller Descriptors”, IEEE Transaction on Pattern Analysis And Machine Intelligence , vol.34, issue.1, pp66-78, 2011
[12] Lu Xia, J.K.Aggarwal, “Spatio-temporal Depth Cuboid Similarity Feature for Activity Recognition Using Depth Camera”, 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp2834-2841, 2013
84
[13] R.B. Yadav, N.K. Nishchal, A.K. Gupta, and V.K. Rastogi, "Retrieval and classification of objects using generic fourier, legendre moment, and wavelet zernike moment descriptors and recognition using joint transform correlator," Optics &Laser Technology, vol. 40, no. 3, pp. 517-527, 2008.
[14] F. Ghorbel, S. Derrode, R. Mezhoud, T. Bannour, S. Dhahbi, "Image reconstruction from a complete set of similarity invariants extracted from complex moments", Pattern recognition letters, vol. 27, no. 12, pp. 1361-1369, 2006.
[15] Zhongxuan Luo, Daiyun Luo, Xin Fan, Xinchen Zhou, and Qi Jia, “A shape descriptor based on new projective invariants”, IEEE International Conference on Image Processing (ICIP), 2013
[16] Linlin Li and Chew Lim Tan,” Recognizing Planar Symbols with Severe Perspective Deformation”,IEEE Transaction on Pattern Analysis And Machine Intelligence ,vol.32, issue.4, 2010
,pp755-762,2010
[17] Miroslaw Bober, “MPEG-7 visual shape descriptors”, IEEE Transactions on Circuits and Systems for Video Technology, pp.716-719, 2001.
[18] S. Belongie, J. Malik, and J. Puzicha, "Shape matching and object recognition using shape contexts," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.
24, no. 4, pp. 509-522, 2002.
[19] Xiang Bai, Cong Rao, Xinggang Wang, “Shape Vocabulary: A Robust and Efficient Shape Representation for Shape Matching”, IEEE Transactions on Image Processing, val.23, issue.9, pp3935-3949, 2014
[20] Haoran Xu, Jianyu Yang, Junsong Yuan, “Invariant multi-scale shape descriptor for object matching and recognition”, 2016 IEEE International Conference on Image Processing (ICIP), pp644-648, 2016
[21] Qi Jia, Xin Fan, Yu Liu, Haojie Li, Zhongxuan Luo, He Guo, “Hierarchical projective invariant contexts for shape recognition”, Pattern Recognition, vol.52, pp358-374, 2016
[22] Lukas Neumann Ji ri Matas, “Real-time scene text localization and recognition”, 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),
pp3538-3545, 2012
[23] Irani M. I. and Peleg S, “Improving Resolution by Image Registration”, CVGIP, vol.53, No.3, pp231–239, 1991
[24] 藤吉弘亘,山下隆義,岡田和典,前田英作,ノジクヴァンソン,石川尋代,ドゥソルビエフラ
ンソワ,”コンピュータビジョン 最先端ガイド2”, pp30, 2010
[25] A. Amira, P. Farrell, “An automatic face recognition system based on wavelet
85
transforms”, 2005 IEEE International Symposium on Circuits and Systems, vol.6, pp6252-6255, 2005
[26] M. Turk, A. Pentland, “Eigenface for recognition”, Journal of Cognitive Neuroscience, vol.3, No.1, pp71-86, 1991
[27] Chris Harris , Mike Stephens , “A Combined Corner And Edge Detector”, Conference on Procedings of the Alvey Vision, pp147-151, 1988
[28] 佐藤敦,”コンピュータビジョン-視覚の幾何学-”, pp61, 1999
[29] 公益財団法人交通エコロジー・モビリティ財団バリアフリー推進部,”標準案内用図記号
ガイドライン”
[30] X.C. He and N.H.C. Yung, "Curvature scale space corner detector with adaptive threshold and dynamic region of support”, Proceedings of the 17th International Conference on Pattern Recognition ICPR 2004, vol.2, pp791-794, 2004
[31] Charles T. Zahn, Ralph Z. Roskies, “Fourier Descriptors for Plane Closed Curves”, IEEE Transacrions on Computers, vol.C-21, issue.3, pp.269-281, 1972
[32] 美術看板有限会社すみより工芸社よりトイレマーク,
http://www.sumiyoshikougeisha.com/article/2007/10/post_92.html
[33] 日本未来科学館3Dディスプレイプロジェクト、株式会社バードン, Aerial 3D Display,
http://www.burton-jp.com/jp/index.htm
86
発表文献
1. Terumasa Aoki, Kurumi Kaminishi, “A LOCAL DESCRIPTOR FOR HIGH-SPEED AND HIGH-PERFORMANCE PICTOGRAM MATCHING”, IEEE International Conference on Image Processing (ICIP), September, 2017 （投稿中）
2. Vicky Sintunata, Kurumi Kaminishi, Terumasa Aoki, “SKEWNESS MAP:
ESTIMATING OBJECT ORIENTATION FOR HIGH SPEED 3D OBJECT RETRIEVAL SYSTEM”, International Journal of Intelligent Engineering Informatics （投稿中）
3. 上西くるみ, 青木輝勝, “局所型形状記述子を用いたピクトグラムマッチングの高速化”, メディア工学研究会(ME), February, 2017 (発表予定)
4. 合田悠治, 上西くるみ, 青木輝勝,“空中3D点描画に対する形状認識に関する検討”,画 像工学研究会（IEICE-IE）, February, 2017 (発表予定)
5. 上西くるみ, 青木輝勝, “ピクトグラムマッチングのための輪郭情報を取り入れた局所形 状記述子”, 第205回コンピュータビジョンとイメージメディア研究発表会(CVIM), January, 2017 (発表予定)
6. 上西くるみ, 青木輝勝, “高精度ピクトグラムマッチングのための射影変換に頑強な特徴 量”, 第202回コンピュータビジョンとイメージメディア研究発表会(CVIM), May, 2016 7. 上西くるみ, 青木輝勝, “自然画像からの高精度ピクトグラム検出のための顕著性マップ 解析”, メディア工学研究会(ME), February, 2016
8.上西くるみ, 青木輝勝, “射影変換に頑強な高精度ピクトグラムマッチング方式”, 第133
回情報システムと社会環境研究発表会(IS), September, 2015
9.上西くるみ, 青木輝勝, “撮影条件の変化に頑強な高精度ピクトグラムマッチング方式”,
情報処理学会第77回全国大会, March, 2015
87
謝辞
本研究を進めるに当たり、懇切丁寧にご指導頂きました青木輝勝准教授に心より感謝致 します。研究を進めていくための知識や技術に関する多大なご指導、ご助言をくださいま して誠にありがとうございました。研究に関する議論の中で学生の意見を大変丁寧に聞い て頂いたこと、打ち合わせやゼミに多くの時間をかけて頂いたことなど、私たち学生のこ とをとても考えてご指導頂き大変感謝しております。さらに、自身の研究テーマのみなら ず、英語の学習や研究関連プロジェクトへの参加など様々な機会を与えて頂いたことから、
自分の一生の力となる経験を多く積むことができました。青木先生のご指導のもと、非常 に充実した有意義な学生生活を送ることができました。この研究室で学んだことを今後も 忘れず精進して参ります。
日頃の研究生活を支えて頂きました秘書の三浦奈美恵さん、水上順子さんにも心から感 謝致します。また、ゼミや日頃の研究室生活でアドバイスをくださりました研究室の先輩
であるVickyさん、童さん、Vanさん、王さん、陳さん、様々な場面で支え合い、充実し
た研究室生活を共に歩んできた胡さん、北谷さん、武内さん、Byronさん、黄さん、合田 さんに大変感謝致します。
最後に、大学での生活を共に過ごし、様々な場面で支えとなってくれた友人、先生方、
そして家族に感謝の意を表しまして、本論文の結びとします。
平成29年2月10日 仙台にて
88
付録
Aerial 3D Display における提案形状記述子の 応用
本研究で提案した局所型形状記述子の応用先である、Aerial 3D Displayによる描画ピク トグラムのマッチングについて述べる。以下から、Aerial 3D DisplayをA3Dと略すこと とする。
A3D 応用の背景と目的
ディスプレイやスクリーンが全く存在しない空間上に映像コンテンツを映し出すことは 長らく人類の夢であったが、近年、Aerial 3D Display（A3D）[33]が発表され、その夢に 近づく状況となってきた。A3Dは図1に示すように空間上に3D点描画を映し出す将来性 の高いシステムであるが、現在提示可能コンテンツは点描画に留まっている。
本研究では、この3D点描画とデジタル機器を連携させた新しい空間浮遊型3Dコンテン ツ技術の実現のため、3D点描画をコンピュータ上で認識することを目的としている。ゆえ に、本稿で提案した局所型形状記述子を3D点描画のマッチングに応用させることが具体的 な目標である。この技術が実用可能になると、指定された3D点描画の撮影による情報共有 システムや、3D点描画コンテンツ部分を高精度3DCGコンテンツに置き換えるシステム、
複数の3D点描画コンテンツのインタラクションなどへの応用が可能となる。
図 1 A3Dによる3D点描画の例[33]