削減個数の比較

各手法による特徴選択で，誤識別率10%を超えるまでに削減できた特徴次元数を表4.3 に示す．括弧内は，各データセットの元の特徴次元数を表す．削減個数においても，提案 手法は従来法とほぼ同等の個数を削減できている．

表 4.3: 各手法における特徴次元削減個数

データセット名 SBS法[個] 逐次算出型[個] バッチ型[個]

Pendigits (16) 12 12 11

Waveform (21) 16 15 16

Spambase (57) 53 51 50

Optdigits (64) 55 53 53

4.2.3 _{特徴選択時間の比較}

SBS法と寄与率逐次算出型，寄与率バッチ型の3手法での特徴選択時間の計測を行う．

特徴選択を開始して誤識別率が10%を超えて特徴選択を終了するまでの時間を計測し，特 徴次元一つを削減するための処理時間を求めた．各手法が特徴次元を1つ削減するための 平均処理時間を図4.6に示す．

時間[s]

SBS 法 逐次算出型 バッチ型

Pendigits Waveform Spambase Optdigits 図 4.6: 特徴次元を一つ削減するための平均時間

4.2. 実験結果

サンプル数が最も多いのはPendigitsであるが，SBS法と寄与率では約9倍しか処理時 間差がない．しかし，Pendigitsよりもサンプル数は少ないが特徴次元数が多い他のデー タセットでは38倍を超える特徴時間差となる．これにより，寄与率による特徴選択はデー タセットの特徴次元数が多ければ多いほどSBS法より特徴選択を大きく短縮できるとい える．また，寄与率バッチ型は一度寄与率の算出を行って，所望する個数を上位からいく つか選択すればよいため，SBS法や寄与率逐次算出型と比較すると多少精度は劣るが，さ らに特徴選択を短縮することが期待できる．

おわりに

本論文では，従来法より特徴選択を効率的に行うことを目的としてRandom Forestsの寄 与率を算出し，寄与率を逐次算出型とバッチ型の提案手法に用いることを提案した．各章 ごとのまとめは以下の通りである．

1章では，Random Forestsの学習，識別アルゴリズムについて述べた．また，コンピュー タビジョンの分野でRandom Forestsを応用した例についてもいくつかの例を挙げて述べ た．高速な学習により，容易にマルチクラス識別器を構築できるため，多方面において幅 広く利用されている．そのため，更なる高精度化が期待されている．

2章では，従来の特徴選択手法について述べた．特徴選択の概要や特徴選択を行うことに よって得られるメリットについて述べた．また，特徴選択手法として主にラッパー法につ いてまとめ，各手法の探索アルゴリズムについて説明をした．特徴次元の組み合わせ問題 やパフォーマンスを考慮するため予測精度は高いが，識別器の構築と評価を繰り返さなけ ればならないため，計算コストが大きいことによる処理時間の問題点を挙げた．

3章では，提案手法である寄与率の導入，導出，アルゴリズムについて述べた．Random

Forestsの学習において，多くのサンプルを分割する決定木の上層で選ばれた特徴次元ほ

ど識別精度の高い特徴次元として，寄与率を定義した．この寄与率を特徴選択における評 価値として用い，寄与率を利用した寄与率バッチ型と寄与率逐次算出型の2つのアルゴリ ズムを提案し，それぞれのアルゴリズムについて説明をした．

4章では提案手法の有効性を確認するために，従来法であるSBS法との特徴選択の比較実 験を行った．比較実験として，特徴次元を削減する毎の誤識別率の推移，特徴選択の終了 条件に達するまでに削減できた特徴次元の個数，特徴次元一つあたりにかかる処理時間の 項目を設定し比較を行った．実験の結果，提案手法は従来法とほぼ同等の精度を保ちつつ 識別精度に影響の無い特徴次元を削減することができ，処理時間を大幅に減らすことがで きることを確認した．

今後の展開としては，今回実験で使用したSpambaseやOptdigitsのデータセットのよう

に，他のデータセットに比べ従来法と選択精度に差がでる場合があった．このような精度 の下がるデータセットについて解析をすすめ，どのようなデータセットに対しても安定し た特徴選択を目指す．また，今回はSBS法と比較実験を行ったが，SFS法や全探索法に代 表される他手法と比較を行い，パフォーマンスについても詳しく評価を行う予定である．

謝 辞

本研究を行うにあたり，終始懇切なるご指導を頂きました中部大学工学部藤吉弘亘教授に 謹んで感謝します．次に本論文の作成にあたり，有意義な御助言，御指導頂いた中部大学 大学院工学研究科情報工学専攻 三品陽平氏に心から厚く御礼申し上げます．最後に，本 研究において，アドバイスや相談等に協力していただいた藤吉研究室の皆様に感謝致し ます．

参考文献

[1] 柳井啓司， 一般物体認識の現状と今後 ，情報処理学会論文誌，コンピュータビジョ ンとイメージメディア，vol. 48, no. 16, pp. 1-24, 2007.

[2] Marill, T, D. M. Green, On the effectiveness of receptors in recognition system, IEEE Trans. Inform. Theory 9, pp. 11-17, 1963.

[3] L. Breiman, Random Forests”, Machine Learning, vol. 45, no. 1, pp. 5-32, 2001.

[4] L. Breiman, Bagging Predictors , Machine Learning, vol. 24, no. 2, pp. 123-140, 1996.

[5] Y. Amit, G. August and D. Geman: Shape quantization and recognition with randomized trees , Neural Computation, no. 9, pp. 1545-1588, 1996.

[6] Gall, J. and Yao, A. and Razavi, N. and Van Gool, L. and Lempitsky, V., Hough forests for object detection, tracking, and action recognition , IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 11, pp. 2188-2202, 2011.

[7] J. Shotton, M. Johnson and R. Cipolla, Semantic texton forests for image catego-rization and segmentation , Computer Vision and Pattern Recognition, 2008.

[8] J. Shotton,and A. Fitzgibbon, and Cook, M. and Sharp, T. and Finocchio, M. and Moore, R. and Kipman, A. and Blake, A., Real-time human pose recognition in parts from single depth images , Computer Vision and Pattern Recognition, 2011.

[9] V. Lepetit and p. Fua, Keypoint recognition using randomized trees , IEEE Trans-actions on Pattern Analysis and Machine Intelligence, vol. 28, no. 9, pp. 1465-1479, 2006.

[10] 浜本 義彦, 統計的パターン認識入門 , pp51-55.

[11] Whitney, A. W, A direct method of nonparametric measurement selection, IEEE Trans. Comput.20 ,pp. 1100-1103, 1997.

[12] S. D. Stearns: On selecting features for pattern classifies, Proc. Third Internat. Conf.

Pattern Recognition, pp. 71-75, 1976.

[13] P. Pudil, J. Novovicora and J. Kittler: Floating search methods in feature selection, Pattern Recognition Letters, Vol. 15, No. 11, pp. 1119-1125, 1994.

[14] UCI Machine Learning Repository, http://archive.ics.uci.edu/ml/.

[15] Kohavi, Ron: A study of cross-validation and bootstrap for accuracy estimation and model selection, 1995.