3. モデル作成の基本的な手順
3.14. 学習法の設定
3 モデル作成の基本的な手順 38
Number of folds 設計書
に10
が入力されていることを確認し、OK
ボタンをクリックする3 モデル作成の基本的な手順 39
3.15. k 設計書
近傍法(k-NN
法)
IBk
をクリックして、アイコンをレイアウトキャンパスに配置する3 モデル作成の基本的な手順 40
CrossValidationFoldMaker 設計書
アイコン上で右クリックし、メニューからtrainingSet
を選択するカーソルを
IBk
上でクリックし、trainingSet
の線をつなぐ3 モデル作成の基本的な手順 41
CrossValidationFoldMaker 設計書
アイコン上で右クリックし、メニューからtestSet
を選択するカーソルを
IBk
上でクリックし、testSet
の線をつなぐ3 モデル作成の基本的な手順 42
IBk 設計書
アイコン上で右クリックし、メニューからConfigure
を選択するKNN
に3
を入力し、OK
ボタンをクリックする3 モデル作成の基本的な手順 43
3.16. 結果の可視化 設計書
学習結果を可視化するには、まずクラス分類の結果を評価する評価部品と、表やグラフとして表示 する可視化部品を配置します。
評価部品としては、クラス分類用の評価部品であるClassifierPerformanceEvaluatorを使用します。
可視化部品は、TextViewerを使用します。
ClassifierPerformanceEvaluator
をクリックして、アイコンをレイアウトキャンパスに配置するデータの 準備
データの 読み込み
評価法の 設定
学習法の 設定
結果の可 視化
3 モデル作成の基本的な手順 44
IBk 設計書
アイコン上で右クリックし、メニューからbatchClassifier
を選択するカーソルを
ClassifierPerformanceEvaluator
上でクリックし、batchClasifier
の線をつなぐ3 モデル作成の基本的な手順 45
TextViewer 設計書
をクリックして、アイコンをレイアウトキャンパスに配置するClassifierPerformanceEvaluator
アイコン上で右クリックし、メニューからtext
を選択する3 モデル作成の基本的な手順 46
カーソルを
設計書 TextViewer
上でクリックし、text
の線をつなぐ実行ボタンをクリックし、ステータスに
OK
が表示されることを確認する3 モデル作成の基本的な手順 47
TextViewer 設計書
アイコン上で右クリックし、メニューからShow results
を選択する評価レポート
3 モデル作成の基本的な手順 48
3.17. 評価の指標 設計書
正解率
(accuracy)
正解率
=
正解数/
全データ数143 / 150 = 0.9533
…(
約95.3%)
適合率
(precision)
モデルが○と推測したデータのうち、正解も○であるデータの割合
再現率
(recall)
正解が○であるデータのうち、モデルが○と推測したデータの割合
3.18. 適合率と再現率
3 モデル作成の基本的な手順 49
3.19. 正解率の落とし穴 設計書
正解率は最も基本的な指標であり、対象となるモデルの精度を大まかに把握するのに適しています。
しかし、弱点もあります。
正解率の落とし穴
例えば、迷惑メールの仕分けの例で、評価用データの
5%
が迷惑メールだったとします。このとき、モデ ルがすべてのメールを闇雲に「迷惑メールでない」と判定しても、95%
もの高い正解率を示してしまいま す。 正解率以外の指標も考慮しないと、精度の良し悪しを見誤ってしまう恐れがあります。
3.20. まとめ
モデル作成の基本的な手順
モデルを作成する基本的な手順は、「データの準備」「データの読み込み」「評価法の設定」「学習法の 設定」「結果の可視化」の
5
つに分かれます。
k
近傍法入力されたデータに近い学習データから多数決で所属するクラスを決める手法を「k近傍法」といいま す。
モデルの評価と指標
モデルを評価する指標には、「正解率」「適合率」「再現率」などがあります。