Technology
ニューラル情報処理 第０３回
非線形モデルとモデル選択
竹内一郎（名古屋工業大学）
前回の問題の解答
2
非線形回帰分析
例題：オートバイ衝突実験データ
http://response.jp/issue/2005/1114/article76443_1.images/100153.html
線形回帰分析
4
局所モデリングアプローチ
最近傍法 （nearest neighbor method）
6
K-最近傍法
K-最近傍法 (K = 1, 5, 10, 50)
K = 1
K = 50 K = 5
K = 10
8
小テスト03-1
(1) 以下のデータをxを横軸, yを縦軸とする2次元グラフにプロットせよ.
(2) k=1およびk=2のときのk最近傍回帰分析の結果をプロットせよ.
小テスト03-1の解答
10
基底関数アプローチ
基底関数アプローチ
12
多項式回帰分析
多項式回帰モデル
多項式回帰モデルの基底関数
2次多項式モデル
14
3次多項式モデル
多項式モデル(q = 2, 3, 5, 10)
q = 2
q = 10 q = 3
q = 5
16
RBFネットワーク
局所的な基底関数
18
局所的な基底関数
モデル選択（最近傍法）
K = 50 K = 5
K = 10 K = 1
20
モデル選択（多項式回帰分析）
q = 2
q = 10 q = 3
q = 5
モデル選択（RBFネットワーク）
q = 20
q = 2 q = 10
q = 5
s = 1.0
s = 10.0 s = 2.0
s = 4.0
22
モデル選択
シミュレーションI
q = 1
q = 5 q = 2
q = 4
s = 2.0
s = 0.4 s = 1.0
s = 0.5
24
シミュレーションII
q = 10
q = 50 q = 20
q = 40
s = 0.2
s = 0.04 s = 0.1
s = 0.05
学習誤差と真の誤差
26
学習データと評価データ
学習データと評価データの推移
28
クロスバリデーション
１回目 ２回目 ３回目 ４回目 ５回目
5-fold クロスバリデーション
30
Leave-one-out cross-validation (LOOCV)
１回目 ２回目
n 回目 n – 1 回目
小テスト03-2(その1)
32
小テスト03-2(その2)
ヒント
34
解答
