Technology
ニューラル情報処理第02回
線形モデルと
最小二乗法による推定
竹内一郎(名古屋工業大学)
学習するコンピュータ
以下の入力と出力の関係
を満たすコンピュータプログラムを作成せよ
入力と出力の関係
3
線形モデル
入出力の関係が線形である場合を考える
1入力線形モデル
5
小テスト02-1
以下のような入出力関係を持つ関数を求めよ
(1) (2)
1入力線形モデルのグラフ表現
(1) (2)
7
応用例
車体重量と燃費の関係
応用例
車体重量と燃費の関係
9
誤差の最小化
学習データ 二乗誤差
二乗誤差の最小化による線形モデルの推定
小テスト02-2(1変数の最小二乗法)
以下の入出力関係の二乗誤差を最小とする線形モデルを求めよ
11
小テスト02-2の解答
多入力の線形モデル
13
(注意)多入力の学習データの表記法
最小二乗法
二乗誤差 学習データ
二乗誤差の最小化による線形モデルの推定
15
行列とベクトルの計算
線形モデルは内積により表現可能
同じベクトルの内積は二乗和を表す
最小二乗法の行列・ベクトル表現
二乗誤差の最小化による線形モデル推定
二乗誤差の最小化による線形モデル推定の行列・ベクトル表現
17
最小二乗法を解く(その1)
行列・ベクトルに関する微分
内積の微分
以下の行列・ベクトルを考える
二次形式の微分
Aが対称行列の場合
19
最小二乗問題の解の性質
最適解の条件
最適解において微分係数が0
正規方程式(Normal Equation)
21
本日の最終課題: 定数項を持つ線形モデルの推定とプロット
このとき最小二乗法は以下のように定式化される:
1入力1出力の学習データに対して、定数項を持つモデルを考える
この問題の解は以下の2変数の連立方程式の解となることを示せ
ヒント
23
解答