• 検索結果がありません。

ニューラル情報処理第02回 線形モデルと 最小二乗法による推定

N/A
N/A
Protected

Academic year: 2021

シェア "ニューラル情報処理第02回 線形モデルと 最小二乗法による推定"

Copied!
24
0
0

読み込み中.... (全文を見る)

全文

(1)

Technology

ニューラル情報処理第02回

線形モデルと

最小二乗法による推定

竹内一郎(名古屋工業大学)

(2)

学習するコンピュータ

以下の入力と出力の関係

を満たすコンピュータプログラムを作成せよ

(3)

入力と出力の関係

3

(4)

線形モデル

入出力の関係が線形である場合を考える

(5)

1入力線形モデル

5

(6)

小テスト02-1

以下のような入出力関係を持つ関数を求めよ

(1) (2)

(7)

1入力線形モデルのグラフ表現

(1) (2)

7

(8)

応用例

車体重量と燃費の関係

(9)

応用例

車体重量と燃費の関係

9

(10)

誤差の最小化

学習データ 二乗誤差

二乗誤差の最小化による線形モデルの推定

(11)

小テスト02-2(1変数の最小二乗法)

以下の入出力関係の二乗誤差を最小とする線形モデルを求めよ

11

(12)

小テスト02-2の解答

(13)

多入力の線形モデル

13

(14)

(注意)多入力の学習データの表記法

(15)

最小二乗法

二乗誤差 学習データ

二乗誤差の最小化による線形モデルの推定

15

(16)

行列とベクトルの計算

線形モデルは内積により表現可能

同じベクトルの内積は二乗和を表す

(17)

最小二乗法の行列・ベクトル表現

二乗誤差の最小化による線形モデル推定

二乗誤差の最小化による線形モデル推定の行列・ベクトル表現

17

(18)

最小二乗法を解く(その1)

(19)

行列・ベクトルに関する微分

内積の微分

以下の行列・ベクトルを考える

二次形式の微分

Aが対称行列の場合

19

(20)

最小二乗問題の解の性質

(21)

最適解の条件

最適解において微分係数が0

正規方程式(Normal Equation)

21

(22)

本日の最終課題: 定数項を持つ線形モデルの推定とプロット

このとき最小二乗法は以下のように定式化される:

1入力1出力の学習データに対して、定数項を持つモデルを考える

この問題の解は以下の2変数の連立方程式の解となることを示せ

(23)

ヒント

23

(24)

解答

参照

関連したドキュメント

 第1節計測法  第2節 計測成績  第3節 年齢的差異・a就テ  第4節 性的差異二就テ  第5節 小 括 第5章  纏括並二結論

東京大学 大学院情報理工学系研究科 数理情報学専攻. [email protected]

[Nitanda&Suzuki: Fast Convergence Rates of Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime,

Mochizuki, Topics in Absolute Anabelian Geometry III: Global Reconstruction Algorithms, RIMS Preprint 1626 (March 2008)..

Optimal stochastic approximation algorithms for strongly convex stochastic composite optimization I: A generic algorithmic framework.. SIAM Journal on Optimization,

Dual averaging and proximal gradient descent for online alternating direction multiplier method. Stochastic dual coordinate ascent with alternating direction method

Mochizuki, Topics in Absolute Anabelian Geometry III: Global Reconstruction Algorithms, RIMS Preprint 1626 (March 2008)..

ポートフォリオ最適化問題の改良代理制約法による対話型解法 仲川 勇二 関西大学 * 伊佐田 百合子 関西学院大学 井垣 伸子