表15は，Hall型LPRとDi Marzio型LPRの性質をまとめたものである．Di Marzio型LPRは，1次 のときカーネルの選択がMISEの収束レートに大きな影響を与える点や次数pを上げてもMISEの収束 レートが改善できるか不明である点が標準的なLRRと異なっていた．Hall型LPRはこれらの欠点を克服 した推定量である．つまり，次数pが奇数であればカーネルに依存することなくMISE[ ˆm(θ;p, h∗)|Θn] = Op(n−(2p+4)/(2p+5))となり，偶数のときはMISE[ ˆm(θ;p, h∗)|Θn] = Op(n−(2p+4)/(2p+5))となる．Hall型 LPRは次数pを上げることで推定量の性能を向上できる良い性質を持つ．ただし，6章ではバンド幅hの推 定量としてLSCV推定量を用いたが，Hall型LPRに関するLSCV推定量の一致性などの理論的性質は明ら かではなく，これは今後の研究課題となっている．
表15: Hall型LPRとDi Marzio型LPRの性質の比較．⃝：当てはまる，×：当てはまらない，△：VMカー ネルのみ当てはまる．
LPR Hall型LPR Di Marzio型LPR
標本空間 円周：T 円周：T
p= 1⇒MISE =Op(n−4/5) ⃝ △
高次のp⇒MISEの収束レートの改善 ⃝ ×
7 方向統計学における多変量ノンパラメトリック回帰 7.1 先行研究
7.1.1 先行研究の分類
方向統計学における多変量ノンパラメトリック回帰の研究としては説明変数がトーラス上で与えられるトー ラス上のノンパラメトリック回帰(Di Marzio et al., 2009)や実数・円周上のノンパラメトリック回帰(Qin et al., 2011)がある．これらの研究は，1.4節で述べた実数空間上の多変量ノンパラメトリック回帰(Ruppert
and Wand, 1994)をヒントにして行われた．これらの先行研究を説明変数が定義される空間に応じて分類し
たのが図10である．
これらの多変量ノンパラメトリック回帰の説明をする前にトーラス上の空間と実数・円周上の空間について 説明する．q次元トーラス空間Tq とは，円周Tのq個の直積で与えることができ，Tq :=T× · · ·Tと定義さ れる．q次元の角度変数ベクトルΘ= (Θ1,Θ2, . . . ,Θd)T はq次元トーラスTq上の空間で与えられる．例え ば,(風向，海鳥の飛び立つ方向)からなる2次元角度変数ベクトルは2次元トーラスT2上で与えられ，2次元 トーラスT2は図10のようなドーナッツのような形となる．実数・円周上の空間Rd×Tは実数空間Rdと円 周Tの直積で与えられる．方向統計学でよく用いられるのはシリンダーR×T上の空間である．シリンダー 上で定義される変数ベクトルの例は(風速，風向)である．また，(風速，気圧，風向)からなる変数ベクトル はR2×T上で定義されることがすぐに分かる．
Qin et al. (2011)
(シリンダー) Ruppert and Wand (1994)
Di Marzio et al. (2009)
(𝑞次元トーラス)
(実数空間)
(円周)
(実数・円周)
図10: 方向統計学における多変量ノンパラメトリック回帰の分類．
7.1.2 トーラス上のノンパラメトリック回帰
Di Marzio et al. (2009)によるトーラス上のノンパラメトリック回帰の研究について述べる．独立同一分
布からランダムに得られたデータ (Y1,Θ1), . . . ,(Y1,Θn)を考える．Θiはq次元トーラスθ ∈Tq で値を持 つ説明変数ベクトルであり，Yiは実数直線R上で与えられたスカラーな目的変数とする．
我々は次のような回帰モデルを考える．
Yi=m(Θi) +v1/2(Θi)εi, (7.1)
ただし，m(Θi) = EY[Y|Θ=θ]は真の回帰関数を，VarY[Y|Θ=θ] =v(θ)は条件付分散を表す．集中度パ ラメータベクトルをκq :=κIqと定義する．このとき，トーラス上のカーネルKκq(θ)は，定義2.1を満た し，かつ，非負の値を取るDi Marzio型カーネルのプロダクトカーネルとして
Kκq(θ) :=
∏q j=1
Kκ((Θij−θj)) で定義される．
sin(θ) := (sin(θ1), . . . ,sin(θn))T とし，回帰係数ベクトルをβq := (β1, . . . , βq)T とし，切片をαとおく．
このとき，トーラス上のLLR(: local linear regression) ˆm(θ;κq)は，最小二乗誤差：
∑n i=1
{Yi−α−βTq sin(Θi−θ)}2Kκq(Θi−θ), (7.2)
を最小にする(α,βqT)T の切片αˆで与えられる．したがって，m(θ;ˆ H)は ˆ
m(θ;p, h) :=eT1(STθWθSθ)−1SθTWθY (7.3) となる．ただし，e1は第1要素は1でそれ以外は0となるような(q+ 1)×1ベクトル，Y = (Y1, . . . , Yn) は目的変数ベクトル，
Sθ:=
1 sin(Θ1−θ)T ... ... 1 sin(Θn−θ)T
=
1 sin(Θ11−θ1) · · · sin(Θ1q−θq) ... ... . .. ... 1 sin(Θn1−θ1) · · · sin(Θnq−θq)
(7.4)
はn×(q+ 1)デザイン行列，かつ，Wθ:= diag{Kκq(Θi−θ), . . . , Kκq(Θi−θ)}はn×n重み付き対角行 列を表す．
トーラス上の重み付条件付MISEをMISEY [ ˆm(θ;κq)] := E[∫
Tq{m(θ;ˆ κq)−m(θ)}2f(θ)dθ]と定義する．
トーラス上のLLRの重み付条件付MISEを次の定理として与える．
定理7.1. 次の仮定:
1. ヘッセ行列Hm(θ)は連続である．
2. 周辺密度f(θ)>0は連続微分可能であり，条件付分散v(θ)は連続である．
3. n→ ∞のとき，η2(Kκ)→0かつR(Kκ)→0である. を満たし，かつ，nが十分大きいならば，漸近的なMISEは
AMISEY [ ˆm(θ;κq)]≃ η2(Kκ)2∫
{∇2m(θ)}2f(θ)dθ
4 +R(Kκ)q∫
Tdv(θ)dθ n
となる．
定理7.1を見ると集中度パラメータκとカーネルKの分離が難しいので，Di Marzio型LPRと同様に一 般的なMISEの収束レートを求めるのは難しい問題であることが分かる．
7.1.3 実数・円周上のノンパラメトリック回帰
Qin et al. (2011)が与えた実数・円周上のノンパラメトリック回帰の定義とその理論的性質について述べ
る． 実数・円周Rd×T上の説明変数をUi= (Xi,Θi)T とする．ただし，XiはRd上で定義されるd次元 変数ベクトルを表す．(Ui, Yi) i= 1, . . . , nはランダムな標本とする．このとき，我々は次のような回帰モ デルを考える．
Yi=m(Ui) +v1/2(Θi)εi, (7.5)
ただし，m(u) = EY[Y|U =u]は真の回帰関数を，VarY[Y|U =u] =v(u)は条件付分散を表す．実数・円 周上のカーネルKHκ(Ui−u)は以下のようなプロダクトカーネルとして定義される．
KHκ(Ui−u) = 1 h1· · ·hn
∏d j=1
K((X¯ ij−xj)/hj)×Kκ(θij−θj), (7.6)
ただし，K¯ は通常の非負カーネルであり，Kκは定義2.1を満たしかつ非負の値を取るDi Marzio型カーネル である．実数・円周上のLLR ˆm(u;H, κ)は，最小二乗誤差：
∑n i=1
{Yi−α−βdT(Xi−x)−βd+1sin(Θi−θ)}2KHκ(Ui−u) (7.7) を最小にする(α,βqT, βd+1)Tの 切片αˆで与えられる．ただし，
Uu:=
1 (X1−x)T sin(Θ1−θ) ... ... ... 1 (Xn−x)T sin(Θn−θ)
(7.8)
はn×(q+ 1)デザイン行列を表す．したがって，m(u;ˆ H, κ)は ˆ
m(u;H, κ) :=eT1(UuTWuUu)−1UuTWuY (7.9) となる．ただし，e1は第1要素は1でそれ以外は0となるような(d+ 2)×1ベクトル，Y = (Y1, . . . , Yn) は目的変数ベクトル，かつ，Wu:= diag{KHκ(U1−u), . . . , KHκ(Un−u)}はn×n重み付き対角行列を 表す．
実数・円周上のLLRの重み付条件付MISEは次の定理として与えられる．
定理7.2. 次の仮定：
1. n→ ∞のとき，Hの各成分とn−1|H|−1/2は0に収束する．
2. ヘッセ行列Hm(u)は，連続とである．
3. 周辺密度f(u)>0は連続微分可能であり，条件付分散v(u)は連続である．
4. n→ ∞のとき，η2(Kκ)→0かつR(Kκ)→0である. を満たし，かつ，nが十分大きいならば，漸近的なMISEは
AMISEY [ ˆm(u;H, κ)] =
∑
λ,τ=1Cλ,τ(m)˜h2λ˜h2τα˜λα˜τ
4 +R( ¯K)dR(Kκ)∫
v(u)du nh1· · ·hd ,
ただし，
Cλ,τ(m) =
∫
(∂/∂u2λ)m(u)(∂/∂u2τ)m(u)f(u)du, λ, τ = 1, . . . , d+ 1, であり，ここで，h˜λとα˜λはそれぞれ
˜hλ= {
hλ, λ= 1, . . . , d,
1, λ=d+ 1, , α˜λ= {
α2( ¯K), λ= 1, . . . , d, η2(Kκ), λ=d+ 1 を表す．
定理7.1と同様な理由で定理7.2の漸近的なMISEの収束レートを求めることは難しい問題である．また，
κとhという異なる平滑化パラメータを一緒に使うことでMISEの形は非常に複雑な形となってしまって いる．