2 ディリクレ過程混合モデルを持つ状態空間モデル

ディリクレ過程混合モデルを持つ状態空間モデルに おける MCMC-Based Particle Filter を用いた状態の

推定

数学専攻 椙本功弥 SUGIMOTO Kouya

1 はじめに

様々な分野において, 複数対象の時系列データを同時に扱い, 予測や制御のために情報 を引き出すことで利益を得ることができる. 例えば, マーケティング分野では,複数の顧客 に対し, 嗜好の時間的な変化を捉え, 商品の推薦に反映させるなどして売り上げの上昇を 見込むことができる. しかし, 直接観測できるのは購買履歴あり, 潜在的な要因である嗜好 は観測することはできない. これに対し, 状態空間モデルは, 潜在的な要因（状態という）

を観測されるデータから求めることを可能とし, 現在多くの場面で用いられている. この状態空間モデルによって複数の対象の時系列データのモデリングを行う際, 全ての 対象が全ての時点において同様の時間的な変化をすると考えるのは適さないことがある. これは先ほどの例で言えば, ニーズの異なる顧客の時間的な変化が同様であると考えるこ とである. このようなデータに対するモデリングでは, 各時点で各対象の時間的な変化が 異なるとし, その下で時間的な変化のモデルを構成しなければならない.

このような問題において, 各時点で時間的な変化の似た対象同士のクラスターを形成 し, クラスター単位で別々のモデルを設定するという階層構造を持つ状態空間モデルが Andrieu et al. (2003)によって提案された. しかし, Andrieu et al. の提案した手法では, 対象のクラスター数が既知でかつ一定である必要があり, 事前にクラスター数がわからな い, あるいは時点によってクラスター数が異なるような現象のモデリングには適用できな い. これに対し, Caron et al. (2008) は, ディリクレ過程混合モデルを状態空間モデルに 導入し, クラスター数あるいは変動する未知の場合のモデリングを可能にした. しかし, 線 形·正規性を仮定した動的線形モデルに限定しいる.

本論文では, Caron et al. (2008)のモデルを非線形·非正規なモデルに拡張する. 非線形

·^{非正規なモデルでは}, Caron et al. (2008)の推定法が適用できないので, MCMC-based Particle Filterに基づいたアルゴリズムを提案する.

1

2 ディリクレ過程混合モデルを持つ状態空間モデル

状態空間モデルによって複数の対象の時系列データのモデリングを行う際, 個々の対象 は各時点において異なる時間変化をするとし, これを個々の対象は時点ごとに異なるシス テムモデルおよび観測モデルのパラメータθ_t^v を持って時間変化をする場合を考える. さ らに, 各時点において, 中には似たような時間変化をする対象が存在するとする. このと き, p^v(v_t |θ_t^v)が混合分布に従うとする. クラスター数（混合要素数）が未知であり, 時 点tによって異なる場合をモデル化するためにディリクレ過程混合モデルを状態空間モデ ルに導入する.

各時点tに対し, 状態空間モデルは次のように定義される:

システムモデル x_t =a(x_t−1,v_t), v_t ∼p^v(v_t |θ^v_t), (1) 観測モデル y_t =b(x_t,w_t) w_t ∼p^w(w_t |θ^w_t ). (2) ここで, y_t = (y_1,t, y_2,t, . . . , y_n,t) は観測値, x_t = (x_1,t, x_2,t, . . . , x_n,t) は状態, v_t = (v1,t, v2,t, . . . , vn,t) はシステムノイズ, wt = (w1,t, w2,t, . . . , wn,t) は観測ノイズであ る. n は 対 象 の 数 を 表 す. た だ し, パ ラ メ ー タ θ^v_t = (θ^v_1,t, θ^v_2,t, . . . , θ^v_n,t) と θ^w_t = (θ_1,t^w , θ_2,t^w , . . . , θ_n,t^w )はそれぞれ未知とし, θ_t = (θ^v_t,θ^w_t )とする.

システムノイズvt と観測ノイズwtは, 次のように階層的にディリクレ過程混合モデル によって生成されるとする:

G^v ∼DP(G^v₀, γ^v), i = 1, . . . ,n θ_i,t^v |G^{v i.i.d.}∼ G^v,

v_i,t |θ_i,t^{v i.i.d.}∼ p^v(v_i,t |θ^v_i,t). (3) ここで, DPはディリクレ過程を表し, G^v₀ は基底分布, γ^v と(γ^v ∈R⁺)はscaling factor とする. ただし, G^v₀, γ^v, はそれぞれ既知とし, φ= (G^v₀, γ^v)とする(観測ノイズの分布の パラメータθ^w_i,tについてはvとwを入れ換えればよい).

Caron et al.(2008) は, 式(1), 式(2)において, システムモデルと観測モデルは線形な 構造を持ち, 状態 xt と観測値yt は正規分布に従うと仮定した. 本論文では, これを拡張 して, 式(1), 式(2)において, システムモデルと観測モデルは非線形な構造を持ち, 状態 x_tと観測値y_t は非正規分布に従うと仮定する.

2

2.1

モデルでは, 状態x_1:t とパラメータ θ^v_1:t,θ_1:t^w が未知であるので, 観測値 y_1:t が与えら れたときに, 事後分布p(x0:t,θ_1:t^v ,θ^w_1:t |y1:t, φ)を求めればよい(Polya urm表現より, 分 布Gは積分消去できる).

Caron et al.(2008)は, 事後分布p(x_0:t,θ_1:t |y_1:t, ϕ)を次のように分解した;

p(x0:t,θ1:t |y1:t, ϕ) =p(x0:t |θ1:t,y1:t, ϕ)p(θ1:t |y1:t, ϕ). (4) 式(1), 式(2)において, 正規・線形性を仮定しているので, 観測値y_1:t とパラメータθ_1:t が与えられたとき, 状態x0:t の事後分布p(x0:t | θ1:t,y1:t, ϕ)は正規分布に従い, その分 布の平均ベクトルと共分散行列はカルマンフィルターを用いて計算することができる. し かし, 式(1), 式(2)のように非正規・非線形性を仮定しているので, 状態x_0:t の事後分布 p(x_0:t | θ_1:t,y_1:t, ϕ)の計算は解析的に陽な形で求まらない. したがって, ベイズの定理よ り次のように事後分布を分解する:

p(x_0:t,θ_1:t |y_1:t, φ) = p(y_t |x_t,θ_t)

p(yt |y1:t−1, φ)p(x_t |x_t−1,θ_t)p(θ_t |θ_1:t−1, φ)

×p(x0:t−1,θ1;t−1 |y1:t−1, φ). (5) 事後分布 p(x0:t,θ1:t | y1:t, φ)の計算は解析的に陽な形で求まらないので, これを近似 する. Caron et al.(2008)と違って, 同時事後分布p(x_0:t,θ_1:t | y_1:t, ϕ)を近似するので, パラメータ空間の次元はより高くなる. 逐次モンテカルロ法を用いてこの事後分布を近 似した場合, 重みの分散は大きくなるので, サンプル数を多く取る必要がある重みの分散 は, パラメータ空間の次元数に関して指数的に増加し, サンプル数を指数的に増やさなけ ればいけないことが知られている. もし少数のサンプルで事後分布を近似した場合, ほと んどのサンプルの重みは0に近くなる. したがって, 事後分布の近似に偏りが生じて, 状態 x_0:t とパラメータθ_1:t の正確な推定値は得られない. そこで, 逐次モンテカルロ法に代っ て, 高次元なパラメータ空間において効率的なサンプリングを実現できるMCMC-based Particle Filter(Khan et al.,2005)を用いることを提案する.

3 適用例

非 線 形 関 数 モ デ ル に お い て, デ ィ リ ク レ 過 程 混 合 を 用 い て シ ス テ ム ノ イ ズ θ_t = (τ_1,t² , τ_2,t² ) をモデル化し, 提案アルゴリズムがパラメータ θt を推定しながら状態 xt

3

を推定することができるかどうか実験する. 図2, 図3は対象ごとの状態とシステムノイ ズの推定結果を示している. 推定された状態値はほとんど真の状態値に近い値をとり, 提 案アルゴリズムが非線形関数モデルでシステムノイズの分散を推定しながら状態を推定す ることに成功していることがわかる.

Time

0 10 20 30 40 50

−15−5515 estimated state

true state target1

Time

y[, 1]

0 10 20 30 40 50

04812

observation

Time

0 10 20 30 40 50

0.51.5

estimated variance true variance

図1 対象1の状態とシステムノイズの推定結果

Time

0 10 20 30 40 50

−15−5515 estimated state

true state target1

Time

y[, 2]

0 10 20 30 40 50

04812

observation

Time

0 10 20 30 40 50

0.51.5

estimated variance true variance

図2 対象2の状態とシステムノイズの推定結果

参考文献

[1] Andrieu, C., Davy,M. and Doucet, A.(2003), Efficient particle filtering for jump Markov systems Applications to time-varying autoregressions, IEEE Trans. Sig- nal Processing, vol. 51, pp. 1762-1770.

[2] Caron, F., Davy, M., Doucet, A., Duflos, E. and Vanheeghe, P.(2008), Bayesian inference for linear dynamic models with dirichlet process mixtures, IEEE Trans.

Signal Process, vol. 56, no. 1, pp. 71-84.

[3] Khan Z., Balch, T. and Dellaert, F.(2005), MCMC-based particle Filtering for tracking a variable number of interacting targets, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 27, no. 11.

4