部分空間同定法を用いた採譜システムにおける楽器と調性の判別

全文

(1)Vol.2009-MUS-83 No.8 2009/12/5. 情報処理学会研究報告 IPSJ SIG Technical Report. 部分空間同定法を用いた採譜システムにおける楽器と調性の判別深山幸穂†. を推定している．本報では，定常カルマンフィルタをマルコフ過程とみなし，片山らにより研究された部分空間法[2]を用いて，楽器と調性を判別する手法を提案する．. ２．時間周波数平面への投影. 田中大介††. ガボールウェーブレット変換 [6] は時間領域の信号 , u (t ) , を時間周波数平面 ,. (a, b) = ( f 0 f , b ) , に投影する．ただし，周波数, f , および時間推移, b , とする:. 採譜システムにおいて，ガボールウェーブレットによる時間−周波数平面への投影と定常カルマンフィルタによる状態推定値をマルコフ過程とみなし，部分空間法を用いて，楽器と調性を判別する手法を提案する．. ∞. t −b (1),  dt a  a  −∞ ここに，マザーウェーブレット, ψ (t ) , ただし基本周波数, f 0 = 8.1758[Hz] , とし， U ( a, b) =. An Identification of Instruments and Keys for Music Transcription System Applying the Sub-space Method. ∫ u (t ). 1. ψ∗. 分散パラメータ, σ , は時間と周波数の分解能を調整する:. ψ (τ ) =. Yukio Fukayama† and Daisuke Tanaka††. 2  1  τ   exp  j2π f 0τ −    2  σ   2πσ . 1. (2).. l ∈ N , に対応する周波数,. 当該平面の周波数軸は，MIDI 標準[4]のノートナンバー,. fl [Hz] , すなわち，１２音平均率の半音階[3] に従う: An algorithm for music transcription system that projects music signal onto the time-frequency plane applying Gabor wavelet transform shall be introduced. The system is also applying adaptive state estimation technique for actually played pitch names to cope with tones including considerable harmonics. In addition, the system identifies instrument and key by the sub-space method and consider the identified parameters to the estimation.. f l = 440 × 2. l − 69 12. (標準ピッチ). (3);. 例えば，大譜表の中央の C , および，その直近上側の,. " ,A, A#, B, " , は，順に,. f 60 = 262 , ", f 69 =440 , f 70 =466 , f 71 = 494,"[Hz] , である．このとき，観測ベクトル,. １．はじめに. (. ). T. η( k ) = η0 ( k ) " η p −1 ( k ) ∈ R p , を定義し，各成分. は次式に与えられる:. 本報では採譜システムにおいて重要なパラメータである，楽器と調整の同定法につ. ηi ( k ) =| U ( 2. いて考察する．これらのパラメータは，多くの倍音成分を含むマイクロフォンから入. −. i + l0 12. , k +t ) | , (0 ≤ i ≤ p − 1). (4),. 力された音楽信号から演奏された音名を推定する際に，楽器に依存する倍音パターン. ここに，周波数スペクトラムはノートナンバー, l0 ≤ l ≤ l0 + p − 1 , の範囲で時点,. と調性に依存する音名の遷移確率を考慮する際に必要となる．本報に紹介する採譜シ. t = k +t , ただし，サンプリング間隔, +t , にて評価される.. ステムはの既報[1]に紹介した構成をとり，音楽信号をガボールウェーブレット変換に. ３．マルコフモデルの設定. より時間−周波数平面へ投影した後，定常カルマンフィルタを用いて演奏された音名. 本研究では音楽信号を確率システムとしてとらえ，マルコフモデルを設定する．ま. 1. ⓒ2009 Information Processing Society of Japan.

(2) Vol.2009-MUS-83 No.8 2009/12/5. 情報処理学会研究報告 IPSJ SIG Technical Report. ず，状態方程式はベクトル関数, f ∈ R , を有し，調性を表す時不変なパラメータ, n. 式に定義する:. λ. α ∈ R , を含み，独立同分布（以下，i.i.d.: independent identically distributed と記す）. F ( α ) :=. の確率変数, w ∈ R , で表される揺らぎにより駆動される: n. ξ ( k + 1) = f( ξ ( k + 1), α ) + w ( k ) , ここに，状態ベクトル, ξ ( k ) =. (ξ 0 ( k ). " ξ n −1 ( k ) ) ∈ R n , の成分, ξi , は演奏者に. l0 = 21 , ベクトルの次数, n = 88 , 程度に選ぶ． η( k ) = h( ξ ( k ), γ ) + v ( k ). }. {. }. (12);. ここに，H. これらの揺らぎおよび雑音は，平均， E w ( k ) = 0 n , E v ( k ) = 0 p , で一般に非. ∀ k , j ∈ Z , において次式の白色性を示すと仮定する:  w ( k )  T  W U T (7), E   w ( j) v ( j)  =  T δ k , j ( k ) v U V      . T. 状態ベクトルは実際に演奏された音名に対応し，その線形最小分散推定値（以下， LMMSE: linear minimum mean square estimation と記す）は非ガウス性の仮定の下でも. η , すなわち, ξ = f( ξ , α ) , η = h( ξ , γ ) を満たす点の周りに定. ˆ x( k ) Y k −1 } , として求められる．これは，調性と楽器に係わる直交射影, xˆ ( k ) := E{. h , は次のとおり線形化で. パラメータ,. きる: (8),. h( ξ , γ ) = h( ξ + x , γ ) = η + H (γ ) x. (9),. n× n. , および，観測行列,. α , γ , が既知であれば，定常カルマンフィルタ[2]を用いて次式に計算. できる:. ˆ F ( α ) x ( k ) + w ( k ) Y k −1 ⊕ span{y ( k )}} = F ( α ) xˆ ( k ) + Gy ( k ) (15), xˆ ( k + 1) = E{ ここに，演算, ⊕ , は空間の直交直和を示し，直交射影は線形化した状態方程式, (11),. ここに, K はモデルが局所的な広義の定常（以下，w.s.s.: wide sense stationary と記す）とみなせ，状態ベクトルよ観測ベクトルの平均値が，それぞれ, ξ ,. (14).. ４．調性と楽器が既知の場合における実際に演奏された音名の推定. W ∈ R n× n , V ∈ R p × p および U ∈ R n× p は共分散行列である. 次に, 摂動を状態ベクトル, x := ξ − ξ ∈ R n , 観測ベクトル, y := η − η ∈ R p , に. ここに,. f( ξ , α ) = f( ξ + x , α ) = ξ + F ( α ) x. (13),. := FXH T +U と定義し，状態ベクトルの共分散行列, X := cov{ x( k )} ,. X = FXF T + W. ). 義すれば，時点, k , k + 1 ∈ K , においてベクトル関数, f ,. Y , は w.s.s の仮定により次式に評. について次式のリアプノフ方程式が成立する:. ガウスの確率分布に従い,. 集合である．さらに，状態遷移行列, F ∈ R. y( k ) = H (γ ) x ( k ) + v ( k ).  HF m −1 H T (m > 0)  Y ( m ) := E{ y( k + m) y T ( k )} =  HXH T + V (m = 0)  H T F − m −1 H (m < 0) . γ ∈ R µ , に依存す. p. ついて，平衡点, ξ ,. (11),. 価できる[2]: (6),. ここに，ベクトル関数, h ∈ R , は楽器を表す時不変パラメータ,. (. x ( k + 1) = F (α ) x ( k ) + w ( k ) , さらに，線形化された観測ベクトルの共分散行列,. 観測方程式には i.i.d. な確率変数, v ∈ R n , を加法的な雑音として考慮する:. {. (10).. 上述したベクトル関数の線形化を用いれば，次式の線形確率モデルが得られる:. (5), T. よるノートナンバー , i + l0 , の操作の強さを表し，ピアノに対応できるように ,. る．. ∂ h( ξ , γ ) ∂ f( ξ , α ) , H (γ ) := T ∂ξ ∂ξ T. η となる時点の. をデータ空間, Y k := span{c , y (0)," , y ( k )} , 上に行う．ただし，データ空間は適当. H ∈ R p×n , を次. な初期値を表す定数ベクトル, c ∈ R p , と次式の白色雑音の性質を持つイノベーショ. 2. ⓒ2009 Information Processing Society of Japan.

(3) Vol.2009-MUS-83 No.8 2009/12/5. 情報処理学会研究報告 IPSJ SIG Technical Report. このとき， Σ ff ≠ 0 , Σ pp ≠ 0 and rank{Σ fp } = n , を仮定する．ここに，ブロック. ン, y ( k ) ∈ R p ,により構成されている:. ˆ y ( k ) Y k −1 } = y ( k ) − H (γ ) xˆ ( k ) y ( k ) := y( k ) − E{. テプリッツ行列, Yp ∈ R mp × N , および，ブロックハンケル行列, Yf ∈ R mp × N , を列数,. (16);. 加えて，直交条件 , ( x ( k + 1) − xˆ ( k + 1)) ⊥ Y k , を満たすため，カルマンゲイン ,. N , ブロック行数, m , として以下に定義する: y ( m ) " y( N + m − 2)   y( m − 1)   y( m − 2) y ( m − 1) " y ( N + m − 3)  Yp =    # # #   y(1) y ( N − 1)  "  y (0). n× p. G ∈ R , は次式に与える[2]: G = ( FPH T + U )( HPH T + V )−1 ここに, P ∈ R. n× n. (17),. は次式の代数リカッチ方程式（以下，ARE: algebraic Ricatti equation. と記す)の解である:. P = FPF T − ( FPH T + U )( HPH T + V )−1 ( FPH T + U )T + W.  y( m)  y( m + 1) Yf =   #  y ( 2m − 1) . (18).. ５．観測ベクトルの共分散行列からのマルコフモデルの実現以下，片山[2] による多変数の観測ベクトルへの適用に好適な部分空間同定法に基. 次に，可観測性行列,. づき，観測された共分散行列を与えるマルコフモデルを実現する方法を述べる．すなわち，w.s.s. の仮定の下に平衡実現の条件で，実際に観測された. { y( k )}. の定常カルマンフィルタと類似のモデルにおける行列, A∈R. r×r. から，以下. , K ∈R. C ∈ R p × r および E ∈ R p × p を同定する: z ( k + 1) = Az ( k ) + Ke ( k ). r× p. (. Γ m := C T. r ここに， A には調性の，C には楽器に係わる情報が含まれている．また, z ∈ R お. {. }. より，直交行列, Φ , Ψ ∈ R. Σ pf  1  Yp  T T  =   Yp Yf Σ ff  N  Yf . (. 1. mp× mp. , すなわち, Σ ff = LLT および Σ pp = MM T. mp × n. , すなわち, Φ TΦ = Ψ TΨ = I n および，対角行列,. L−1 Σ fp M -T = Φn ∆nψ nT. ). (25),. ∆r ∈ R r × r を用いて次式を得る:. ( k = 0,1," , N + 2m − 2;. r < m << N ) より算出する:  Σ pp   Σ fp. ). AC T " Am−1C T = ∆n 2Ψ nT M T. を定義した．さらに，特異値分解（以下, SVD: singular value decomposition と記す）に. まず，エルゴード性の仮定の下に，データ共分散行列， Σ ff , Σ fp , Σ pf ,. { y( k )} = {η( k ) − η} ,. (24),. ここに，平方根行列, L , M ∈ R. k , j ∈ Z において，平均，. E {e ( k )} = 0 p , 共分散行列 E e ( k )e T ( j ) = Eδ k , j の白色雑音である． Σ pp ∈ R mp × mp を観測ベクトル ,. (23).. Ωm ∈ R mp×n , および，可到達性行列, Γ m ∈ R n× mp , は次式に.  C    1 CA  Ωm :=  = LΦn ∆n 2  #   m−1   CA . ,. (20),. よび e ∈ R p は，それぞれ，状態ベクトルおよび， ∀. y( N + m − 1)   y( N + m )   #  y( N + 2m − 2) . 求められる:. (19),. y ( k ) = Cz ( k ) + e ( k ). y( m + 1) " y( m + 2) " # y ( 2m ) ". (22),. (26).. 従って， A および C を次式に求めることができる:. (21),. A = [ Ω (1 : ( m − 1)n,:)]† Ω ( m + 1 : mn,:). 3. (27),. ⓒ2009 Information Processing Society of Japan.

(4) Vol.2009-MUS-83 No.8 2009/12/5. 情報処理学会研究報告 IPSJ SIG Technical Report. C = Ω (1 : n,:) ここに，記号,. †. (28), , は擬似逆行列を示し，ブロック行列の与え方として MATLAB の記. 法を用いている．. ６．楽器と調性の判別法４節に述べた定常カルマンフィルタと５節にて同定されたマルコフモデルは観測ベクトルの共分散行列が一致する意味において相似である．まず，正方な直交行列,. T ∈ R n× n , を用いて４節の定常カルマンフィルタを次式に変換できる: z ( k + 1) = T −1F (α )Tz ( k ) + T −1 Ky ( k ) y ( k ) = H ( γ )Tz ( k ) + y ( k ). Pi t ( O ch bs Na er m v e es d). (29), (30),. ここに，次式の変換行列を用いた:. xˆ ( k ) = Tz ( k ). (31).. 従って，５節のマルコフモデルと比較して，非負の重み係数, p , q , について，拘束条件,. 2. α = γ. 2. ames N h Pitc yed) (Pla. = 1 , ただし, α ≥ 0λ , γ ≥ 0 µ , の下に，次式の評価関数, J , を. 最小とする, T , α および γ を求めればよい: 2. J = p T −1F (α )T − Aˆ + q H (γ )T − Cˆ. Fig.1 Observation Equation (Piano Tone). 2. (32),. ここに，状態遷移行列, F ( α ) , および，観測行列, H ( γ ) , は調性および楽器が既知. 本図において，横軸は実際に演奏された音名に沿い，縦軸はガボールウェーブレッ. の実データから解析して，各調性について，それぞれ, F1 ," , Fλ , 各楽器について，. ト変換により観測された周波数成分を，双方ともピアノ 88 鍵のスケールで示す．. それぞれ, H1 ," , H µ , を求めておき，次のとおり，これらの一次結合と仮定する:. F (α ) = α1F1 + " + α λ Fλ. (33),. H ( γ ) = γ 1 H1 + " + γ µ H µ. (34),. ただし，ベクトル, α = (α1. 図２は，ドビュッシー：２つのアラベスク第１曲目の冒頭，４小節余りをピアノ音のよる電子楽器で演奏した音声信号を，２節に述べたがボールウェーブレット変換で時間・周波数平面上に投影した例を示す．図１に示す倍音特性の影響により，演奏者. " α λ )T および γ = (γ 1 " γ µ )T を用いた．. が打鍵していない音名に対応する成分が見られる．. ７．数値例図１は３節に述べた観測方程式について，ピアノ音のによる一例を示す．. 4. ⓒ2009 Information Processing Society of Japan.

(5) Vol.2009-MUS-83 No.8 2009/12/5. 情報処理学会研究報告 IPSJ SIG Technical Report. C6. Pitch Names. Pitch Names. C6 C5 C4 C3. C5 C4 C3 C2. C2 1. 2. 3. 1. 4. 2. 3. 4. Number of measures. Number of measures Fig.2 Projection on to Time-Frequency Plane Debussy: Two Arabesques #1 (At the beginning). Fig.3 After Kalman Filtering 図３は，ピアノ音を入力することを既知として，４節に述べた定常カルマンフィル. Debussy: Two Arabesques #1 (At the beginning. タにて，演奏者の打鍵を推定した結果である．ただし，状態遷移行列としては単位行列を用いている．図１の倍音特性を考慮することにより，図４に示す楽譜に近い打鍵状況が推定でき，妥当な動作結果と評価できる．なお，C3 音より下において演奏者がフィンガーペダルを用いて，譜面よりも長く音を保持している状況が把握できる．. Fig.4 Actually Played Music Debussy: Two Arabesques #1 (At the beginning. 5. ⓒ2009 Information Processing Society of Japan.

(6) Vol.2009-MUS-83 No.8 2009/12/5. 情報処理学会研究報告 IPSJ SIG Technical Report. ８．まとめガボールウェーブレット変換と定常カルマンフィルタを用いた採譜システムを試作し，ピアノ音を用いて，入力された楽器の種別が既知である条件の下で妥当な動作を確認した．さらに，楽器の種別が不明な場合にも適用可能なように，部分空間同定法を用いた，楽器と調性の同定アルゴリズムを提案した．. 参考文献 [1] Y. Fukayama et al.: An algorithm for music transcription applying wavelet transform to identification of. note length; Proc. of 39th intl. symposium on stochastic systems theory. and its applications, pp.153-158, ISCIE, Saga JP (2007) [2] T. Katayama: System identification (in Japanese); Asakura, Tokyo JP (2004) [3] M. Kennedy: Oxford dictionary of music; Oxford, New York NY (1985) [4]. MIDI. manufacturers. association:. The. technology. of. MIDI;. http://www.midi.org/aboutmidi/tutorials.php [5] A. Klapuri and Manuel Davy, editors: Signal processing methods for music transcription, Springer, New York NY (2006) [6] Z. Xie and T. Suzuki: Wavelet and stochastic process (in Japanese); Uchida, Tokyo JP. 6. ⓒ2009 Information Processing Society of Japan.

(7)