統計的学習による演奏表情付け

統計的学習による演奏表情付け

Statistical Machine learning for Expressive Music Performance

寺村 佳子

1,2

, 前田 新一

1

Keiko TERAMURA

1,2

and Shin-ichi MAEDA

1

1

_{京都大学大学院 情報学研究科,}

2

_{日本学術振興会 特別研究員 DC}

1

_{Graduate School of Informatics, Kyoto University}

2

_{Research Fellow of Japan Society for the Promotion of Science}

Abstract: So far, many of the computational models for rendering music performance have been proposed. This review gives an overview of computational modeling of expressive music performance, especially using machine learning method.

1. 背景

人間と同様の, あるいはそれ以上の能力を持つ計 算機モデルを作り出すことは, 人工知能研究の究極 の目的といえるであろう. 音楽の分野でも1956年に L. Hillerによってアルゴリズム作曲[1]が行われて 以来，音楽を生成する計算機モデルが構想されてき た. この音楽生成には[1]のような, いわゆる自動作 曲や編曲などの楽曲そのものを生成する課題の他に, すでに存在する楽譜に表情付けを行い美しく演奏す るという演奏表情付けの課題, 演奏そのものに伴奏 を付与したり, セッションを行う課題がある. 本稿では, 与えられた楽譜から表現豊かな演奏を 生成(以下, 演奏表情付け)する手法について取り上 げ, これまでの経緯や現在の研究動向, 今後の展望 について述べる.

1.1. 演奏表情付けとは？

楽譜には, どの音をどのように弾くかという基本 的な演奏指示が記されている. しかし,楽譜による 演奏指示は緻密なものではなく, どのように演奏す るかは演奏者, 指揮者の裁量に任される部分が大き い. たとえば, 強弱記号でいえば, フォルテ, ピア ノ, クレッシェンドなどの記号があるが, 本来, 連 続的である強弱の程度は離散的に表現されており, タイミングも一音一音に付与されるものではなく小 節にまたがる大まかなものである. 同様のことは 音符の長さ, テンポなどについてもいえる. このよ うに楽譜のみでは一義的に決まらない演奏上の自由 度は, いかに美しい音楽として演奏するかという課 題を生んでいる. 場合によっては, 美しい音楽, 表 情豊かな音楽を演奏するため, 楽譜による演奏指示 から逸脱した演奏が行われることさえある. この演奏表情付けの課題は, その目的から明らか であるように, 何を美しい音楽, 表情豊かな音楽と 感じるか, という音楽学の中心的なテーマと密接に 結びつくものといえる. 演奏表情付けにおいては, 実際に演奏を生成することで美しい音楽がいかに構 成されるかを実証的に示すことができる.

一方, 近年の DTM (Desk Top Music)の隆盛によ る音楽ソフトウェアに対する関心の高まりとともに, 演奏表情付けに対する実用段階でのニーズも生まれ つつある. たとえば, 市販されている音楽編集ソフ トfinale[2]では装飾記号を付加させることによって 演奏の表情を付加させる機能が存在している. しか し, 演奏の表情を付加させるためには音の強弱やタ イミングを逐一入力しなくてはならないなど, 装飾 記号の付与には音楽学的な知識が必要であり, DTM を用いて作曲・入力した楽譜に対して演奏技術や知 識がなくても美しい演奏を作るためには自動的に演 奏表情を付加できるシステムが望まれている. 計算機を用いた演奏表情付け課題において対象と される楽器はほとんどがピアノである. その理由と して２点が考えられる. １点目は, ピアノは楽器の 中でも広く普及しており, 演奏に関する注目度が高 いことである. ２点目は, 出力やデータサンプルの 採取で必要となる演奏の定量化を行いやすいことが 挙げられる. ピアノの場合, 電子ピアノ等を用いれ ば打鍵, ペダル踏み込みの情報から演奏を MIDI 形 式[3]で直接, 出力することができる. 図 1 に楽譜に よる演奏指示とピアニストによる演奏をピアノロー ルによって可視化した例を示す. 楽譜による演奏 指示(図 1(b))とピアニストによる演奏(図 1(c))を比較 人工知能学会研究会資料 SIG-DMSM-A902-05 (10/18)

してわかるように，打鍵やや離鍵のタイミングがず れていることがわかる．演奏表情付けでは，このよ うな楽譜による演奏指示からの変化・ずれ(以降, 演 奏情報と呼ぶ)を推定することになる． ピアノ以外ではサックスを対象とした表情付けモ デルが存在するが[4], ここではピアノによる演奏 を想定した演奏表情付けの手法を紹介する． (a) (b) (c) 図 1:MIDI 形式で定量化されたデータ例

(a)楽譜 (Chopin Etude Op.10 No.12 より), (b)楽譜による演奏指示 をピアノロールで表したもの. (c) ピアニストが演奏した場合の ピアノロール. ここで，ピアノロールは, 縦軸が音の高さ, 横軸が 時間を表す. （b）と(c)では同じようにメロディーが並ぶが, それ ぞれの音の弾き始め, 弾き終わりの時間が異なっていることがわ かる.

2. 先行研究事例

演奏表情付けモデルは, 大きくルールベースと事 例ベースのモデルに分けることができる. ルールベースのモデル[5,6,7,8] は, 与えられた楽 譜情報がどのような場合に、どういう演奏をするべ きかという演奏ルールを記述したものであり, 1983 年のSundberg ら[5]の発表を始まりとしている. ル ールベースのモデルは, 最終的に出力される演奏と 楽譜との対応関係をルールによって明示的に記述す るため, どのような表情付けが美しい音楽の生成に 寄与するかの理解がしやすく, 音楽学的な解析を行 うのに適している. 逆に, 音楽学的な知識を反映し やすい特徴をもつ. その反面, 演奏表情付けの能力 を豊かにするためには, 数多くの演奏ルールを必要 とし, そのルールの生成や, ルール間の優先順位設 定, ルールを適用する条件設定などのパラメーター 探索が困難になるという欠点をもつ. 一方，事例ベースのモデル[9,10 ,11]は，予め楽譜 情報とその楽譜に対応する演奏情報がセットになっ た事例を用意し，その事例から演奏するべき楽曲の フレーズと似た楽曲のフレーズを検索し，類似した 事例の演奏を転写することで演奏表情付けを行う． このモデルにおいては，ルールは必要とせず，豊富 な事例があれば事例と類似した演奏を行うことを可 能とする． また, 楽譜-演奏情報間の入出力関数を 明示的に定義しないため, 入出力間の関係を知るこ とは難しくなる半面, 明示的にルール化しにくい特 徴をも捉えられる可能性をもつ. しかしながら，ど の部分の何をもって類似しているとするかの類似性 尺度の定義は明らかではなく，その決定に専門的な 音楽知識を必要としたり，パラメーター探索を必要 としたりする欠点がある．また豊富な事例を用いた 際には検索に時間がかかったり，類似する事例がな いフレーズに対しては精度が悪化したりするトレー ドオフも存在する． このように初期のモデルではルールベース・事例 ベースのいずれの方法においても専門的な音楽知識 や手間のかかるパラメーター探索を必要とした． こ のような問題を解決するために 2002 年以降, 機械 学習の手法を取り入れたモデルが多数提案された [12,13,14,15,16]. 学習には規範となる教師・正解データが必要とな るが，表情豊かな音楽の演奏を目的とする演奏表情 付けにおいては正解となる演奏は不明である． そこ で，これらのモデルにおいてはプロのピアニストに よる演奏を正解とし，ピアニストの演奏が再現され るように学習が進められる． したがって，学習によ って獲得される演奏表情付けが独創的なものになる ことはないが，その代わりにパラメーター探索の労 力を大きく減らし，ルールや類似性尺度の最適化を 行うことができる．本稿では, 特に統計的学習モデ ルを用いた4 つのモデル：ESP (Expressive Synthetic Performance)[13], YQX[14], Music Kernel CCA (Canonical Correlation Analysis) [15], Usapi (Universal Statistical Automated Pianist Impersonator) [16]の紹介 を行う. 上記の 4 つのモデルは，いずれも例題によって学習 したモデルを用いて回帰問題を解く，という形をと っている． つまり，基本的には楽譜の演奏指示を入 力とし，実際に演奏したときの演奏情報を出力とす る回帰問題を学習によって解くことになる． また， これらのモデルも各々，ルールベースと事例ベース とに分類することができる．階層的隠れマルコフモ デルを用いた ESP (Expressive Synthetic Performance)

や線形ガウスモデル[17]を用いた YQX は，パラメー ターで定義される関数で入出力関数を明示するため， ルールベースの学習型モデルとみなすことができる． 一方，Music Kernel CCA や Usapi はそのようなパラ メーターで定義される入出力関数を介さずに，与え られた例題とカーネルとよばれる類似性尺度を用い て直接，入出力関数を定義するため，事例ベースの モデルと考えることができる． とくに Usapi は， 類似性尺度に含まれるメタパラメーターを学習して いるため，事例ベースの学習型モデルとみなすこと ができる．以下，これらのモデルの概要を述べる.

3. ESP model

このモデルでは階層的な隠れマルコフモデル(以 下, HHMM)[18]を用いる．HHMM は，図 2 に示す ように三階層からなる． HHMM の最下層のユニッ トは，6 種類の楽譜情報と 2 種類の演奏情報をあわ せた計8 種類の変数からなる． 楽譜情報は Relative

Duration, ΔPitch, Metric Strength, Last Note, Phrase Offset, Phrase Boundary からなり，演奏情 報はテンポの変化を対象とし，Tempo factor とΔ Tempo Factor からなる． その上位に位置する隠れ 層 は，3 音から 15 音程度の小さなまとまりを想 定しており，8 つの離散状態からなる． 最上位の隠 れ層 は，5 つの離散状態からなるとする． 図 2：ESP のモデル図 隠れ層間の遷移分布は，隠れ変数が離散変数であ るため必然的に多項分布となる． 一方，隠れ層 から演奏情報，楽譜情報の生成確率分布は，Tempo factor とΔTempo Factor に関しては，それぞれを

要素にもつ二次元正規分布， Relative Duration, Δ

PitchPhrase, Offset に関してはそれれぞれを要素 にもつ三次元正規分布, Metric Strength, , Phrase Boundary は多項分布, Last Note はベルヌイ分布に

よって表現される． これらの分布のパラメーターは，entropic prior を事前分布に用いた事後確率最大化推定によって求 められる． 学習後のモデルによる演奏表情付けは， EM アルゴリズムを用いることで行われる． このモデルは， フレーズとそのフレーズの階層 性を想定したモデルである点で音楽学的にも興味深 いモデルである.

4. (dynamical) YQX model

このモデルでは楽譜情報から得られる素性と演奏 情報の関係をダイナミカル線形ガウスモデル[17]で 表し，事後確率最大化推定によって演奏情報を出力 する．

具体的には, 演奏するメロディー音, 1 音 1 音に 対し3 種類の特徴(Pitch Interval, Duration Ratio, I-R Arch)を楽譜情報から抽出し, 入力として用いる.

このうち，Pitch Interval は演奏する音とその後続

音の間隔を半音符の数で表したものであり, 離散変

数 で表される. Duration Ratio, I-R Arch はそれ

ぞれ演奏する音とその後続音の長さの比を対数で表

し た も の , 演 奏 音 か ら 最 も 近 い

Implication-Realization 分析[19]から得られる音 楽閉包(musical closure)までの距離を表し, これら

はまとめて連続変数 で表される. 演奏情報とし

て は , 3 種 類 の 素 性 (IOI ratio, Loudness, Articulation)を考える. これらは演奏音とその後続 音の時間間隔, 演奏音の強弱, 演奏音の演奏時間を 表し, ターゲット で表される. 3 種類の演奏情報は それぞれ個別に学習される. 時刻ｔにおける離散変数, 連続変数, ターゲット のとる値をそれぞれ, , , とす ると, ダイナミカル線形ガウスモデルは初期分布 と 遷 移 分 布 によって記述される. ここで, は平均 , 分散 のガウス分 布を表す. さらに, 平均 は入力 を用いて以下 のように回帰される. (1) ここで, はそれぞれ離散変数 の値ごとに

例題から学習される定数，定数ベクトル, はベクトル と を連結したベクトル, ・はベク トル間の内積を表す. ターゲット系列の事後確率最 大化推定は, forward-backward アルゴルリズムによっ て行われる. 図 3:YQX のモデル図 彼らは, ダイナミクスを用いなかったモデル(YQX) と事後確率最大となるターゲット系列を求めるモデ ル(YQX-global)を比較し, YQX-global が YQX に劣る 場合もあることを示しており, 学習の不安定性を指 摘している. ダイナミクスの情報をそれほど必要と しない場合があるのは，楽譜情報から抽出する特徴

にI-R Arch という音楽学者 E. Narmour が提唱する

Implication-Realization 分析[19]の結果を参照し， それぞれの音のフレーズ内での関係を明示すること で，ある程度，時間的な情報が得られていることも 一 因 に あ る と 思 わ れ る ． そ の 一 方 で ， こ の Implication-Realization 分析の利用は, 計算機によ る完全な自動化を行うことを困難にしている.

5. Music Kernel CCA

2007 年に提案されたこのモデルは，音楽の代表的 な要素であるメロディー音と和声のペアの時系列を 入力系列とし，弾き始めのタイミングと強弱の時系

列を出力系列としてその入出力系列の相関を Kernel

Canonical Correlational Analysis(KCCA) [20]で学習す るモデルである．このモデルでは, すでに推定され た過去の出力系列と推定したい現時刻の出力を合わ せた出力系列と対応する入力系列との相関を計算し, もっとも相関が高くなる現時刻の出力を選ぶことで 表情付けを行う. カーネル関数には, 入力イベント 間の一致を測るガウスカーネルが用いられている. これにより, リズムパターンや和声進行に基づいた 類似性を測ることができる. この手法によって推 定された演奏情報のノルムは, ピアニストによる演 奏情報のノルムより大きくなる傾向が観察されてい るが, その原因は不明としている. 本手法は, 事例ベースのモデルにカーネル法を用 いて統計モデル化した最初の研究といえる.

6. Usapi

著 者 ら は 2008 年 , カ ー ネ ル 法 の 一 つ で あ る Gaussian Process (GP)[21]を用いた演奏表情付け モデルを提案している[16]. このモデルを現在は, Usapi(Universal Statistical Automated Pianist Impersonator)と呼んでいる. Usapi は, GP によって楽譜情報と演奏情報との間 の回帰問題を解くモデルであるが, 具体的にはピア ニストが演奏した楽曲から得られる楽譜情報と演奏 情報のペアを例題(事例)とし, 演奏すべき音の楽譜 情報と例題中の楽譜情報との類似性をもとに各例題 の演奏情報を重みづけしてその和をとることで演奏 すべき音の演奏情報を求めている. このように最 も近い事例を一つ探すわけではない点が従来の事例 ベースモデルとは異なっており, 重み付け和をとる ことで連続的な入出力変化が想定される場合の補間 性能が高まると考えられる. また, 従来の事例ベースのモデルではフレーズ単 位で検索を行うためフレーズの分割を必要とするが, これには音楽構造の把握が必要であり，計算機によ る自動化が困難であった. Usapi では, 音の高さ, 音 の長さ, 音の登場位置, 強弱, 装飾記号などの楽譜 情報から直接, 読み取れる素性を楽譜情報をとして 用いているため, 計算機による自動化が容易である という特徴をもつ. 事例ベースのモデルの場合, 何を入力素性とする かの素性の決定の他に, 類似性尺度の決定もそのモ デルの性能を左右する重要な因子となる. Usapi では, GP に用いられるカーネル関数がその類似性 尺度を表すが, GP という統計モデルを用いること で最尤推定に則ったカーネル関数のパラメーター最 適化を可能としている. GP は十分な関数表現能力をもつ半面, 例題数が 多い場合, 学習と推定にかかる計算時間が膨大にな る. これは, 例題数を N としたとき, NxN の共分散 行列の逆行列を求める必要があるためであるが, こ の計算コストの増大を避けるため, Usapi では共分 散行列をブロック対角行列で近似する Bayesian Committee Machine (BCM) [22,23]を用いている.

7. 評価

演奏表情づけ問題の目的は, 美しい演奏, 表情豊 かな演奏の生成にあるため, 評価も演奏の美しさの

判断によって行われるべきである. しかしながら, このような主観的な判断は, 定量 性に欠け, 客観的で公平な判断を行うことが難しい. そのため, 多くの研究は, 学習による評価基準と同 様に, プロのピアニストの演奏にどれだけ近づいた かを定量化することで評価を行っている. しかし, このような指標を定義しても, モデル間の公平な評 価は困難であった. これには, そもそも何を演奏情 報としたかというのがそれぞれの研究において異な ること, それぞれの研究で学習に用いる例題やテス トの内容が異なることが挙げられる. 2008 年に CrestMusePEDB[24]がリリースされ, 公開データ ベースが利用可能となったことで, モデル間の客観 的な評価に重要な役割を果たすものと期待される. しかしながら, ピアニストとの演奏の差分の大小 が必ずしも美しい演奏に直結するとは限らないこと は留意しなければならない. そのような主観評価 を得る機会として研究者が会し, 同じ楽曲に対して 表情付けを行った結果を審査員, 観客が判断するコ ンテストRencon が開催されている[25]. このコン テストでは, 大勢による主観的な判断によって客観 性を, 同じ楽曲の演奏によって評価することで公平 性を保つ努力がなされている. 2008 年の ICMPC -Rencon[26]においては，YQX [17], Usapi の前身 モデル(NAIST music rendering model), [8]の後 継モデルKagurame-Phase II [27], COPER[12]ら がエントリーし, YQX が優勝を納めている． このような客観的評価, 主観的評価の両面からの 評価を行うことで, 初めて正当な評価を行うことが できるものと思われる.

8. まとめと今後の展望

これまで学習を行う演奏表情付けの研究は，演奏 データを採取するのに多大な労力を要することから 限られた研究グループでしか研究が行われてこなか った. しかし, 2008 年に CrestMusePEDB やそのデ ー タ の 取 り 込 み , 編 集 を 行 う ツ ー ル CrestMuseXML API[28]が公開されたことにより 学習型のモデルを提案する研究グループの参入障壁 は大きく下がったといえる. さらに演奏情報を wav 形式や mp3 といった音声波形データから自動的に 採取することが可能となれば, より簡便に多くのデ ータを確保できるのみならず, ジャズなどの他のジ ャンルやギターやヴァイオリンなどの他の楽器への 展開を促進するであろう. 本稿では，演奏表情付け問題に対する統計的学習 モデルの紹介を行い，統計的学習モデルによってパ ラメーター探索を自動化できるメリットについて述 べた． しかしながら，これだけで演奏表情付け問題 が解けるようになるわけではない． そもそも音楽を 定常な時系列とみなすことは難しい．ルールや類似 性尺度などの決定が難しいことの要因の一つに，そ の非定常性への対応が困難であることが挙げられる であろう．既存の統計的手法は，定常な系列や，独 立なサンプルを仮定することが多く，音楽のような 非定常性・長距離相関をもつ時系列を扱うにはさら なる工夫が必要である． 音楽は，ランダムな時系列 とは程遠く, 人であればだれでも容易に認識できる フレーズ, パターンなどの秩序を有する. このよう に徐々に変動していく時変の秩序，パターンのよう なものを上手に捉えることのできるモデルの開発が 演奏表情付けの能力向上に重要になるとともに, そ の数理メカニズムが人の音楽認識の理解につながる 可能性があるのではないかと考える．

参考文献

[１] L. Hiller, L. M.Isacson: 弦楽四重奏のためのイリアッ ク組曲 (1957). [２] finale 2009, http://music.e-frontier.co.jp/product/finale/. イーフロンティア.

[３] MIDI Manufacturers Association, http://www.midi.org/ . [４] J. L. Arcos, R. Mántaras, D.. López , X. Serra: SaxEx: A

case-based reasoning system for generating expressive performances. Journal of New Music Research, vol.27, pp.194–210 (1998).

[５] J. Sundberg,, A. Askenfelt,, L. Frydén.: Musical performance. A synthesis-by-rule approach. Computer Music Journal, 7, 37–43 (1983).

[６] N. P. M. Todd: A model of expressive timing in tonal music. Music Perception, 3, 33–58 (1985).

[７] 平賀瑠美, 五十嵐滋, 松浦陽平: 統合演奏視覚化シス テ ム, 情 報 処 理 学 会 論 文 誌 vol.38, No.11, pp.2391-2397(1997).

[８] T.Tanigichi: A structural language for computer performance of piano music, Journal of the Acoustical Society of Japan (E), vol.9, No.6, pp.275-286 (1998). [９] 鈴木泰山, 徳永健伸, 田中穂積, “事例に基づく演奏

表情の生成”, 情報処理学会論文誌 , Vol,41,No.4, p.p.1134-1145 ,(2000) .

[１０] K. Hirata and R. Hiraga: Next Generation Performance Rendering -- Exploiting Controllability, Proc. of ICMC 2000, pp.360-363 (2000).

[１１] 野池賢二，豊田健一，片寄晴弘：コーパスベース表 情付けシステム COPER の基礎機能の実装とその評 価, 情報処理学会研究報告 2005-MUS-59, pp.67-70, (2005).

[１２] G. Widmer: Machine Discoveries: A Few Simple, Robust Local Expression Principles. Journal of New Music Research, No.31, vol.1, pp.37-50 (2002). [１３] G. Grindlay, D. Helmbold,: Modeling, analyzing, and

synthesizing expressive piano performance with graphical models Source”, Machine Learning Vol. 65 , Is. 2-3, p.p.361 – 387 (2006).

[１４] S. Flossmann, M. Grachten, G. Widmer: Expressive Performance Rendering: Introducing Performance Context, In Proceedings of the 6th Sound and Music Computing Conference (2009).

[１５] L. Dorard, D. Hardoon, J. Shawe-Taylor: Can Style be Learned? A Machine Learning Approach Towards ‘Performing’ as Famous Pianists. Proceedings of Music, Brain & Cognition Workshop, in The Neural Information Processing Systems (2007).

[１６] K. Teramura, H. Okuma, Y. Taniguchi, S. Makimoto. S. Maeda: Gaussian process regression for rendering music performance, International Conference on Music Perception and Cognition, pp. 167-172, (2008).

[１７] S. Roweis, Z. Ghahramani: A Unifying Review of Linear Gaussian Models, Neural Computation, vol.11, pp. 305–345 (1999).

[１８] Fine, S., Singer, Y., & Tishby, N.: The hierarchical hidden Markov model: Analysis and applications, Machine Learning, 32(1), 41–62 (1998).

[１９] E. Narmour: The Analysis and Cognition of Basic Melodic Structures: The Implication-Realization Model. University of Chicago Press, (1990).

[２０] D. R. Hardoon, S. Szedmak, J. Shawe-Taylor: Canonical Correlation Analysis: An Overview with Application to Learning Methods, Neural Computation, Vol. 16, No. 12, pp. 2639-2664 (2004).

[２１] Rasmussen, C. E. and Williams, C.: Gaussian Processes for Machine Learning, MIT Press. (2006).

[２２] Tresp, V.: A bayesian committee machine, Neural Computation, vol. 12, no.11, pp. 2719-2741 (2000). [２３] Schwaighofer, A. & Tresp, V.: Transductive and

inductive methods for approximate Gaussian process regression. Advances in Neural Information Processing Systems 15, MIT Press (2003).

[２４] 橋田光代, 松井淑恵, 北原鉄朗, 片寄晴弘: ピアノ 名演奏の演奏表現情報と音楽構造情報を対象とした 音楽演奏表情データベース CrestMusePEDB の構築, 情 報 処 理 学 会 論 文 誌, Vol.50, No.3, pp.1090-1099 (2009). [２５] Rencon, :http://www.renconmusic.org/ .

[２６] M,Hashida, T. M. Nakra, H. Katayose, T. Murao, K. Hirata, K. Suzuki, T. Kitahara, : Rencon: Performance

Rendering Contest for Automated Music Systems, Proc. of ICMPC 10, (2008).

[２７] 鈴木泰山, 金子雄介, 徳永幸生: 事例に基づく演奏 表情生成手法の演奏表情生成アルゴリズムの分析, 情報処理学会研究報告. [音楽情報科学] , No. 14, pp.49-54 (2005).

[２８] CrestMuseXML Development Project: