法政大学大学院
情報科学研究科
○小泉
悠馬, 伊藤 克亘
擦弦時の奏法行動を考慮した意図表現の合成手法
: VIOCODER
2012/06/02
第95回 情報処理学会 音楽情報科学研究会はじめに
擦弦楽器の合成音への表現力付与手法
研究の概要
擦弦楽器の合成音に演奏表現による音色の変化をもたせる 擦弦楽器の音の生成の流れから、音色変化の特徴を推定する 推定した特徴をもとに、楽音を合成する 予備知識
擦弦楽器の音の生成過程
擦弦運動：ヘルムホルツ運動 楽器内での共鳴 擦弦楽器の演奏表現の特徴と、その理由
従来の擦弦楽器の楽音合成手法と、その問題点
擦弦楽器の音の生成過程
演奏音 楽器共鳴 擦弦振動 奏者の イメージ楽譜を翻訳し、
イメージを奏法に変換
・奏者が、
楽譜を元に音をイメージ
・イメージを元に弦を擦り
（＝
擦弦：奏法行動
）弦が振動
・弦の振動が
楽器内で共鳴
・楽音の放射
人間のイメージと行動
物理モデル
擦弦振動
: ヘルムホルツ振動
固定端から擦弦位置までの位置の比で頂点が決定する三角波
実際の擦弦振動は、奏法による変化や、擦弦雑音が含まれる
奏法：弦に対する力の入れ方 演奏では、擦弦振動を聞いているのではない
⇒擦弦振動が駒を振動させ、胴で共鳴した音
Stick-Slip運動 周波数 対 数 パ ワ ｜ 時間 振 幅楽器内での共鳴
𝑓字孔共鳴
伝達系 出力 入力 入力 伝達系 出力 時間領域 周波数領域 擦弦振動が駒を伝わり胴体へと伝達され、共鳴する
⇒
胴体での共鳴の計測が必要
インパルス応答を計測
擦弦楽器の表現のバリエーション
音色変化による多彩な表現
楽音生成の特徴
撥弦楽器などと違い、駆動源に常にロードをかけている
歌声や吹奏楽器と違い、手による駆動源の制御
(はっきりと) (やわらかく) (荒々しく) (軽やかに) (情熱的に)・弦を擦る位置
・弦を擦る速度
・弦にかける重さ
様々な奏法と表現のバリエーション
＝制御方法が複雑
発想記号と対応した 独特な特殊奏法 ・サルタート ・スピッカート ・マルテラート ・フラウタート ・ポンティセロ など…素片接続合成方式
擦弦楽器の楽音合成手法
物理モデル合成
楽器に力学的センサを取り付け、奏法パラメータを取得 楽器が弾けるユーザーのみが意図表現（音色）を制御可能 素片接続合成
事前に演奏された楽音コーパスを用いて合成 表現の豊富さはコーパス量に依存し、コーパスの表現情報で音色制御コンピュータ音楽の例 Microsoft GS Wavetable SW Synth： 奏法パラメータの例[8] 楽音 コーパス ス コ ア 入 力 サンプル 選択 変 換 楽 音 出 力
発表の構成
擦弦楽器の合成音への表現力付与手法：VIOCODER
奏者による意図表現の違い
擦弦楽器の音色変化による意図表現の合成手法
奏法による音色変化の合成へ向けた方針
奏法モデルの推定
奏法モデルを用いた楽音合成
まとめ、今後の課題
・譜面の音価 ・リズムのゆらぎ ・楽器の種類 ・表現の音色変化 ・絶対音高 ・ビブラート ・音量記号 ・フレーズの変化
奏者による音楽表現の違い
奏者による表現の変化
曲名： ツィゴイネルワイゼン， 発想記号: tres passione(非常に情熱的に)奏者
A:
奏者
B:
音色
音高
リズム
音量
音楽によってコントロールされる音の特徴
奏者
A：硬めの音色
奏者
B：柔らかい音色
奏者
A：譜面と違う音長
奏者
B：譜面通りの音長
ベースとなる発想記号は同じで、表現は似ていても、個人差が存在
⇒個人差も自由に合成したい
演奏表現の生成
楽譜
・絶対音高 ・表現情報media
作曲家
演奏者
イメージ空間 楽譜メディアを元に 楽音をイメージ楽音
・イメージmedia
奏法誤差 イメージを 奏法へ変換演奏者は音楽で、聴衆にイメージを伝えている
イメージ
≈奏者の個性
演奏表現の生成
楽譜
・絶対音高 ・表現情報media
作曲家
演奏者
イメージ空間 楽譜メディアを元に 楽音をイメージ楽音
・イメージmedia
奏法誤差 イメージを 奏法へ変換演奏者は音楽で、聴衆にイメージを伝えている
イメージ
≈奏者の個性
コンピュータ音楽が「音楽（芸術）」であるためには、
意図表現（イメージ）を自由に制御できる必要がある
クリエイターのイメージ通りに音色制御可能
な合成手法
ベース（楽譜が）が同じものから、イメージ（奏法）による音色変化
イメージを入力して、表現を持った音色を合成
発想記号による音色の変化の合成
同一の譜面クリエイタ
A
のイメージ
クリエイタ
B
のイメージ
クリエイタ
C
イメージ
合
成
シ
ス
テ
ム
Aのイメージを反映した音色の楽音 Cのイメージを反映した音色の楽音 Bのイメージを反映した音色の楽音バイオリンの音の生成過程から、発想記号の音響的な特徴を抽出
音色の意図表現情報の抽出に向けた方針
演奏音 楽器共鳴 擦弦振動 奏者の イメージ楽譜を翻訳し、
イメージを奏法に変換
人間の奏法により制御されるのは擦弦振動
擦弦振動中の、意図表現に起因する情報を制御したい
音色の意図表現情報の抽出に向けた方針
演奏音 楽器共鳴 擦弦振動 奏者の イメージ楽譜を翻訳し、
イメージを奏法に変換
人間の奏法により制御されるのは擦弦振動
奏法によらない擦弦振動と、奏法のモデルに分離
奏法による表現力付与が
されていない擦弦振動
奏法による擦弦振動の変化
理想状態の
ヘルムホルツ振動
発想記号
奏法による音色の変化の推定
演奏音
: 𝑌
楽器の共鳴
: 𝐼
擦弦振動
: 𝑆
frequency frequency frequency𝒀 = 𝑺𝑬𝑰
frequency奏法モデル
: 𝐸
奏法による音色の変化の推定
演奏音
: 𝑌
楽器の共鳴
: 𝐼
擦弦振動
: 𝑆
frequency frequency frequency𝒀 = 𝑺𝑬𝑰
frequency奏法モデル
: 𝐸
𝑬 =
𝒀
𝑺𝑰
V
I
OCODER
弦楽器の駆動音源は擦弦振動
⇒VOCODERは、擦弦楽器の演奏とは対応していない
⇒奏法の変化による、音色変化の合成を扱いにくい
擦弦楽器の演奏と対応した音色制御の合成手法の提案
基本的な擦弦振動 の駆動音源 ・基本周波数(音の高さ) ・振幅(音の大きさ) ・擦弦楽器の音 奏法の意図表現による 音色変化 ・音色変化(スペクトル包絡) 周波数 振 幅 周波数 振 幅擦弦振動のモデル化：
VIOCODER
周波数 振 幅 周波数 振 幅 周波数 振 幅 周波数 振 幅 周波数 振 幅 非調波成分 調波成分 理想状態の振動が奏法により変化したものと捉える
理想状態の ヘルムホルツ振動 白色雑音 非調波制御機構 調波制御機構 擦弦振動スペクトル𝑺
𝑬
𝑺𝑬
理想状態での擦弦振動
:
𝑆
グローバルな擦弦振動
: ヘルムホルツ振動
⇒固定端から擦弦位置までの位置の比 𝛽 で頂点が決定する三角波奏法によらない擦弦振動の式
: 𝒔(𝑡) =
−1 𝑛+1 𝑛2𝜙
𝑛𝛽 sin(𝜔
𝑛𝑡)
𝑁 ※ 𝜙 𝛽 = sin 𝑛𝜋𝛽 frequency𝛽 = 𝑥/𝑙
弦長: 𝑙 固定端から擦弦位置の距離：𝑥楽器の共鳴特性
:
𝐼
伝達系の推定はインパルス応答を測定
無響室で巨大なスピーカーとレコード針を用いて測定[15] ⇒駒の部分で計測を行っていない ⇒弦の振動は、駒を通して胴体に伝わる直接駆動型スピーカーを用いて測定
包絡(概形)やf字孔共鳴などの特徴を測定できている
調波成分における奏法の影響の推定
調波成分：元のスペクトルから調波成分をサンプリング
𝑌(𝜔, 𝑘)
周波数𝑌(𝜔
𝑛, 𝑘)
周波数𝒀 𝝎
𝒏, 𝒌
= 𝑺
𝒉𝝎
𝒏, 𝒌 𝑬
𝒉𝝎
𝒏, 𝒌 𝑰 𝝎
𝒏 調波成分のスペクトログラム𝑆
ℎ𝜔
𝑛, 𝑘 𝐸
ℎ𝜔
𝑛, 𝑘 𝐼 𝜔
𝑛 周波数𝐼(𝜔
𝑛)
周波数 周波数𝑆
ℎ𝜔
𝑛, 𝑘 𝐸
ℎ𝜔
𝑛, 𝑘
楽器の共鳴特性の除去
𝑆：ヘルムホルツ振動 𝐸：奏法モデル 𝐼：楽器の共鳴調波成分における奏法の影響の推定
周波数 奏法制御機構は音色変化⇒信号のパワーを変化させない
𝐸
ℎ𝑛, 𝑘 𝑆
ℎ𝑛, 𝑘
2= 𝑆
ℎ𝑛, 𝑘
2 𝑁 𝑁 周波数理想状態の
ヘルムホルツ振動の
スペクトルが求まる
𝑆
ℎ𝜔
𝑛, 𝑘
周波数 奏法モデルの推定
周波数 周波数𝑆
ℎ𝜔
𝑛, 𝑘 𝐸
ℎ𝜔
𝑛, 𝑘
𝑆：ヘルムホルツ振動 𝐸：奏法モデル𝐸
ℎ𝜔
𝑛, 𝑘
非調波成分における奏法の影響の推定
特に発音時の音色への色付けとして重要な要素
観測スペクトルから、調波成分を除去したもの
調波成分に、窓関数の影響を畳み込む
𝑌(𝜔, 𝑘)
𝑆
𝑓𝜔, 𝑘 𝐸
𝑓𝜔, 𝑘 𝐼(𝜔)
周波数 周波数 周波数 𝑆ℎ 𝜔𝑛, 𝑘 𝐸ℎ 𝜔𝑛, 𝑘 𝐼 𝜔𝑛 ∗ 𝑊 𝜔 擦弦ノイズは、
slip区間において白色雑音として扱われる
⇒𝑆𝑓 𝜔, 𝑘 は、すべての周波数において一定 楽器の共鳴特性を取り除いたものを、奏法の影響とする
・𝐹0軌跡 ・振幅 ・奏法モデル
VIOCODER合成の流れ
入力
周波数 周波数 周波数 奏法の特徴を持った スペクトル包絡 周波数 奏法の特徴を持った スペクトル包絡 楽器の 共鳴特性 TANDEM- STRAIGHT による合成振
幅
時間
表現力のある 合成楽音VIOCODER合成の流れ
周波数 奏法の特徴を持った スペクトル包絡 楽器の 共鳴特性 TANDEM- STRAIGHT による合成振
幅
時間
表現力のある 合成楽音演奏音：
表現なし：
表現あり：
発想記号
∶
dolce (やわらかく)
dolceらしい柔らかい音
音色表現のない硬い音
実際の演奏のような柔らかい音
分析合成音の主観評価（聴取実験）
抽出された奏法モデルを人間は知覚できるか？
５種類の発想記号で分析合成されたＥ線のＧ音
(787Hz)
発想記号
𝒀
𝑺𝑬𝑰
𝑺𝑰
marcato(はっきりと) 6.3 5.5 2.5 dolce(甘く・やわらかく) 6.1 5.7 2 leggero(軽やかに) 6.3 5.1 2.3 appassionato(情熱的に) 6.3 5.1 3.1 feroce(荒々しく) 6.5 4.5 3.6被験者
擦弦楽器を3年以上経験してる15名実測演奏音
・ビブラート
・振幅の変化
・
音色の変化
・ビブラート
・振幅の変化
評価結果に対する考察
feroce:
発音や擦弦時に発生する
雑音が重要となる発想記号
被験者の意見 「荒々しさ(擦弦圧力)が足らない」、「音がなめらかすぎる」 擦弦時に、弦に対して非常に強い圧力をかける
⇒擦弦ノイズを用いて音色を表現 他の発想記号に比べて、発音時の圧力が大きい
⇒擦弦振動開始時は、圧力が大きいとヘルムホルツ振動とならない 他の発音の擦弦雑音が重要となる発想記号でも、多くの被験者から同様の意見おわりに
奏法行動による音色変化を考慮した意図表現の合成手法
：
VIOCODER
擦弦楽器の楽音生成過程から、
奏法
(発想記号)
の音響特徴を推定
奏法モデルを用いた、楽音の合成方式
: VIOCODER
抽出された奏法モデルの聴取実験
：奏法モデルの使用により、合成音の評点が増加
：
3つの発想記号において、演奏音声と有意差なし
調波成分において、奏法行動の音響特徴を合成可能
今後の課題
擦弦振動雑音の奏法モデルの推定手法の検討
減衰区間における駆動音源の変更
減衰時の弓を離した後の弦の振動
物理モデルから、駆動音源を考える
奏法モデルを変化させる、意図表現の制御方法
奏法モデルを学習し、他の音高の楽音を合成
駆動音源と奏法モデルが独立ではない
問題
奏法モデルの、右手と左手への分離
右手の奏法による擦弦パラメータの変化
左手のビブラートによる張力の変化
発想記号による奏法モデルの変化と物理的意味
擦弦パラメータと音色の変化の指標（スペクトル重心）[8] スペクトル重心周波数が高い：輝かしい音色 スペクトル重心周波数が低い：曇った音色 発想記号：marcato(はっきりと) 発想記号：dolce(やわらかく) 周波数 周波数 対 数 パ ワ ｜ 対 数 パ ワ ｜ スペクトル重心: 5200Hz スペクトル重心: 2300Hzビブラートによる奏法モデルの変化
RWC研究用音楽データベース：楽器音（バイオリン）
演奏情報 : E線G音(787Hz), 演奏者1, 普通の強さ
ビブラートによる奏法モデルの変化
音高による奏法モデルの変化
RWC研究用音楽データベース：楽器音（バイオリン）
演奏情報 : 演奏者1, 普通の強さ, ビブラートなし 同じ弦での、音高による奏法モデルの変化（持続区間）
周波数 対 数 パ ワ ｜ 周波数 対 数 パ ワ ｜ E線F#音（約740Hz）, の奏法モデル E線A#音（約932Hz）の奏法モデル奏者は、音高によって音色が変わらないよう奏法を制御
⇒奏法モデルの包絡は、誤差を含むが似たような形となる
・物理モデルから推定しきれなかった部分を ノイズとして扱っている ・Slip現象により発生するノイズ ・ノイズを素片として用いた楽音合成方式 (RPMモデル)
擦弦振動における非周期成分
観測擦弦振動と推定されたノイズ[8] 持続部における擦弦ノイズ ・Slip運動が安定するまでの擦弦振動が発 音ノイズに関係 ・marcatoなどの発想記号では、意図的に ①のノイズが使われる ・成分は剛性[12]やカオス[13]と関係 発音部における擦弦ノイズ 擦弦(加)速度と圧力と、擦弦振動生成の関係 1：Creaky Sound, 2：Perfect Attack,擦弦振動が安定するまでの状態と意図表現
擦弦楽器奏者は、表現のために、音の発音をコントロールする
[20]
forteの方が、全体的に分布が左寄りとなる
forteでも、marcatoの時は発音ノイズを用いることが多いが、
tenuto, detacheの時は発音ノイズを用いることは少ない
[20] K.Guettler, et.al., “Acceptance limits for the duration of pre-Helmholtz transients in bowed string attacks” Journal of the ASA, 1997
音量と発想記号による、発音（振動生成）時の擦弦振動の状態の分布の変化[20]
