情報工学科加藤清史by　Akikazu　TAMAKI

九州工業大学研究報告（工学）No．54 1987年3月       61

ピアノによって演奏された曲の認識についての試み

       （昭和61年11月29日 原稿受付）

ATrial for the Recognition of the Music Perfolmed with Piano

情報工学科玉木明和

富士ゼロックス 楠 

二

情報工学科加藤清史

by Akikazu TAMAKI

Abstract

  We auempted to recognize the music per∫ormed、vith plano， The spectrum−set defined as tlle set of frequencies which is detected in the objective tone by means of FFT． Addition of the length and energy of tone to the spectrum．set makes the exlended−spectrum−seL As a music consists of the sequence of the tones， we can get the extended−spectrum−set for a feature of the music． We de−

fined the two types of simil肛ity of the two musics， by using the 5equence of extended−5pectrum．set．

  We extracted the g features｛the sequnce of extende〔レspectrum−set）of g mllsics， respectively，

and stored them in computer memory， Fllrthermore， we extmcted the feature of a music with a slight variation， and then calculated the similarity between the varied Inusic al1（hhe original one memorized in computer，

  We could not get a good result for the reason that both the Ieature extraction metllond and rec．

Ognidon algoritllm are simple． We ha鴨need to impro、・e them fOr the acquirement of a good result．

      を認識できる。そこで．我々は，高度な自動採譜ではな

Lはじめに

@      く抽醜1哉端‡搬行うこと趨みた。

 音楽に関する研究は音響工学的にされることが多いが，  ピアノによって演奏された曲の認識について実験を 音楽におけるパターン認織として自動採譜の研究もなさ  行ったので報告する。楽音の有無を検出し．その音のF れている。自動採譜は音高（ピッチ）と音長を検出し，  FTを行い，検出された周浪数成分を示すスペクトル集

．その音符を五線譜に記録することである。この採譜は音  合を求める。それに，その音の長さ（時lllD とエネル 長などあいまいな部分の処理が難しく完全には自動化さ  ギーを加えた拡張スペクトル集合を作る。曲の特徴とし れていない。また，人間が行う場合も，昔楽教育を受け  て，その拡張スペクトル集合の列を用い，記憶している た者でなければ，採譜はできない。しかし，一般の人間  各々のIUIとの類似度を計算し，その最大仙をもつ記憶曲  ｛音楽教育を受けていない者）も知っている曲であれば， と同じ曲であると認識する。原曲といくつかのバリエー その曲を認識できる。これは，曲の細かい（音符レペ  ションについて実験を行った。二柚類の類似度を提案し，

ル）情報を記憶しているのではなく，曲の雰囲気を記憶  それらの実験麟果について報告する。

しているのであり，曲のバリエーションであっても原曲

侃       玉木明和・楠本浩二・加藤瀞史

      その再生音をミニコンのAD変換器に入力する方法を用

卿に使肌たシステムを図1に溺一。このシステム 慮していないが・→ナンプ1ル畑波数が40°°H但こと

はミニコン（MELCOM 70モデル30C）を中心とした を誤れば，その影」鍵無視できる・256鯖まとめて

そしてパソコンと接続されており，さらに，ホストコン  が，周波数分解能は］5・625Hzとなる。

ピータ（唖LC・M COSM°8°°mとデータ通信が 3．曲力・らの特徴抽出

にデータを入力するが，その入力電圧をオシ・スコープ AD変換され賠楽データから音措（ピ・チ｝醐出 でモニタリングしながら音声データの入力を行う。AD  すれば良いが・その検出は一般に困難であるので・音高 変換器の主輔，様は，糎12ビ。ト、サンプリング周波 の蹴は行オ・ず・部蹴分雄むスペクト レを曲の特

数ユOkH、，入力電圧士1・Vである。また，収集した音声 徴として用いた・ここでは・演奏に用いたピァノ音｝こつ デー娃DA変換器樋してスピーカーで再生すること いて鮮に述べ一lllの酬としてのスペ舛ルの検出法

プロッタに表示でき，複雑なデータ処理はホストコン   3コ・ピアノ音について

ピ亡タにデータを送り声ストコンピュータで処理が ピァノは打弦楽器であi〕説い立上がりと緩やかな立

可能である。         刊のエンベ・一プをもつ・鍵を離すとダンパーが働き・

 このミニコンは主記憶が0．5MBしかないため，連続  その鳴っている音を消すことができるが，ペダルを踏む した音声データを主記憶に記憶することができない．し とダンパーの働きを無効にすることができる・ピァ瑠

たがって、AD変換器からのデータをミニコンでバ・ のスペ打ルは灘で劫縞調波のエンペ゜一プは成 ファリングを行い．固定ディスクに記憶する方法を用い  分ごとに異なり・打弦の強さや打弦後の時川によって・

た．この方法では且定デ，スクの継み・寺阻り， 倍音構鋤竣化する・蹴我々の繊システムで収集

デ＿夕を収集する。音響効果を考えていない一般家庭の・ とに各周波数成分の総和が100になるように正規化して

居室でピァ．灘され酬をテープレコーダに締し， ある・儲髄纏化するため溺音の酬として暗

O

τ；三ダ

図一1 実験システム

ピァノによって演奏された曲の認識についての試み      63

高を検出すること姻雌である・     剛よ1〕誌本周波数の整数倍以外の高調波周波数が検

 3．2．スペクトル集合の検出      出されていることが分かる。

ピァノ音の舗を検出するには・音剛っているか否 スペクトル鱈から弓・i［鍵された鍵を推定することが考

かを判断し，音の検出を行う必要がある・ピアノ音のス  えられるが多くの曲は単旋律ではなく複旋律であり，

ペクトルがダイナミックに変化するため，音高の検出は  同時に複数の鍵を弾くことが多い。複数の鍵の推定が必 行わずに・その音を構成するスペクトル集合を検出する。 要となるが複数の鍵の推定は困難なため，ここでは推 っぎの手順でスペクトル集合を検出する。        定は行わない。曲の特徴抽出は，音の立上りを検出し，

 スベクトル集合の作成手順       つぎの音の立上りまでをその音の音符時間とし，その拡

  クとする。       スベクトル集合の列を作成する。この拡張スペクトル集

  ギーの算出を行う。

 3．直前のブロックのエネルギーと比較し，立上がり

  （音の鳴り始め）を検出する。       1身          4．立上りの場合は，そのブロックを除き，その後に        ロ   引き続く2ブロックのFFTの和を求める☆その和   】。

  からピークを形成する周波数を選び，それらの集合   ・。

  をスペクトル集合と呼ぶ。       帥  5 その音の立上りからつぎの音の立上りが検出され   ・   るまでの時問を音符時間という。

 6．4のスペクトル集合を作成するため使用する2ブ

  ロックのエネルギーの和をその苦のエネルギーとす

 これは，音の高上り後の2ブロックで音符時間全体の            音の特徴を現していると仮定している。スペクトル集合        エ 

は．各周波数成分の大きさの情報をもたず，その周波数   、，

が，その周辺の周波数よりも大きいというだけである。   ・。

つぎに，スペクトル集合とその音符時間とエネルギーを    ， 考慮した拡張スペクトル集合を定荘する。

 定義

ε2   E4−128● c

゜       奮口       川       】 叩         コooO I惰「

lil

｛叫64・i28m秒叩のスペクトル

cコ     1王8−19〜 5ec

Co       」自ロ■      」 P      2 Ol巨川

｛b｝12B−192秒悶のスペクトル

元一〔 ．ρ、X）       11｝   図一2 C・のピアノ恥ス〔外ル

  ：スベクトル集合Xで代表される音符時間

  （ブロックの数）       」        岬  ρ：立上り後の2ブロックのエネルギーの和      蔓       ニ

      冨

x   一

た。C，からCはでの白鍵だけを二度つつ弛・た場合の 『 1°．26ヨ・1，EU、、疏。］・°…

拡張スペクトル集合の検出結果を図3に示す。上のグラ   ロ        ロ

認鷲㍑1〕漂1言霊よ：柚ご遼11i1声阻岬

       ロ

取ったものである。表＿1で示す順序で．単音と和音を    U  由  祖  3了酷μls￡〔品晶 帥  叩  日

弾鍵した場合の拡張スペクトル集合を図4に示す。図3，      図＿3 単音の拡張ス〔クトル集合列

64      玉木明和・楠本浩二・加藤清史

4．認識方法

える。すなわち，これらは，

詑＝lX1，…脳l X」＝（」エ，，Pエ ，Xf） ＝ユ…』f   ②

曲の認識はつぎのように行う・酬の由1を入力し・そ 動一｛元，…テ」玲（1．繊。距一1…N 〔・）

の拡張スペクトル集合列を作成し，その曲の特徴として

記憶する。未知の曲からその拡張スペクトル集合列を抽  と表わすことができる。これらの田と9の間の類似度を 出し，標準の曲の拡張スペクトル集合列との類似度を計  定義する。

算する。すべての標薬の曲との類似度を求め．それが最大   4．1．類似度1

となる標準の曲と未知の曲が同じものであると推定する。  ここでは，拡張スペクトル集合列のスベクトル集合だ

と曲りの特徴を表わす拡張スペクトル集合列記と田を考  る。王と9の中のスペクトル集合の列だけを対象とし，

       それらを駕と罰で表現する。

三      克＝lx1，…x山       （4）

；丙一一二＿．一 ＿     璽一1酷・…γd        （5｝

巳〔

匡 ≡：三≡一＝≡：三ニニ 三ミ三一≡一＝一一≡      となり，これら王と印の間の類似度を考える。

r  ］ −2。 ヨOTI旺uPSEcoξ） 曲  町  日    スペクトル集合Xrと巧の同等性をつぎのよ うに定義        する。

o

岩o

0  10 加  ヨ011HEI］PSεCO58〕 60 丁0 80    ここで・

図一4楯噸スペク噸合列  ・（品，孔疏・（」早．牌㍗ （・）

    表一1 和音の弾鍵順序      スペクトル集合の同等を用いてつぎの手順で類似度を

Cユ

E3 G3

C｛

E4 G4 C4E4G↓

CユC4

E3E4 G3G4

C3E3GユC4E4G4

C3 F3 A3

C4 F4

      類似度1の計算

A4

C、F，A、      1．輌と」を1に、∫を0にする。（初期化を行う。）

CユC、      2．苦と巧が同等か否かを鯛べ，同等でなければ，

F3F、       XJ−1または巧＋1と同等か否かを調べる。同等であ

AユA4      れば，∫の値を1増加し，」の値を修正する。

clF3AユC｛F4A4    3・fとゴをユ増加し，2．の処理をr＝Mまたは」＝∧「

B2      になるまで繰返す・

Dコ      4・5の』fに対する百分率をXのγに対する類似度と Gユ       する。

B2D3Gユ      4．2．類似度2

B3      長さ（音符時間）とエネルギーを考慮して拡張スベク D4      トル集合列の類似度の計算を行う。拡張スペクトル集合

G4      X∫とγ」との補助類似度を

BコD G4 @   R（元、，テ、）一。（（x、、王、））βα。、〕βωγ〔P。、）γ（P脚） ｛7〕

E2B3

D3D、      と表わす。ここで，α（・），β（・），γ（ ）はある

（注） κ 一｝ 」＝X，∩Y」 であり，lX，1は集合工、の要素の数

B2D3G3B3D4G4        を表わす。

ピアノによって亨躍された曲の識1こついての試み      白5

糊形臓であり・・（ 一）1纐似度1の酬で用酬として｛舳された繊スペ引ル集合 、」を図，（曲 い竺｛三）〔る・酬する端スペクトル齢の部頒」1），図6（・lh1A），図・伽B），図、（日IllC），

品冗…凋      （・）図ゴ（曲・），図］・（曲2A）に示す．こオ、らの図を

と＿、一一      見叱多く酬披数成分（スペ外ル）端出されて

防y一γ一γ川・y山     ｛・｝おり醐の推定力・蹴である。

との部頒徽を @       これらの拡張スペ外・レ齢列か獺雌、を計算し．

丁品手、）一撫主戚．。乳」  ㈹それ麟一3，紅・，表一5に示す。こ酪嘩は，

       コロ舶→‥°°      行｛ご記憶している刷睦示しコUに未知の曲として入力 と麟する・これは3個から成酬分列慮元一為した 1・を示す．劫したバリエーシ。ンll‖との鮒度が

頗牡額ずに 醐類似度の和が最大となる対応を求は，バ・∫エーシ・珊と原曲との類徽力・最も大きくて

めることである・こ妨の類似艇用いぼ四と酬蜘棚定できるが呈ξ一5では抽3αま曲5と卿 の類似虻計算する・       似度が蹴となり，曲5c訓7とのものが駄となっ

 類似度2の計算      た。

1・∫とノを

O｛≡を゜にする・㈱切化を行う・） 同衛・魂似度2をgr算したもの罐一・ぽ一・，

2・∫

  丁（x・・γ・｝＜T・ならば・ゴにユ］咀る・   川・示すものを用いた．β（・）の変数となる長さ借   ここで・「hT・はT1＞T・なるパラメータである・ 符時陶はト3附力・多く1ア（・）の変数となるエネ

4・「を1増加する。       ルギーは80−200位が多かった。複雑なアルゴIJズムを

  なけれぱ・2・から繰返す・     鍋率力・悪くなっている。これはパラメータの綻値に 6・・の（N−2）に対する百分率を星の動朗する趣すると思われ，剛のパラメータなど踏化させ認  類似度とする。       識率を向上させる必要がある。

5．実験結果       6．おわりに

 表一2に示す911hを実験に用いた。1−7の曲につい  針算機による曲の推定実験を試みたが，ここで用いた

ては前奏を省略し・1−8の曲についてはペダルを使用  方法ではあまり良い結果が得られなかった。特徴抽出法

していない・これらの条件で演奏削・た曲から拡張牙ぺならびに認識1・おける類似度の計算アルゴ1以ム双方に クトル集合列を作成し・記憶させた。それらの曲に変化  問題があり1それらの改良が必要である。特に，類似度

（アレンジ）を付けて繊したものを未知酬として入2では多くのパラ・一タがあり．それらの変化力鴨龍率

力し・記憶している曲の類似度を計算した。アレンジさ  に及ぼす影響を間査する必要がある。

れた1蛙原曲の番号の後にア・レフ・べ・トを付けて表わ 本研究で意肌たのは，曲の概念を撒として用いる

し，つぎに示す変化を付けた。      ことであロたが，｛この概念は原曲とパリエ＿ションに  A：同じ曲（原曲）に対してサンプルリングをやり直  共通なものである。）ここで用いた特徴抽出法では，そ    したもの。       の考えを反映していない。人間が曲を醒職するのと同様  B： 明らかに遅いと分かる程度にゆっくりした演奏。 ・な概念を特徴とするためには，聴覚メカニズムの特性な  C：伴奏をアレンジした汝奏。       どを考慮した特徴抽出法が必要である。また．1撚曲アル  D：左手のパートを省略した右手だけの演奏。    ゴリズムについては，音声認識の手法などを参考にする

 F：すべてのペダルを使用した楽譜に忠実な演奏。   最後に，案験データ作成のために，ピァノを演奏して

曲1と曲2について，原曲とそのバリエーション曲の  いただいた松元むつみ嬢に深謝する。

66       玉木明和・楠本浩二・加藤箭史

         ‥文献  二畠L、‡≡二㌻宍、r三

       しヨ      

1遮劃灘篇呈㌶認二；嚇㌶  i富．≡三三三：三≡1…三≒㌻＝言i

士箇文・      O」  田  ⊇o  ヨU能コPs￡co語］・．5  70  日

2）安軸典曄器の音騨」，廿曽三之友怯昭細3年

3）ア・クサ・ダーウ・ド，JMパ・クシ・一石」陥生訳  ．

 「音楽の物理学」，音楽之友社．昭和55年       言

4㌫麟認蓮蒜r㌶懸銚禦恐頸阜艦，

       図一7 曲1Bの拡張スベクトル集合列       表一2 実験に使用した曲

番号1曲  名       司    ．    ．．

］

2 3 4 5 6

8 9

おぼろ月夜      こ        三

       岩

荒城の月     ゜。1°2°ヨ゜・1・・匂P・EC品6°7巴

赤とんぼ      呂］

㌶纂を  ；輌蝸屹副惜魂蝸

胱      ゜占1°2°コDll・・up・・C。・諮15°丁゜日 エリーゼのために     図一8曲1c砿張スベクトル齢列

〜L三鍵．三・二三三、三≡・・牢  §呂

一i−：一一・≡㍉一・ ・『一手・三：≡…十一：≡一一一  、古 一  一   ・  一，三 ．   ン  ー二：二  ：、一，、．：：：・ ．二・

  ユ       ロエロ  ロウロ   ゴ  ロ     モ   ロ       ロ ニゴエ

ご葬⊇二三言詰言を；li：：ーゴ≡三ご謡±三言苦二…『『

   図一5曲1の拡張スペクトル集合列    図一9曲2砿張スベクトル集合列

       コ

＝「      ロ        コ       エ  ロ

；三：＝1三三：三≡三i：ニユ：≡：：二三二；；÷三≡宍    三

 ヨ      ニコヘ ニコ ピ   ロ      ロ       ロ コ

評二＿．二｛三∫ニー：三三告＝しi二r＝二二：マニ＿一二で     吉 巴 …二：一三三 ・「：＿丁三「 一＝三 三 −「＝三二 ＝≡≡二 二f三       L

三二：・三：・二： ： ．ざ一一：L三二三：二一  ‥

：主．三＝主≧三：…｝：三∵一二三≡三≡・二≡三：二葺…一・；一：・こ ユ   ．   ．   一 一1         −         一 一   工      ，・ ・

qコ1020ヨOTH三U1・       」

oSE〔Ol〒占1】5070 B 

。］      呂

10 却 ヨOr旺・Ps。c。鼎〕 6D 拍  8

ilL輌幽幽臨吻L ；i、』㎞、 竃肝甘牢，

゜・ 田 2… ，，・S，C刷］6°？°B  °1°2°ヨ・1・巨upsEC。晶5°

         けロ

図一6曲1Aの拡駆ベクト・囎列   図一1。曲2Aの拡張スペクト膿翻

ピァノによって麟された曲の瓢につし・ての試み

07

    L・0

αω

↑O、0

一工．0

     1．0 β〔：〕

  ↑

巨b』

表一4 原曲とバリエーションとの類似度｛類似度1）

5        1．0      バ    ーz      リ・

      工        1

      シ

       ヨ

      ン

IB

原        曲

1   2   3   4   5   6   7   8   9 86．9 22．7 26．］ 21．2 ユ9．5 40．3 27．3 22．7 17．1   

13．569．743．329◆445．729．331ユ313．920、4 25．042．8呂9．035．342．03L432．212．525．7

26．4 40．3 48．0 50．0 23．6 28．5 32．6 20．8 37．5 19．2 42．5 39．0 3］．5 45骨9 34．9 33．6  4．1 24，7

37・035・530』24」42．エ57．038．528．｝22．9 28．226．242◆728．636．130．1 55．821．331甘5 26．5 9．2 14．330．7 7．524．526．5｛三3−01L8 20．OI8．830．023．816．320．027，5 8．83L3

10    20     30    40    50       →z

γ（z）

  ↑ 1．0

ノこ

リ

エ 1

シ

ン

表一5 原曲とバリエーションとの類似度（類似度1｝

       0．0

       10⑪      200       バ       →ヱ      リ        図一11 数似度2で用いた非線形閲数        工

      1

       シ

      ヨ

表一3 原曲とバリエーションとの類似度（類似度1）    ン

1A

5A 6A

lC

原        曲

123456？8

58、9 26．8 27．3 30．7 23．3 34．5 36．7 12．8 23．2 62．0 40．3 5ユ．8 43、7 36．1 46．3 ］2．4 18．034．830．424．741、］ 37．039．8工7．3 30．7 33．3 38．7 59．2 40．5 30．1 44．〔i 14．2 23．7 47．4 55．8 40．6 59．9 49．0 61．1 24、4 36．5  7．3 33，8 28．5 37．0 82．9 49．6 26．9 2G．0 29．4 30．6 37．5 30．0 32．2 43．8 ］9．5 22．2 10．7 20．8 31、8 ］8．9 20．8 22．7 72．2

58．0 24．4 22．3 25．6 25，0 42．9 26．9 2］．5 19，8 23．778唱8」16、631．44D．324．630．1ユ5．020．2

2Lg34．452．g33．042．231．32g．g 15，23］．2    表一6 原曲とバリエーションとの類似度｛類似度2）

24．4 38．4 3a 8 65，5 34．1 25．｛3 32．5 1≡｝．0 42．3 18．4 40．440．437．4 59．636．027．6 9．523、7 34・5 33，7 37．5 29．6 36．0 68、6 35．2 26．8 】7，4

24．020．636．637．636＿73ユ．］ 85．625．02呂．0     ノ、

24．79．211．522．412．824．723．06L7］4』 リ

      エ

2L 323．呂28．828．8ユ6．313．82且820、635．6

1 シ

ご「

ン

1A 2A 3A 4A 5A 6A 7A 8A 9A

原        曲

10δ  79．4 55．9 68，メ1 6】，8．78、8 8μ｜．3 32．5 14．7 37．7 10｛ヨ  9（］．｛… 6g．0 76，2 89，4 73．9 30、1 1］．2 昼0．】 126  ユ37  95．4 ［｝2．0 1⑪7  107  23，7 37．2

95．296、498，2104 80．862．〔］911．24｛91556．5       

93．0 96．7 95．5 80．｛i，［｝0．0 ］｝〔i g1．9．13．5 ］4、．］      ・

87．9】OI 89．67｛9．575．8102 134 47．9・15．8

72．O l2，8 3〔ヨ．3  ▲8．3 23，］ 5B．3 4且1．臼 129  44．1

24．3 1．8・1 25．32・L5 10．8］L72・L 717．1 ユ9．S

68      玉木明和・楠本浩二・加藤清史

表一7 原曲とバリエーションとの類似度（類似度2｝      表一8 原曲とバリエーションとの類似度（類似度2）

ノ弍

リ

エ

 1

シ  ヨ

ン

IB 2B 3B 4B 5B 6B 7B 8D 9E

原        曲

1    2    3    4    5    6    7    8    9

128  80．0 64．8 72．7 〔io、7 94．8 94．2 43、3 23．5

      ノ文

       リ

｛］0．5 90．O l26  74．7 B1．8 77．0 87．5 33．0 38＿6

      工

       1

       ン

104  113  99．2 68，7 102  135  111  53、1 23．3         ヨ 94．6 94．2 93．0 77．3 呂6．3 86．1 139  52・0 40奄8         ン

66．82．88ユ8．260．8 15．348．93呂エ9 ］3正 37．1

1C 2C 3C 4C 5C 6C 7C 8F

原       曲

1    2    3    4    5    6    7    B

146 90．4 7L376．965．1 89．5106 5L 6 77．7 134  127  115  128  96．6 ］2］  34．5 59，9 1］0  123  72．2 80．2 120  112  3L6 1］3  126  124  14ユ  102  94、2 ユ19  60．2 85．7 133  135  102  126  149  141  6｛L1 78．4 99．6 87．0 49．0 90．7 106  95．7 30．9

9L 994．8105 呂9．667．88L5151 47．］

80．529．136．872、83Lユ75．960．8］15 15．813、46．5320．611．717．233．617．034．2