Author(s)
和宇慶, 琢磨; 山城, 毅; 渡久地, 實
Citation
琉球大学工学部紀要(63): 57-62
Issue Date
2002-11
URL
http://hdl.handle.net/20.500.12000/1477
琉球大学工学部紀要第63号,2002年 57
倍音スペクトル削除法を用いた三線演奏の自動採譜
和宇慶琢磨*山城毅**渡久地實**
TheAutomaticMusiclranscriptionofSanshinPerfbrmanceUsingOvertone
SpectrumE1iminationMethod
ThkumaWAuKE*TsuyoshiYAMAsHIRo**MinoruToGucHI**
Abstract lnOkmawa,thereisanorigmalstringedinstrumentwhichiscalled',Sanshin,,、Thesemusical instrumentsareplayedwithuniquescorebookcalled,'Kunkunsi,,、Inthispaper,weproposedhow totranscriptthesoundofplayingSanshmtothemusicalnote・Aspreprocessingweattemptpitch distinctionofSanshinsound・Ibdistinctthepitchwetriedtodeletetheovertonespectrum・Inaddition, wederivetheattackmgtimeofSanshmsoundbysharpnessofgoupofwavefbrm、Thedistmctionwith thismethodwasdonehomanactualconsecutiveSanshinsound,andgoodresultswereobtainedonthe singlesoun.. KeyWOrds8Pitchdistinction,Overtonespectrum,Sanshin,nanscription多重音については対応が出来ない{101.本研究では,三線
演奏が対象となるが,三線曲の多くは演奏者の唄とともに 演奏されたり,ときには他の楽器とともに演奏されるため[81,この方法は適していないと考えられる.
そこで,本研究では音の周波数スペクトル列を用いて 音高を判別する方法を用いることにした.周波数成分を用いた音高判別法もさまざまな方法が提案されているが[51,
(61110],本研究では周波数スペクトル分布から倍音スペク
トルを削除する方法により,音高を判別するものとした. 発音時点の測定については,シフトフレームを用いて一 定時間ごとに音高判別を行い,音高が変化した点を発音時点とみなす方法が主流である[51161,[7].しかし,音の持
続時間が短く,音の立ち上がりが鋭いという三線音の特徴 を考慮すると,処理時間の面でこの方法には無駄が多い. このため,本研究では時間波形上での閾値を用いた簡素 な方法を用いて,発音時点測定を行っている. 本稿では自動採譜の前処理としての音高判別法,発音時 点測定法の検討,および実際の採譜への応用結果について 述ぺる. 2.三線音の特徴 まず,解析対象の三線の調弦(チューニング)について 述べる.三線にはいくつかの調弦法があるが,もっとも 標準的に使われるのが「本調子」と呼ばれる調弦法であ る.これは第一弦開放をq(ド),第二弦開放をFb(ファ),第三弦開放をα(ド)に,それぞれ調弦する方法であるが
(5)(6],調弦は演奏者の声の高さなどによっても,微妙に
異なり,必ずしもピアノなどで演奏した上記の音と同じ音 高に調弦されるわけではない. 1.まえがき 楽器や肉声で演奏された曲を楽譜に書き直す作業を採 贈といい,音楽的な専門知識や技術を必要とされる作業で ある.この作業をコンピュータ上で自動的に行なう自動採 譜は,音声認職の中でも重要な研究テーマといえ,これまでにも,さまざまな研究がなされている[41,151,(6],[71110]・
沖縄には三線(サンシン)という,本土の三味線に似た
独特の弦楽器があり,この三線で演奏する楽曲が数多く存在している.これらの曲は工工四(クンクンシー)と呼ば
れる三線独自の楽譜を用いて演奏され[8119],現在も新し
い曲が演奏されているが,西洋音楽などに用いられる,五 線譜ほどの普及率は無いと思われる.もし,三線の演奏か ら五線譜,工工四の両方に自動採譜が行えるならば,より 多くの人が三線を演奏することができるようになり,また アドリブなどの含まれている実際の演奏から,より正確な 楽譜を作ることも可能になると考える. 本研究では,三線の実際の演奏から自動採譜を行うことを目的としてきた(11,[2],[31.自動採譜を行うためには音
高判別と発音時点測定を行う必要がある. 音高(ピッチ)判別の方法には,時間軸上の波形に着目 した自己相関法,ピークトウーピーク法,ゼロ交差検出法 などがある.しかし,この方法では複数の音が重なった, 受理:2001年12月9日 平成13年度愈気関係学会九州支部連合大会にて発表. ・大学院理工学研究科愈気愈子工学専攻 (GraduateStudent,E1ectrica1andElectronicEng.) .・電気融子工学科 (Dept・ofE1ectricalandE1ectronicEngineering,F面c、ofEng.)本研究で用いる三線音は,国際標準周波数による’2平 均率音階に当てはまる基本周波数を持つ音高に調弦するも のとする.
なお,国際標準周波数による12平均率音階[2]ではA3
の音の基本周波数が440[HzIとなる音階で,この音階での
Qの音の基本周波数は1308[HzI,Fbは174.6[HzI,qは261.6{Hzlとなる.
他の調弦法には一場調,二場調,三下調,一二場調があるが[51,[6],本稿では/説明は省略する.
三線で演奏できるもっとも低い音が第1弦の開放音で あり,エエ四では「合」という符号で表記される.前述の 本調子で認弦した場合,αの音高となり,基本周波数は 130.8[Hzlとなる. 次にもっとも高い音についてであるが,物理的にはある 程度の高音城まで出せるのだが’一般的な演奏における最 高音は第3弦の下の方を押弦して弾く,「イ五」という音と なり,前述の本調子で調弦した場合,D4の音高と対応しており,基本周波数は587.33lHz]である.なお,工工四
に用いられる「工」などの符号は三線の指使い(勘所と呼
ぶ)に直結しており,どの鯛でも変化しない音名(C,D,
Eなど)ではなく,調性によって変化する階名(ド’し,ミなど)に近いものである[61.
「工」などの音が,どの音高に対応するかは前述の調弦 で定まるが,上記してある表記は,全て本調子の場合であ り,特に断らない限りは今後もそうであるものとする. 0500000 50 一l (熱】}卜噸)哩蝋 05,00010,00015,00020,00025,000 時間(point/44100[sec]) Fig.3.ピアノ音(261.6[Hzl)の時間波形 次に,解析の対象とした三線音の時間波形をFig.1に 示し,比較のため同じ弦楽器のヴァイオリン音とピアノ音 それぞれの時間波形をFig.2,Fig.3に示す.なお,これらは基本周波数261.6[Hz1(q,ドの音)の波形である.
これらの時間変化を比較してみると,アタック時から音 圧がピークに達するまでの時間は,ピアノ音も三線音も短 く,そして減衰していくという波形であるが,持続時間は 三線音の方が短い.また,ヴァイオリン音は,発音形態を 考えると当然の結果として持続時間が長くなる. 次に,三線音の周波数分布の特徴について述ぺる.三線 音,ヴァイオリン音,ピアノ音の周波数スペクトル分布を Fig.4~Fig.6に示す.これらのスペクトル分布を観ると,基本周波数である261.6[Hz1の整数倍に周波数スペク
トルが現われている.三線音では通常の場合と異なり,基本周波数(261.61HzD
のスペクトルが小さいという特徴を持ち,また倍音成分 (基本周波数の整数倍)は,他楽器に比べ高次倍音まで豊 かに出ている. グ哩蝋
8765432時間(point/44100[secD
Fig、1.三線音(261.6[HzDの時間波形 0 2,000 4,0006,000 周波数(Hz) 8,00010,000 Fig.4.三線音(261.6[HzDの周波数スペクトル分布 100 2109876543210 111 。…・…………《…・……・…・…!……・……-…+……・……・…I…・……・…・…} ……-…一・…$………6…………・-.-+・……-………6.…・………・…+;主這鍵嚢三三襲鷺嚢蓬蚤三謹三孟三;;
00卯5 (》鋼型》小刈“咽)睡壱喫希 -00〒。O〒06千040 一・・》。O}00千0坐0 ■■』■凸 }0,千0.》00下りよI 一一浬‐‐引‐‐釦‐ ■●⑤■勺■ -,‐’一‐‐‐『‐‐→00卍. 『08割000『00忽00丑ロ ー叩皿一ⅡⅡ『叩哩一四唖一》一 100 02,0004,0006,0008,00010,000 周波数(Hz) Fig.5.ヴァイオリン音(261.6[HzDの周波数スペクトル分布!……"00蝋鑑慨iMHeHiOO’8QO…O00100.0鯛
Fig.2.ヴァイオリン音(261.6[Hz))の時間波形 0'11
■‐‐-- P O D ⑰c◆、-...け.-..L、-...-...00 0 0 , 0 0 ----⑤-.-.-.。.I...-.....0 0 0 ---L=碑禰窩、U■■_‐ ~ ̄、■囚瓜H4HnUm蝿囚 ・・c・・・.‐.-...0......-.-0 __……-.-..1...--.JTll
 ̄--。●Cの。 ● ̄●●■●。●11
I
■ 0 -。●c■・●●⑤。⑤。●。・・⑪■ら-■●--●・印・-■・■b・・c・ d o 。 ■。,■・・■凸・・・-・▲。①。。。L-缶一一cの・・p■.-c◆・-.▲ 0 O 0 r.......-.-....L,.........▲....~の-0 , ● 、  ̄句。⑤CD。。●。。●●・・・■・「.●。●●●・●・・・・・●c●・● P D C ~c●●●●■●●●●●●~●⑤守一▽ぜ●c●●■⑤●●~つ゛。ご゛●・申  ̄●●●p●●&●●■-●●じわ一寺●■。-。●bo⑤。■●一年●。●■● '■●■■⑰。■・・・・・■■■▲-.6■・▲・・・の■・凸、■。。■●---1.…・……・・--.8……… ■ロ ▽OL」■O0Ll000P▽0.▲U夕。▲U・●・or0B0p0■、申一■●OL00.9』 ●白●ゆ● ●●①句●の ⑤●●。●中● 。●●ゆC□● ■●⑰一ご■●  ̄ 二 百 ̄--  ̄ ̄59 琉球大学工学部紀要第63号,2002年 Bo en ヅ・・ v》n
ll
n 、、雄
、[k]>max/10 y m2m=m[k] x=m2m-m2[j-1] inc(sum[xD max=m[k] inc(k) 。[i]>max y m[、】=。[n mc[、] max=。[i] inc「il 0 、04-0006DOC8.COOluDuu 、三三二三
乏亟
Fig.6.ピアノ音(261.6[HzDの周波数スペクトル分布 y ヨユmM>max2mnr2 a倍音成分による音高判別楽器に限らず,全ての音の音高(ピッチ)は基本周波数
によって決まる.つまり,周波数分布から音高を判別する ためには,基本周波数のスペクトルを調べれば良いしか し,先に述べたように三線音は基本周波数成分が他のスペ クトルに比べて非常に小さく,基本周波数にあたる周波数 域のスペクトルから基本周波数成分を特定するのが困難な場合が多い.そのため,基本周波数以外のスペクトル,す
なわち倍音成分を用いて晋高の判別を行う必要があり,次 に2つの斉高判別の方法を提案する. 4.スペクトル間隔離み法による音高判別 倍音は、基本周波数の整数倍の周波数を持っているか ら、周波数スペクトル分布の各スペクトルの間隔を知るこ とで基本周波数、つまり求めたい音高を判別する事ができ ると考えられる. そこでまず,スペクトル分布のピーク値を検出しスペク トルの抽出を行う.普通,フーリエ変換後の周波数スペク トル分布には,離散化や符号化,録音時の環境による雑音などにより,Fig、7のようにスペクトルの周囲に微小なノ
イズが生じる.このノイズの影響を軽減するため,周波数 スペクトル分布内で最大の値を求め,この最大値の1/10 の値でノイズカットを行なう.残った各スペクトルの間隔ノを求め,基本周波数として音高を判別するという方法が
スペクトル間隔読み法である. スペクトルの間隔をそれらの平均から求めると,ある スペクトルが取れない場合,正しい基本周波数の間隔に比 べて大きくずれてしまい,正しい値が得られない.このため,間隔ノの頻度を数えて,最も多い間隔ん。錘を基本周
波数とすることにした.Fig.7にスペクトル間隔読み法のイメージを,Fig.8
にアルゴリズムを示す. fffZff y max2=sum[y] inc[y]fumM
- n iTDitin1VH11Ie 色:samPlingfrequency nn:FETcuttingperiods i,j,k,s,max,max2=O x,y,f,m[O],m2[O]=O sum[0..nn/2]=o n=1 >f白/2 s=sum[max2] 企画s plchdetectionCID
Fig.8.スペクトル間隔読み法(アルゴリズム) この方法を用いて音高判別を行ったところ,単音につい て倍音成分が豊かに出ている場合には,ほぼ正確に音高を 判別することが出来た. しかし,音域や奏法によって倍音があまり出ていない場 合には,良好な結果が得られない. 5.スペクトル削除法による音高判別 前節で述べた音高判別法は,単音の場合には,ほぼ良好 な結果が得られた. しかし,前節の方法は,多重音の場合,スペクトルの間 隔が基本周波数にはならないことが原因で,音高を判別す ることができない. 本研究では多重音についても音高が判別できることを 目的としている.そこで,多重音に対応できる可能性のあ る方法として,スペクトル削除法を考案した. ある音高の楽器音のスペクトル分布から,その音程に対応する周波数とその整数倍の成分(倍音成分)のスペクト
ルを取り除くと,スペクトルはほとんど残らない.例えば,図4の音のスペクトル分布から261.2[Hzl,および440[Hzl
間隔でスペクトル削除を行ったスペクトル分布図をFig.9,Fig.10にそれぞれ示す.2つの図を比べてみると,音
高の基本周波数に近い周波数間隔で削除したスペクトル分布(Fig.9)に比べ,基本周波数に一致していない周波数間
隔によって削除したスペクトル分布(Fig.10)の方がスペ
クトルがより多く残っていることが分かる. スペクトル削除法は,音高を判別する際,まず各音高の 基本周波数の整数倍でスペクトルを削除し,残りのスペク トルを合計する.その合計が最小値となる周波数に対応し た音高を,その音の音高と判別する方法である. maX max/I 数(Hz) (基音)2iii-基本周波数はピ
Fig.7.スペクトル間隔腕み法(イメージ) 2 1 0 9 8 7 6 5 4 3 2 】 0 02,0004,0006,000 周波数(Hz) 8000010,00i'零J■三
。●●・・ ̄ ̄◇~~ ̄~~~●。・・「●・ ̄●■●●じ゛・●。.。● ̄。b 、 ●■●●CCC●●●の■~■■●・゛「~~~■●c●●●●●●。o●●● 、 .。...-..口..-...%-◆--...-一・・・・・‐・年D O C●●●●午=--●の■-■■■・・し⑤●。■。⑪ご●●●●●●●●●・ U O ■●●■●--,■・・●ロー●●●●● ̄●●●'■●●●。■■-■⑪●-■● ●印■■・---■■・■●し。●●■PS●。●■~~~。~~■■■●~~ 0 ・申守CoCc--~●。●~~●CQ「■●⑰~■■●● ̄●●■●の゛● ̄ 、 O ●c●■● ̄~■!■~!■●●■■■■CFC●● ̄~CcC●●●~●●!■■匂 0 0 ●己●●●■■ ̄● ̄■●□● ̄●●~。●。●。 ̄cc●●S●'■●●●c● ̄ 0 .......こ=...e==..L・ごむ■■-.-....・・・。■ ●■C●。■■●■缶■》 ●■●●●■●●● ●●●凸■●●●●■■ ⑥■●■の。■。■ロ●■ ●■②■●●■●』》』』 ●●●●』。●◆■ ●●●■●ロ■●●●●■ の■◆□●●●●の●》● ●●●●⑤■●●●● ●■け●●●■●■■。 ●●⑤■●■●●■C早 ●▲●●⑰■。》一一 ▲寺■』●■⑤●●● 。●◆字●ロ●● ■●●●●■。■● ◆CP●◆●●匂C匂。』 。Sc▲⑰■■の●876543210 0 11周調 Fig.9.261.6[Hzl間隔でスペクトルを削除したスペクトル分布 スペクトルの合計を 26種類について求める 0 最小の合計値を鯛ぺる(Cが最小) O この音はc[Hz】に対応する音程 A=a[1]+aI2]+… B=b[1]+b【2]+… C=Cu]+c(2]+… Fig.11.スペクトル削除法(イメージ) 0 旬ME題 Fig.10440[Hzl間隔でスペクトルを削除したスペクトル分布 ■ ■ lnCl
スペクトル削除法のイメージとアルゴリズムを,Fig.
11とFig.12にそれぞれ示す. 6.オクターブ判別前節で説明した倍音スペクトル削除法によって音高判別
をおこなったところ,オクターブ違いの音高と誤判別する
ことが多かった.そこで,最初に調べる音高の種類を判別範囲内の一番低
い1オクターブに限定し,その後でオクターブ上の音と比
較して最終的な音高を判別を行う二段階の方法を用いた.
以下に詳しい説明を行う.ある音の基本周波数をノとすると,1オクターブ上の
基本周波数は2倍の2ノとなり,この音は,ノの奇数倍の
成分(2i-1)ノド=1…z]を持たないよって,いったん
判別された音高の基本周波数をFとし,式1によって奇
数倍成分の合計を求め,しきい値Tbによりオクターブ判
別を行う.ただし,zは倍音の数も考慮し,3から5の間の整数と
し,Thは一定の閾値とする. frm=frlj fr[j]=缶[j]+d[i]2≦参
inc[j] f=frに]≦参
CD
initialvalue min=ユOOOOO i,s,ji=o f,fで[1..26]=O j=1 nn:FFTcuttingpemods 角:Bamplingfrequency frU]=frequenCyofC2 : : fr[26]=frequencyofD4 Fig.12.スペクトル削除法(アルゴリズム)することで処理されるので,各音の発音時点(アタック時
点)を正しく測定する必要がある.
三線音は,Fig.1に示したようにアタック時の音圧が
ピークに達するのが非常に速い,つまり音の立ち上がりが鋭い.このことを利用し,音圧がある閾値を越えた点を発
音時点とした.また,三線斉は減衰も非常に速く,0.11sec}
以内では,ほぼ確実に閾値(音圧ピークの12%)以下になる.
よって,次の発音時点は,最初に発見された発音時点か ら01[secl後の時点以降を探すこととしたが,既に次の音が始まっていることも考えられる.このことも考慮し,探
索開始時点に近い時点で,発音時点が見つかった場合は,
時間軸とは逆向きの近傍にもっと振幅の大きい時点を探す
エS迦、=言Z(2'-1)P
1 (1)…癖{艀:三雲②
オクターブ判別を加えて改良した,スペクトル削除法の アルゴリズムをFig.13に示す. 7.発音時点の測定自動採譜は,連続音のそれぞれの音について音高を判別
8 7 6 5 4 3 2 1 0 Z,UUU4,000 6,000 周波数(Hz) 8,000 10,00 B●ロ●Ⅱ■Ⅱ■ ̄ DCの1■■ ̄■ bC1■●●●-I
鋼|■
O qO OO ■■ ̄-- ̄ ̄■。一一●● ̄●C-口-■-----.■ 0 0● 0 --●つつ。。■,凸■-。・--.・J--T----c C0 00 00 00  ̄ ̄0■■ ̄ ̄CCTo-0■'■■■~●勺一一■--0■'■■ O CC■U■'■-1■I■●CQ 。⑤■・●■竃=-==■。。‐ 0 ----.--.十一一・・・・・・1.---’| …--1.…-.1…-- 0■⑤-0■--・・」-.0■,■。。。。」-.-.----0 1IIJ71灯:.;i了丁=
00 00 00 -● ̄■。■1■凸一勺。= ̄U■ ̄ ̄● ̄■ ̄ ̄ ̄い ̄● ̄~ DO D0 00 -..---・C4-cC-----J==・ろ-.-- 00 00 00 0 ...-,--.-.-..6---... 00 00 00 の■■⑤■・●。d●■----■。●い●●c ̄■■● 0 0001000句BOP --.---1---.-.-. ●。●●。 ̄-つ●の 0 、・・◆一・・■」----■,c・-J-,■-,■・・-● OU OU OO OD p-CCC■●■ヨーーー ̄。c一つT-■■--。●● 0 ■‐-q-IId⑥0010勺0010 ● 』 一 ・ や 』 』 一 ● 。 ● ・ ・ 。 。 ご 一 つ 』 C ⑤ ・ ・ ● ・ ウ C ▲ ● ■ } 。 ⑤ ■ P C ■ 。 か つ ● ● 』 』 ● ■ 。 ● 。 ● ■ ■ ■ C C C ● ● ■ P b琉球大学工学部紀要第63号,2002年 61 これは演奏曲中の連続した音に対して,それぞれ勘所