日本電気進

パーソナルコンピュータを用いた楽音からのピッチと

      拍子の認識について

       （昭和59年5月31日 原稿受 付）

情報工学教室玉木明和

日本電気進  京一 穂山工業高専小林明伸 情報工学教室加藤清史

On the Recogllition of the Pitch and Meter of  the Music Soulld by a Personal Computer

by Akikazu TAMAKI

  ．Kyouichi S田N

  Akinobu KOBAYASHI

  I（iyoshi K．ATO

      Ab8tract

  Author5 tried to analyze the music sound by a persDnal computer systern． They acquired the power spectrum of each block， whose time is 52．8 milli・5ec加d， by FFT（Fast Fourier T・a・s加m）・Th・y・tt・mpt・d t・d・tect th・pit・h・・d tim・・f th・…nd by・naly、i。g th，

sequence of power spectra， the meter of music by the sequence of loudlless．  They could detect the pitch and time of the monophony soしmd whiclユwas played by a musical instrument， but could

which had the tilne enough for the purpose．

1．はじめに        加する麟的芸術というもの解析ができ・それを鋤演・

      奏システムに利用することができる。

 著者らは，コンピュータによる電子楽器の自動演奏シ    本実験は、パーソナルコンピュータを使用して音楽 ステムを構築した。】｝ 2）このシステムは演奏した音に対・  データを収集し，FFT（Fast Fourier Transform）を行 してオープンシステムである。人間が演奏する場台は，   い，そのパワースペクトルのシーケンスより鳴っている 実際に演奏している音楽に合わせて演奏するクローズド   音のピッチとその時間の検出を試みた。さらに，パワ＿

システムである。自動演奏システムでは楽譜から自動演    （エネルギー｝のシーケンスより拍子の検出を試みた。

奏用の言語にコーディングして演奏させるので，単調な   単旋律の楽譜を単一の楽器で演堤した音楽から，楽譜を 機械の音楽である。音楽に合わせて演巽するためには，   再生するために必要な僻報を得ることができた。しか 自動演奏システムをフィードバック機能をもったクロー    し，単旋律の楽譜を複数の楽器で演奏したものからは，

ズドシステムにする必要がある。その予備実験として，演   その情報を得ることはできなかった。また，十分に長い 奏された音楽を認識し，もとの楽譜に再生することを試   音楽から拍子を検出することができた。

みた。人間が演奏した音楽を採譜したものと，もとの楽

譜の」恥を調べれば，楽譜のもつ音楽f青報に演鞠が付 （注1ほの高さ

パンドパス フィルター

ピッチ

認識

図一1 ピッチ認識および拍子認厳のブロック図

      曲2 ガブリエリ作曲 「五声部のカンツォーナ」

2．音楽の認笛

       楽器 トランペット  音楽の認識という言葉は種々の意味で用いられる。曲      ホルン

のもつ主題の認識などの人聞の感情を含むものから，リ         トロンボーン ズム，拍子，ピッチなどの認識がある。       チューバ  音楽は音の時系列と考えることができ，時系列を解析    曲3 曲2に同じ。

する手法が利用できる。音楽は，長い時間レベル（曲全

：灘慧㍗：隠㌶芸欝霊慧カニ ー≡≡≡

みれば，定常過程と考えることができる。その短い時間      曲ユの楽譜

：璽二：二：；1㌶㌶㌶蕊量：：叉  罐垂堰穎≡≡…≡

こでは，低レペルのピッチの認識を行った。音のいくつ      曲2の楽譜

ができる。       曲3の楽譜

 実験の概略を図1に示す。パンドパスフィルターを通       図一2 実験に使用した曲の一部 した音楽をサンプリングし，AD変換を行い，各ブロック

ごとにFFTを行った。 FFTによつて得られたパワース   サンプリング

ペクトルのシーケンスからピッチと拍子の検出を行っ   認識対象とする音域をC4（261．6｝lz）〜B 5（987．8 た。      Hz｝とした。この音域はト音記号の五線譜を含む2オク        ターブであり，音楽においてよく使用される音域であ

，3．データ収集

       る。シンセサイザー（KORG MS20）のローカツトフィ  実験には8ビットパーソナルコンピュータシステム   ルターとハイカットフィルターを利用したバンドパス

PC8001を用いた。このシステムは，拡張ユニットに8   フィルターによって，音楽データの低周波成分と高周波 ビットAD変換器，タイマーをもち， RAM容量64KBで   成分を取り除く。低域遮断周波数100Hz，高域遮断周波数 あり，32KBをデータ入力用バッファとして使用できる。  1000Hzであり，その周波数特性を図3に示す。サンプリ 実験に使用した音楽データはつぎのものであり，その楽   ング周波数は余裕をみて4400Hzとし，227マイクロ秒ご 譜を図2に示す。       とにタイマーから割込みをかけ，AD変換器から読込ん  曲］ バッハ作曲 「小フーガ ト短調」        だデータをメモリに書込む。8ピットのパーソナルコン     楽器 トランペット       ピュータを使用したため，データ長は8ピットとし，

」

データが得られる。      り秒であるが，サンプリングデ＿タをオ＿パーラップさ FFT      せたブロックで，14．5ミリ秒ごとにFFTを行う。すなわ  音域C4〜B 5を対象としたため・周波数分解能は，   ち，64点つつずらしてFFTを行う。

C4（261．6Hz）とC49（2772Hz）の差15．6Hz必要で

ある．サンプリン卵波数を友綱麟酬li旨を∫， 4・ピッチの酬

FFTを行う1ブロックのデータ数を」Vとするとつぎの  倍音構造

開係がある。      音（特に楽器の音）は基本波と高調波を合成したもの

     N一巨   一    である嚥報と高調波の大きさは楽器によって異な         ∫      り，また洞一の楽器で欄によって変化する．基本

みp＝4400Hz，∫＝ユ5．6Hzを代入するとN＝282となり，  波と高調波の倍音構造によって楽器固有の音を出す。実 1ブロック当り282個のデータが必要となる。FFTを行   験に用いた装置で収集したトランペットの音の倍音構造 うには，データ数が2のペキ乗でなければならないの   を示すパワースペクトルを図5に示す。図5では，3倍 で，256個のデータを1ブロックとした。この場合，周波   音までしかあらわれていないが，実際には高次の倍音を 数分解能は、      含む。これは，この装置のサンプリング周波数，パンド

     響一172（H・）  忽；1；：㌶1灘：麗㌶：

となる。図4に示すように，周波数分解能の倍数と音階   さい場合，基本波を雑音と誤る可能性がある。しかし，

との比較により，さらに，楽器の音1ま倍音を含むので，   高調波から基本波が推定できる。

それを利用することにより，ピッチの検出ができる。

20

竃゜

ニ

ピ辞

  口，・

  80・

レ  ■

｛1・，   ．   ．   』

し  ξ沖  5加  750 1恥0 は50 15ひ｝ P和 2Cζll，

        庇ξ臼IHよ｝

図一5 トランペットの倍音構造

 一 o

  Io 帥  50 櫛 卿  5001㈱訓。 5脚10榔    基本周波数の検出

      庄埴酬     ブ。ッ蜻醜綱麟搬出するには、そのパワー

  図一3 パンドパスフィルターの周波数特性      スペクトルから，ピークをもつ周波数を調べる。単旋律        の場台は，ピークをもつ周波数はある周波数を基本周波        数とする倍音構造をしているので，それを利用して，基

㎜邸      田     本周波数を検出する。もし，基本周波数のピークが小さ

霊一π励竺 く，そのピークが検出できな・囑⊇調波にぶ音

      構造から，それらの基本周波数を推定できる。曲1，曲     陥 c3    c、       B，     2，曲3のパワースペクトルを図6，図7，図8に示す。

    1…一十一澗 こられはほ繊日鋼強さ醐として3次識乱

    蝋81° ・・2°2 29 たものである．また，そ肪のパワースペ外跡、5，

       ピーク周波数を横出したものを図9，図10，図11に示す。

     図一4 音階と周波匙分解能      ｛注引参考文献4P62毒照

＿一       一  ・  ニ     ー  −1＿一見

｛一一一一

^{D一≒r − ・一}

0    50O   lOOO   l 500  2000       0

＿       r−」 〜一．一，一      一

㈱・H・・        °iz㌔⊇5 7

図一6曲1のパワースペ外ル      図一9曲1のピ＿ク周波数

轟馨：≒醐   註巨≡曇≡i蓬鷲

      6   i   ：   i   6   〜   E   7

0     〜〔 〔    島麗［Hz〕1〜o（1   2〔 oo       巨…朋 【｝A］

     図一7曲2のパワースベクトル       図一10曲2のピーク周波数

        ▲鍵＿。 −

      1〜00・

ロ     うロロ     ロロロ    らむ    コロロロ

     風麟【H：］      図一11曲3のピーク周波数

図一8 曲3のパワースベクトル

基本周波数の修正      音階へのあてはめ

 パワースペクトルは14．5ミリ秒ごとに得られ，基本周    ピッチは周波数軸上では離散的な値をとる。これを音 波数も同じ間隔で検出される。サンプリングされたデー   階といい，ここでは等分平均律音階を用いる。実際には タはオーバーラップしてプロツク化しており，ブロック   楽器のピッチは等分平均律音階とずれている場合があ 単位にFFTを行い，パワースペクトルのシーケースを   る。基本ピッチがずれていれば，その倍音構造もずれて 得る。もし，音が鳴っている場合は前後のブロックで検   いるので，倍音構造全体のずれを考慮して音階へのあて 出された基本周被数と同じものを検出するはずである。   はめを行う。抽出したパワースペクトルのピーク周波数 したがって，前後のプロツクで検出された基本周波数と   を音階の基本ピッチとの差が最小となるようにずらし・

異なる周波数を検出した場台は，それを雑音として除去   最も近い音階のピッチを演奏された音のピッチとする。

し，修正する。       これにより，周波数を用いずに音名で表現でき，ピッチ

曲1，曲2，曲3から検出したピッチを示す。

口00・

、臣：：

   O  l  2  ま  4  ｛」  ［  ÷        46〔i2        畦1田㈱

2帥o・

図一12 曲1のピッチ       392．0

392．O o，945 o，756 2

5邑7．3 0，916 0，756 2

466．2 1，309 1，178 3

440．0 0，451 0，335 1

392．o 0，436 0，305 1

466．2 0，451 o，320 1

4姐．0 0，465 o，436 1

392．0 0，436 o，349 1

370．0 0，436 0，276 1

440．0 0，480 0，364 1

293．7 o，916 o，797 2

   1蜘・       ・基本音符時間＝0．424秒

    む  

認・… @ 曲  5・拍子の酬

   ロ コ

    ゜‥i。嚇；↓テ  拍子は一小節の中1・含まれる拍の数で凱2繊

      3拍子，4拍子，6拍子などが多い。一拍は，その曲の

       図一13曲2のピッチ    基轄符（よく使用さ才、る音符）の馴に儲する．拍

      子は繰返されるものであるから，音のレベル（エネル   ご聯］       ギー）の自己相関をとったものから推定することができ   1晒．       る。曲1のレベル変化を図16に示す。これは音の強さを

ξ1，，，．   ，   1 紬し舳のであり一つの山錯符一つに対応する。

 む

掴…   川「 1・¶ 1  縫音符の時間堰さ）躍本音符時間と呼ぶ。図16の    ゜葛1】，、，［ 6  配酬をとったものを図］7 こ示す・図17の自己欄1・

      明簡闇      は，8個のピークがあり，最初のピークが現われる時間        図一14 曲3のピ・ンチ      が，基本音符時間に相当する。通常は，基本音符時間の       整数倍の時間にピークが現われる。ピークの相対的に大       きいものを選ぶことにより，拍子の推定ができる。曲1

音符時間の認磁      では基本音符時間の3倍，6倍，8倍のピークが相対的  ピッチのブロック問にわたる連続性により，同一の   に大きい。したがって，3拍子，8拍子のいずれかと推

ピッチが連続して検出された時間をピッチの持続時間と   定できる。曲2のレペル変化とその自己相関を図17，図 呼ぶ。ピッチの持続時間と持続時間の問のピッチの検出   18に示す。図18より，2倍，5倍が大きく，2拍子，5 されない時間をピッチの休止時間と呼ぶ。持続時間とそ   拍子のいずれかと推定できる。曲3のレペル変化と自己 の後に続く休止時間を合わせて音符時間と呼ぶ。体符の   相閲を図19，図20に示す。図20より，3倍，6倍，9倍 ない楽譜を演奨した場合，楽譜の音符一つが占める時間   が大きく，3抽子と認識できる。

が音符時間に相当する。いいかえれば，音符時問は，ピッ

チの鳴り始めから次のピッチの鳴り始めまでの時間であ    レ ）器二        ぺ   じかる・図12により，音符時間，持続時間を算出したものを    ル ロ

表1に示す．拍子蹴する時に得られる躰音符時間 1門料‥i ‥

（0・424秒）と音符時間の比を整数で表したものを表1      e柵1問 の右側に示す。      図一15 曲1のレベル変化

レ 1㌫：      ・．    曲2は4小節，曲3は8小節のデータであり，曲3にっ

； ㌫       いては，データに含まれる小節が多いため拍子の認識が

15 ］2

G］‥‥；‥  ．できた．曲1と曲2の拍子の端贋なかった原因1ま

   のロ

ニ 器：      h        ．て，長時間データの解析が行えること，複数の楽器に対

晶；：・却・，  1・刷  するピ・チ検出アルゴリズムの改良が腰となる・

   o・，      ．      ．      ．      ，     ．     唱     ◆

   O    I    2    三    4    5    ε    7

      晒藺［別      7．あとがき

     図一17曲2のレベル変化    パーソナルコンピ。一タ1こよって，鹸さ杣齢ら

      ピッチおよび拍子を認識する実験を行った。サンプリン   1ロ・      グ周波数4400Hz， AD変換後のデータ長8ピット，1プ

レ   ロエ

ニ ；：八八へ八へ戸へくノ」      ロシクのデー一タ点数256と粗いデータから音楽の認識を

1閉@三目  、  ．  ．  ．  ．  ．       試みた。単一楽器による演奏データからピッチの認識は

   0   1   2   3   4   5       ・｝

      問蘭問      できたが，拍子の認識はできなかった。実際の音楽では，

   図一18 曲2のレペル変化の自己相関      複数の楽器があり，さらに，単旋律でなく複旋律であり       種たの複雑なリズムを持っている。自動演奏システムの       フィードバック機能として音楽認識を利用することを目 レ 1㌫      的としており，少なくとも拍子の認識，そして，リズムi

ギ   らロ 

ル 4。・       ：   の認識を行いたい。本実験はその予備実験として行った．

【忠］ 20

         ・ 醐鯛      要がある。さらに，音楽認識が実時間で行えるようにす       図一19 曲3のレベル変化      る必要もある。

       人間が音楽を鑑賞（認識）できるのは，，多年の音楽教   陶．      育によるものであり，音楽に対する知識を持つ者であ 二 器二      る。この認識システムは音楽を認識するための音楽の知

ル   キか

【知 2。・      識をもっていない。楽器の音色についての知識，拍子に

   図一20曲3のレペ峻化の自己醐   に改良する必要がある・

6．実縣      1）玉舳L，コ．ピ三一勇義電襲ル棚自臓。ズ

単一の楽器およ蹴の楽器で繊れた曲について ㌶：の繭㌘システム」九州工糎研究酬工

認識箕験を行った。単一の楽器については，図12に示す   2）玉木吐aドコンピュークによる電子オルガンの自動演嚢シス ようにピッチの認識ができた。複数の楽器については，    テムのためのソフトウエアシステム」九州工業大学研究報告｛工       学）第39号 昭和54年

図13・図14に示すようにピ・チが細切れにな・て検出さ ・曙・2端と音楽。閲す、研究一馴研究＿鋼｛礁 れた。曲1の拍子の認識については，実際には4拍子で    大学制御工学科昭和58年度修士邑文

あるが，実験では3拍子あるいは8拍子と推定した。こ   4）安藤 「楽器の音1鰐」 音楽之友社昭和46年

の原因はデー噸さが7蹴剛，綱謙㌶通翼慧，i㌶：処麟子通倍学会昭和

は2小節弱となり，データが短かかったためであろう。    50年