早稲田大学大学院 基幹理工学研究科
博 士 論 文 概 要
論 文 題 目
Researches on Music Feature Analysis using Chroma Vector and its Applications
クロマベクトルを用いた音楽特徴解析と その応用に関する研究
申 請 者
植村 あい子 Aiko UEMURA
情報理工学専攻 画像情報研究
2015 年 12 月
近 年 ， 圧 縮 技 術 や ネ ッ ト ワ ー ク を 利 用 し た 配 信 シ ス テ ム と い っ た 音 楽 コ ン テ ン ツ の 提 供 手 段 の 増 加 に 伴 い ， 人 々 が 大 量 の 音 楽 に 触 れ る 機 会 が 増 加 し た ． そ れ に 付 随 し て ，「 い つ で も 」「 ど こ で も 」「 あ ら ゆ る 」 音 楽 を 扱 う こ と が で き る よ う に ， 様 々 な 音 楽 要 素 の 自 動 認 識 や 音 楽 情 報 検 索 に 対 す る 需 要 は 高 ま っ て い る ． 和 音 は 和 声 を コ ン パ ク ト に 表 現 し た も の で あ り ， 和 声 は 旋 律 ・ リ ズ ム と 並 ん で 音 楽 の ３ 要 素 で あ る こ と か ら ， 和 音 は 音 楽 を 構 成 す る 重 要 な 要 素 で あ る ． ま た ， 和 音 進 行 を も と に 楽 曲 構 造 を 判 断 し た り ， 調 性 を 推 定 し た り で き る こ と か ら ， 和 音 は 他 の 音 楽 要 素 と 関 係 が 深 い 手 が か り に な る ．
和 音 認 識 は ， 時 系 列 パ タ ー ン 認 識 問 題 と し て 考 え ら れ る こ と が 多 く ， 従 来 研 究 で は ， 音 響 信 号 を 入 力 と し て 和 音 名 系 列 の 出 力 を 得 る た め に 学 習 ・ 認 識 の 手 順 を 踏 む も の が 多 数 存 在 す る ． 具 体 的 に は ， 音 響 信 号 と 和 音 名 系 列 の ペ ア か ら 識 別 器 を 学 習 し た り ， あ ら か じ め 和 音 テ ン プ レ ー ト と 比 較 し た り し て ， 認 識 時 に 新 た な 音 響 信 号 の 和 音 名 系 列 を 出 力 す る ．識 別 器 に は ，一 般 的 に H i d d e n M ar k o v M o d e l
（H M M） や S u p p o r t Ve c t o r M a c hi n e ( S V M )な ど が 用 い ら れ て い る ． 音 響 特 徴 量 と し て は ，ク ロ マ ベ ク ト ル と 呼 ば れ る ，1 2 音 名 の 各 音 に 対 応 す る 周 波 数 の パ ワ ー を 複 数 の オ ク タ ー ブ に 渡 っ て 加 算 し た 1 2 次 元 の ベ ク ト ル が 用 い ら れ る ． ク ロ マ ベ ク ト ル は ， オ ク タ ー ブ で 演 奏 さ れ て も ， 構 成 音 が 同 一 で あ れ ば 同 一 の 和 音 と 認 識 さ れ る と い う 性 質 が あ り ， 和 音 を 捉 え や す い と い え る ．
本 研 究 で は ， ク ロ マ ベ ク ト ル 解 析 で 和 音 そ の も の や 楽 曲 の 構 成 を 捉 え る こ と が で き る こ と か ら ， 音 楽 音 響 信 号 に 対 し 基 礎 と 応 用 の 2 面 か ら 和 音 認 識 応 用 の 検 討 を 行 う ． 基 礎 面 で は ， 和 音 認 識 性 能 に つ い て 音 楽 理 論 を 用 い た 和 音 認 識 性 能 の 改 善 と 音 楽 圧 縮 の 性 能 評 価 を 行 う ． ま た ， 応 用 面 で は 実 環 境 で 収 録 さ れ た 音 楽 番 組 や ラ イ ブ 音 源 に 関 し て ， 時 間 周 波 数 情 報 を 用 い た 楽 曲 区 間 検 出 や カ バ ー ソ ン グ 検 索 の 検 討 を 行 う ．
第 1 章 で は ， 本 研 究 の 位 置 付 け を 示 す ．
第 2 章 で は ， 和 音 認 識 の 従 来 研 究 と ク ロ マ ベ ク ト ル 解 析 の 概 要 を 述 べ る ． 第 3 章 で は ， 音 楽 理 論 を 用 い た 和 音 認 識 性 能 の 改 善 を 目 標 と し て ， 従 来 手 法 [ El l i s 20 0 8 ]で は 上 位 3 候 補 の 中 に 正 解 が 含 ま れ る 可 能 性 が 高 い こ と と ，和 音 の 類 似 性 を 表 す 音 楽 理 論 D o ub l y N e s t e d C i r c l e o f Fi f t h s ( D N CO F)を 用 い て ラ フ な 推 定 結 果 を 用 い る こ と で ，従 来 手 法 の 改 善 を 試 み た ．本 研 究 で は ，音 楽 理 論 D N CO F か ら 生 成 す る D N C O F ベ ク ト ル を 提 案 す る ． こ れ は ， ク ロ マ ベ ク ト ル を D N CO F 平 面 上 に 写 像 し た も の で あ り ，「 向 き 」 と 「 大 き さ 」 の 情 報 を 持 つ ． こ の D N CO F ベ ク ト ル を 用 い て ，従 来 手 法 の 後 処 理 と し て 誤 認 識 部 分 の 推 定 と 誤 り 補 正 を 行 う ． ま ず ， 誤 認 識 の 推 定 に は ， 各 フ レ ー ム に お い て ， 出 力 和 音 と D N C O F ベ ク ト ル の コ サ イ ン 距 離 か ら 閾 値 を 用 い て 閾 値 以 上 で あ れ ば 誤 り と 判 定 す る ． 次 に ， 誤 り が 連 続 し て い る フ レ ー ム で は ， 補 助 的 な D N C O F ベ ク ト ル を 算 出 し ， 従 来 手 法 で 得
N o . 1
ら れ た 第 3 候 補 ま で の 和 音 の 中 か ら ，D N C O F 順 で D N CO F ベ ク ト ル に 近 い 候 補 で 補 正 を 行 う ． 一 方 ， 突 発 的 な 誤 り の フ レ ー ム に 対 し て は ， 前 フ レ ー ム の 出 力 和 音 を 使 用 す る こ と で 補 正 を 行 う ．本 論 で は ，T h e B e a t l e s（1 8 0 曲 ）の 楽 曲 に 対 し ， 誤 り 部 分 の 検 出 性 能 と 和 音 認 識 性 能 ，D N C O F 平 面 上 に お け る 正 解 と の 角 度 差 の 評 価 を 行 っ た ． 現 状 ， ラ ベ ル に 離 散 化 す る と 大 き な 改 善 効 果 は 認 め ら れ な い が ，
D N CO F ベ ク ト ル の 角 度 差 は 削 減 可 能 で あ る こ と を 示 す ．
第 4 章 で は ， 音 響 信 号 の 周 波 数 変 形 の 一 例 と し て 圧 縮 に 着 目 し ， 圧 縮 信 号 に つ い て 音 質 評 価 と 学 習 ベ ー ス で の 和 音 認 識 性 能 評 価 を 行 い ， 低 圧 縮 や コ ー デ ッ ク に よ る 影 響 の 調 査 結 果 を 示 す ． 圧 縮 信 号 で は ， ス ペ ク ト ル は 圧 縮 の 影 響 を 受 け 圧 縮 率 が 上 が る に つ れ て 高 周 波 成 分 を 中 心 に 影 響 を 受 け る が ， ク ロ マ ベ ク ト ル は オ ク タ ー ブ 情 報 を ま と め て い る た め ， 一 見 圧 縮 に よ る 影 響 は な い よ う に 見 ら れ る ． こ こ で ，T h e B e a t l e s（1 8 0 曲 ）, Q u e e n（2 0 曲 ）, C. K i n g（7 曲 ） と RW C デ ー タ ベ ー ス か ら ポ ピ ュ ラ ー 楽 曲 （1 0 0 曲 ） の 全 3 0 7 曲 に 対 し て ，M P 3 , A A C - L C, O g g Vo r b i s の 3 コ ー デ ッ ク に つ い て A A C - L C の み 1 2 , 24 k bp s を 含 み ，3 2～3 2 0 k p bs の C B R ( C o ns t a nt B i t Ra t e )モ ー ド に よ る 圧 縮 信 号 に つ い て 評 価 を 行 っ た ． は じ め に ， 音 響 信 号 の 劣 化 度 合 い は I T U - R BS . 1 38 7 - 1 で 定 義 さ れ て い る P E AQ
（P e r c e i v e d E v a l u at i o n o f A ud i o Q u a l i t y） と 呼 ば れ る オ ー デ ィ オ の 客 観 品 質 評 価 手 法 を 用 い る ． 実 験 結 果 に よ り ， ど の コ ー デ ッ ク で も 9 6 k bp s 以 下 で 徐 々 に 音 質 は 劣 化 す る が ，H M M , S VM - H M M を 用 い た 和 音 認 識 性 能 に お い て は ，4 %以 内 の 差 で あ る こ と を 確 認 し ， 音 質 の 劣 化 は 和 音 認 識 に 対 し て ロ バ ス ト で あ る こ と を 示 し た ． ま た ，3 0 7 曲 を 3 グ ル ー プ に 分 割 し て ， ビ ッ ト レ ー ト の 異 な る デ ー タ を 学 習 し 評 価 を 行 い ， 認 識 性 能 は 1%以 内 の 差 に 収 ま る こ と を 確 認 し ， 和 音 認 識 に お い て ビ ッ ト レ ー ト が 異 な る デ ー タ を 使 用 し て も ， ロ バ ス ト で あ る こ と を 確 認 し た ． 以 上 の 結 果 か ら ， 圧 縮 や ク ロ マ ベ ク ト ル 抽 出 に お い て 有 意 な 周 波 数 成 分 が 残 さ れ る 場 合 は 和 音 認 識 性 能 が 低 下 し な い こ と を 示 す ．
第 5 章 で は ， ク ロ マ ベ ク ト ル の 時 間 情 報 に 着 目 し ， 音 楽 番 組 か ら 楽 曲 区 間 を 抽 出 す る 手 法 を 提 案 す る ． 本 研 究 は 頭 出 し の よ う な 視 聴 支 援 や 音 楽 情 報 検 索 を 目 的 と し て 音 楽 番 組 か ら 楽 曲 区 間 を 抽 出 す る に あ た り ， ク ロ マ ベ ク ト ル の 時 系 列 情 報 に 着 目 し た ． ク ロ マ ベ ク ト ル で は ， 楽 曲 部 分 は 時 間 方 向 に 連 続 成 分 が 続 き ， そ れ 以 外 の 区 間 は 周 波 数 方 向 に 成 分 が 続 い た り 不 連 続 で あ っ た り す る こ と か ら ， 時 間 方 向 に 続 く 成 分 を 抽 出 ・ 指 標 化 し ， 閾 値 処 理 に よ っ て 楽 曲 区 間 の 判 別 を 行 う ． 具 体 的 に は ， ク ロ マ ベ ク ト ル の 各 フ レ ー ム の ピ ー ク 位 置 に お い て 8 近 傍 の 値 か ら 時 間 方 向 と 周 波 数 方 向 の 曲 率 を 算 出 し ， 時 間 方 向 に 緩 や か な 場 合 に 1， そ れ 以 外 は 0 と な る マ ス ク を 生 成 し ， ノ イ ズ 除 去 を 行 う た め に 画 像 処 理 で よ く 用 い ら れ る 3 種 類 の 平 滑 化 （ フ ィ ル タ メ デ ィ ア ン フ ィ ル タ ， ガ ウ シ ア ン フ ィ ル タ ， バ イ ラ テ ラ ル フ ィ ル タ ） を 適 用 す る ． 実 験 で は ， 標 準 デ ー タ を 用 い た 音 響 信 号 と 2 番 組 の
N o . 2
5 4. 4%が 楽 曲 で あ る 2 0 8 分 の T V 音 楽 番 組 の P C M 音 源 に 対 し て ，3 種 類 の ク ロ マ
ベ ク ト ル （C P : C h r o m a P i t c h - b a s e，C L P : C h r o m a L o g Pi t c h，C R P : C hr o m a D C T- R e d uc e d l o g P i t c h） を 算 出 し ， 適 合 率 ， 再 現 率 ，F 値 に よ り 評 価 を 行 う ． 本 論 で は ， 提 案 手 法 に よ り 比 較 手 法[ Z h u, 2 0 0 3]よ り 正 確 性 ・ 網 羅 性 が 高 く 楽 曲 区 間 を 検 出 で き ，C L P と バ イ ラ テ ラ ル フ ィ ル タ の 組 み 合 わ せ が 最 も 検 出 性 能 が 向 上 す る こ と を 示 す ．
第 6 章 で は ， ラ イ ブ に お け る 演 奏 音 源 か ら の 楽 曲 同 定 と し て ， 従 来 の カ バ ー ソ ン グ 検 索 手 法[ E l l i s 2 0 0 6, 20 0 7 ]に ，時 系 列 的 な 関 係 性 を 付 与 す る と と も に 音 響 シ ー ン の 判 別 手 法 を 加 え ， 演 奏 音 源 に 強 固 な 手 法 を 提 案 す る ． こ れ に よ り ， 従 来 の カ バ ー ソ ン グ 手 法 に 対 し て ラ イ ブ 音 源 を 適 用 し た 場 合 に 発 生 す る 2 つ の 課 題 を 解 決 す る ． こ こ で は ， 音 響 信 号 に M C な ど の 楽 曲 シ ー ン 以 外 も 含 ま れ る こ と ， も う 一 方 は 1 信 号 に 対 し 1 楽 曲 の 対 応 で あ る 課 題 に 対 し て 提 案 を 行 う ． 楽 曲 同 定 フ ェ ー ズ で は ， 入 力 ク エ リ か ら ビ ー ト 同 期 を 行 っ た ク ロ マ ベ ク ト ル を 抽 出 し ， デ ー タ ベ ー ス 中 の 原 曲 群 と の マ ッ チ ン グ と 後 処 理(重 み 付 け 処 理)を 経 て 同 定 楽 曲 が 決 定 さ れ る ． 提 案 法 で は ，4 0 秒 の ク エ リ ご と に 結 果 を 出 力 し ， 時 系 列 的 な 関 係 性 を 付 与 し て い る た め ， 楽 曲 が 切 り 替 わ る 部 分 の 同 定 結 果 が ス ム ー ズ に な る ． 一 方 ， シ ー ン 判 別 フ ェ ー ズ に お い て は ， シ ー ン 判 別 フ ェ ー ズ で は 非 楽 曲 シ ー ン と 楽 曲 シ ー ン で 違 い が 現 れ る 楽 曲 同 定 の 類 似 度 ス コ ア ，P u l s e c l a r i t y，R M S の 特 徴 の 3 つ を 用 い ， 閾 値 に よ る 判 別 を 行 う ． 結 果 と し て ， 実 際 の ラ イ ブ 音 源 8 つ に 対 し て 精 度 7 0%の 同 定 性 能 を 得 ， 同 定 結 果 ，P u l s e c l a r i t y，R M S の 3 要 素 を 活 か す こ と に よ り ， 非 楽 曲 シ ー ン 判 別 も 行 う こ と が で き た ． 最 終 的 に ， 楽 曲 シ ー ン ・ 非 楽 曲 シ ー ン の 判 別 に 加 え ，楽 曲 シ ー ン 部 分 に つ い て 楽 曲 名 を 出 力 す る シ ス テ ム を 提 案 す る ．
第 7 章 で は 本 論 の 総 括 と 今 後 の 課 題 に つ い て 述 べ る ．
以 上 述 べ た よ う に ， 本 研 究 で は ク ロ マ ベ ク ト ル 解 析 に 基 づ い て 和 音 認 識 性 能 に 関 す る 基 礎 と 応 用 の 2 面 か ら 検 討 を 行 っ た ． 基 礎 面 で は ， 和 音 は 他 の 音 楽 要 素 認 識 へ の 適 用 や 周 波 数 変 形 成 分 に 対 す る 和 音 認 識 性 能 の 改 善 が 期 待 で き る ． 応 用 面 で は ， 実 環 境 下 で の 複 数 の 音 響 要 素 か ら 構 成 さ れ る 音 楽 番 組 や ラ イ ブ 音 源 に つ い て ， 自 動 で 曲 名 を 教 え て く れ る 視 聴 ア プ リ ケ ー シ ョ ン ・We b サ ー ビ ス の 提 供 や ， 歌 詞 同 期 表 示 や 購 入 案 内 表 示 な ど イ ン タ ラ ク テ ィ ブ な ア プ リ ケ ー シ ョ ン ・ サ ー ビ ス へ の 応 用 例 も 考 え ら れ ， 本 成 果 の 適 用 に よ り 音 楽 情 報 処 理 分 野 へ の 新 た な 展 開 が 期 待 で き る ．
N o . 3
Ｎｏ.1
早稲田大学 博士（工学） 学位申請 研究業績書
氏 名 植村 あい子 印
（2015 年 12 月 3 日現在）
種 類 別 題名、 発表・発行掲載誌名、 発表・発行年月、 連名者（申請者含む）
○論文
○国際 会議
国際 会議
○国際 会議
○国際 会議
講演
講演
講演
講演
Music Part Detection in Music Television Program on Chroma Vector Analysis Aiko Uemura, Kyota Higa, Masumi Ishikawa, Toshiyuki Nomura and Jiro Katto, IIEEJ Transactions on Image Electronics and Visual Computing, Dec.2015.
Effects of Audio Compression on Chord Recognition【査読有, 採択率 46%】
Aiko Uemura, Kazumasa Ishikura and Jiro Katto,
The 20th Anniversary International Conference on MultiMedia Modeling (Lecture Notes in Computer Science Volume 8326, 2014, pp 345-352, Springer), Jan. 2014.
Live Version Identification with Audio Scene Detection 【査読有】
Kazumasa Ishikura, Aiko Uemura and Jiro Katto,
The 21th Anniversary International Conference on MultiMedia Modeling (Lecture Notes in Computer Science Volume 8935, 2015, pp. 408-417, Springer), Jan. 2015.
Music Part Segmentation in Music TV Programs based on Chroma Vector Analysis 【査 読有】
Aiko Uemura, Kyota Higa, Masumi Ishikawa, Toshiyuki Nomura and Jiro Katto, IEEE International Symposium on Multimedia (ISM) 2012, pp. 32 - 35, Dec.2012.
Chord Recognition using Doubly Nested Circle of Fifths 【査読有, 採択率 49%】
Aiko Uemura and Jiro Katto,
IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012), pp. 449 – 452, Mar. 2012.
Music/Speech Discrimination based on Chroma Vector Analysis Aiko Uemura and Jiro Katto,
MIREX 2015 Music/speech classification and detection task, Oct. 2015.
楽器種類を拡張した打楽器の音源同定 大石皓太郎, 植村あい子, 甲藤二郎
電子情報通信学会総合大会, A-10-17, Mar.2015.
確率モデルに基づく候補提案型鍵盤楽器システム 【学生奨励賞受賞】
村岡眞伍，植村あい子，甲藤二郎
情報処理学会全国大会, 4S-08, Mar.2015.
未知楽器を含む打楽器を対象とした音源同定 大石皓太郎, 甲藤二郎, 植村あい子，石倉和将 電子情報通信学会 総合大会, A-10-13, 2014 年 3 月.
和音認識における学習数の影響と誤り傾向の調査 萩原秀一, 甲藤二郎, 植村あい子, 石倉和将
電子情報通信学会 総合大会, A-10-14, 2014 年 3 月.
Ｎｏ.2
早稲田大学 博士（工学） 学位申請 研究業績書
種 類 別 題名、 発表・発行掲載誌名、 発表・発行年月、 連名者（申請者含む）
講演
講演
講演
講演
講演
講演
講演
講演
講演
講演
講演
講演
シーン判別手法を組み込んだライブバージョン楽曲同定システム 石倉和将, 植村あい子,甲藤二郎
電子情報通信学会 総合大会, A-15-31, 2014 年 3 月.
異なるビットレートの楽曲を用いたクロマベクトルの解析と和音認識性能評価 植村あい子, 石倉和将, 甲藤二郎,
情報処理学会 音楽情報科学研究会 デモセッション, 2013 年 8 月．
自動で曲名を教えてくれる楽曲同定機能付きメディアプレイヤー 石倉和将, 植村あい子, 甲藤二郎,
情報処理学会 音楽情報科学研究会 デモセッション, 2013 年 8 月．
圧縮やダウンサンプリングがクロマベクトルと和音認識に与える影響について 植村あい子, 石倉和将, 甲藤二郎,
情報処理学会音楽情報研究会, 2013 年 5 月．
異なるビットレートの楽曲を用いたクロマベクトルの解析 植村あい子, 石倉和将, 甲藤二郎,
情報処理学会全国大会, 2D-7 , 2013 年 3 月.
ライブにおける楽曲の遷移を考慮したリアルタイム楽曲同定システム 石倉和将, 植村あい子, 甲藤二郎，
情報処理学会全国大会, 3R-2, 2013 年 3 月.
実環境におけるライブ演奏楽曲の楽曲同定 石倉和将, 植村あい子, 甲藤二郎，
電子情報通信学会 総合大会, A-10-15, 2012 年 3 月.
音楽理論を用いた誤り区間の検出・補正による和音認識 植村あい子, 甲藤二郎,
情報処理学会全国大会, 4S-4, 2012 年 3 月.
DNCOF ベクトルとクロマベクトルを併用した和音認識 植村あい子, 甲藤二郎，
情報処理学会音楽情報研究会, 2011-MUS-90, 5, 2011 年 5 月.
Doubly Nested Circle of Fifths に基づく和音情報と HMM を用いた和音認識 植村あい子, 甲藤二郎，
電子情報通信学会総合大会, A-10-8, 2011 年 3 月.
Doubly Nested Circle of Fifths を用いた和音認識の特性改善 植村あい子, 甲藤二郎，
情報科学技術フォーラム(FIT2010), 5G-3, 2010 年 9 月.
Doubly Nested Circle of Fifths を用いた和音認識 植村あい子, 甲藤二郎，
情報処理学会音楽情報研究会, 2010-MUS-84, 5, 2010 年 2 月.
