電子情報通信学会ワードテンプレート (タイトル)

DEIM Forum 2013 P4-2

音符長に注目した擬音による楽曲検索手法の提案

石原 健司

†

木村 文則

††

前田 亮

††

†立命館大学情報理工学研究科 〒525-8577 滋賀県草津市野路東 1-1-1

††立命館大学情報理工学部 〒525-8577 滋賀県草津市野路東 1-1-1

E-mail: †[email protected]，††[email protected]，††[email protected]

あらまし 現在の楽曲検索システムには，アーティスト名や歌詞といった楽曲の情報を利用するものが多い．し かしユーザがこれらの情報を持っていない場合，曲を聴いただけではクラシック音楽や BGM などの歌詞を用いな い楽曲に対する検索は困難である．本論文では擬音をクエリとした楽曲検索手法を提案する．本手法では，あらか じめ検索対象とする楽曲内の音符長の変化について索引を作成する．また楽曲と同様に入力クエリから音符長の変 化を取得する．クエリの先頭の音符長変化が一致する楽曲対象部に対して DP マッチングを行い，その類似度を基 にランキングを行う．本論文では提案手法の評価実験を行い，考察を行う． キーワード 楽曲検索，擬音，DP マッチング

A Method for Music Retrieval by Onomatopoeia Based on Note Length

Kenji ISHIHARA

†

Fuminori KIMURA

††

and Akira MAEDA

††

†Graduate School of Information Science and Engineering, Ritsumeikan University

1-1-1 Nojihigashi, Kusatsu, Shiga, 525-8577 Japan

††College of Information Science and Engineering, Ritsumeikan University

1-1-1 Nojihigashi, Kusatsu, Shiga, 525-8577 Japan

E-mail: †[email protected]，††[email protected]，††[email protected]

Abstract When we use a music retrieval system, we need information of music such as singers or music lyrics. However,

if we do not know these music information, it is difficult to search music, especially for instrumental music. In this paper we propose a method for retrieving music by onomatopoeia. With the proposed method, we create an index on change of note length in all music of the search target in advance. Also, indexing on change of note length in query. This system calculates similarity of each music and query by DP Matching, only part of the music that matches change of the note length at the top of the query. Last this system ranks music based on similarity. This paper shows the result of evaluation by the proposed method.

Keyword Music Retrieval，Onomatopoeia, DP matching

1. は じ め に

現 在 の 楽 曲 検 索 シ ス テ ム に は 歌 詞 や ア ー テ ィ ス ト 名 な ど の メ タ デ ー タ を 利 用 し て 曲 を 絞 り 込 む キ ー ワ ー ド 検 索 や ， マ イ ク を 通 し て 自 ら が 歌 う こ と で 目 的 の 曲 を 検 索 す る 音 声 検 索 が あ る ． し か し メ タ デ ー タ で 楽 曲 を 絞 り 込 む キ ー ワ ー ド 検 索 で は ， ユ ー ザ が 歌 手 や 歌 詞 な ど の 楽 曲 に 関 す る 情 報 が わ か ら な い 場 合 や ， 歌 詞 が 用 い ら れ な い イ ン ス ト ゥ ル メ ン タ ル 曲 を 検 索 す る こ と は 困 難 で あ る ． ま た 音 声 検 索 で は ， 音 程 情 報 を 利 用 し た 高 精 度 の 検 索 が 可 能 で あ る が ， 公 共 の 場 で 歌 う こ と が 憚 ら れ る 場 合 や ユ ー ザ が 音 程 を 正 し く 歌 え な い 場 合 に は 目 的 の 曲 を 検 索 す る こ と は 困 難 で あ る ． こ れ ら の 問 題 解 決 の た め に ， 我 々 は 楽 曲 の 特 徴 を 感 覚 的 に 表 現 す る こ と が 可 能 な 擬 音 に 着 目 し ， 擬 音 の 文 字 列 で メ ロ デ ィ を 入 力 す る こ と で 曲 を 検 索 す る 手 法 を 提 案 し た [1]． 以 下 こ の 手 法 を ｢擬 音 手 法 ｣と 記 述 す る ．

擬 音 と は 一 般 的 に パ チ パ チ や シ ト シ ト な ど の 物 が 発 す る 音 や そ の 状 態 を 字 句 で 表 現 し た も の で あ る ． 他 人 に 曲 を 伝 え る 際 に ， 曲 の フ レ ー ズ を 擬 音 に よ り 表 現 す る こ と が 多 い た め ， 本 論 文 で は ユ ー ザ が 曲 を ハ ミ ン グ し た 際 ， そ の 音 を ｢ラ ー ラ ー ラ ー ー ー ラ ラ ー ｣の よ う に 字 句 で 表 現 し た も の を 擬 音 と 定 義 す る ． 擬 音 で 表 現 可 能 な 楽 曲 情 報 は リ ズ ム の た め ， 正 し く 音 程 を 表 現 で き な い ユ ー ザ の 利 用 が 考 え ら れ る ． 検 索 対 象 に は イ ン ス ト ゥ ル メ ン タ ル 曲 で ， 入 手 が 容 易 で あ る ク ラ シ ッ ク 音 楽 の MIDI デ ー タ [2]を 利 用 す る ．

2. 関 連 研 究

キ ー ワ ー ド 検 索 や 音 声 検 索 以 外 に も 様 々 な 楽 曲 検 索 手 法 が 提 案 さ れ て い る ．梶 ら [3]に よ る 手 法 で は ，楽 曲 に 対 す る 人 間 の 解 釈 を ア ノ テ ー シ ョ ン と し て 収 集 し ， そ れ ら を 利 用 す る こ と で 楽 曲 を 絞 り 込 ん で い る ． 人 間 の 感 性 を 利 用 す る こ と で ， 楽 曲 に 対 す る 情 報 が 曖 昧 な 場 合 に も 検 索 が 可 能 で あ る ． 斧 山 ら [4]の 手 法 で は ，楽 曲 の フ レ ー ズ を 入 力 に 用 い る こ と で 類 似 楽 曲 の 検 索 を 実 現 し て い る ． デ ー タ ベ ー ス 内 の 楽 曲 か ら 作 成 し た フ レ ー ズ 内 の 音 楽 特 徴 を 利 用 す る こ と で ユ ー ザ の イ メ ー ジ す る 楽 曲 を 絞 り 込 ん で い る ． 池 谷 ら [5]の 手 法 で は ，打 鍵 に よ り 入 力 し た リ ズ ム を 用 い て 楽 曲 を 検 索 す る ． 印 象 的 な メ ロ デ ィ を 打 鍵 で 入 力 す る こ と で 得 ら れ る リ ズ ム の 特 徴 を 利 用 し て い る ． リ ズ ム を 用 い る 点 で は 我 々 の 擬 音 手 法 と 類 似 し て い る が ， 池 谷 ら の 手 法 で は 楽 曲 の 特 徴 的 な フ レ ー ズ を 手 動 で 選 択 し 収 集 す る 点 が 異 な る ．

3. 擬 音 で の 楽 曲 検 索 手 法

3.1 概 要 今 回 の 提 案 手 法 で は ， 擬 音 を ク エ リ と す る 点 は 我 々 が 以 前 に 提 案 し た 手 法 [1]と 同 様 で あ る が ，音 符 長 の 変 化 に 注 目 し た マ ッ チ ン グ を 行 う こ と で 検 索 精 度 と 処 理 速 度 の 高 速 化 を 図 る ． 以 下 こ の 手 法 を ｢音 符 長 変 化 手 法 ｣と 記 述 す る ． あ ら か じ め Web か ら 収 集 し た MIDI デ ー タ に 対 し て ， 音 符 長 の 変 化 毎 に 索 引 を 作 成 す る ． ユ ー ザ の ク エ リ に 対 し て も 同 様 の 処 理 を 行 い ， 音 符 長 の 変 化 を 利 用 し た マ ッ チ ン グ を 行 う ． マ ッ チ ン グ に よ り 算 出 し た 各 楽 曲 と の 類 似 度 を 基 に ラ ン キ ン グ を 行 い ， 検 索 結 果 と し て ユ ー ザ に 提 示 す る ． 3.2 従 来 手 法 の 問 題 点 従 来 手 法 で あ る 擬 音 手 法 で は ，ユ ー ザ の 入 力 す る 擬 音 文 字 列 （ 例 ： ラ ー ー ラ ー ラ ー ー ー ラ ） と の マ ッ チ ン グ を 行 う た め に ，MIDI デ ー タ を 擬 音 文 字 列 へ と 変 換 し て い た ． 擬 音 へ の 変 換 で は ， ユ ー ザ へ の ア ン ケ ー ト を 基 に ， 2 分 音 符 な ら 「 ラ ー ー ー 」， 8 分 音 符 な ら 「 ラ 」 の よ う に 音 符 の 種 類 毎 に 擬 音 を 決 定 し て い た ． し か し 擬 音 文 字 列 同 士 で の マ ッ チ ン グ に は 様 々 な 問 題 が あ る ． 第 一 の 問 題 は ， マ ッ チ ン グ の 結 果 が ユ ー ザ の 感 性 に 強 く 依 存 す る こ と で あ る ．MIDI の 変 換 規 則 と し て 定 め た 音 符 と 擬 音 の 対 応 に ユ ー ザ の 感 性 が 一 致 し て い れ ば 精 度 は 良 く な る が ， 違 う 場 合 に は 精 度 は 悪 く な る ． 第 二 の 問 題 は ， テ ン ポ の 変 化 へ の 対 応 が 困 難 な 点 で あ る ． テ ン ポ が 異 な る 楽 曲 に お い て ， 同 じ 4 分 音 符 で も ユ ー ザ の 感 じ 方 は 変 化 す る ．テ ン ポ の 変 化 に つ い て ， 4 分 音 符 を 「 ラ 」 と 「 ラ ー 」 の ど ち ら に 変 換 す る か ， 境 界 線 を 定 め る こ と は 困 難 で あ る ． 第 三 の 問 題 は ， 計 算 量 の 問 題 で あ る ． 擬 音 手 法 で は 一 音 符 ず つ ず ら し な が ら マ ッ チ ン グ を 行 い ， 網 羅 的 に ユ ー ザ の 検 索 対 象 部 を 探 索 す る た め ， 処 理 に か か る 時 間 が 長 い こ と が 問 題 で あ っ た ．MIDI デ ー タ 自 体 の 長 さ や ク エ リ の 長 さ に よ り 変 動 す る が ， 検 索 対 象 の 楽 曲 数 が 50 の 場 合 ，結 果 の 提 示 ま で に 7 分1 程 度 の 時 間 が 必 要 で あ っ た ． 多 く の 楽 曲 を 扱 う こ と が 想 定 さ れ る 楽 曲 検 索 シ ス テ ム に お い て こ の 処 理 時 間 は 大 き な 問 題 で あ る ． 3.3 全 体 の 流 れ 図 1 に 音 符 長 変 化 手 法 の 流 れ を 示 す ． 前 処 理 と し て Web か ら 収 集 し た MIDI デ ー タ に 対 し て 音 符 長 の 変 化 毎 に 中 間 言 語 に 置 き 換 え ， 索 引 を 作 成 す る ． ユ ー ザ の 問 合 せ 時 に ， ク エ リ で あ る 擬 音 文 字 列 を MIDI デ ー タ の 変 換 と 同 様 に 中 間 言 語 に 置 き 換 え る ． ク エ リ の 先 頭 の 音 符 長 の 変 化 を 確 認 し ， 楽 曲 側 で 同 様 の 音 符 長 変 化 が 起 き る 箇 所 に の み マ ッ チ ン グ を 行 い 類 似 度 を 計 算 す る ． 各 楽 曲 に 対 し て 類 似 度 の 計 算 を 繰 り 返 し ， 算 出 し た 類 似 度 を 用 い て ラ ン キ ン グ を 行 っ た 後 ， ユ ー ザ に 結 果 を 提 示 す る ．MIDI デ ー タ の 変 換 ，マ ッ チ ン グ 処 理 に つ い て は そ れ ぞ れ 4 章 ， 6 章 で 述 べ る ． 1

CPU： Intel Core i5 (3.30GHz) ，メ モ リ 4GB の PC の 場 合 開 発 に は Java 言 語 を 使 用

4. MIDI デ ー タ へ の 処 理

4.1 MIDI デ ー タ の テ キ ス ト 形 式 へ の 変 換 MIDI デ ー タ に は ｢ど の 位 置 で ど の 音 が ど れ だ け の 強 さ で 鳴 る か ｣と い っ た 情 報 が 特 定 の フ ォ ー マ ッ ト で 記 述 さ れ て お り ，WAV な ど の 波 形 デ ー タ よ り も 情 報 の 抽 出 が 容 易 で あ る ． こ れ ら の 情 報 を 扱 う た め に ， MIDI デ ー タ 内 の 音 符 の 変 化 を 時 系 列 順 に テ キ ス ト 形 式 に 変 換 す る ． あ る MIDI デ ー タ の 例 を 図 2 に 示 す ． 図 2 は Domino2 _{と い う MIDI 再 生 ソ フ ト ウ ェ ア で MIDI デ ー}

タ を 見 や す い 形 式 で 表 示 し た も の で あ る ． 縦 軸 が 音 程 を 表 し て お り ， 横 軸 が 時 間 を 表 し て い る ． 4 分 音 符 な ら ｢480｣， 8 分 音 符 な ら ｢240｣の よ う に 音 の 長 さ で 値 が 設 定 さ れ て い る ． 4.2 人 の 視 聴 と 実 際 の 音 符 長 の 違 い 単 純 に MIDI デ ー タ 内 の 音 符 長 を 利 用 し た 場 合 ， ユ ー ザ の 感 じ る 音 符 長 と は 異 な る 場 合 が あ る ． 図 3 の 左 に 示 し た MIDI イ ベ ン ト は ，｢2 分 音 符 ，付 点 4 分 音 符 ， 4 分 音 符 ｣の 連 続 で あ る が ，実 際 に ユ ー ザ が 視 聴 し ，擬 音 で 表 現 す る 場 合 ， 図 3 の 右 の よ う に な る と 考 え ら れ る ．付 点 4 分 音 符 の 途 中 で 4 分 音 符 が 鳴 り 始 め る た め ， 次 の 音 符 が 鳴 り 始 め る ま で 鳴 っ て い た 音 符 長 が 擬 音 入 力 の 際 に 利 用 さ れ る ． 2 http://takabosoft.com/domino 4.3 索 引 の 作 成 本 手 法 で 利 用 す る 楽 曲 の 情 報 は ， 音 符 の 鳴 り 始 め た 位 置 と 音 符 長 で あ る ． 楽 曲 が ど の よ う な 音 符 の 連 続 で 構 成 さ れ て い る か と い う 点 に 注 目 し ， 音 符 長 の 変 化 を 見 る こ と で 簡 略 化 を 行 う ． 隣 接 す る ２ つ の 音 符 を 比 較 し ， 1 つ 目 が 短 く 2 つ 目 が 長 い 場 合 に は 「 I」， 逆 の 場 合 は「 D」，2 つ の 音 符 が 同 じ 長 さ の 場 合 は「 S」の よ う に 記 号 に 置 き 換 え る ． 音 符 長 の 変 化 を 表 す 3 つ の パ タ ー ン に つ い て 各 楽 曲 に 対 し て 索 引 を 作 成 す る ．そ の 際 ， 楽 曲 内 に は 同 じ 長 さ の 音 符 が 連 続 す る こ と が 多 い た め ｢ S｣ が 連 続 し て 現 れ る 部 分 を ｢ S3｣ ｢S10 ｣の よ う に ま と め ， そ の 先 頭 の 出 現 位 置 だ け を 索 引 に 登 録 す る ． 図 4 に 索 引 の 一 例 を 示 す ．図 4 内 の 表 に は ，図 4 内 の MDI デ ー タ で そ れ ぞ れ の 音 符 長 の 変 化 が 表 れ る 位 置 を 先 頭 か ら の 音 符 数 で 表 記 し て い る ．

5. ク エ リ へ の 処 理

5.1 ア ン ケ ー ト 曲 を 聴 い た 際 に 人 が ど の よ う に 擬 音 で メ ロ デ ィ を 表 現 す る か 調 査 す る た め ，日 本 人 10 人 に 対 し て ア ン ケ ー ト を 行 っ た ．ア ン ケ ー ト で は 10 曲 の 楽 曲 を 対 象 と し ， 擬 音 で ク エ リ を 作 成 し て も ら い ， 収 集 し た ク エ リ を 基 に 考 察 を 行 っ た ． ク エ リ を 確 認 し た と こ ろ ， 楽 曲 を 擬 音 で 表 現 す る 際 ， 同 じ 楽 曲 で も 人 に よ り 音 符 の 長 さ を 表 現 す る 長 音 符 （ ― ） の 数 に 変 化 が 見 ら れ た ． ま た ， 音 符 数 の 入 力 ミ ス も 見 ら れ ， そ の ミ ス は ク エ リ の 文 字 列 が 長 い 場 合 や ， 同 じ 長 さ の 音 符 が 連 続 す る 場 合 に よ く 発 生 し て い た ． こ の ア ン ケ ー ト の 結 果 よ り ， 擬 音 手 法 で 行 っ て い た ， 擬 音 文 字 列 同 士 の マ ッ チ ン グ 手 法 は 実 際 の音 符 ユーザの感 じ方

図 3 MIDI イ ベン ト の重 な り

始 め 曲 の 位 置 終 り

パターン（置換記号）

音符長変化の位置

短い－長い（Ⅰ）

2,10,18,…

長い－短い（Ｄ）

3,11,16,…

同じ－同じ（Ｓ）

1,4,12,17,19,...

図 2 MIDI デ ータ の 例

図 4 音符 長 の 変化 の 索引

適 し て い な い と 考 え ら れ る ． こ れ は 音 符 長 を み て 音 符 を 擬 音 へ と 変 換 す る 際 の 表 現 方 法 が 人 に よ り 異 な る た め で あ る ． 5.2 ク エ リ の 変 換 3.2 節 で 述 べ た 擬 音 手 法 の 問 題 点 と 5.1 節 で 述 べ た ア ン ケ ー ト の 考 察 よ り ， ユ ー ザ の 正 確 な 入 力 が 望 め な い 問 題 へ の 対 処 と し て ， 正 確 な 特 徴 だ け を 利 用 す る こ と で ク エ リ を 簡 略 化 す る ． ク エ リ か ら 取 得 可 能 な 正 確 な 特 徴 と は 音 符 長 の 変 化 で あ る ． 正 確 な 音 符 の 長 さ が わ か ら な い 場 合 で も ， 隣 接 す る 音 符 の ど ち ら が 長 い か を 判 断 す る こ と は 容 易 で あ る ． そ こ で 4.3 節 で 述 べ た よ う に ，隣 接 す る ２ つ の 音 符 を 比 較 し 記 号 に 置 き 換 え る ． こ の よ う に 音 符 長 の 変 化 を 記 号 で 置 き 換 え る こ と で ， 音 符 の 具 体 的 な 長 さ を 考 慮 す る 必 要 が な く な り ， 簡 略 化 す る こ と が 出 来 る ． ま た 同 じ 長 さ の 音 符 が 連 続 す る 場 合 に は そ の 数 を ｢S｣の 後 に 付 加 す る ． こ の 数 字 は マ ッ チ ン グ の 際 の 類 似 度 の 計 算 に 利 用 す る ． ク エ リ を 変 換 例 を 図 5 に 示 す ． 例 （ ラ ー ラ ー ラ ー ー ー ラ ラ ラ ）の 場 合 に は「 ラ 」を 1 つ の 音 符 ，「 ー 」を 音 符 の 長 さ と し て 判 断 し ， 先 頭 は 「 ラ ー 」 と 「 ラ ー 」 で 同 じ た め 「 S1」， 次 に 1 音 符 ず ら し 「 ラ ー 」 と 「 ラ ー ー ー 」で 2 音 符 目 が 長 い た め「 I」と い っ た 要 領 で 置 き 換 え る ．

6. マ ッ チ ン グ 処 理

6.1 マ ッ チ ン グ の 流 れ 4.3 節 で 述 べ た ， 音 符 長 の 変 化 を 表 す 置 き 換 え 記 号 に よ る 索 引 を 利 用 し て マ ッ チ ン グ を 行 う ． マ ッ チ ン グ 箇 所 の 決 定 は ， ユ ー ザ の 入 力 し た ク エ リ の 先 頭 の 音 符 長 の 変 化 を 見 る こ と で 決 定 す る ． ク エ リ の 先 頭 が ｢D｣ の 記 号 で 表 さ れ る 音 符 長 変 化 で あ る 場 合 ， ｢D｣の 索 引 に 登 録 さ れ た 出 現 位 置 か ら マ ッ チ ン グ を 行 う 本 論 文 で は DP マ ッ チ ン グ と 呼 ば れ る マ ッ チ ン グ 手 法 を 改 良 し 類 似 度 の 計 算 に 用 い る ． マ ッ チ ン グ を 行 う 楽 曲 の 対 象 パ ー ト は ， ド ラ ム な ど の リ ズ ム パ ー ト を 除 い た メ ロ デ ィ を 含 む ト ラ ッ ク に 絞 る ． こ れ は ア ン ケ ー ト の 結 果 ， ユ ー ザ が 入 力 に 利 用 す る 楽 曲 対 象 部 は ， リ ズ ム パ ー ト な ど の 規 則 的 な 部 分 で は な く 特 徴 的 な メ ロ デ ィ パ ー ト が 多 か っ た た め で あ る ． 6.2 DP マ ッ チ ン グ DP マ ッ チ ン グ [6]の ｢DP｣と は ，動 的 計 画 法（ Dynamic Programming）の 略 で あ り ，パ タ ー ン 同 士 の 類 似 度 を 計 る 手 法 で あ る ．音 声 の 分 野 で 利 用 さ れ る こ と が 多 い が ， 本 手 法 で は 文 字 列 の 類 似 度 の 計 算 に 利 用 す る ．DP マ ッ チ ン グ の 特 徴 は ， 部 分 的 な 伸 縮 を 考 慮 す る 点 で あ り ， 文 字 の 一 致 や 補 完 に 対 し て コ ス ト を 指 定 す る こ と で 計 算 を 行 う ． 本 手 法 で は ， 文 字 が 一 致 す る 場 合 は コ ス ト の 増 加 は な し ， 文 字 が 不 一 致 の 場 合 に は ｢+3｣，文 字 を 補 完 し た 場 合 は ｢+1｣と い っ た よ う に コ ス ト を 加 算 し て い く ．そ の た め 累 計 コ ス ト が 小 さ い 程 文 字 列 の 類 似 度 が 高 い こ と を 表 す ． 6.2.1 DP マ ッ チ ン グ へ の ル ー ル の 追 加 本 手 法 で は 通 常 の DP マ ッ チ ン グ に 加 え ， 独 自 の ル ー ル を 加 え て い る ． 第 1 の ル ー ル と し て 文 字 の 一 致 確 認 の 際 に ｢I｣と ｢D｣， ｢I｣と ｢S｣の 比 較 で は 増 加 す る コ ス ト を 変 更 し て い る ． こ れ は 2 つ の 音 符 を 比 較 す る 場 合 ，ユ ー ザ が 短 い 音 符 ， 長 い 音 符 の 連 続 で あ る と 感 じ た 部 分 が 実 は 長 い 音 符 ， 短 い 音 符 の 連 続 で あ る 可 能 性 よ り も ， 同 じ 長 さ の 音 符 の 連 続 で あ る 可 能 性 の 方 が 高 い と 考 え ら れ る た め で あ る ． そ の た め ｢I｣｢S｣の 違 い で は コ ス ト の 増 加 が 3 に 対 し て ， ｢I｣｢D｣の 違 い で は 6 に 変 更 し て 計 算 を 行 う ． ま た 第 2 の ル ー ル と し て ， ｢S｣同 士 の 比 較 時 に 新 た な コ ス ト の 増 加 を 設 定 し て い る ． 連 続 す る ｢S｣の 数 の 差 が 小 さ け れ ば 類 似 し て い る が ， 差 が 大 き け れ ば 類 似 し て い な い と 考 え ら れ る ．そ の た め ，｢S｣の 差 に 0.3 を 乗 算 し ，コ ス ト の 計 算 に 利 用 す る ．｢S1｣と ｢S4｣の 比 較 で あ れ ば ，コ ス ト は (4-1)×0.3=0.9 と な る ．た だ し ユ ー ザ の 入 力 は 終 了 し た 場 合 で も 楽 曲 内 の ｢ S｣は 連 続 す る こ と が 考 え ら れ る た め ク エ リ の 先 頭 と 最 後 尾 で は 楽 曲 側 の 連 続 す る ｢S｣が 多 い 場 合 に コ ス ト を 0 と し て い る ． 6.2.2 DP マ ッ チ ン グ の 流 れ 処 理 の 流 れ を 図 6 に 示 す ． 図 6 は ｢ S1,I,I,S6,I ｣ と ｢S1,I,D,S6,I｣の 2 つ の 記 号 列 に 対 し て DP マ ッ チ ン グ を 行 っ た 例 で あ る ． ① で あ ら か じ め 文 字 の 不 一 致 部 分 の 増 加 コ ス ト を 計 算 し て お き ， ② で 補 完 の コ ス ト も 加 え た 累 計 コ ス ト を 導 き 出 す ．② の 表 の 左 上 端 の ｢0｣の 位 置 を 原 点 と し ， 隣 接 す る 3 マ ス の 内 の ど の マ ス に 進 ん だ 場 合 最 も コ ス ト が 低 く な る か 判 断 を 繰 り 返 し 右 下 端 ま で 計 算 を 行 う ． 隣 接 す る マ ス へ の 移 動 で は ， 右 と 下 へ の 移 動 が 文 字 の 補 完 を 表 す コ ス ト 1 増 加 ， 斜 め の 移 動 で は コ ス ト の 増 加 は な い ． 図 6 の 例 で は ， 文 字 の 補 完 が 2 回 ， ｢S6｣と ｢D｣に よ る 文 字 不 一 致 が 一 回 行 わ れ ， 累 計 コ ス ト は 5 と な る ．

パターン（置換記号）

短い－長い（Ⅰ）

長い－短い（Ｄ）

同じ－同じ（Ｓ）

(例)ラーラーラーーーラララ

Ｓ1-Ⅰ-Ｄ-Ｓ2

図 5 音符 長 の 変化 を 表す 中 間 言語

6.3 マ ッ チ ン グ の 手 順 マ ッ チ ン グ を 行 う 箇 所 は ， ク エ リ の 先 頭 の 音 符 長 の 変 化 に よ り 決 定 さ れ る ． そ の 際 マ ッ チ ン グ に 利 用 す る 文 字 列 は ， 変 換 後 の ク エ リ と 同 じ 長 さ と す る ． こ れ は マ ッ チ ン グ の 対 象 と す る 楽 曲 対 象 部 は ユ ー ザ が 想 定 す る 音 符 数 と 同 じ で あ る と 考 え ら れ る た め で あ る ． こ の 楽 曲 か ら 切 り 出 し ，マ ッ チ ン グ に 利 用 す る 部 分 を ｢音 楽 片 ｣と 呼 ぶ ．音 楽 片 の 幅 を 固 定 に す る こ と で ユ ー ザ の 音 符 数 の ミ ス が 影 響 す る と 考 え ら れ る が ， ユ ー ザ の 入 力 に ミ ス が 発 生 す る 問 題 は 同 じ 長 さ の 音 符 が 連 続 す る 場 合 に 多 い た め ， 連 続 す る ｢ S｣の 数 を 一 つ に ま と め ， そ の 数 に よ り 類 似 度 に 違 い を 出 す こ と で 少 量 の ミ ス に 配 慮 し て い る ． 従 来 手 法 で あ る 擬 音 手 法 で は 楽 曲 の 先 頭 か ら 音 楽 片 の 幅 は 固 定 で 1 音 符 ず つ ず ら し な が ら マ ッ チ ン グ を 行 う こ と で 網 羅 的 に マ ッ チ ン グ を 行 っ て い た ． 正 解 の 音 楽 片 を 確 実 に 含 ん で い る こ と が 利 点 で あ る が ， 処 理 時 間 が 問 題 で あ っ た ． そ こ で ｢音 符 長 変 化 手 法 ｣で は マ ッ チ ン グ を 行 う 音 楽 片 を 絞 る こ と で 処 理 速 度 の 向 上 を 図 る ． 6.4 マ ッ チ ン グ 回 数 の 削 減 6.4.1 マ ッ チ ン グ 箇 所 の 選 択 ク エ リ の 先 頭 部 分 は 入 力 の ミ ス が 少 な い こ と を 利 用 し ， マ ッ チ ン グ を 行 う 音 楽 片 を 絞 り 込 ん で い る ． 図 7 で は ｢ラ ー ー ラ ー ラ ラ ー ー ラ ー ｣が ク エ リ で あ る 場 合 ， 先 頭 の 音 符 長 の 変 化 は ｢D｣で あ る た め ， 図 内 の ① か ら ④ で 囲 っ た 枠 内 が マ ッ チ ン グ の 対 象 と な る ． し か し ， 点 線 で 囲 っ た ③ の 音 楽 片 は ， 音 符 の 数 が ク エ リ よ り も 少 な い た め ， マ ッ チ ン グ は 行 わ な い ． 6.4.1 同 音 符 長 部 分 の 圧 縮 楽 曲 内 に は 同 じ 長 さ の 音 符 が 連 続 す る 部 分 が 多 々 あ り ， こ れ を 4.3 節 で 述 べ た よ う に 1 つ の 特 徴 と し て 表 現 す る こ と で 処 理 回 数 を 減 ら す 方 法 で あ る ． こ れ ら の 音 楽 片 は 擬 音 で 表 現 し て も ｢ラ ー ラ ー ラ ー ラ ー ラ ー ラ ー ラ ー ｣の よ う に 単 調 で あ る た め ，ユ ー ザ が 入 力 に 利 用 す る こ と は な い と 考 え ら れ る ． ま た ， 入 力 さ れ た 場 合 に は 完 全 一 致 と な る 楽 曲 が 多 数 あ り ， 正 解 の 楽 曲 を 提 示 す る こ と は 困 難 で あ る ． 6.4.1 楽 曲 内 の 休 符 の 考 慮 楽 曲 内 に は メ ロ デ ィ と メ ロ デ ィ の 間 に は 度 々 休 符 が 表 れ る ． こ の 休 符 で メ ロ デ ィ が 途 切 れ た と ユ ー ザ が 感 じ る 場 合 ， 休 符 の 前 後 の メ ロ デ ィ を 同 時 に 入 力 と し て 利 用 す る こ と は 非 常 に 少 な い と 考 え ら れ る ． こ の よ う な 休 符 毎 に 楽 曲 を 区 切 る こ と で ， 必 要 な 音 符 数 を 含 ま な い 音 楽 片 へ の マ ッ チ ン グ を 削 減 す る こ と が 可 能 で あ る ． メ ロ デ ィ の 区 切 れ だ と 感 じ る 休 符 の 長 さ は 人 に よ り 様 々 で あ る と 考 え ら れ る が ， 今 回 は 全 休 符 以 上 の 長 さ の 休 符 を メ ロ デ ィ の 区 切 れ 目 と す る ． そ の 例 を 図 8 に 示 す ． 図 8 の ③ と ④ の 枠 の 間 に は 全 休 符 が あ る た め こ こ で 楽 曲 を 区 切 っ て い る ． こ こ で 区 切 ら な い 場 合 は ， ③ と ④ の 音 符 が 連 続 し て い る と み な さ れ る た め ， ③ に ２ 分 音 符 を １ つ 追 加 し た ５ 音 符 の 音 楽 片 に 対 し て マ ッ チ ン グ を 行 う 必 要 が あ る ．

クエリ：ラーーラーララーーラー

累 計 コ ス ト

②

①

図 6 DP マッ チ ン グ の流 れ

図 7 マッ チ ン グの 手 順

7. 評 価 実 験

10 人 の ユ ー ザ に ク ラ シ ッ ク 音 楽 10 曲 を 聴 い て も ら い ，擬 音 の ク エ リ を 作 成 し て も ら っ た ．合 計 50 件 の ク エ リ を 用 い て ， 今 回 提 案 し た ｢音 符 長 変 化 手 法 ｣と ， 従 来 の 手 法 で あ る ｢擬 音 手 法 ｣で 検 索 を 行 い ， そ の ラ ン キ ン グ 結 果 を 基 に 評 価 を 行 う ． 検 索 対 象 と し て 利 用 す る 楽 曲 は ク ラ シ ッ ク 音 楽 50 曲 で あ る ． 7.1 評 価 指 標 ラ ン キ ン グ の 結 果 は 楽 曲 内 で 最 も 累 計 コ ス ト が 低 い 値 を 見 て 決 定 す る ． こ れ は 累 計 コ ス ト が 小 さ い 部 分 が 最 も そ の 楽 曲 内 で 類 似 し て お り ， ユ ー ザ が ク エ リ に 利 用 し た 音 楽 片 で あ る 可 能 性 が 高 い か ら で あ る ． ま た 同 楽 曲 内 に は 同 じ フ レ ー ズ が 繰 り 返 し 現 れ る こ と が あ る た め ， 最 小 累 計 コ ス ト が 同 じ で あ る 楽 曲 は ， 次 に 小 さ い 累 計 コ ス ト を 確 認 し ， よ り 小 さ い 累 計 コ ス ト を 含 む 楽 曲 を ラ ン キ ン グ の 上 位 と す る ． 手 法 の 評 価 は ラ ン キ ン グ の 結 果 を ス コ ア リ ン グ す る こ と で 行 う ．ラ ン キ ン グ 結 果 の 上 位 10 件 を 確 認 し ，正 解 楽 曲 が 1 位 で あ れ ば ス コ ア は 1.0， 2 位 な ら 0.9， の よ う に 10 位 ま で 0.1 ず つ ス コ ア を 下 げ ，11 位 以 下 は 0 と す る ． 全 て の ク エ リ の ス コ ア を 足 し 合 わ せ ， 平 均 し た 値 を 手 法 の ス コ ア と す る ． 7.2 実 験 結 果 表 1 に ラ ン キ ン グ の 結 果 を 示 す ． 前 述 し た ス コ ア リ ン グ に よ る 両 手 法 の ス コ ア は ，音 符 長 変 化 手 法 が 0.376， 擬 音 手 法 が 0.370 と な っ た ．50 件 の ク エ リ 中 ， 正 解 楽 曲 が 3 位 ま で に 出 現 し た も の は ， 音 符 長 変 化 手 法 で は 14 件 ， 擬 音 手 法 で 12 件 で あ っ た ． 擬 音 手 法 よ り も 音 符 長 変 化 手 法 に お い て 順 位 が 上 が っ た ク エ リ は 25 件 ， 同 順 の も の が 6 件 で あ っ た ． 1 ク エ リ 当 た り の 平 均 処 理 時 間3 は 音 符 長 変 化 手 法 が 60.2 秒 ，擬 音 手 法 が 415.8 秒 と な っ た ． 3

CPU： Intel Core i5 (3.30GHz) ，メ モ リ 4GB の PC を 利 用

8. 考 察

ラ ン キ ン グ の 結 果 で は ， 音 符 長 変 化 手 法 の ス コ ア が ｢0.376｣， 擬 音 手 法 が ｢3.7｣と な り ， ス コ ア の 大 き な 変 化 は 見 ら れ な か っ た ． し か し ， 各 ク エ リ で の 両 手 法 の 結 果 が 変 化 し て い な か っ た わ け で は な い ． 8.1 音 符 長 変 化 手 法 の 利 点 擬 音 手 法 よ り も 順 位 が 上 が っ た ク エ リ は 25 件 あ り ， そ れ ら の ラ ン キ ン グ 結 果 を 確 認 し た と こ ろ ， 他 楽 曲 と の 累 計 コ ス ト の 違 い が 大 き く 表 れ て い た ． 擬 音 手 法 で は DP マ ッ チ ン グ 時 の コ ス ト 増 加 条 件 が 少 な い た め ， 楽 曲 毎 の 最 小 累 計 コ ス ト を 比 較 す る 際 に 同 値 で あ る 楽 曲 が 多 い 問 題 が 見 ら れ た ． し か し 音 符 長 変 化 手 法 で は DP マ ッ チ ン グ を 改 良 し た こ と で ，本 来 最 小 コ ス ト が 同 値 で あ っ た 楽 曲 集 合 の 中 で も 差 が 生 ま れ ， よ り 楽 曲 の 類 似 度 合 の 判 断 が 容 易 に な っ た ． 8.2 音 符 長 変 化 手 法 の 問 題 点 音 符 長 変 化 手 法 に よ る ラ ン キ ン グ 順 位 が 擬 音 手 法 よ り 下 が っ た ク エ リ は 19 件 で あ っ た ．連 続 す る ｢S｣を ま と め る こ と で ， そ の 数 を 類 似 度 の 計 算 に 利 用 し て い る が ， 一 つ の 文 字 に ま と め て し ま う こ と で 問 題 が 発 生 し て い る ク エ リ が 存 在 し た ． そ の 例 を 図 9 に 示 す ． 図 9 に 示 し た MIDI の 音 楽 片 を ク エ リ と し て 入 力 し た ユ ー ザ が 存 在 し た ．ク エ リ は ｢ラ ー ラ ラ ラ ー ラ ラ ラ ー ラ ラ ラ ラ ラ ラ ラ ラ ラ ラ ラ ラ ラ ラ ラ ー ー ー ｣で あ り ，こ れ を 中 間 言 語 に 置 き 換 え る と ｢D,S1,I,D,S1,I,S13,I｣と な る ．し か し MIDI デ ー タ 側 は ｢S｣が さ ら に 連 続 し て お り ，同 音 符 数 で の マ ッ チ ン グ を 行 う 場 合 に ｢D,S1,I,D,S1,I,S28,I｣と の マ ッ チ ン グ と な り ｢S｣の 数 の 差 が 15 で あ る と 判 断 し て し ま い 累 計 コ ス ト が 増 大 し て し ま う ．そ の た め 楽 曲 側 の ｢S28｣を 分 割 す る こ と で ， ク エ リ の ｢ S13｣部 分 は 完 全 に 一 致 し た 部 分 ， ク エ リ の 最 後 の ｢I｣と 楽 曲 側 の 残 り の ｢S｣と の 文 字 一 致 を 判 定 し ， マ ッ チ ン グ を 行 う 必 要 が あ る と 考 え ら れ る ． 8.3 両 手 法 で 共 通 の 問 題 点 ク エ リ 自 体 に 含 ま れ る 音 符 数 が 少 な い こ と が 問 題 で あ る ．実 際 に 存 在 し た ク エ リ を 例 と し て 挙 げ る ．｢ラ ー ー ー ー ラ ー ー ー ー ラ ラ ラ ー ー ー ｣と い う ク エ リ は 音 符 長 変 化 手 法 で 14 位 と い う 結 果 で あ っ た が ，音 符 長 を 表 す 中 間 言 語 に 置 き 換 え る と ， ｢S1,D,S1,I｣で あ る ． こ の 変 化 が 表 れ る 曲 数 は 多 数 あ り ， 正 解 楽 曲 が 完 全 一 致 す る 音 楽 片 を 含 ん で い て も ， そ の 数 が 少 な い 場 合 ラ ン キ ン グ の 結 果 が 悪 く な っ て し ま う ． 現 在 の ラ ン キ ン グ の 決 定 で は 最 小 累 計 コ ス ト が 同 じ の 場 合 そ の 数 を ， 数 も 同 じ の 場 合 次 に 低 い 累 計 コ ス ト を 利 用 す る た め ， MIDI デ ー タ 自 体 の 長 さ を 考 慮 し た ラ ン キ ン グ 決 定 を 行 う 必 要 が あ る と 考 え ら れ る ．

音符長変化手法 擬音手法

スコア

0.376

0.37

正解が1位～3位のクエリ数

14

12

正解が10位より下のクエリ数

23

21

1クエリの平均処理時間(秒)

60.2

415.8

表 1 ラン キ ン グ結 果

ま た 別 の 問 題 と し て ， ク エ リ と ユ ー ザ が ク エ リ に 利 用 し た 楽 曲 の 対 象 メ ロ デ ィ 部 を 確 認 し た と こ ろ ， メ ロ デ ィ を 正 確 に 擬 音 で 表 現 出 来 て い な い ク エ リ が 存 在 し た ． こ れ は ， 前 後 の 音 符 で 長 さ が 違 う と 感 じ て い て も 文 字 で の 入 力 に 選 択 肢 が 少 な く 結 果 的 に 間 違 っ た 入 力 と な っ て い る ク エ リ で あ る ．そ の 例 を 図 10 に 示 す ．図 10 で 4 分 音 符 を ｢ラ ー ｣と 表 現 し た 場 合 ，次 の 8 分 音 符 は ｢ラ ｣と 入 力 さ れ る 可 能 性 が 高 い ．こ こ で 次 に 16 分 音 符 が 出 て き た 場 合 に ， ど の よ う に 記 述 す る か が 問 題 と な る ．半 角 の ｢ﾗ｣を 利 用 す る 可 能 性 が 考 え ら れ る が ，今 回 ク エ リ の 収 集 を 行 っ た ユ ー ザ で は ，8 分 音 符 も 16 分 音 符 も ｢ラ ｣と 入 力 さ れ る こ と が 多 く み ら れ た ． こ の よ う に ｢ラ ー ｣と ｢ラ ｣の 中 間 や ， ｢ラ ｣よ り 短 い 状 態 を 表 す 入 力 方 法 が な く ｢ラ ｣と 記 述 し て し ま う 問 題 は ， 音 符 長 の 変 化 に 注 目 し て い る 音 符 長 変 化 手 法 で は ， 類 似 度 の 低 下 の 原 因 と な る ． 8.4 DP マ ッ チ ン グ の コ ス ト 設 定 文 字 不 一 致 で コ ス ト が 3 増 加 と い っ た パ ラ メ ー タ の 設 定 を 変 更 し た 場 合 の 結 果 に つ い て も 検 証 の 必 要 が あ る と 考 え ら れ る ． ま た 別 に DP マ ッ チ ン グ 時 の コ ス ト 増 加 の 設 定 で 少 し 問 題 で あ る と 感 じ た 点 が 存 在 す る ．そ れ は ，現 在 ｢S｣ と ｢ I｣ま た は ｢ S｣と ｢ D｣の 比 較 で は ｢ S｣ に 付 加 さ れ た 数 字 が 何 で あ っ て も 文 字 不 一 致 コ ス ト と し て コ ス ト を ｢3｣増 加 し て い る 点 で あ る ． こ の 場 合 ｢D｣と ｢S｣類 似 を 判 断 す る 際 に ｢S｣が ｢S1｣の 場 合 と ｢S10｣の 場 合 で は ，増 加 す る コ ス ト を 変 化 す る 必 要 が あ る と 考 え ら れ る ．

9. お わ り に

本 論 文 で は 擬 音 文 字 列 を ク エ リ と し ， 音 符 長 の 変 化 に 注 目 し た 楽 曲 検 索 手 法 を 提 案 し ，評 価 実 験 を 行 っ た ． 本 研 究 の 今 後 の 課 題 は ， 音 符 長 変 化 手 法 に お け る 精 度 の 向 上 で あ る ．今 回 利 用 し た 50 件 の ク エ リ の 結 果 を 考 察 す る こ と で 手 法 の 改 善 点 が 判 明 し た た め ， そ れ ら の 改 善 を 行 い ， 再 実 験 を 行 う 必 要 が あ る ． ま た ク エ リ の ミ ス を 減 ら す た め に ， ユ ー ザ の 入 力 方 法 に 何 か し ら の 制 限 を か け る こ と も 考 慮 し て い る ． ク エ リ か ら 取 得 で き る 特 徴 が 少 な い た め ， 利 用 可 能 な 特 徴 を 正 確 に 取 得 可 能 な 手 法 や イ ン タ フ ェ ー ス の 実 現 が 重 要 で あ る と 考 え ら れ る ．

参 考 文 献

[1] 石 原 健 司 ， 木 村 文 則 ， 前 田 亮 ． 擬 音 語 入 力 に よ る ク ラ シ ッ ク 音 楽 検 索 手 法 の 提 案 ．第 4 回 デ ー タ 工 学 と 情 報 マ ネ ジ メ ン ト に 関 す る フ ォ ー ラ ム （ DEIM 2012） E3-1， 2012．

[2] Classical Music on Classical Archives:

http://www.classicalarchives.com/index.html?navID =0 [3] 梶 克 彦 ，長 尾 確 ．楽 曲 に 対 す る 多 様 な 解 釈 を 扱 う 音 楽 ア ノ テ ー シ ョ ン シ ス テ ム ．情 報 処 理 学 会 論 文 誌 48(1)， -pp． 258-273， 2007． [4] 斧 山 青 矢 ，吉 田 真 一 ．フ レ ー ズ 毎 の 音 楽 特 徴 を 用 い た 楽 曲 検 索 シ ス テ ム の 提 案 ． 高 知 工 科 大 学 情 報 シ ス テ ム 工 学 科 学 士 学 位 論 文 2011 http://www.kochi-tech.ac.jp/library/ron/2010/2010inf o/1110381.pdf [5] 池 谷 直 紀 , 服 部 正 典 , 梅 木 秀 雄 , 大 須 賀 昭 彦 ．リ ズ ム 入 力 イ ン タ フ ェ ー ス ｢ タ タ タ タ ッ プ ｣ に よ る 大 規 模 音 楽 検 索 ．情 報 処 理 学 会 研 究 報 告 ．27-33，2005． [6] 内 田 誠 一 ： DP マ ッ チ ン グ 概 説 ： 基 本 と 様 々 な 拡 張 ， 電 子 情 報 通 信 学 会 技 術 研 究 報 告(特 別 講 演), PRMU2006-166, pp． 31-36， 2006． ラー ラ ？ こ れ 以 降 も ｢S｣が 連 続 す る

図 2 ｢S｣の 変 化 をま とめ る 問 題点

図 3 クエ リ 入 力の 問 題