DEIM Forum 2016 E3-5
独立した音楽と映像に対する印象評価からの音楽動画の印象推定手法
大野直紀
†1土屋駿貴
†1中村聡史
†1山本岳洋
†2†1 明治大学総合数理学部 〒164-8525 東京都中野区中野 4-21-1
†2 京都大学大学院情報学研究科 〒606-8501 京都府京都市左京区吉田本町 4-5-6
E-mail: †1 {ev30508,ev30616}@meiji.ac.jp, [email protected]
†2 [email protected]
あらまし 音楽動画の印象に基づく検索や推薦，音楽動画の類似判定のためには，音楽動画の印象推定に関する 技術が必須となる．ここで，音楽に対する印象評価や映像に対する印象評価に関する研究は多数なされている一方 で，音楽動画に対する印象評価の研究は十分になされていない．我々は，音楽と映像がどのように音楽動画の印象 に影響するのかを調べるため，「音楽のみ」「映像のみ」「音楽動画」に対する500 件の印象評価データセットから音 楽と映像を任意に合成した音楽動画を生成し，印象評価を行ってもらうことで音楽動画から受ける印象は音楽に影 響を受けやすいことなどを明らかにした．また，回帰分析を用いることで「音楽のみ」「映像のみ」の印象評価を組 み合わせによる音楽動画の印象推定を行った． キーワード 音楽動画，印象推定，音楽，映像1. はじ め に
コ ン テ ン ツ 制 作 支 援 シ ス テ ム の 普 及 や 発 展 に よ り ， だ れ で も 楽 曲 や 動 画 を 創 作 す る こ と が 容 易 に な っ た ． ま た ， 大 規 模 動 画 共 有 サ イ ト の 普 及 に よ り ， 多 く の ア マ チ ュ ア 作 曲 者 や 動 画 製 作 者 が 創 作 し た コ ン テ ン ツ を 発 表 す る 場 が で き ， 他 者 が 容 易 に 閲 覧 す る こ と が 可 能 と な っ た ． こ れ に よ り ， 人 々 が 接 す る こ と の で き る 音 楽 動 画 が 非 常 に 増 加 し た と い え る ． な お ， 本 研 究 で は 音 楽 が 主 と し て あ り な が ら も ， そ の 音 楽 と 時 間 的 に 同 期 し て 映 像 が 提 示 さ れ る も の を 「 音 楽 動 画 」 と 呼 ぶ ． 音 楽 動 画 の 増 加 に 関 し て 顕 著 な 例 が ， 初 音 ミ ク を は じ め と す る VOCALOID を 使 用 し た も の で あ り ， 日 本 最 大 の 動 画 共 有 サ イ ト で あ る ニ コ ニ コ 動 画 に お い て 膨 大 な 量 の 動 画 が 存 在 し て い る（2016 年 1 月 1 日 時 点 で 約39 万 件 ）． ま た ， ア マ チ ュ ア 作 曲 者 お よ び 動 画 作 成 者 が 投 稿 し た 音 楽 動 画 が 100 万 回 以 上 再 生 さ れ て い る も の も 多 数 存 在 し て い る ． こ れ は ニ コ ニ コ 動 画 と い う 動 画 投 稿 お よ び 共 有 基 盤 の 存 在 と ，VOCALOID な ど の コ ン テ ン ツ 制 作 支 援 シ ス テ ム に よ っ て コ ン テ ン ツ の 制 作 が 容 易 に な っ た こ と が 大 き い が ， そ れ に 加 え 「 歌 っ て み た 」「 踊 っ て み た 」な ど に 代 表 さ れ る 二 次 創 作 が 広 ま っ た こ と も 大 き く 寄 与 し て い る と 考 え ら れ る ． 人 々 が ア ク セ ス で き る 音 楽 動 画 の 数 が 増 加 し て い る 一 方 で ， 音 楽 動 画 を 探 す た め の 検 索 手 段 は 多 様 で は な い ． た と え ば ， ニ コ ニ コ 動 画 で は 音 楽 動 画 名 や ア ー テ ィ ス ト 名 ， タ グ と い っ た テ キ ス ト 情 報 に 対 す る キ ー ワ ー ド 検 索 や ， 再 生 数 や 投 稿 日 に よ る 動 画 の ソ ー ト な ど の 方 法 で し か 検 索 を 行 う こ と が で き な い ． ユ ー ザ が 音 楽 動 画 を 検 索 す る 際 に 作 者 名 や タ イ ト ル と い っ た キ ー ワ ー ド を 思 い つ く こ と が で き な い 場 合 や ， ま た ユ ー ザ が 求 め る 気 分 に あ っ た 未 知 の 音 楽 動 画 を 検 索 す る 際 ，「 泣 き た い 気 分 な の で 悲 し い 音 楽 を 探 し た い 」 や 「 気 分 を 昂 ぶ ら せ た い の で か っ こ い い 音 楽 を 探 し た い 」 と い っ た よ う に ユ ー ザ は 求 め る 音 楽 動 画 を 雰 囲 気 や 印 象 と い っ た 曖 昧 な 情 報 で 表 現 す る こ と に な る ． し か し ，「 悲 し い 音 楽 」「 か っ こ い い 音 楽 」 と キ ー ワ ー ド を 絞 っ た と し て も ， 音 楽 動 画 の 説 明 文 自 体 に 雰 囲 気 や 印 象 な ど の 情 報 が テ キ ス ト と し て 含 ま れ て い る こ と が 少 な く ， テ キ ス ト マ ッ チ で の 検 索 は 難 し い ． ま た ， こ う し た サ ー ビ ス 上 で は ， ユ ー ザ が 印 象 タ グ を 付 与 し て 他 者 の 検 索 に 役 立 て る こ と が 可 能 で あ る が ， そ の 割 合 は ニ コ ニ コ 動 画 で は 5％ [9]， 音 楽 に 関 す る ソ ー シ ャ ル メ デ ィ ア で あ るLast.fm で は 14％ [11]と 少 な く ， 現 状 で は 検 索 に 利 用 す る に は 不 十 分 で あ る ． こ う し た 問 題 を 解 決 す る た め ， 音 楽 情 報 検 索 の 分 野 で は ， 楽 曲 の 視 聴 を 通 し て ユ ー ザ が 受 け る 主 観 的 な 印 象 を 推 定 す る 研 究 が 多 数 行 わ れ て い る[6][9]． こ こ で ， 主 観 的 な 印 象 に 基 づ く 検 索 と は ， ユ ー ザ が 楽 曲 を 聴 い て 受 け る 印 象 に 合 う よ う に ，「 人 気 の あ る 切 な い 音 楽 」 や 「 元 気 の 出 る 印 象 を 受 け る 動 画 」 と い っ た ， 主 観 的 な 印 象 語 を ク エ リ に 含 ん だ 楽 曲 の 検 索 を 可 能 と す る 手 法 の こ と で あ る ． こ の よ う な 主 観 的 な 印 象 に 基 づ く 検 索 が 可 能 と な れ ば ，VOCALOID を 用 い た 音 楽 動 画 の よ う な ，比 較 的 新 し く ， ユ ー ザ 自 身 が 好 む ア ー テ ィ ス ト や ジ ャ ン ル が ま だ な い ド メ イ ン に お け る 音 楽 動 画 を 探 し て い る ユ ー ザ へ の 検 索 手 段 と な る ． ま た ， 既 存 の ド メ イ ン に お い て も ， 動 画 推 薦 の 手 法 の 一 つ と し て 雰 囲 気 が 類 似 し て い る 楽 曲 を 推 薦 す る こ と が 可 能 に な り ，ア ー テ ィ ス ト ，ジ ャ ン ル に 縛 ら れ な い 動 画 推 薦 が 可 能 に な る ．さ ら に ， こ れ ま で に な い 新 し い 観 点 か ら の 検 索 手 段 を 提 供 す る こ と が で き ， ユ ー ザ が 未 知 か つ ユ ー ザ の 求 め て い る 雰 囲 気 に 合 っ た 音 楽 動 画 を 検 索 す る こ と が で き る ． こ こ で ， 楽 曲 自 体 ， 映 像 自 体 に つ い て は 様 々 な 印 象 評 価 に 関 す る 研 究 が 行 わ れ て い る も の の ， 楽 曲 ， 映 像 ， 音 楽 動 画 で は ， 受 け る 印 象 は そ れ ぞ れ 異 な る と 考 え ら れ る た め ， あ る 楽 曲 ， あ る 映 像 に 対 す る 印 象 を そ の ま ま そ の 音 楽 動 画 の 印 象 評 価 に 適 用 す る こ と は 難 し い ． メ デ ィ ア を 融 合 し た 際 に ど の よ う に 印 象 評 価 が 変 化 す る か と い う 点 に 関 す る 研 究 と し て は ， 静 止 画 と 音 楽 の 組 み 合 わ せ に よ っ て お こ る 印 象 の 変 化 な ど が 検 証 さ れ て い る[4]．ま た ，映 像 と 音 楽 の 組 み 合 わ せ で は 視 覚 刺 激 に よ る 影 響 が 大 き い こ と な ど が 明 ら か に さ れ て い る[5]．さ ら に ，音 楽 動 画 の 印 象 推 定 に 関 す る 研 究 と し て は ， 音 楽 動 画 に 付 与 さ れ た ソ ー シ ャ ル コ メ ン ト を 用 い て 印 象 を 推 定 す る 研 究[9][13]な ど が 提 案 さ れ て い る が ， メ デ ィ ア を 融 合 し た 際 の 印 象 評 価 の 変 化 を 考 慮 し て 音 楽 動 画 の 印 象 推 定 を 行 っ て い る 研 究 は 存 在 し な い ． 一 方 ， 我 々 は こ れ ま で の 研 究 に お い て ， ニ コ ニ コ 動 画 上 の 音 楽 動 画 500 件 の 音 楽 動 画 全 体 に 対 す る 印 象 評 価 デ ー タ セ ッ ト の 作 成 を 行 っ た[1]．ま た ，先 述 と 同 様 の 音 楽 動 画500 件 の サ ビ 部 分 の 30 秒 に つ い て ，「 音 楽 の み 」「 映 像 の み 」「 音 楽 と 映 像 の 組 み 合 わ せ 」 の 3 つ の メ デ ィ ア タ イ プ に 分 離 し た も の に 対 し て 印 象 評 価 を 行 い ， メ デ ィ ア 分 離 さ れ た 印 象 評 価 デ ー タ セ ッ ト を 構 築 し た[12]． こ う し て 得 ら れ た デ ー タ セ ッ ト に 対 し 分 析 を 行 っ た と こ ろ ， 音 楽 動 画 全 体 と 音 楽 動 画 の サ ビ 部 分 で は 印 象 評 価 が 大 き く 異 な る こ と ， 音 楽 動 画 の 印 象 評 価 は 音 楽 の 印 象 と 映 像 の 印 象 を 組 み 合 わ せ る こ と で 音 楽 動 画 の 印 象 推 定 が で き る 可 能 性 が あ る こ と を 明 ら か に す る こ と が で き た ． し か し ， 各 メ デ ィ ア の 各 印 象 が ど の よ う に 組 み 合 わ さ っ て 音 楽 動 画 の 印 象 に な っ て い る か の 解 明 は で き て お ら ず ， ま た 実 際 に 推 定 手 法 を 提 案 す る ま で に は 至 っ て い な か っ た ． そ こ で 本 研 究 で は ，音 楽 動 画 を「 音 楽 の み 」「 映 像 の み 」 に 分 離 し た も の に 対 す る 印 象 を 組 み 合 わ せ る こ と で の 音 楽 動 画 の 印 象 推 定 手 法 の 提 案 ， ま た そ れ に 対 す る 評 価 を 行 う ． 印 象 推 定 に 対 す る ア プ ロ ー チ と し て ， 先 述 の 研 究 で 構 築 し た デ ー タ セ ッ ト2 件 で 対 象 と し た 500 件 の 音 楽 動 画 の「 音 楽 の み 」「 映 像 の み 」を ラ ン ダ ム に 組 み 合 わ せ ， 音 楽 動 画 を 自 動 生 成 す る ． こ う し て 生 成 さ れ た 音 楽 動 画 に 対 し ユ ー ザ に 印 象 評 価 を 行 っ て も ら う こ と で ， 印 象 が ど の よ う に 変 化 す る の か と い う こ と を 分 析 可 能 と す る と と も に ， こ の 評 価 デ ー タ と 過 去 の 研 究 で 構 築 し た デ ー タ セ ッ ト を も と に ， 音 楽 動 画 の「 音 楽 の み 」「 映 像 の み 」の 印 象 評 価 の 組 み 合 わ せ に よ る 印 象 推 定 お よ び 評 価 を 行 っ た ．
2. 関連 研 究
音 楽 情 報 処 理 の 分 野 で は ， ユ ー ザ の 検 索 を 支 援 す る た め に ， 楽 曲 の 印 象 の 推 定 や 印 象 に ま つ わ る 楽 曲 検 索 に 関 す る 研 究 が 多 数 行 わ れ て い る ． 2.1 楽 曲 の 印 象 モ デ ル 楽 曲 の 印 象 の 表 現 方 法 に つ い て は ， 様 々 な ア プ ロ ー チ が 提 案 さ れ て い る ．MIREX で は ，印 象 を 表 す 形 容 詞 を ク ラ ス タ リ ン グ す る こ と で ， 印 象 を5 つ の ク ラ ス に 分 割 し ， 印 象 推 定 の タ ス ク に 用 い て い る ． ま た ， 楽 曲 の み を 対 象 と し た も の で は な い が ， 楽 曲 の 印 象 推 定 に も 広 く 用 い ら れ る モ デ ル と し て ，Russel が 提 案 し た Valence-Arousal 空 間 が あ る [7]．Valence は 快 -不 快 を 表 す 次 元 ，Arousal は 覚 醒 -鎮 静 を 表 す 次 元 で あ り ， 印 象 を こ の2 つ の 軸 で 表 現 す る と い う 考 え 方 で あ る ． こ れ ら の 研 究 の ほ か に も ， 印 象 に よ る 検 索 を 行 う た め ， ユ ー ザ の 検 索 ニ ー ズ に 合 わ せ た 印 象 語 を 選 定 す る 手 法 な ど も 行 わ れ て い る[10]． 2.2 メ デ ィ ア 間 の 印 象 の 差 異 音 楽 動 画 を は じ め と す る マ ル チ メ デ ィ ア 情 報 で の 印 象 に 関 す る 研 究 と し て ， 各 メ デ ィ ア か ら 受 け る 印 象 の 違 い に 関 す る も の が あ る ．佐 藤 ら の 研 究[5]で は ，音 楽 と 静 止 画 で は 音 楽 が ， 音 楽 と 映 像 で は 映 像 か ら 受 け る 印 象 が 強 い こ と が わ か っ て い る ． ま た ， 長 谷 川 ら は 静 止 画 と 音 楽 の 印 象 の 類 似 は ユ ー ザ の 好 み の ジ ャ ン ル に 影 響 さ れ る こ と を 明 ら か に し て い る[4]． 2.3 楽 曲 の 印 象 推 定 楽 曲 の 印 象 推 定 に 関 す る 研 究 は ， 音 楽 情 報 検 索 の 分 野 に お い て ， 近 年 特 に 取 り 組 ま れ て い る ． そ れ ら の 研 究 で は ， 音 響 特 徴 量 を ベ ー ス と し た 印 象 の 推 定 が 数 多 く な さ れ て い る[14]．ま た ，近 年 で は 音 響 特 徴 量 に 加 え 楽 曲 の 歌 詞 情 報 を 利 用 し た 印 象 推 定 手 法 の 提 案[8] も な さ れ て い る ． 一 方 ， 楽 曲 の 音 響 的 特 徴 に 依 ら な い 印 象 推 定 手 法 と し て ， 楽 曲 に 付 与 さ れ た タ グ や コ メ ン ト に よ る 印 象 推 定[9]も 行 わ れ て い る ． こ の よ う に ， 楽 曲 の 印 象 を 推 定 す る 手 法 が い く つ か 提 案 さ れ て い る も の の ， そ れ を 音 楽 動 画 の 印 象 の 推 定 に 使 用 し た 研 究 は な い ． こ の 研 究 は ， 音 楽 の 印 象 推 定 技 術 と 音 楽 動 画 の 印 象 推 定 技 術 の 橋 渡 し に な る と 考 え ら れ る ． 2.4 音 楽 動 画 の 印 象 推 定 音 楽 動 画 の 印 象 推 定 に 関 す る 研 究 と し て は ， ニ コ ニ コ 動 画 で 付 与 さ れ る ソ ー シ ャ ル コ メ ン ト を 用 い た 印 象 推 定 を 行 っ た 研 究 が あ る[9][13]．3. 印象 変 化 デー タ セ ット 構築
音 楽 と 映 像 の 組 み 合 わ せ に よ っ て ， 音 楽 動 画 の 印 象 は ど の よ う に 変 化 す る の か を 明 ら か に す る た め ， 我 々 は こ れ ま で に 実 現 し て き た 音 楽 の み の コ ン テ ン ツ ， 映 像 の み の コ ン テ ン ツ に 対 す る 印 象 評 価 デ ー タ セ ッ ト を 活 用 し ， 任 意 の 音 楽 と 映 像 を 組 み 合 わ せ て ユ ー ザ に 提 示 し ， そ の 組 み 合 わ さ れ た コ ン テ ン ツ に よ っ て ユ ー ザ が ど の よ う な 印 象 を 受 け る の か と い う デ ー タ セ ッ ト を 構 築 す る ． 音 楽 の み の コ ン テ ン ツ ， 映 像 の み の コ ン テ ン ツ に 対 す る 印 象 評 価 デ ー タ セ ッ ト は ，500 件 の 音 楽 動 画 （ 動 画 共 有 サ イ ト 「 ニ コ ニ コ 動 画 」 上 に 投 稿 さ れ た 音 楽 動 画 の う ち ，タ グ「VOCALOID」が 付 与 さ れ た 動 画 の 2012 年8 月 時 点 で 再 生 数 が 多 い 動 画 上 位 500 曲 ） を 後 藤 ら の RefraiD[2]を 用 い て サ ビ 部 分 を 抽 出 し た も の で あ る ． こ の 音 楽 動 画 の サ ビ 部 分 を 音 楽 の み ， 映 像 の み に 分 離 し ， ラ ン ダ ム に 組 み 合 わ せ る こ と で 作 成 し た 25000 件 の 音 楽 動 画 の う ち ， 任 意 に 抽 出 し た200 件 の 音 楽 動 画 を 評 価 対 象 と す る ． 本 研 究 で は ， こ こ で 評 価 さ れ る 音 楽 動 画 を 「 合 成 音 楽 動 画 」 と す る ． 以 降 ， 評 価 対 象 と す る 印 象 軸 ， 印 象 評 価 の イ ン タ フ ェ ー ス ， 印 象 評 価 の 手 続 き に つ い て 述 べ る ． 3.1 印 象 軸 本 研 究 で は ， 我 々 の 過 去 の 研 究 と 同 様 に ， 音 楽 動 画 に 対 す る 印 象 と し て ， 音 楽 情 報 検 索 ワ ー ク シ ョ ッ プ で あ る MIREX で 用 い ら れ て い る 5 つ の 印 象 ク ラ ス と ， Russel ら の Valence-Arousal 空 間 を 参 考 に し た ． こ こ で ，MIREX で は ，5 つ の 印 象 ク ラ ス が 用 い ら れ て い る が ，こ れ ま で の 研 究[1]に よ り ，ニ コ ニ コ 動 画 上 で は「 か わ い い 」 と 感 じ る 楽 曲 や そ れ に 関 す る タ グ が 多 く 存 在 す る こ と が 分 か っ て い る た め ， 本 研 究 で も こ れ ま で の 研 究 の 評 価 に 則 り ，MIREX の 5 ク ラ ス に 加 え ，可 愛 ら し さ を 表 す 印 象 ク ラ ス を 加 え た 6 軸 と ， Valence-Arousal に 関 す る 2 軸 の 合 計 8 軸 を 評 価 の 収 集 対 象 と し た ． 本 研 究 で 用 い た 8 つ の 印 象 軸 は ， 表 1 に 示 す と お り で あ る ． 表 中 の 「 印 象 ク ラ ス 名 」 は ， 著 者 ら が 便 宜 上 付 与 し た ，印 象 を 表 す ラ ベ ル 名 で あ る ．ま た ，「 印 象 を 表 す 形 容 詞 」 は ， デ ー タ セ ッ ト 構 築 に お い て 評 価 者 か ら 評 価 値 を 収 集 す る 際 に ， そ の 印 象 ク ラ ス を 表 現 す る た め に 用 い た 表 現 を 表 す ．C6 に つ い て は ，「 か わ い い 」 の 類 義 語 を 集 め た ． ま た Valence-Arousal に つ い て も ， 既 存 研 究 を 参 考 に 著 者 ら が 日 本 語 に 直 し た も の を 用 い た ． 表1 8 つ の 印 象 軸 3.2 印 象 評 価 イ ン タ フ ェ ー ス 図1 に 評 価 デ ー タ 収 集 に 用 い た イ ン タ フ ェ ー ス を 示 す ． 図 に あ る よ う に ， 評 価 者 は 音 楽 動 画 を 視 聴 し ， そ の 音 楽 動 画 に 対 す る 印 象 を ， 以 下 に 示 す 形 で 付 与 す る ． C1-C6 の 印 象 ク ラ ス : 表 1 に 示 し た 形 容 詞 ， 形 容 動 詞 群 に 対 す る 1（ 全 く そ う 思 わ な い ）～ 5（ と て も そ う 思 う ） の 5 段 階 の リ ッ カ ー ト 尺 度 Valence: -2（ 暗 い 気 持 ち に な る ，悲 し い ）～ +2（ 明 る い 気 持 ち に な る ，楽 し い ）の 5 段 階 の リ ッ カ ー ト 尺 度 Arousal: -2（ 穏 や か ，消 極 的 な ，弱 気 な ）～ +2（ 激 し い ， 積 極 的 な ， 強 気 な ） の5 段 階 の リ ッ カ ー ト 尺 度 ま た ，評 価 項 目 と し て ，「 違 和 感 を 覚 え る 」と い う 項 目 も 用 意 し ， ユ ー ザ に 評 価 し て も ら っ た ． 図1 評 価 用 イ ン タ フ ェ ー ス C1（ 堂 々 ） 堂 々 と し た ， ど っ し り と し た 心 躍 る ， に ぎ や か な C2 （ 元 気 が 出 る ） 元 気 が 出 る ，楽 し い 気 持 ち に さ せ る 陽 気 な ， 心 地 よ い C3（ 切 な い ） 切 な い ， 悲 痛 な ， ほ ろ 苦 い 気 が め い る ， 哀 愁 の C4（ 激 し い ） ア グ レ ッ シ ブ な ，激 し い ，興 奮 さ せ る 感 情 的 な ， 感 情 あ ら わ な C5（ 滑 稽 ） 滑 稽 な ，ユ ー モ ラ ス な ，お も し ろ げ な 奇 抜 な ，気 ま ぐ れ ，い た ず ら っ ぽ い C6（ か わ い い ） 可 愛 ら し い ，愛 く る し げ ，愛 お し い か わ い い Valence 明 る い 気 持 ち に な る ， 楽 し い 暗 い 気 持 ち に な る ， 悲 し い Arousal 激 し い ， 積 極 的 な ， 強 気 な 穏 や か ， 消 極 的 な ， 弱 気 な3.3 印 象 変 化 デ ー タ の 収 集 2015 年 1 月 4 日 か ら 2015 年 1 月 10 日 に か け て ， 3.1 節 で 述 べ た 対 象 動 画 の 印 象 に 対 す る 評 価 デ ー タ を 収 集 し た ． デ ー タ セ ッ ト 構 築 の 協 力 者 は 明 治 大 学 の 学 部 生 計3 人 で あ っ た ． デ ー タ セ ッ ト 構 築 者 に は ， 評 価 対 象 で あ る 音 楽 動 画 を 視 聴 し ，3.2 節 で 述 べ た 印 象 評 価 用 の ウ ェ ブ イ ン タ フ ェ ー ス を 用 い ， 対 象 コ ン テ ン ツ に 対 す る 印 象 を 評 価 し て も ら っ た ． こ れ に よ り ，200 件 の 音 楽 動 画 に 対 し て ，3 人 以 上 の 評 価 を 収 集 し た ． ま た ， 過 去 の 研 究 で は 音 楽 動 画 の サ ビ 部 分 を 「 音 楽 動 画 」「 音 楽 の み 」「 映 像 の み 」 に メ デ ィ ア 分 離 し た も の に 対 し て 全 く 同 じ 印 象 軸 を 用 い て 印 象 評 価 を 行 っ て も ら っ た ． 本 研 究 で は ， こ れ を 「 印 象 評 価 デ ー タ セ ッ ト 」 と す る ． 結 果 と し て ， 先 述 の500 件 の 音 楽 動 画 の サ ビ 部 分 に 対 し て ，「 音 楽 の み 」「 映 像 の み 」「 音 楽 動 画 」， 200 件 の 「 ラ ン ダ ム に 合 成 し た 音 楽 動 画 」 の 印 象 評 価 値 が デ ー タ と し て 存 在 す る こ と に な る ．
4. 印象 変 化 デー タ セ ット の分 析
本 章 で は ，3 章 で 得 た デ ー タ の 分 析 を 行 う こ と で ， 音 楽 と 動 画 の 組 み 合 わ せ に よ っ て ど の よ う に 印 象 が 変 化 す る の か を 明 ら か に す る ． 4.1 分 析 の た め の デ ー タ の 補 正 ま ず C1 か ら C6 の デ ー タ は ， 1～ 5 の 5 段 階 で 評 価 を 入 力 し て も ら っ て い た ．一 方Valence お よ び Arousal で は-2 か ら +2 の 5 段 階 で 評 価 を 入 力 し て も ら っ て い た ． 分 析 に あ た り ， 両 者 の デ ー タ の 最 小 値 と 最 大 値 を そ ろ え る た め ，C1 か ら C6 の デ ー タ は 1～ 5 ま で の 数 値 を ，-2～ +2 ま で の 数 値 へ と 変 換 し て 分 析 に 用 い た ． 4.2 印 象 変 化 デ ー タ セ ッ ト を 用 い た 印 象 評 価 値 の 分 析 本 節 で は ， 音 楽 の み ， 映 像 の み が ど の よ う に 組 み 合 わ さ っ て 音 楽 動 画 の 印 象 に な っ て い る の か を 分 析 す る ． そ の 際 ， 合 成 音 楽 動 画 の 印 象 評 価 値 が-0.5 以 下 の も の を 低 評 価 群 ，印 象 評 価 値 が+0.5 以 上 の も の を 高 評 価 群 と し て 分 析 を 行 う ． 分 析 手 法 と し て は 合 成 音 楽 動 画 の 各 評 価 群 の う ち ， 合 成 元 の 音 楽 ， 映 像 が ど の 評 価 群 に 属 し て い た か を 調 べ た ．図2～ 9 は ，縦 軸 を 映 像 の 印 象 評 価 値 ，横 軸 を 音 楽 の 印 象 評 価 値 と し ， そ こ か ら 生 成 さ れ た 音 楽 動 画 を 評 価 群 ご と に 色 別 に プ ロ ッ ト し た も の を 各 印 象 で 表 示 し た も の で あ る ． こ の と き ， 高 評 価 群 は 赤 色 ， 低 評 価 群 は 青 色 ，ど ち ら に も 属 さ な い も の を 緑 色 で 表 示 し た ． 図 2～ 7 を 通 し て ， 音 楽 の 印 象 評 価 が 正 の 値 で あ る 場 合 ， 高 評 価 群 に 属 す る 音 楽 動 画 の 件 数 が 多 く ， 音 楽 の 印 象 評 価 が 負 の 値 で あ る 場 合 ， 低 評 価 群 に 属 す る 音 楽 動 画 の 件 数 が 多 い 傾 向 が あ る こ と が わ か る ．こ れ よ り ， 合 成 音 楽 動 画 で は 音 楽 の 印 象 に 影 響 を 受 け や す い こ と が 分 か っ た ．特 に ，C1，C2，C4，C6 で は ，音 楽 の 印 象 評 価 値 が 高 い 値 と な っ て い る も の は 音 楽 動 画 の 印 象 評 価 値 も 高 い 値 に ， ま た 音 楽 の 印 象 評 価 値 が 低 い 値 と な っ て い る も の は 音 楽 動 画 の 印 象 評 価 値 も 低 い 値 に な る 傾 向 が あ る こ と が 分 か っ た ． ま た ， 図 7 で は ， ほ か の 印 象 軸 と 比 べ ， 音 楽 の 印 象 評 価 値 が 負 の 値 で あ り ， 映 像 の 印 象 評 価 値 が 正 の 値 で あ る 場 合 ， 音 楽 動 画 が 高 評 価 群 に 属 し て い る も の が 多 い ．こ の こ と よ り ，C6 の 印 象 軸 に 関 し て は ，ほ か の 印 象 軸 よ り も 映 像 の 印 象 評 価 が 音 楽 動 画 の 印 象 評 価 に 大 き く か か わ っ て い る 傾 向 が あ る こ と が 分 か っ た ． ま た ， 図 4， 図 6 で は 高 評 価 群 に 分 類 さ れ た 件 数 よ り も 低 評 価 群 に 分 類 さ れ た も の が 多 く ， 相 関 関 係 が 見 ら れ な い こ と が ， 図 8， 図 9 で は ， 音 楽 動 画 の 高 評 価 群 ， 低 評 価 群 と も に 散 ら ば っ て い る こ と が 分 か る ． こ れ よ り ，C3， C5， Valence， Arousal で は 音 楽 の 印 象 と 映 像 の 印 象 と 直 接 の 相 関 が な く 音 楽 動 画 の 印 象 が で き て い る と 考 え ら れ る ． こ れ ら の こ と よ り ，C1～ C6 ま で は 音 楽 動 画 の 印 象 と 音 楽 の 印 象 ， 音 楽 動 画 の 印 象 と 映 像 の 印 象 に は ， 各 印 象 軸 で そ れ ぞ れ 違 っ た 相 関 関 係 が 存 在 す る 可 能 性 が あ る と 考 え ら れ る ．ま た ，Valence，Arousal に 関 し て は ， 相 関 関 係 が 見 受 け ら れ な い こ と も 分 か っ た ． こ れ は ， 音 楽 動 画 を 適 当 に 作 成 し た 場 合 で は 切 な さ ， 滑 稽 さ ， Valence， Arousal と い っ た 印 象 を 伝 え る の が 難 し い こ と を 表 し て い る と 考 え ら れ る ． ま た ，評 価 項 目 の う ち ，「 違 和 感 を 覚 え る 」の 項 目 で は ， 違 和 感 を 覚 え る と し た 音 楽 動 画 は ，200 件 の う ち 15 件 程 度 で あ り ，ラ ン ダ ム に 作 成 し た 音 楽 動 画 で あ っ て も 違 和 感 は 少 な い こ と も 分 か っ た ． 4.3 印 象 評 価 デ ー タ セ ッ ト を 用 い た 印 象 評 価 値 の 分 析 本 節 で は ， ラ ン ダ ム に 生 成 し た 音 楽 動 画 と ， 製 作 者 が 意 図 し て 作 成 し た 音 楽 動 画 で の 評 価 の 違 い を 明 ら か に す る た め ，我 々 の 過 去 の 研 究[12]で 構 築 し た ，500 件 の 音 楽 動 画 の サ ビ 部 分 を 音 楽 の み ， 映 像 の み に 分 離 し た も の に 対 す る 印 象 評 価 デ ー タ セ ッ ト を 用 い て ，4.1 節 と 同 様 の 補 正 を 行 っ た デ ー タ で 比 較 ， 分 析 を 行 っ た ．図2 合 成 音 楽 動 画 の C1 に お け る 印 象 評 価 値 の 分 布 図5 合 成 音 楽 動 画 の C4 に お け る 印 象 評 価 値 の 分 布 図8 合 成 音 楽 動 画 の Valence に お け る 印 象 評 価 値 の 分 布 図3 合 成 音 楽 動 画 の C2 に お け る 印 象 評 価 値 の 分 布 図6 合 成 音 楽 動 画 の C5 に お け る 印 象 評 価 値 の 分 布 図9 合 成 音 楽 動 画 の Arousal に お け る 印 象 評 価 値 の 分 布 図 4 合 成 音 楽 動 画 の C3 に お け る 印 象 評 価 値 の 分 布 図 7 合 成 音 楽 動 画 の C6 に お け る 印 象 評 価 値 の 分 布 図10 オ リ ジ ナ ル 音 楽 動 画 の C3 に お け る 印 象 評 価 値 の 分 布
図11 オ リ ジ ナ ル 音 楽 動 画 の C5 に お け る 印 象 評 価 値 の 分 布 図12 オ リ ジ ナ ル 音 楽 動 画 の Valence に お け る 印 象 評 価 値 の 分 布 図13 オ リ ジ ナ ル 音 楽 動 画 の Arousal に お け る 印 象 評 価 値 の 分 布 そ の 結 果 ， オ リ ジ ナ ル の 音 楽 動 画 で は す べ て の 印 象 で ， 音 楽 と 映 像 そ れ ぞ れ か ら 影 響 を 受 け て い る 傾 向 が み ら れ た が ，こ こ で は ，4.2 節 で 得 ら れ た 結 果 と 大 き く 異 な る 結 果 が 出 た も の を 表 示 す る ． 図 10～ 図 13 は ， C3， C5， Valence， Arousal の 各 印 象 に 対 し て 先 述 の プ ロ ッ ト を 行 っ た も の で あ る ． 図10 で は ，図 4 に 比 べ ，音 楽 の 印 象 評 価 値 が 正 の 場 合 に 音 楽 動 画 の 評 価 値 が 高 評 価 群 に 属 し て い る 件 数 が 多 い こ と が 分 か る ．こ れ よ り ，C3 で は 製 作 者 の 意 図 が 混 じ っ た も の で は 音 楽 の 印 象 に 影 響 さ れ や す い こ と が 分 か っ た ． ま た ， 図 11， 図 12， 図 13 で は ， 図 6， 図 8，図 9 に 比 べ ，音 楽 ，映 像 そ れ ぞ れ の 印 象 評 価 が 正 の 値 の 場 合 ， 高 評 価 群 に 属 し て い る 音 楽 動 画 の 件 数 が 多 い こ と が 分 か る ．こ れ よ り ，C5，Valence と Arousal で は 製 作 者 の 意 図 を 交 え た 場 合 ， 音 楽 と 映 像 の 印 象 評 価 が 音 楽 動 画 の 印 象 評 価 に そ れ ぞ れ 同 程 度 に 影 響 す る 傾 向 が あ る こ と が 分 か っ た ．
5. 推定 手 法 およ び そ の評 価
本 章 で は ，4 章 で 行 っ た 分 析 を も と に ， 提 案 す る 音 楽 動 画 の 印 象 推 定 手 法 の 検 討 ， 評 価 を 行 う ． 4 章 で 行 っ た 分 析 の 結 果 ， 合 成 音 楽 動 画 で あ っ て も ， 製 作 者 の 意 図 が 反 映 さ れ て い る 場 合 で も ，C1～ C6 の 印 象 軸 で は 音 楽 の 印 象 と 音 楽 動 画 の 印 象 ， 映 像 の 印 象 と 音 楽 動 画 の 印 象 は ， 印 象 軸 ご と に 違 う が 線 形 的 な 相 関 が あ る 傾 向 が あ る こ と が 分 か っ た ． こ こ か ら 考 え ら れ る 印 象 推 定 手 法 と し て は ， 回 帰 分 析 を 用 い た 評 価 値 の 組 み 合 わ せ が 考 え ら れ る ． ま た ，Valence，Arousal に 関 し て は ，合 成 音 楽 動 画 で は 音 楽 ，映 像 と も に 相 関 が な い 傾 向 に あ っ た ．し か し ， 製 作 者 の 意 図 が 反 映 さ れ て い る 音 楽 動 画 で は 音 楽 の 印 象 ，映 像 の 印 象 で 線 形 的 な 相 関 が あ る 傾 向 が み ら れ た ． こ の2 つ の 印 象 軸 で の 推 定 に お い て は ， 別 の 要 素 が 関 連 し て い る 可 能 性 が 考 え ら れ る ．こ れ よ り ，SVM な ど ， 学 習 を 用 い て 重 み づ け を 行 っ た 印 象 推 定 を す る 必 要 が あ る と 考 え ら れ る ． 本 章 で は ， 実 際 に 重 回 帰 分 析 を 用 い て 印 象 推 定 を 行 う ． 具 体 的 な 手 法 と し て は ， 各 印 象 に つ い て ， 過 去 の 研 究 で 作 成 し た 印 象 評 価 デ ー タ セ ッ ト を も と に ，「 音 楽 の み 」 と 「 映 像 の み 」 で の 印 象 を 用 い て 重 回 帰 式 を 作 成 す る ． 回 帰 式 の 説 明 変 数 は 表 し た い 印 象 と 同 じ 「 音 楽 の み 」「 映 像 の み 」の 印 象 を 用 い た ．具 体 的 な 例 と し て は ， あ る 合 成 音 楽 動 画 の C1 の 印 象 評 価 値 を ， 合 成 元 の 音 楽 の み で のC1 の 印 象 評 価 値 と 映 像 の み の C1 の 印 象 評 価 値 で 表 す ． こ の よ う に し て 各 印 象 で 回 帰 式 を 作 成 し た ． 回 帰 式 の 生 成 に はR を 使 用 し た ． 生 成 し た 回 帰 式 の 係 数 の 一 例 を 表2 に 示 す ． 表2 実 際 に 求 め た 回 帰 式 の 係 数 の 一 例 切 片 音 楽 の み の 偏 回 帰 係 数 映 像 の み の 偏 回 帰 係 数 C1 0.2570 0.5760 0.0458 C2 0.3529 0.5118 0.2425 C3 -0.2513 0.5114 0.1603 C4 0.4904 0.7353 0.0990 C5 -0.4628 0.3334 0.2711 C6 0.0813 0.3765 0.4255 Valence 0.2284 0.1382 -0.0741 Arousal 0.3508 -0.0831 -0.0981 こ う し て 得 ら れ た 重 回 帰 式 を 過 去 の 研 究 で 得 ら れ た 印 象 評 価 デ ー タ セ ッ ト の「 音 楽 の み 」「 映 像 の み 」に 適 用 し ， 印 象 推 定 を 行 っ た ．評 価 の 際 に は 5-fold-cross-validation を 用 い て 行 い ， 推 定 値 と 実 際 の 印 象 評 価 値 の 差 が 0.5 以 下 に な っ た 件 数 の 平 均 を 表 示 し た ． こ う し て 得 ら れ た 結 果 を 表3 に ま と め る ． 表3 推 定 値 と 実 際 の 印 象 評 価 値 と の 差 が 0.5 以 下 に な っ た 件 数 C1 52.6 C2 54.8 C3 54.8 C4 49.8 C5 52.0 C6 57.0 Valence 61.0 Arousal 60.8 表 3 よ り ， 推 定 値 と 実 際 の 印 象 評 価 値 と の 差 が 0.5 以 下 に な っ た 件 数 は 全 体 を 通 し て 半 数 程 度 と ， 決 し て 高 い 推 定 精 度 で あ る と は 言 え な い ． そ こ で ， 説 明 変 数 に「 音 楽 の み 」「 映 像 の み 」の す べ て の 印 象 を 用 い て 回 帰 式 の 生 成 お よ び 印 象 の 推 定 を 行 っ た が ， す べ て の 印 象 で 表 3 の も の よ り も 推 定 精 度 が 下 が っ た ． こ れ は ， そ も そ も の デ ー タ500 件 を す べ て 使 用 し た た め ， そ も そ も の デ ー タ に 偏 り が あ り ， 回 帰 式 が う ま く 作 成 さ れ な か っ た こ と が 原 因 と し て 挙 げ ら れ る ． 今 後 は ， デ ー タ の ア ン ダ ー サ ン プ リ ン グ を 行 い ， 正 確 な 回 帰 式 を 作 成 す る こ と で 推 定 精 度 が 向 上 す る と 考 え ら れ る ． ま た ， 今 回 生 成 し た 重 回 帰 式 の 説 明 変 数 は ， 各 印 象 そ れ ぞ れ の 音 楽 の み ，映 像 の み の 印 象 を 用 い た も の と ， 音 楽 の み ， 映 像 の み の す べ て の 印 象 を 用 い た も の の 2 パ タ ー ン で 行 っ た が ， 我 々 の 過 去 の 研 究[12]で 明 ら か に し た 各 印 象 の 関 係 を 考 慮 し ，説 明 変 数 を 選 ぶ こ と で ， 推 定 精 度 が 向 上 す る と 考 え ら れ る ．具 体 的 に は ，C1 を 推 定 す る 際 に ，「 音 楽 の み 」で のC1，「 映 像 の み 」で の C1 だ け で な く ，「 音 楽 の み 」 の C3 や 「 映 像 の み 」 の Arousal な ど を 説 明 変 数 に 加 え る こ と で ，推 定 精 度 を 上 げ る こ と が で き る と 考 え ら れ る ．
6. まと め
本 研 究 で は ， 音 楽 と 映 像 を 任 意 に 組 み 合 わ せ た 音 楽 動 画 を 作 成 し ， そ れ に 対 す る 評 価 デ ー タ セ ッ ト を 構 築 し た ． ま た そ れ に つ い て ， 我 々 の 過 去 の 研 究 で 作 成 し た500 曲 の 音 楽 動 画 を メ デ ィ ア 分 離 し た も の に 対 し て の 印 象 評 価 デ ー タ セ ッ ト を 用 い て 分 析 を 行 い ， 独 立 し た 音 楽 と 映 像 か ら の 印 象 推 定 手 法 の 検 討 を 行 っ た ． そ の 結 果 ，C1， C2， C4 で は 音 楽 の 影 響 を 受 け や す く ，C6 で は 音 楽 ，映 像 ど ち ら か ら も 影 響 を 受 け や す い こ と を 明 ら か に す る こ と が で き た ． さ ら に C3， C5， Valence， Arousal で は 製 作 者 の 意 図 に よ っ て 音 楽 や 映 像 か ら 影 響 さ れ る か ど う か が 変 化 す る 軸 で あ り ， 適 当 に 動 画 を 作 成 す る 際 に は 伝 わ り づ ら い 印 象 で あ る こ と も 分 か っ た ． ま た ， 実 際 に 音 楽 動 画 の 印 象 推 定 を 行 っ た と こ ろ ， 全 体 を 通 し て 十 分 な 推 定 精 度 を 得 る こ と が で き な か っ た ． 今 後 は ， 本 研 究 で 検 討 し た 印 象 推 定 手 法 の 精 度 の 向 上 を 図 る た め に ， デ ー タ の ア ン ダ ー サ ン プ リ ン グ や ， 各 印 象 間 で の 関 係 性 を 考 慮 し て 再 度 回 帰 分 析 を 行 う 予 定 で あ る ．謝 辞
本 研 究 の 一 部 は ，JST CREST，明 治 大 学 重 点 研 究 A， 重 点 研 究 B の 支 援 を 受 け た も の で あ る ．参 考 文 献
[1] 山 本 岳 洋 ， 中 村 聡 史 : 楽 曲 動 画 印 象 デ ー タ セ ッ ト の 作 成 と そ の 分 析 ，ARG 第 2 回 Web イ ン テ リ ジ ェ ン ス と イ ン タ ラ ク シ ョ ン 研 究 会 (2013) [2] 後 藤 真 孝 : SmartMusicKIOSK: サ ビ 出 し 機 能 付 き 音 楽 試 聴 機 ，情 報 処 理 学 会 論 文 誌 ，Vol.44，No.11， pp.2737-2747 (2003) [3] 大 出 訓 史 ， 今 井 篤 ， 安 藤 彰 男 ， 谷 口 高 士 : 音 楽 聴 取 に お け る"感 動 "の 評 価 要 因 ～ 感 動 の 種 類 と 音 楽 の 感 情 価 の 関 係 ，情 報 処 理 学 会 論 文 誌 Vol. 50, No. 3, pp.1111-1121 (2009). [4] 長 谷 川 優 ， 武 田 昌 一 : 好 み の 音 楽 ジ ャ ン ル に 着 目 し た 静 止 画 と 音 楽 の 組 み 合 わ せ に 関 す る 考 察: － 個 人 の 属 性 に 着 目 し た 静 止 画 と 音 楽 に 対 す る 印 象 度 の 相 互 比 較 － ，日 本 感 性 工 学 会 論 文 誌 ，Vol.11， No.3， pp.435-442 (2012). [5] 佐 藤 淳 也 ， 佐 川 雄 二 ， 杉 江 昇 : 音 と 映 像 の 組 み 合 わ せ に よ る 主 観 的 印 象 の 変 化 ，映 像 情 報 メ デ ィ ア 学 会 誌 ，Vol.55， No.7， pp.1053-1057 (2001). [6] 熊 本 忠 彦 ， 太 田 公 子 : 印 象 に 基 づ く 楽 曲 検 索 シ ス テ ム の 設 計・構 築・公 開 ，人 工 知 能 学 会 論 文 ，Vol.21, pp.310-318 (2006).[7] Russell, James A.: A Circumplex Model of Affect ， Journal of Personality and Social Psychology，39(6)， pp.1161-1178(1980) [8] 舟 澤 慎 太 郎 ， 北 市 健 太 郎 ， 甲 藤 二 郎 : 楽 曲 推 薦 シ ス テ ム の た め の 楽 曲 波 形 と 歌 詞 情 報 を 考 慮 し た 類 似 楽 曲 検 索 に 関 す る 一 検 討, 情 報 処 理 学 会 研 究 報 告 オ ー デ ィ オ ビ ジ ュ ア ル 複 合 情 報 処 理 ，pp.1-5 (2013). [9] 山 本 岳 洋 ， 中 村 聡 史 : 視 聴 者 の 時 刻 同 期 コ メ ン ト を 用 い た 楽 曲 動 画 の 印 象 分 類 ，情 報 処 理 学 会 論 文 誌 ，Vol.6， No.3， pp.66-72 (2013). [10] 熊 本 忠 彦 ，太 田 公 子 :印 象 に 基 づ く 検 索 の た め の 印 象 語 選 定 法 の 提 案, 情 報 処 理 学 会 論 文 誌 ，Vol.44， No.7, pp.1808-1811 (2003).
[11] Hu, X., Bay, M. and Downie, J.: Creating a Simplified Music Mood Classification Ground-Truth Set, Proceedings of the 8th International Conference on Music Information Retrieval, pp.309-310 (2007). [12] 大 野 直 紀 , 中 村 聡 史 , 山 本 岳 洋 , 後 藤 真 孝 : 音 楽
動 画 へ の 印 象 評 価 デ ー タ セ ッ ト 構 築 と そ の 特 性 の 調 査, 情 報 処 理 学 会 研 究 報 告 音 楽 情 報 科 学 , Vol.108, No.7, pp.1-9 (2015).
[13] 土 屋 駿 貴 , 中 村 聡 史 , 山 本 岳 洋 : ソ ー シ ャ ル コ メ ン ト か ら の 音 楽 動 画 印 象 推 定 に 関 す る 考 察, 情 報 処 理 学 会 研 究 報 告 グ ル ー プ ウ ェ ア と ネ ッ ト ワ ー ク サ ー ビ ス, Vol.96, No.3, pp1-6 (2015). [14] 佐 藤 聡 ， 菊 池 幸 平 ， 北 上 始 : 音 楽 デ ー タ を 対 象 と し た イ メ ー ジ 検 索 の た め の 感 情 価 の 自 動 生 成 ，情 報 処 理 学 会 研 究 報 告 デ ー タ ベ ー ス シ ス テ ム ， Vol.1999, No.39, PP57-64(1999).
