The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
音楽理論
基
画
構造化
Structure of the film based on the music theory.
竹内
子
*1
浜中
俊
*1*2
Takeuchi Seiko Hamanaka Masatoshi
*1
筑波大学
*2
学
術振興機構
け
University of Tsukuba PRESTO, Japan, Science and Technology Agency
This document describes structure of a movie that based on the Generative Theory of Tonal Music (GTTM). Various research of summaries of a movie have been developed, it has not easy to representation a relationship of case and effect between scenes. We propose the method to represent structure of a movie by using Time-Span Tree of GTTM, and we design the rules for analyzing the structure of a movie.
1.
めに
本稿 ， 画 要約 画 構造化 ， 実
現 構造化 い 述 ． 要約
術 現在多 場面 求 う ．例えば，会議中
言 要 言 要約 や ，楽曲 部
抽 出 ， 録 画 像 盛 場 面 検 出 あ ．
数 多 手 法 提 案 ［ ン 2010, 出 口 2004, 堀内 1997］， 特定 要約 目的 遉
実現 あ ．一方，要約 個人 目的 異 ，大体
内 容 理 解 ば い， 自 定 制 約 時 間 長
い，自 関心 強い部 け 視聴 い 様々
目的 あ ， 個人差 着目 研究 十
い い． ，各目的 限定 提案
研究 効率的 統 術 必要 ．
々 ， 同 時 系 列 あ 楽 曲 構 造 化
音楽理論 GTTM［Lerdahl 1983］ 着目 ， 画
け 要 場面 ，各場 面 従 属関 係 ン 木
表現 方 法 提案 ．具体 的 ン木 編
個 人 目 的 わ 柔 軟 要 約 能 ．
GTTM 特 徴 ，人 間 楽曲 対 行 い 析
記述 い あ ．GTTM 獲得 楽曲
ン 木 用 い ， 楽 曲 編 曲 や ， 繰 返
部 省 略 簡 約 能 ． GTTM 人間 楽
曲 対 行う共通 析 化 い ． 画 い
，各目的 対 人間 析 化 ば， 画 構
造化 ，楽曲 簡約 う 画 要約 期 ．
本 研 究 ，GTTM 楽 曲 構 造 化 応 用 ， 人 間
画 対 析 近 け 多段階 ン木
提 案 ， 画 要 約 像 生 目 指 ． 本 稿
， 画 構造化方法 設計 ，
画 ン木 獲得 試 ．
2.
音楽理論
GTTM
による楽曲
構造化
音楽理論 GTTM 楽曲 析 複数 理論
構 ， 記述 い ． ，
楽曲 画 共通 ， 画 構造化 用い 析
行 う ン 構 造 ， ン 簡 約 い 述 ．
ン 構造， ン簡約 ，音楽的観 必
満 あ 構 Well Fomedness Rules ; WFR ， 聴 手 出 選 好 Preference Rules ; PR あ ．
(1) グルーピング構造
ン 構造 楽曲 あ 割
あ ，各 中 あ
割 階層的 ン ．以 2
種類 構造化 ， 適用例 図1 示 ．
＜GWFR＞ Grouping Well Formedness Rules. GWFR1 構 要素 連 場 形 GWFR2 一 曲 一 あ
GWFR3 内部 含 い
GWFR4 一部 け 含 い
GWFR5 含 ， 構 造
交差 い 群 内部 埋 尽
＜GPR＞ Grouping Preference Rules.
GPR1 非常 い 解 析 避け ．特 単音
避け
GPR2 4 音符 n1, n2, n3, n4 連 い 以
条件 立 ば，n2 n3 間
境界 識
a. n2 終わ n3 始 時間間隔 n1 終わ
n2 始 時間間隔及 n3 終わ n4
始 時間間隔 長い
b. n2 始 n3 始 時間間隔 n1 始
n2 時間間隔及 ，n3 始 n4
始 時間間隔 長い
GPR3 4 音符 連 い ，以 条件 何
立 ばn2 n3 間 境界 識
a. n2-n3間 音高 n1-n2間 音高 及 n3-n4間 音
高 大 い
b. n2-n3間 変化 あ n1-n2間，n3-n4間
い
c. n2-n3間 キ ン ン 変化 あ ， n1-n2間，n3-n4間 い
d. n2 n3 異 音長 持 ，n1 n2 n3 n4
同 音長 場
GPR4 GPR2, 3 示 効 比較 的明白 大局
的 視 い 境 界 位 置 け
能性 高い
竹内 子，筑波大学 情報工学研究 ，
http://www.sie.tsukuba.ac.jp
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
GPR5 割 長 等 い2 部 う
ン 優先
GPR6 間 並行 部 形 2
以 ン ， 並 行 性 あ
ン 行う
(2) タイムスパン簡約
あ 曲 編 曲 時， 人 間 曲 共 通 何
音楽的要素 知 ．例えば，あ 曲 A 編曲
作 曲 B 対 共通 や ， う
あ ． 簡 約 ， 音 高 や 長 ， 音 程 変 化 表 層 的
構造 ， 知 音楽的要素 う 抽象的 構造 抽出
指 ． ，GTTM ， 人間 一般化 構造
楽 譜 中 音 関 連 付 け ， 各 音 相 対 的
要度 いう尺 度 階層化 いう 簡約仮 提 唱 い
［Lerdahl 1983］ ． 木 構 造 表 現 ン
木 あ 要 音 幹 う 木
ン木 獲得 ， ン
同 様 ， 獲 得 ン 木 楽 曲 簡 約
図2 示 ．楽曲 簡約方法 ，図 2 level１，level2 う
， ン 木 深 設 定 ， 深 交 深 い
省略 ，簡約 1，2 得 ．
3.
音楽理論
GTTM
に基づく映画
構造化
音 楽 理 論 GTTM 楽 曲 析 手 順 ， 人 間 画
観 自 然 行 い 析 共 通 部 存 在 ．
人間 ， 画 や楽曲 対 無 意識 行 い 考 え
共通 析 以 示 ． 々 う 共通 GTTM
画 応用 能 あ 考え ．
＜ 画 け 析＞
(1) 短い 像 わ 意味 見出 (2) 理解 場面同士 関連付け
＜楽曲 け 析＞
(1) 音 意味 あ ン (2) 音同士 従属関係 析
音楽理論GTTM 楽曲 構造化 い ， 画 析
共 通 応 用 ， ン 木 獲 得 方 法
い 述 ．共通 い 析 あ 以 2 関 ，
楽曲 音符や， 対応 画 構 要素 表1
， 画 構 要素 用い 析 ．各構 要素 対 ，
以 う 構造化 設計 ，獲得 ン木
図3 示 ．
(1) グルーピング構造
＜GWFR＞ Grouping Well Formedness Rules. GWFR1 連 ッ ン GWFR2 連 ン ン
GWFR3 ン ッ 1 以 含
GWFR4 連 い 構 要素 形 GWFR5 ン ン 2 以 含 GWFR6 1 作品 1 ン あ
GWFR7 ン 序破急 3部構 起 転結 4部構 望 い
＜GPR＞ Grouping Preference Rules.
GPR1 以 立 場 ， あ 能性 高い a. BGM い
b. 詞 い c. 人物 場 い d. 場所 移動 い e. 大幅 時間経過 い f. 短い ッ 連 g. 類似 い ッ 連
(2) タイムスパン簡約
＜TSRWFR＞ Time-Span Reduction Well Fomedness Rules. TSRWFR1 ン 内部 最 要 場面 持 TSRWFR2 幹 構造的 あ
TSRWFR3 ン ッ 2段階 け TSRWFR4 要 あ 浅い位置 接
＜TSRPR＞ Time-Span Reduction Preference Rules. TSRPR1 要度 高い場面 優先的 幹 TSRPR2 入 ン 要 あ
TSRPR3 ッ 長 長い う 要 あ TSRPR4 ン 開始部 要 あ TSRPR5 ン 開始部 終止部 TSRPR6 並行的 部 並行 ッ
4.
映画に特化
た構造化ルールとタイムスパン木
音楽理論 GTTM 基 ，楽曲 異 画
独特 析 対応 い い ， 画 創 うえ 共通
用 い 撮 影 法［ ホ ン 1980］や ，演 出 参考
設計 行 ． 本研究 ， 画 対 人間
析 再現 ，制約時間 満 場面選択
細 い調節 能 目的 ， ン木 ッ
ン 2段階 獲得 方法 提案 ．
4.1 映画特有 構造化ルール 設計
新 追 加 設 計 方 法 以 述 ．
画 構 造 化 設 計 ， ［ 竹 内 2014］ ， 要 約 割
画 楽曲
ッ ： 目 い一連 像 音符：音 表 ン：関連 あ 連 ッ
：い 音符 階層的 ン ：作品 構 一
要素 あ ン
：音楽的内容 持 複数
図 2.タ スパン木を用いた楽曲の簡約
表1映画と楽曲の構成要素
Level1 Level2
簡約 ロ 2 簡約 ロ 1
図 1. ーピン ー 適用
階層構造
図 3.タ スパン木を用いた楽曲の簡約
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
対 内 容 理 解度 高 主 観 構造 化 参 考
．GTTM 応用 構造化 ，新 設計
用い 獲得 ン木 要約例 図4 示 ．
＜GPR＞
GPR1 会話中 質問 回答 一 作 GPR2 特定 人物 交互 現
GPR3 特定 場所 交互 現
キ ン 特定 ン 除 ，多 画 ，
会話 物語 進行 ．会話 質問 回答 連 あ ，
局所的 析 ， 一回 や 取 一
考 え ． 特 定 物 体 交 互 現 場 ， 両 物
体 共通 起 い 象 あ 考え ．
間 同一 ン 析 ．
GPR4 以 撮影 法 見 境界 あ 場 高い a. ン ，空抜け
b. ン 始 ， 終 ，ワ c. ッ
d. 黒コ ，白コ ン e. ン ッ f. ン ッ
撮 影 法 特定 情 報 伝 遉 効 あ ． 例 えば，a
ン ， 空抜け ，時 間経 過，移動時間 ，動作や
ン 省略 視聴 者 意 識 効 ，b ン ，
ワ ， 場 面 転 換 象 徴 効 あ ． 具 体 的 ，
撮影 法 見 場 ，自然言語学 いう や，
句 や接 詞 識 ．
特定 撮影 法 出現 ン 境界 出現 深 い
あ 考え い．
GPR5 以 ッ 出現 場 ，境界 あ 場 高い a.
b. 曲調 変化
c. 時 間 表 遈 具 ， ば ， 炉， 時 計 ，キ ン
， ン ，日付 入 新聞 見出
d. ン 始 使 わ 遈具 ， ン ， 窓
日 け， ン，室内照明，絵画，写実的 繍，新聞
手 い 写真
e. 変化 朝日 夕日 f. 言葉 繰 返
g. 完全 静止 h. 動 い 像
i. 風景，壁，人気 い建物，海
j. 前後 全 関係 い ッ ， ン k. 焦 け 像
画 中 出 現 物 体 何 象 徴 役 割 持 い
多 ， 活 用 ， 場面 境 界 検 出
能 ．視聴者 気 い あ ，制作者 像
移 一 一 物体 使 あ ッ 伝え う ．
例えば，c 遈具 ，時間 形状 変化
， 時 間 経 過 示 ． 物体 記 号 扱 う ，言 葉
伝遉 遊う効 期 ． ，視聴者 無意識
識 ， 析 い ．
＜TSRPR＞
TSRPR1 場時間 長い人物 場面 要 あ
TSRPR2 特 定 人 物 詞 多 い ， 又 長 い場 面 要 あ
画 中 主 人 公 人 物 場 あ ．
場 ， ， 主 人 公 中 心 進 行 ， 主 人 公
場 場面 要 あ 能性 高 ． ，多 場
主 人 公 定 義 中 語 い ． ， 主
人公 特定 基準 一 ， 場 時間 詞 多 ，長
あ ． 場時間や 言時間，回数 多い ，視聴者
人物 注目 ，主人公 あ 識 ．
4.2 映画特有 2段階タイムスパン木
画 ン木 ， ン ン木
ッ ン木 構 ． 画 ，時系列的
場面同士 要 因 関係 存在 あ ．人間 内
容 理解 ，意味的 内容 持 像 必要 あ ．
数 構 ッ う 短 い 像 ン
木 獲得 ，人間 析 異 ，困 作業 ．
々 ， ン 大 局 的 構 造 ， ッ
局所的構造 表 図 4 示 う ン木
採用 ．人間 画 観 ，大局的 視 持
析 い 々 考 え， ン ン 木
，意味的 内容 持 要約 行い ， ッ
ン 木 ， け 意 味 持 い う 像 用
い 要 約 け 細 調 節 行 う方 法 提 案 ． ，
画 ン 木 要 約 度 い 対 内 容 理 解
度 高い要約 確 い ［竹内 2014］．
画 要約 ン ン木， ッ
ン 木 ， 楽 曲 簡 約 同 作 業 行 う ． 図 4 level1 ン 1 2 選択 ．Level2
ン 1内 ッ ， ，level3 ン 2内
ッ ⑧ 選択 ， わ 要約 像
．
5.
映画
要約システム
々 開 画 要約 ， 画
構造化 け 1) ン 構造 析や，2) ン
簡約 析 補助 役割 持 ． ン木 獲得
画 ッ 情報： ッ 番号， ッ 時 ， ッ 長 記述
xml あ ば い． xml 込 ，時
系列順 並 ッ ， ン ン ン
情報 xml ， ン ， ッ 張 ，
ン木 作 xml 保存 手書 負
担 ン木作 ，編 け 挿入，削除，置
換 作 業 簡 単 行 え ． 要 約 度 い ン ，
各 ン 内 ッ 対 設定 ，定
要約 度 い 選 択 ッ 表示 ． ッ
割 動画 あ ば， ッ ， ン， ン
像 視聴 や，要約 像 出力 能 あ ．
図 4.タ スパン木を用いた映画の要約
要約映像
Level1
シー エンス
ショッ
番号
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 -
要約 目的別 各 xml 共有
自 観 い 画 目的 要約 ，xml
込 け 能 ．
6.
実験
設計 有効性 評価 ，
画 構 造 化 ， 被 験 者 行 う 画 対 析 比 較 実 験
行 ．対象作品 約 8 短編 画 あ 3 子ぶ
，1933年 ．20代 男性5人 女性 2 人 被験者 主観 析 ，獲得 ン木 ，
析 ，獲得 ン木 比較 ．
， ッ 数 62 対象作品 視聴 ．内容 理解
時 ， ッ ⑮ ン ン 階 層
ン ， ッ ン 対 ，
ン構造 析 行い， ン木 獲得 ． あ
析 獲得 ン木
構造 ン構造 比較 ．
実験 結 ，主観 析 ， 析 共通
，い 有効 確 ．主観
獲得 各 ン 構造， ン木 ，完全
一致 ， ン 6個， ン
境界 8個検出 ． ，7人 被験者 う 検出人数
割 表2，3 ． ン ， ン境界 あ 3-4
や ン境界 あ 6-7 検出割 高 被験者
析 共通 部 あ ．
表2．検出 ン 境界 検出割 %
境界 3-4 6-7 8-9 10-11 12-13 13-14
割 100 85.7 14.2 28.5 57.1 28.5
表3.検出 ン境界 検出割 %
境界 3-4 4-5 5-6 6-7 8-9 9-10 10-11 12-13 13-14 割 100 14.2 14.2 100 71.4 28.5 57.1 71.4 71.4
＜ ン 構造 析＞
15 ッ う ， ッ ， ッ
析，主観 析 両方 共通 析 い ．
用い GTTM 応用 GPR1g，新 設計 GPR5a あ ， 記 析 使わ 被
験者 析 再現 い いえ ．
，主観 析 6人中3人 検出 ッ
ッ ン 境界 ， 析
ン 検出 い い ， ン階層 検出 い ．
， ン 作 ン 作
手順 個人差 問題 あ ， 部 新 設計
必要 あ 能性 高い．
次 ， ン 得 ン 数 見 ，主
観 析 析 方 ン 数多 ，人
間 析 数 補 う ， 析 複雑 化
考え ． 関 被験者 析 調査 ，必要
厳 選 ， 取 捨 選 択 基 準 設 定
改善 必要 あ ．
＜ ン構造 析＞
ン い ， 析 得
ン木 ，削除，置換，挿入 最大 2回 作業 ，一種類
ン 木 変 形 ． ， 木 形 大
差 無い ． ， ッ い ，主観
析 得 ン木 同 士 比較 共通 析
確 い ， 析 得 ン 木
被験者 析 再現 い 検証 い い ． ッ
う 短 い 像 対 被 験 者 析 厳 密 調 査 必
要 あ ．
7.
まとめ
音楽理論 GTTM 基 楽曲 構造化 応用 ， 画
析 わ 構造化 設計 ン木 提案
． 画 楽曲 け ，類似 析 GTTM 記述
参 考 ， 画 特 有 析 い ， 新
設計 行 ．実験 結 ，主観 作
ン 木 従 作 ン 木
ン ン木 被験者 析 近い
析 行 え 確 ． ， ッ ン
木 い ， 被 験 者 析 い 共 通 特 徴 見
， 析 被験者 析 再現 確
．
現在 ， ン ッ 2段階 ン木 獲
得 い 対 ， 一通 い ．実験 い
，被験者 ， ン ッ 対 析 異 い
う 確 ， 今 後 ， 段 階 別 設 計 必
要 あ ． ， 被 験 者 析 細 化 ， 厳 密
設計 行 い ．
参考文献
[Lerdahl 1983] Lerdahl, F. and Jackendoff, R: A Generative Theory of Tonal Music，the MIT Press，Cambredge ,1983． [ONG 2010] Kok-Meng ONG，大 也，亀山渉: 瞳孔
視線 心拍情報 用い 像要約方法 評価，電子情
報 通 信 学 会 論 文 A，Vol.J93-A，NO.11，pp.697-707， 2010．
[出口 2004] 出口嘉紀， 孝淳夫: 画 文法 基 要約
像 生 ， 研 究 報 告 DBS-132，
pp33-40，2004．
[堀内 1997] 堀内 直明， 原邦明: 内容記述 基
像 検 索 要 約 ， 電 子 情 報 通 信 学 会 術 研 究 報 告 DE， 工学97 161 ，pp73-78，1997．
[栗原 2012] 栗原 一貴，佐々木 洋子，緒方淳，後藤 真孝:
音声 間自 動検 出 術 用 い 変則 再生 方式 像
高 速 鑑 賞 検 討 ， 情 報 処 理 学 会 研 究 報 告 Vol.2012-HCI-149，NO.13，2012
[竹内 2014] 竹内 子，浜中 俊:音楽理論 基 画
要約 像生 手法，情報処理学会全国大会 2014 表予
定
[Arijon 1980] Daniel Arijon:GRAMMAR OF THE FILM LANGUAGE，1976.
