博士論文審査報告書

早稲田大学大学院 先進理工学研究科

博士論文審査報告書

論 文 題 目 A Study on Interaction

between Human and Digital Content

申 請 者

Tatsunori HIRAI 平井 辰典

物理学及応用物理学専攻 画像情報処理研究

2015 年 12 月

1

本 博 士 論 文 は 、 本 来 人 間 の 感 性 や 直 感 が 支 配 的 に な り が ち で そ の 実 態 の 数 値 的 な 解 明 が 困 難 と さ れ て き た 音 楽 や 映 像 コ ン テ ン ツ を 取 り 扱 う 分 野 に お い て 、 こ れ ら の 研 究 対 象 を 定 量 的 か つ 客 観 的 に 問 題 解 決 す る 方 法 に 挑 戦 し 、 人 間 と コ ン テ ン ツ と の イ ン タ ラ ク シ ョ ン と い う 観 点 か ら 、 こ の 分 野 に パ ラ ダ イ ム シ フ ト を も た ら す 数 々 の 研 究 成 果 を 系 統 的 に ま と め た 構 成 と な っ て い る 。 昨 今 、 光 フ ァ イ バ ー や イ ン タ ー ネ ッ ト の 一 般 へ の 普 及 に よ り 、 デ ー タ 転 送 速 度 が 劇 的 に 高 速 化 さ れ た こ と に よ っ て 、 一 般 家 庭 で も 動 画 ・ 音 楽 コ ン テ ン ツ を 容 易 に 効 率 的 に か つ 高 品 質 で 鑑 賞 で き る 環 境 が 整 っ て い る 。 そ の よ う な 背 景 か ら 、 近 年 、Yo u Tu b e や ニ コ ニ コ 動 画 に 代 表 さ れ る 動 画 共 有 サ イ ト が 広 く 世 界 に 普 及 し 、 ま た 関 連 す る ア プ リ ケ ー シ ョ ン ソ フ ト が 爆 発 的 に 普 及 し た こ と か ら 、 た だ 単 に 音 楽 動 画 コ ン テ ン ツ を 鑑 賞 す る に 留 ま ら ず 、 創 作 す る チ ャ ン ス や 機 運 が 広 が っ て い る 。 こ れ は い わ ゆ る コ ン シ ュ ー マ ジ ェ ネ レ ー テ ィ ッ ド メ デ ィ ア( C G M )と 呼 ば れ 、 既 存 の コ ン テ ン ツ の n 次 創 作 を 行 っ た り 、 あ る い は 自 ら 独 自 の 作 品 を 制 作 し た り 、 演 奏 し た 動 画 を ア ッ プ ロ ー ド す る と い う よ う に 、 も は や コ ン テ ン ツ は プ ロ フ ェ ッ シ ョ ナ ル の 名 作 、 名 演 の 作 品 に 限 定 さ れ る こ と な く 、 一 般 の 人 々 が 自 己 表 現 の 手 段 と し て 、 あ る い は 他 人 に 感 情 を 伝 え る メ デ ィ ア と し て ネ ッ ト ワ ー ク 環 境 を 通 じ た コ ン テ ン ツ の や り 取 り が 一 般 的 に な り つ つ あ る 。 と は 言 う も の の 、 ス キ ル や 知 識 の 乏 し い 一 般 ユ ー ザ に と っ て は 、 コ ン テ ン ツ 制 作 は 未 だ 敷 居 が 高 く 、 誰 で も 容 易 に 制 作 で き る レ ベ ル に は 至 っ て い な い 。 ま た 膨 大 な 作 品 が 世 の 中 に 溢 れ 出 し 、 自 分 が 本 当 に 必 要 と す る コ ン テ ン ツ と 出 会 う こ と は 確 率 的 に 極 め て 低 く な り つ つ あ り 、 そ れ が 一 般 ユ ー ザ と っ て の コ ン テ ン ツ を 鑑 賞 す る 際 の 障 壁 と な り つ つ あ る 。 こ の よ う な 背 景 か ら 、 人 と コ ン テ ン ツ （ 特 に ネ ッ ト ワ ー ク 上 で 行 き 来 す る デ ジ タ ル コ ン テ ン ツ ） と の や り 取 り に フ ォ ー カ ス し 、 創 作 を 支 援 す る オ ー サ リ ン グ イ ン タ フ ェ ー ス 、 鑑 賞 を 支 援 す る ブ ラ ウ ザ 、 創 作 と 鑑 賞 に 留 ま ら な い コ ン テ ン ツ と ユ ー ザ と の 新 た な イ ン タ ラ ク シ ョ ン と い う 3 つ の 重 要 な 切 り 口 か ら 研 究 を 進 め 、 そ れ ぞ れ の 問 題 点 に フ ォ ー カ ス し 、 解 決 す る 様 々 な 新 し い 技 術 の 提 案 を 行 っ て い る 。

ま ず 、 第 １ 章 の イ ン ト ロ ダ ク シ ョ ン で は 、 ヒ ュ ー マ ン ・ コ ン テ ン ツ ・ イ ン タ ラ ク シ ョ ン と い う 新 し い パ ラ ダ イ ム を 提 案 し 、 個 々 の 要 素 技 術 の 位 置 づ け お よ び 相 互 関 係 を 明 確 に し て い る 。

第 ２ 章 で は 、 ま ず 音 楽 と 映 像 の 同 期 問 題 に 焦 点 を あ て 、 音 楽 に 同 期 す る 映 像 コ ン テ ン ツ の 自 動 生 成 法 に つ い て 述 べ て い る 。 映 像 の も つ ア ク セ ン ト に 対 し て 音 楽 の テ ン ポ 、 そ し て 波 形 の 短 時 間 平 均 値 （R M S） が 支 配 的 に 影 響 す る こ と を 明 ら か に し 、 実 際 に 音 楽 に 同 期 し た 音 楽 動 画 コ ン テ ン ツ の 自 動 生 成 手 法 を 実 現 し 、 そ の 性 能 評 価 を 行 う こ と で 実 証 し て い る 。

第 ３ 章 で は 、 歌 唱 音 楽 に 焦 点 を あ て 、 マ ッ シ ュ ア ッ プ 手 法 に よ っ て 、 異 な る コ ン テ ン ツ か ら 取 り 出 し た 音 楽 と 映 像 に 基 づ い て 、 音 楽 と 歌 手 動 画 が 同 期

2

し た 新 し い 音 楽 動 画 コ ン テ ン ツ を 自 動 生 成 す る 手 法 の 提 案 を 行 っ て い る 。 こ れ は 、 任 意 に 選 択 さ れ た 音 楽 ソ ー ス を 入 力 と し て 、 事 前 に 用 意 さ れ た タ ー ゲ ッ ト と な る 歌 手 の 複 数 の 音 楽 動 画 コ ン テ ン ツ に 基 づ き 、 そ の 映 像 の 歌 唱 部 分 の 切 り 貼 り を 行 う こ と に よ っ て 、 あ た か も タ ー ゲ ッ ト の 歌 手 が そ の 入 力 さ れ た 歌 を 唄 っ て い る よ う に 違 和 感 な く 感 じ ら れ る 動 画 を 生 成 す る 技 術 で あ る 。 こ れ は 映 像 情 報 と し て よ り 複 雑 な 口 の 動 き を 含 む 人 物 の 表 情 変 化 と 音 楽 要 素 と の 同 期 を 実 現 す る 技 術 で あ り 、 第 ２ 章 の 音 楽 信 号 的 な 表 層 レ ベ ル か ら 、 さ ら に 一 歩 進 ん だ 意 味 レ ベ ル で の 同 期 を 実 現 す る も の で あ る 。 ま た 、 従 来 の 音 と 映 像 の 表 層 的 な 同 期 と 比 較 し て 、 意 味 レ ベ ル で の 同 期 に よ っ て 人 が 音 と 映 像 が よ り 同 期 し て い る と 感 じ ら れ る こ と を 示 し た 。第 ２ 章 と 第 ３ 章 を 通 じ て 、 音 と 映 像 の 同 期 を 計 算 機 に よ っ て 自 動 的 に 行 う こ と を 可 能 と し 、 音 楽 動 画 コ ン テ ン ツ の 創 作 支 援 へ と 繋 が る 枠 組 み を 提 案 し た 。

第 ４ 章 で は 、 既 存 の 異 な る 音 楽 の 融 合 に よ っ て 、 全 く 新 し い 音 楽 を 生 成 す る 研 究 成 果 に つ い て 述 べ て い る 。 創 作 と い う 観 点 で は 、 作 曲 未 経 験 者 が ０ か ら 楽 曲 を 作 る こ と は 難 し い が 、 こ の 手 法 に よ り 既 存 の 楽 曲 の 混 合 に よ り イ メ ー ジ し た 曲 を 生 成 可 能 と す る こ と で 、 そ の 敷 居 を 大 幅 に 低 く し て い る 。 鑑 賞 と い う 観 点 か ら は 、 作 り 手 が 作 っ た 曲 の ス タ イ ル だ け に 縛 ら れ ず 、 聴 き 手 が 自 分 の 好 み に 合 わ せ て 曲 そ の も の を カ ス タ マ イ ズ し て 鑑 賞 で き る 新 た な 音 楽 の 楽 し み 方 を 提 案 し て い る 。 メ ロ デ ィ と リ ズ ム を 分 離 し て そ れ ぞ れ の 内 挿 補 間 法 を 提 唱 し 、 最 終 的 に こ れ ら を 融 合 し て 新 た な 楽 曲 と し て 再 構 成 で き る 技 術 を こ こ で は 独 自 に 提 案 し て い る 。

第 ５ 章 で は 、 創 作 で も 鑑 賞 で も な い コ ン テ ン ツ と の 新 た な 関 わ り （ イ ン タ ラ ク シ ョ ン ） の 手 法 を 提 案 し て い る 。 具 体 的 に は 、 動 画 コ ン テ ン ツ の 中 の 世 界 と 現 実 世 界 と を 融 合 さ せ た バ ー チ ャ ル な 空 間 を 作 り 出 す こ と で 、 鑑 賞 者 が コ ン テ ン ツ の 中 に 入 り 込 ん だ り 、 動 画 の 登 場 人 物 が 現 実 世 界 に 出 て き た り と い う 環 境 を 構 築 し て い る 。 動 画 コ ン テ ン ツ を 単 に 見 る だ け で は な く 、 体 験 す る 機 会 を 広 げ る 技 術 で あ る 。 こ の た め に 、 デ プ ス セ ン サ カ メ ラ を 活 用 し 、 映 像 中 の 人 物 と 現 実 世 界 の 人 物 の 相 対 的 な 位 置 関 係 を 自 由 に 制 御 可 能 と し た 。

第 ６ 章 で は 動 画 の 内 容 を 変 え ず に 長 さ を 変 換 す る 手 法 の 提 案 を 行 っ て い る 。 こ れ ま で 視 聴 者 の 都 合 で 変 え る こ と が で き な か っ た 動 画 の 再 生 時 間 を 変 換 可 能 と す る こ と で 、 動 画 に 合 わ せ た 鑑 賞 で は な く 、 人 の 都 合 に 動 画 の 方 を 合 わ せ る こ と を 可 能 と し て い る 。 動 画 中 に お け る フ レ ー ム の 重 要 度 を 定 義 し 、 重 要 度 の 低 い フ レ ー ム を 間 引 く （ 挿 入 す る ） こ と で 、 コ ン テ ン ツ の 伝 え た い 内 容 を 損 な う こ と な く 鑑 賞 時 間 の み を 伸 縮 す る こ と に 成 功 し て い る 。

第 7 章 で は 、 楽 曲 の 繋 が り に 注 目 し 、 楽 曲 の ビ ー ト と 潜 在 的 な 意 味 の 分 析 結 果 に よ っ て ２ つ の 楽 曲 同 士 を 滑 ら か に 違 和 感 な く 接 続 す る 技 術 を 提 案 し て い る 。 こ の 技 術 に よ っ て 、 別 々 の 楽 曲 を 繋 ぎ あ わ せ て あ た か も １ つ の 連 続 し た 楽 曲 の 様 に 自 然 に 連 続 再 生 す る こ と を 実 現 し た 。

第 ８ 章 で は 、 動 画 に お け る 重 要 な オ ブ ジ ェ ク ト と し て 登 場 人 物 の 顔 に 着 目

3

し 、 動 画 中 の 同 一 人 物 の 認 識 法 を 提 案 し て い る 。 音 楽 動 画 の シ ー ン は 顔 認 証 に 用 い ら れ る 画 像 と は 大 き く 異 な り 、 顔 の 向 き や 大 き さ 、 表 情 の 有 無 、 照 明 環 境 等 の 統 一 が な さ れ て い な い 。 よ っ て フ レ ー ム 単 位 の 顔 認 証 を 行 っ て も 高 い 精 度 は 実 現 不 可 能 で あ る 。 そ こ で シ ョ ッ ト 分 割 と シ ョ ッ ト 内 の 顔 時 間 連 続 体 の 概 念 を 新 た に 導 入 し 、 高 い 精 度 で の 動 画 コ ン テ ン ツ 中 の 登 場 人 物 の 認 識 手 法 を 提 案 し て い る 。 こ れ に よ り 、 従 来 の 単 一 フ レ ー ム 毎 の 顔 認 証 と 比 べ て ２ ～ ３ 倍 の 顔 認 証 率 を 実 現 し た 。

第 ９ 章 は 、 第 ８ 章 の 顔 認 識 技 術 を 応 用 し 、 顔 情 報 に 基 づ く 動 画 検 索 お よ び 鑑 賞 イ ン タ フ ェ ー ス の 構 築 を 行 っ た 。 従 来 の 動 画 タ イ ト ル や タ グ な ど を 用 い た 文 字 ベ ー ス の 検 索 で は 考 慮 で き な か っ た 顔 の 特 徴 を 考 慮 可 能 と す る こ と で 、 所 望 の 人 物 が 映 っ て い る 動 画 の 登 場 シ ー ン に 直 接 ア ク セ ス し 、 好 き な 人 物 が 映 っ て い る 箇 所 の み を 再 生 で き る 鑑 賞 イ ン タ フ ェ ー ス を 提 案 し た 。

第 1 0 章 で は 、本 論 文 の 結 論 と し て 、今 回 の 各 研 究 事 例 の 筆 者 自 身 が 提 案 す る ヒ ュ ー マ ン ・ コ ン テ ン ツ ・ イ ン タ ラ ク シ ョ ン の パ ラ ダ イ ム 中 で の 立 ち 位 置 を 明 確 化 し 、 今 後 の 研 究 の 方 向 性 及 び 研 究 の 課 題 に つ い て 述 べ て い る 。 以 上 の よ う に 、 本 論 文 で は 人 と コ ン テ ン ツ と の 関 わ り 方 を 通 し て 、 従 来 定 性 的 、 主 観 的 に 捉 え ら れ る ケ ー ス が 多 く 、 タ グ や コ メ ン ト な ど 副 次 的 な 情 報 の み に よ っ て 制 御 さ れ る こ と が 主 体 で あ っ た ネ ッ ト ワ ー ク 上 の デ ジ タ ル コ ン テ ン ツ 研 究 に 対 し て 、 直 接 的 に 定 量 分 析 を 行 い 、 音 楽 ソ ー ス お よ び 映 像 ソ ー ス そ れ ぞ れ の 信 号 レ ベ ル で の 特 徴 量 を 明 確 化 し て 客 観 化 し 、 同 期 、 融 合 、 加 工 な ど の 操 作 を 具 体 的 に 実 現 し 、 そ の 性 能 の 高 さ を 実 証 し た 点 で 、 極 め て 独 創 的 で あ り 、 他 に 類 を 見 な い 研 究 成 果 で あ る 。 ま た 具 体 的 に 、 ア プ リ ケ ー シ ョ ン を 意 識 し た 上 で 創 作 支 援 、 鑑 賞 支 援 、 イ ン タ ラ ク シ ョ ン と い う 人 と コ ン テ ン ツ と の 関 わ り を 具 体 的 に 実 現 す る イ ン タ フ ェ ー ス を 設 計 し 、 実 装 し た 点 で も 高 く 評 価 で き る 。 よ っ て 博 士 ( 工 学 ) の 学 位 論 文 と し て 相 応 し い 内 容 と 判 断 で き る 。

2 0 1 5 年 11 月 審 査 員

主 査 早 稲 田 大 学 教 授 工 学 博 士(東 京 大 学) 森 島 繁 生

副 査 早 稲 田 大 学 教 授 工 学 博 士(早 稲 田 大 学) 橋 本 周 司

早 稲 田 大 学 教 授 理 学 博 士(早 稲 田 大 学) 小 松 進 一

京 都 大 学 講 師 博 士(情 報 学 ）(京 都 大 学) 吉 井 和 佳