早稲田大学大学院 基幹理工学研究科
博士論文審査報告書
論 文 題 目
ストーリー理解を目的とした漫画 オブジェクトの抽出
Manga Object Extraction towards Story Understanding
申 請 者
柳澤 秀彰
Hideaki YANAGISAWA
情報理工・情報通信専攻 オーディオビジュアル情報処理研究
2019 年 2 月
1
デ ィ ジ タ ル 端 末 の 普 及 に よ っ て ， 電 子 書 籍 は よ り 身 近 な コ ン テ ン ツ と な っ て い る ．電 子 コ ミ ッ ク は 電 子 書 籍 市 場 の 80％ 以 上 を 占 め て い る ．電 子 コ ミ ッ ク は ，画 像 を 含 ん だ 構 造 化 文 書 と で き る こ と か ら ，拡 張 性 と 応 用 性 に 優 れ る ． し か し ， 現 在 普 及 し て い る 多 く の 電 子 コ ミ ッ ク は ， 単 純 に 紙 媒 体 を ス キ ャ ン す る こ と で 電 子 化 さ れ た 静 的 な コ ン テ ン ツ で あ る ． そ の た め ， 電 子 コ ミ ッ ク の 可 能 性 を 十 分 に 活 用 で き る 状 態 に な い ． そ こ で ， 漫 画 画 像 に メ タ デ ー タ の タ グ 付 け を 行 う こ と に よ っ て ， 電 子 コ ミ ッ ク を 構 造 化 す る 提 案 が な さ れ て い る ． こ の と き ， メ タ デ ー タ 抽 出 の 作 業 を 効 率 化 す る た め に ， 漫 画 画 像 か ら 内 容 を 認 識 す る 技 術 が 必 要 と な る ．
漫 画 画 像 か ら ス ト ー リ ー を 自 動 認 識 す る 工 程 は ， 以 下 の 3 段 階 か ら 成 る ． 第 1 段 階 の 「 オ ブ ジ ェ ク ト 検 出 」 で は ， 画 像 か ら 「 コ マ 」，「 フ キ ダ シ 」，「 キ ャ ラ ク タ 」 な ど の 構 成 要 素 を 検 出 す る ． 第 2 段 階 の 「 シ ー ン 理 解 」 で は ， 検 出 さ れ た 要 素 か ら キ ャ ラ ク タ 名 や 台 詞 の 内 容 な ど 詳 細 な 情 報 を 認 識 す る ． 第 3 段 階 の 「 ス ト ー リ ー 理 解 」 で は ， ペ ー ジ ご と の オ ブ ジ ェ ク ト 情 報 を 統 合 し て コ マ の 順 序 や 登 場 キ ャ ラ ク タ の 関 連 付 け を 行 う ．本 論 文 で は ，「 オ ブ ジ ェ ク ト 検 出 」 と 「 シ ー ン 理 解 」 の 工 程 に 着 目 し ， 漫 画 画 像 か ら の オ ブ ジ ェ ク ト 検 出 手 法 及 び キ ャ ラ ク タ の 同 定 手 法 を 提 案 し て い る ．
第 1 章 「 序 論 」 で は ， 本 論 文 の 背 景 と 目 的 及 び 概 要 を ま と め ， 研 究 の 位 置 付 け を 明 ら か に し て い る ．
第 2 章「 局 所 特 徴 量 を 用 い た キ ャ ラ ク タ 検 出 」で は ，HOG 特 徴 量 に 基 づ く 従 来 手 法 を 改 良 し た キ ャ ラ ク タ 検 出 手 法 と し て ，Deformable Part Model (DPM) の 適 用 を 試 み て い る ． 従 来 の 顔 検 出 モ デ ル と 通 常 の DPM に つ い て キ ャ ラ ク タ 顔 画 像 の 検 出 精 度 を 比 較 す る こ と で ， キ ャ ラ ク タ 顔 検 出 に お け る DPM の 有 効 性 を 評 価 し て い る ．さ ら に ，漫 画 キ ャ ラ ク タ の マ ル チ ビ ュ ー 顔 検 出 に お い て 最 適 な DPM の パ ラ メ タ 設 定 を 求 め て い る ． そ の 結 果 ， 平 均 適 合 率 77.6％ が 得 ら れ て い る ． こ こ で 得 ら れ た 結 果 か ら ，DPM を 多 様 な キ ャ ラ ク タ 顔 画 像 に 対 応 さ せ る た め に は ， 多 数 の フ ィ ル タ を 用 い た 複 雑 な 検 出 モ デ ル の 設 計 が 必 要 で あ る と い う 課 題 を 明 ら か に し て い る ． 本 章 は ， 漫 画 キ ャ ラ ク タ の 検 出 に DPM を 適 用 す る と い っ た 新 し い 着 目 点 が 評 価 で き る ．
第 3 章 「CNN を 用 い た 漫 画 オ ブ ジ ェ ク ト の 検 出 」 で は ， 第 2 章 で 示 し た DPM の 問 題 点 を 改 良 し た 手 法 と し て ， Convolutional Neural Network (CNN) を 用 い た 漫 画 オ ブ ジ ェ ク ト 検 出 手 法 を 提 案 し て い る ．オ ブ ジ ェ ク ト 領 域 を 考 慮 し た CNN を 用 い る 物 体 検 出 手 法 の 代 表 的 な も の に ，Regions with CNN (R-CNN)，Fa st R-CNN, Faster R-CNN が あ る ．実 験 結 果 か ら ，Faster R-CNN が 「 キ ャ ラ ク タ 」「 コ マ 」「 フ キ ダ シ 」「 セ リ フ 」 の 検 出 に お い て 平 均 適 合 率 91.0%を 達 成 で き る こ と が 分 か っ た ． ま た 一 般 物 体 認 識 に お い て Faster R-CNN よ り も 認 識 精 度 が 高 い と 言 わ れ て い る Sin gle Shot Multibox Detector (SSD) は ，漫 画 中 の サ イ ズ の 小 さ い オ ブ ジ ェ ク ト に 対 し て 有 効 で は な い こ と を 明 ら か に し て い る ． 本 章 は ， 人 為 的 に 設 計 さ れ た 画 像 特 徴 を 基 盤
2
と す る キ ャ ラ ク タ 顔 検 出 に 比 べ て ，C NN を 基 盤 と す る 手 法 の 方 が 優 れ た 特 性 を 示 す こ と を 明 ら か に し た 点 ， ま た 最 新 の 物 体 認 識 手 法 で あ る SSD よ り も Faster R-CNN が 漫 画 オ ブ ジ ェ ク ト 抽 出 に お い て 優 れ る こ と を 示 し た 点 に 意 義 が あ る ．
第 4 章 「 ク ラ ス タ リ ン グ を 用 い た キ ャ ラ ク タ 同 定 」 で は ， 教 師 な し で の 主 要 キ ャ ラ ク タ の 同 定 を 目 的 と し て ，キ ャ ラ ク タ 顔 画 像 を x -means 法 で ク ラ ス タ リ ン グ す る 手 法 を 提 案 し て い る ． 第 3 章 ま で の 成 果 に よ り ，1 冊 の 漫 画 か ら 複 数 の キ ャ ラ ク タ 顔 画 像 を 実 用 的 に 十 分 な 精 度 で 検 出 で き る こ と が 示 さ れ た ． 本 章 で は 顔 画 像 に 対 す る SURF 特 徴 量 を Bag-of-Visual-Words (BoVW) に 変 換 し ，500 個 の デ ー タ を ク ラ ス タ リ ン グ し て い る ． 主 要 キ ャ ラ ク タ の 同 定 に お け る 従 来 手 法 と 提 案 手 法 の 性 能 比 較 を ，purity に よ り 評 価 し て い る ． 実 験 に 用 い た 3 作 品 で は い ず れ も purity が 改 善 さ れ る こ と を 示 し て い る ．本 章 で の 成 果 は ， ク ラ ス タ 数 の 自 動 決 定 が 可 能 で あ る こ と を 示 し た 点 が 評 価 で き る ．
第 5 章 「 主 要 キ ャ ラ ク タ 分 類 を 目 的 と し た ク ラ ス タ リ ン グ の 改 良 」 で は ， 第 4 章 の ク ラ ス タ リ ン グ 手 法 を 改 良 す る こ と で ， 主 要 キ ャ ラ ク タ 顔 画 像 を 複 数 の ク ラ ス タ に 分 類 す る 手 法 を 提 案 し て い る ． ま ず ， 顔 画 像 の 誤 分 類 を 解 決 す る た め に ，大 規 模 デ ー タ セ ッ ト を 学 習 し た CNN の 出 力 が 高 い 汎 化 性 能 を 持 つ こ と か ら ，CNN を 特 徴 抽 出 器 と し て 使 用 す る 手 法 を 提 案 し て い る ． ま た ， 登 場 回 数 の 少 な い キ ャ ラ ク タ を 主 要 キ ャ ラ ク タ と 分 離 す る た め に ， 類 似 す る デ ー タ の み を ク ラ ス タ と し て 抽 出 す る ク ラ ス タ リ ン グ 手 法 で あ る DBSCA N の 適 用 を 提 案 し て い る ． そ の 結 果 ，D BSCAN が ノ イ ズ デ ー タ の 除 去 に 有 効 で あ る こ と を 確 認 し ，ま た DBSCAN の 適 用 に お い て 入 力 デ ー タ の 局 所 的 な 類 似 度 に 基 づ い た 次 元 削 減 が 有 効 で あ る こ と を 示 し て い る ． 実 験 結 果 よ り ，F 値 59.3%，NMI 45.7%の 精 度 で の 自 動 分 類 が 可 能 と な っ て い る ． 本 章 は ， キ ャ ラ ク タ 顔 画 像 の 特 徴 表 現 と し て ，CNN が 出 力 す る 深 層 特 徴 量 を 利 用 し た 点 に 新 規 性 が あ り ， そ の 結 果 F 値 で 59.3%の 精 度 で 自 動 分 類 に 成 功 し て い る 点 に 意 義 が あ る ．
第 6 章 「 結 論 」 で は ， 本 論 文 の 成 果 の 総 括 を 行 っ て い る ．
以 上 要 す る に ， 本 論 文 は 漫 画 の ス ト ー リ ー 理 解 を 目 的 と し て ， 漫 画 オ ブ ジ ェ ク ト の 検 出 モ デ ル と ， ク ラ ス タ リ ン グ に よ る キ ャ ラ ク タ 顔 画 像 の 分 類 手 法 を 提 案 し た も の で あ る ． 漫 画 オ ブ ジ ェ ク ト の 検 出 に お い て ，CNN を 用 い た 物 体 検 出 手 法 を 適 用 し て そ の 有 効 性 を 確 認 し て い る ． さ ら に ， 未 知 の 漫 画 画 像 に 対 す る キ ャ ラ ク タ 自 動 分 類 の 手 法 を 検 討 す る こ と で ， 漫 画 キ ャ ラ ク タ 同 定 技 術 の 構 築 に お け る 基 盤 技 術 を 確 立 し て い る ．
こ れ ら の 成 果 は 情 報 通 信 工 学 の 分 野 の 発 展 に 大 き く 寄 与 す る と 考 え ら れ る ． よ っ て ， 本 論 文 は 博 士 （ 工 学 ） 早 稲 田 大 学 の 学 位 論 文 と し て 価 値 あ る も の と 認 め る ．
3 2019 年 2 月
審 査 員 主 査 早 稲 田 大 学 教 授 工 学 博 士 北 海 道 大 学 渡 辺 裕
早 稲 田 大 学 教 授 博 士 （ 工 学 ） 東 京 大 学 甲 藤 二 郎
早 稲 田 大 学 教 授 工 学 博 士 早 稲 田 大 学 亀 山 渉
